CN112308706A - 一种机器学习模型训练方法及装置 - Google Patents

一种机器学习模型训练方法及装置 Download PDF

Info

Publication number
CN112308706A
CN112308706A CN202011285117.0A CN202011285117A CN112308706A CN 112308706 A CN112308706 A CN 112308706A CN 202011285117 A CN202011285117 A CN 202011285117A CN 112308706 A CN112308706 A CN 112308706A
Authority
CN
China
Prior art keywords
users
training
training set
samples
credit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011285117.0A
Other languages
English (en)
Inventor
蒋颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Hefei Technology Co ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Shenzhen Huantai Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd, Shenzhen Huantai Technology Co Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202011285117.0A priority Critical patent/CN112308706A/zh
Publication of CN112308706A publication Critical patent/CN112308706A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/03—Credit; Loans; Processing thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)

Abstract

本申请实施例提供一种机器学习模型训练方法及装置，所述方法包括：以授信用户的第一训练集中样本的特征为粒度，训练与每个特征分别对应的长短期记忆神经(LSTM)网络模型；以全部所述LSTM网络模型的输出作为第一神经网络模型的输入，获得用于表征所述授信用户的信用的第一概率值；基于所述第一训练集和所述第一概率值，为全部授信拒绝用户的第二训练集中样本打标；针对打标结果确定所述全部授信拒绝用户中的部分授信拒绝用户，基于所述部分授信拒绝用户和所述授信用户的样本数据构成的第三训练集，训练第二神经网络模型；所述第二神经网络模型用于评估用户的信用。

Description

一种机器学习模型训练方法及装置
技术领域
本申请涉及无线通信技术领域，尤其涉及一种机器学习模型训练方法及装置。
背景技术
机器学习(Machine Learning，ML)是一门多领域交叉技术，在实际工业领域中不断获得应用。
训练机器学习模型的一种方案是，基于训练集中样本的特征(如邮件的标题内容、用户的征信数据等)和分类结果(也称为目标变量，如用户的信用等级)训练机器学习模型，使机器学习模型具有对样本的分类结果进行预测的性能。
例如，使用机器学习模型在征信业务中区分优质客户和非优质客户，在商业中区分客户是否为潜在的流失客户等等。因此，针对征信业务、或信贷业务、或贷中行为评分、贷后C卡开发等金融风控评估中，如何提高评估的可信度、和准确率是一直追求的目标。
发明内容
本申请实施例提供一种机器学习模型训练方法及装置，能够提高信用评估的可信度和准确率。
本申请实施例的技术方案是这样实现的：
第一方面，本申请实施例提供一种机器学习模型训练方法，所述方法包括：
以授信用户的第一训练集中样本的特征为粒度，训练与每个特征分别对应的LSTM网络模型；以全部所述LSTM网络模型的输出作为第一神经网络模型的输入，获得用于表征所述授信用户的信用的第一概率值；基于所述第一训练集和所述第一概率值，为全部授信拒绝用户的第二训练集中样本打标；针对打标结果确定所述全部授信拒绝用户中的部分授信拒绝用户，基于所述部分授信拒绝用户和所述授信用户的样本数据构成的第三训练集，训练第二神经网络模型；所述第二神经网络模型用于评估用户的信用。
在一些可选实施例中，所述以授信用户的第一训练集中样本的特征为粒度，训练与每个特征分别对应的LSTM网络模型包括：
对所述第一训练集中每个特征的样本进行分类；
获取每个样本类别在对应的时间段内的样本数据；
以所述样本数据为输入，训练所述每个特征分别对应的LSTM网络模型。
在一些可选实施例中，所述基于所述第一训练集和所述第一概率值，为全部授信拒绝用户的第二训练集中样本打标，包括：
按照所述第一概率值升序的顺序，对所述第二训练集中的样本等频划分为至少两个样本组；
确定每个样本组的非优质用户率；
基于所述每个样本组的非优质用户率，为所述第二训练集中样本打标。
在一些可选实施例中，所述基于所述每个样本组的非优质用户率，为所述第二训练集中样本打标包括：
标定所述非优质用户率小于或等于第一阈值的样本组内的用户为优质用户；
标定所述非优质用户率大于或等于第二阈值的样本组内的用户为非优质用户；
标定所述非优质用户率大于第一阈值、且小于第二阈值的样本组内的用户为中间层用户。
在一些可选实施例中，所述针对打标结果确定所述全部授信拒绝用户中的部分授信拒绝用户，基于所述部分授信拒绝用户和所述授信用户的样本数据构成的第三训练集，训练第二神经网络模型，包括：
基于所述第二训练集中样本的打标结果，对所述第二训练集中样本进行层次聚类；
基于所述第二训练集中样本的非优质用户率，确定所述中间层用户的非优质用户率；
基于所述中间层用户的非优质用户率，对所述中间层用户中的部分中间层用户打标；
利用所述部分中间层用户、所述优质用户、所述非优质用户和所述授信用户的样本数据，构成第三训练集；
基于所述第三训练集训练所述第二神经网络模型。
本申请实施例还提供一种机器学习模型训练装置，所述装置包括：
第一训练单元，用于以授信用户的第一训练集中样本的特征为粒度，训练与每个特征分别对应的LSTM网络模型；
获取单元，用于以全部所述LSTM网络模型的输出作为第一神经网络模型的输入，获得用于表征所述授信用户的信用的第一概率值；
打标单元，用于基于所述第一训练集和所述第一概率值，为全部授信拒绝用户的第二训练集中样本打标；
第二训练单元，用于针对打标结果确定所述全部授信拒绝用户中的部分授信拒绝用户，基于所述部分授信拒绝用户和所述授信用户的样本数据构成的第三训练集，训练第二神经网络模型；所述第二神经网络模型用于评估用户的信用。
在一些可选实施例中，所述第一训练单元，用于对所述第一训练集中每个特征的样本进行分类；
获取每个样本类别在对应的时间段内的样本数据；
以所述样本数据为输入，训练所述每个特征分别对应的LSTM网络模型。
在一些可选实施例中，所述打标单元，用于按照所述第一概率值升序的顺序，对所述第二训练集中的样本等频划分为至少两个样本组；
确定每个样本组的非优质用户率；
基于所述每个样本组的非优质用户率，为所述第二训练集中样本打标。
在一些可选实施例中，所述打标单元，用于标定所述非优质用户率小于或等于第一阈值的样本组内的用户为优质用户；
标定所述非优质用户率大于或等于第二阈值的样本组内的用户为非优质用户；
标定所述非优质用户率大于第一阈值、且小于第二阈值的样本组内的用户为中间层用户。
在一些可选实施例中，所述第二训练单元，用于基于所述第二训练集中样本的打标结果，对所述第二训练集中样本进行分层聚类；
基于所述第二训练集中样本的非优质用户率，确定所述中间层用户的非优质用户率；
基于所述中间层用户的非优质用户率，对所述中间层用户中的部分中间层用户打标；
利用所述部分中间层用户、所述优质用户、所述非优质用户和所述授信用户的样本数据，构成第三训练集；
基于所述第三训练集训练所述第二神经网络模型。
本申请实施例提供的机器学习模型训练方法及装置，以授信用户的第一训练集中样本的特征为粒度，训练与每个特征分别对应的LSTM网络模型；以全部所述LSTM网络模型的输出作为第一神经网络模型的输入，获得用于表征所述授信用户的信用的第一概率值；基于所述第一训练集和所述第一概率值，为全部授信拒绝用户的第二训练集中样本打标；针对打标结果确定所述全部授信拒绝用户中的部分授信拒绝用户，基于所述部分授信拒绝用户和所述授信用户的样本数据构成的第三训练集，训练第二神经网络模型；所述第二神经网络模型用于评估用户的信用。如此，基于授信用户的样本构建LSTM模型，能够提高LSTM模型评估的准确率和可信度，并且LSTM模型能够准确地反应客户的信用风险变化时间序列特征；通过对全部授信拒绝用户进行层次聚类实现对中间层用户的标定。
附图说明
图1为本申请实施例机器学习模型训练方法的一种可选处理流程示意图；
图2为本申请实施例训练与每个特征分别对应的LSTM网络模型的一种可选处理流程；
图3为本申请实施例训练LSTM网络模型的一种可选示意图；
图4是本申请实施例基于所述第一训练集和所述第一概率值，为全部授信拒绝用户的第二训练集中样本打标的一种可选处理流程示意图；
图5是本申请实施例训练第二神经网络模型的一种可选处理流程示意图；
图6是本申请实施例提供的机器学习模型训练方法的基本处理流程示意图；
图7是本申请实施例中机器学习模型训练装置的一个可选的组成结构示意图；
图8A是本申请实施例中机器学习模型训练装置的一个可选的软硬件结构示意图；
图8B是本申请实施例中电子设备的一个可选的硬件结构示意图；
图9A是本申请实施例提供的在各种移动端中实施机器学习模型训练装置的一个可选的示意图；
图9B是本申请实施例提供的在服务器中实施机器学习模型训练装置的一个可选的示意图；
图9C是本申请实施例提供的在各种移动端中实施机器学习模型训练装置的一个可选的示意图；
图9D是本申请实施例提供的在各种移动端中实施机器学习模型训练装置的一个可选的示意图；
图9E是本申请实施例提供的在各种云端中实施机器学习模型训练装置的一个可选的示意图。
具体实施方式
以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
对本申请进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
对本申请进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
1)机器学习(Machine Learning)：对训练集的样本分析，获得能够对样本的目标变量进行预测的机器学习模型(下文中也简称为参数)的过程。
2)训练集，训练机器学习模型所采用的样本(也称为训练样本)的集合。
训练集中的样本包括样本的特征(如，多个维度的特征)和明确取值的目标变量，以便机器学习模型可以发现从样本的特征预测目标变量之间的规律，从而具有基于样本的特征预测目标变量的取值的性能。
3)层次聚类，通过计算不同类别数据点间的相似度来创建一棵有层次的嵌套聚类树来对数据进行聚类分析(Hierarchy clustering tries to conduct clusteringanalysis on data through a hierarchical embedded tree that built uponsimilarity of different data.)。
4)第二样本集合，训练集中被正确预测目标变量的样本的集合。
5)长短期记忆(Long short-term memory，LSTM)，是一种用于深度学习领域的人工递归神经网络(Recurrent Neural Network，RNN)架构。与标准前馈神经网络不同，LSTM具有反馈连接。它不仅可以处理单个数据点，而且可以处理整个数据序列。(LSTMis anartificial RNN architecture used in the field of deep learning.Unlikestandard feed forward neural networks,LSTM has feedback connections.It cannot only process single data points,but also entire sequences of data.)
6)层次聚类，通过计算不同类别数据点间的相似度来创建一棵有层次的嵌套聚类树来对数据进行聚类分析。(Hierarchy clustering tries to conduct clusteringanalysis on data through a hierarchical embedded tree that built uponsimilarity of different data.)
7)拒绝推断，是一种基于拒绝贷款申请中包含的数据的使用来提高信用评分卡质量的方法。
8)信用记分卡，是一种数学模型，旨在提供定量的估计，以显示客户针对其当前或存在的信用状况显示出特定行为(例如，贷款违约，破产或较低水平的违约行为)的可能性。(Credit scorecards are mathematical models which attempt to provide aquantitative estimate of the probability that a customer will display adefined behavior(e.g.loan default,bankruptcy or a lower level of delinquency)with respect to their current or proposed credit position with a lender.)
9)Dropout，是一种正则化技术，可通过防止对训练数据进行复杂的自适应来减少人工神经网络的过拟合。这是一种使用神经网络进行模型平均的有效方法。(Dropout is aregularization technique for reducing overfitting in artificial neuralnetworks by preventing complex co-adaptations on training data.It is anefficient way of performing model averaging with neural networks.)
针对信贷场景下拒绝贷款的用户的好坏推断，可以包括两类；第一类是数据法，即获取拒绝样本的其他表现数据，包括：1)接受本该拒绝(Reject Acceptance)，部分本该被信用策略拒绝的订单予以通过，作为实验对象，保持观察贷后还款表现。2)重新分类法(Reclassification)，利用其他产品或贷款机构的表现数据来标注。3)拒绝原因(RejectReason)，记录每个环节的拒绝原因，尤其是人工信审部分，利用这些数据进行bad样本标注。第二类是推断法，即根据推断拒绝和放贷样本之间的差异，进而调整建模样本组成来构建模型，包括：1)展开法(Augmentation)，展开法又包含两种一是简单展开法(SimpleAugmentation)，用现有的信用评分卡将全量客户分数低于和高于该切分点的拒绝分别给予“坏”或“好”类别，在该切分点下拒绝客户的坏客率要高于通过客户的坏客率，最后将拒绝客户和放贷客户都放入信用评分模型中重新训练。二是模糊展开法(FuzzyAugmentation)，用现有评分卡将拒绝客户打分并将每个拒绝客户复制为不同类别、权重的两条记录，并和放贷客户一起放入信用评分模型中重新训练。2)重新加权法(Reweighting)，用现有评分卡对全量客户打分后仅作为调整放贷客户的好坏权重，仅将权重调整的放贷客户放入信用评分模型中重新训练。3)打包法(Parcelling)，用现有评分卡对全量客户打分后对放贷客户和拒绝客户按照相同的边界分组，并对放贷客户的坏账率乘以经验风险因子后得拒绝客户的期望坏账，根据期望坏账随机赋予拒绝客户好坏后将全量客户放入信用评分模型中重新训练。4)迭代再分类法(Iterative Reclassification)，用现有评分卡对拒绝客户打分后设置切分点标记好坏后全量放入信用评分模型中训练并多次迭代直至收敛某一临界值。5)两阶段法(Two-stage)，用放款预测模型和现有评分卡两个模型对于拒绝样本好坏进行推断后全量客户放入信用评分模型中重新训练。
针对第一类数据法，由于拒绝样本放款的坏账率通常会高于授信通过样本的坏账率，因此接受本该拒绝需承担坏账损失；重新分类法需要数据的获取和成本问题，以及可能会面临不同平台数据对“坏”的定义之间存在差异及对“好”定义不明确影响模型效果的问题；拒绝原因法可能造成准确率较低的问题。
针对第二大类推断法，是建立于现有的评分卡对客户进行打分之后，由于现有评分卡是建立在用户贷前，因此存在准确率较低问题，从而使得后续推断的可信度更低。
举例来说，机器学习模型用于解决判断用户是否为优质客户时，若用户被分类为非优质客户，则拒绝对用户授信；但是，由于各种原因(例如，由于样本的特征不足、样本分布稀疏等)导致对样本的分类不准确，即便用户被分配为非优质客户，用户也有可能是非优质客户；如针对信贷场景，拒绝贷款的用户也有可能是优质客户，或者坏账率很低；因此，机器学习模型的预测精度无法保证。
本申请实施例提供一种机器学习模型训练方法，机器学习模型训练方法的一种可选处理流程示意图，如图1所示，至少包括以下步骤：
步骤S101，以授信用户的第一训练集中样本的特征为粒度，训练与每个特征分别对应的LSTM网络模型。
在一些实施例中，第一训练集中的样本可以是用户授信后的行为数据，即授信用户的行为数据。样本的特征，可以是授信用户对应的应用(APP)和/或WIFI等。其中，获取第一训练集中的过程，也可以称为清洗原始数据集的过程。
在一些实施例中，机器学习模型训练装置(本申请实施例中也可以简称为机器学习模型训练装置或装置)以授信用户的第一训练集中样本的特征为粒度，训练与每个特征分别对应的LSTM网络模型的一种可选处理流程，如图2所示，可以包括以下步骤：
步骤1a，机器学习模型训练装置对所述第一训练集中每个特征的样本进行分类。
在一些实施例中，以特征包括APP和WIFI为例。针对APP，可以对授信用户使用的APP对样本分类，如按照APP的用途将样本划分为金融类、生活服务类、交通出行类、资产资质类、旅行类和视频多媒体类等。针对WIFI，可以对授信用户使用WIFI的情况对样本分类，如按照WIFI的使用时长以及WIFI的使用流量等对样本划分为不同的类别。
本申请实施例中，以授信用户的数据构建第一训练集，能够更精准的评估用户信用。
步骤1b，机器学习模型训练装置获取每个样本类别在对应的时间段内的样本数据。
在一些实施例中，按照授信用户借款后的第一时间段为获取样本数据的时间节点，获取该时间节点之前第二时间段内，每个样本类别的样本数据。
在一些实施例中，以特征包括APP为例，若第一时间段为6个月，则获取样本数据的时间节点为授信用户借款后的6个月；若第二时间段为5个月，则获取不同类别的APP在时间节点之前5个月的样本数据。以特征包括WIFI为例，若第一时间段为6个月，则获取样本数据的时间节点为授信用户借款后的6个月；若第二时间段为7个月，则获取不同类别的WIFI在时间节点之前7个月的样本数据。
其中，第二时间段的值根据构建特征时，以时间节点为基础点能够向前回溯的时间确定。
第一时间段与第二时间段的大小关系在本申请实施例中不做限定，可以是第一时间段大于第二时间段，如第一时间段为6个月，第二时间段为5个月；也可以是第二时间段大于第一时间段，如第一时间段为6个月，第二时间段为7个月。
步骤1c，机器学习模型训练装置以所述样本数据为输入，训练所述每个特征分别对应的LSTM网络模型。
在一些实施例中，针对每个特征训练一个LSTM网络模型；举例来说，针对APP特征，训练一个与APP特征对应的LSTM-1网络模型，针对WIFI特征，训练一个与WIFI特征对应的LSTM-2网络模型。
在一些实施例中，在训练每个特征分别对应的LSTM网络模型的过程中，可以加入Dropout，防止对训练数据进行复杂的自适应来减少LSTM网络模型的过拟合。
在一些实施例中，训练LSTM网络模型的一种可选示意图，如图3所示，为一个LSTM网络模型第Xt输入的情况，其中Xt为输入的第t个月的特征，ht为第t个月的LSTM网络模型输出，每个方框表示一个神经网络层，每个圆圈表示pointwise的操作，圆圈中的“x”代表两边向量乘积，圆圈中的“+”代表两边向量求和，方框到圆圈的处理过程中可以有控制门控制是否传输。
本申请实施例中，由于LSTM网络模型更能够反映客户信用风险变化时间序列特征，因此，本申请实施例能够提高评估的可信度、和准确率。并且，由于LSTM网络模型适用于时间序列数据，因此，相较于传统逻辑回归、树模型等方法而言，基于LSTM网络模型的算法在模型效果、模型特征处理层面的便捷性等方面更具优势。
步骤S102，以全部所述LSTM网络模型的输出作为第一神经网络模型的输入，获得用于表征所述授信用户的信用的第一概率值。
在一些实施例中，机器学习模型训练装置以全部特征对应的LSTM网络模型的输出作为第一神经网络模型的输入，即将LSTM网络模型的输出作为连接(concatenate)；将第一神经网络模型的输出作为全连接层的输入，利用全连接层对好坏二分类问题用sigmoid作为激活函数，得到第一概率值。其中，第一概率值可以是一个数值，也可以是一组向量，或其他形式的数据。
举例来说，若特征包括APP和WIFI，基于APP训练的LSTM网络模型为LSTM-1，基于WIFI训练的LSTM网络模型为LSTM-2，则机器学习模型训练装置以LSTM-1网络模型和LSTM-2网络模型的输出作为第一神经网络模型的输入，获得用于表征所述授信用户的信用的第一概率值。
步骤S103，基于所述第一训练集和所述第一概率值，为全部授信拒绝用户的第二训练集中样本打标。
在一些实施例中，机器学习模型训练装置基于所述第一训练集和所述第一概率值，为全部授信拒绝用户的第二训练集中样本打标的一种可选处理流程，如图4所示，可以包括如下步骤：
步骤3a，机器学习模型训练装置按照所述第一概率值升序的顺序，对所述第二训练集中的样本等频划分为至少两个样本组。
在一些实施例中，机器学习模型训练装置按照第一概率值从小到大的顺序，对第二训练接中的样本等频划分为两个或两个以上样本组；其中，等频划分可以是每个样本组中的样本数量相同。
步骤3b，机器学习模型训练装置确定每个样本组的非优质用户率。
在一些实施例中，由于第一训练集中的样本为授信用户的样本，根据授信用户的样本数据可以确定样本为优质用户或非优质用户；因此，机器学习模型训练装置可以根据每个样本组中的优质用户的数量和非优质用户的数量确定每个样本组的非优质用户率。
在具体实施时，可以利用如下公式计算每个样本组的非优质用户率：
非优质用户率bad-rate用X表示，则X＝Tb/(Tg+Tb)；其中，Tb为每个样本组非优质客户的数量，Tg为每个样本组优质客户的数量。
步骤3c，机器学习模型训练装置基于所述每个样本组的非优质用户率，为所述第二训练集中样本打标。
在一些实施例中，第二训练集中的样本为拒绝用户样本。
在一些实施例中，若样本组的非优质用户率小于或等于第一阈值，则标定该样本组内的用户为优质用户。若样本组的非优质用户率大于或等于第二阈值，则确定该样本组内的用户为非优质用户。若样本组的非优质用户率大于第一阈值、且小于第二阈值，则标定该样本组内的用户为中间层用户；其中，中间层用户可以是指，该用户既不是优质用户，也不是非优质用户，是处于优质用户和非优质用户之间的用户。
在一些实施例中，第一阈值用h1表示，第二阈值用h2表示，用户组的非优质用户率用X表示；若X≤h1，则X对应的用户组内的用户为优质用户；若X≥h2，则X对应的用户组内的用户为非优质用户；若h1＜X＜h2，则X对应的用户组内的用户为中间层用户。
步骤S104，针对打标结果确定所述全部授信拒绝用户中的部分授信拒绝用户，基于所述部分授信拒绝用户和所述授信用户的样本数据构成的第三训练集，训练第二神经网络模型。
在一些实施例中，所述第二神经网络模型用于评估用户的信用。
在一些实施例中，机器学习模型训练装置训练第二神经网络模型的一种可选处理流程，如图5所示，可以包括：
步骤4a，机器学习模型训练装置基于所述第二训练集中样本的打标结果，对所述第二训练集中样本进行层次聚类。
在一些实施例中，在步骤S103中将第二训练集中的样本标定为优质用户、非优质用户和中间层用户，分别针对优质用户、非优质用户和中间层用户聚类；若按照步骤S103中的标定方式得到优质用户的聚类结果仍为优质用户，则表征聚类准确，若按照步骤S103中的标定方式得到非优质用户的聚类结果仍为非优质用户，则表征聚类准确。按照步骤S103中的标定方式得到中间层用户的聚类结果中，一部分中间层用户聚类为优质客户，另一部分中间层用户聚类为非优质客户。
步骤4b，机器学习模型训练装置基于所述第二训练集中样本的非优质用户率，确定所述中间层用户的非优质用户率。
在一些实施例中，若第二训练集中优质用户的数量为P，非优质用户的数量为Q，中间层用户中非优质用户的数量为Z1，中间层用户中优质用户的数量为Z2，则第二训练集中非优质用户率X可以用如下公式表示：
X＝(P+Q+Z1)/(P+Q+Z1+Z2)；
在该公式中，X、P和Q均为已知数值，因此，在一些实施例中，机器学习模型训练装置在第二训练集的中间层用户中，随机选取部分中间层用户，选取的中间层用户包括优质用户和非优质用户，且选取的中间层用户的数量为已知数值Z1+Z2；如此，机器学习模型训练装置根据上述公式能够确定Z1值，进而能够通过计算Z1/(Z1+Z2)的值，确定中间层用户的非优质用户率。
步骤4c，机器学习模型训练装置基于所述中间层用户的非优质用户率，对所述中间层用户中的部分中间层用户打标。
在一些实施例中，机器学习模型训练装置根据所述中间层用户的非优质用户率，对随机选取的中间层用户打标，将随机选取的中间层用户标记为优质用户和非优质用户。
步骤4d，机器学习模型训练装置利用所述部分中间层用户、所述优质用户、所述非优质用户和所述授信用户的样本数据，构成第三训练集。
在一些实施例中，将随机选取的中间层用户、第二训练集中的优质用户、第二训练集中的非优质用户以及授信用户的样本数据，作为第三训练集。
其中，授信用户即为第一训练集中的用户。
步骤4e，机器学习模型训练装置基于所述第三训练集训练第二神经网络模型。
在一些实施例中，将所述第三训练集中的数据作为样本数据，利用样本数据训练第二神经网络模型，第二神经网络模型的输出结果用于评估用户的信用。
其中，第二神经网络模型的输出结果，可以是一个概率值，概率值的大小用于表征用户的信用优劣。
本申请实施例中，通过层次聚类采用半监督方式实现对中间层用户的精确打标。
综上，本申请实施例提供的机器学习模型训练方法的基本处理流程，可以如图6所示，包括：特征构建和特征提取，基于提取的特征训练LSTM网络模型；将LSTM网络模型的输出结果得到Concatenate，进而再基于Concatenate确定第一概率值；利用第一概率值为拒绝用户打标，基于拒绝用户的打标结果和授信用户训练第二神经网络模型，第二神经网络模型的输出结果用于评估用户的信用。
需要说明的是，第二神经网络模型的输出值，可以用于征信业务、或信贷业务、或贷中行为评分、贷后C卡开发等金融风控评估。
需要说明的是，本申请实施例提供的机器学习模型训练方法，可以用于拒绝用户的优劣判断；即对于拒绝客户，可以进一步利用本申请实施例提供的机器学习模型训练方法得到的及其学习模型判断用户的优劣。
为实现上述机器学习模型训练方法，本申请实施例还提供一种机器学习模型训练装置500，所述装置的一种组成结构示意图，如图7所示，包括：
第一训练单元501，用于以授信用户的第一训练集中样本的特征为粒度，训练与每个特征分别对应的LSTM网络模型；
获取单元502，用于以全部所述LSTM网络模型的输出作为第一神经网络模型的输入，获得用于表征所述授信用户的信用的第一概率值；
打标单元503，用于基于所述第一训练集和所述第一概率值，为全部授信拒绝用户的第二训练集中样本打标；
第二训练单元504，用于针对打标结果确定所述全部授信拒绝用户中的部分授信拒绝用户，基于所述部分授信拒绝用户和所述授信用户的样本数据构成的第三训练集，训练第二神经网络模型；所述第二神经网络模型用于评估用户的信用。
在一些可选实施例中，所述第一训练单元501，用于对所述第一训练集中每个特征的样本进行分类；
获取每个样本类别在对应的时间段内的样本数据；
以所述样本数据为输入，训练所述每个特征分别对应的LSTM网络模型。
在一些可选实施例中，所述打标单元503，用于按照所述第一概率值升序的顺序，对所述第二训练集中的样本等频划分为至少两个样本组；
确定每个样本组的非优质用户率；
基于所述每个样本组的非优质用户率，为所述第二训练集中样本打标。
在一些可选实施例中，所述打标单元503，用于标定所述非优质用户率小于或等于第一阈值的样本组内的用户为优质用户；
标定所述非优质用户率大于或等于第二阈值的样本组内的用户为非优质用户；
标定所述非优质用户率大于第一阈值、且小于第二阈值的样本组内的用户为中间层用户。
在一些可选实施例中，所述第二训练单元504，用于基于所述第二训练集中样本的打标结果，对所述第二训练集中样本进行分层聚类；
基于所述第二训练集中样本的非优质用户率，确定所述中间层用户的非优质用户率；
基于所述中间层用户的非优质用户率，对所述中间层用户中的部分中间层用户打标；
利用所述部分中间层用户、所述优质用户、所述非优质用户和所述授信用户的样本数据，构成第三训练集；
基于所述第三训练集训练所述第二神经网络模型。
本申请实施例还提供一种机器学习模型训练装置，包括：存储器，配置为存储可执行程序；处理器，配置为通过执行所述存储器中存储的可执行程序时，实现上述的机器学习模型训练方法，下面将结合图8A示例性说明。
图8A示例性示出了机器学习模型训练装置10的一个可选的软硬件结构示意图，机器学习模型训练装置10包括硬件层、中间层、操作系统层和软件层。然而，本领域的技术人员应当理解，图8A示出的机器学习模型训练装置10的结构仅为示例，并不构成对机器学习模型训练装置10结构的限定。例如，机器学习模型训练装置10可以根据实施需要设置较图8A更多的组件，或者根据实施需要省略设置部分组件。
机器学习模型训练装置10的硬件层包括处理器11、输入/输出接口13，存储器14以及通信接口12，组件可以经系统总线连接通信。
处理器11可以采用CPU、微处理器(MCU，Microcontroller Unit)、专用集成电路(ASIC，Application Specific Integrated Circuit)或逻辑可编程门阵列(FPGA，Field－Programmable Gate Array)实现。
输入/输出接口13可以采用如显示屏、触摸屏、扬声器等输入/输出器件实现。
存储器14可以采用闪存、硬盘、光盘等非易失性存储器实现，也可以采用双倍率(DDR，Double Data Rate)动态缓存等易失性存储器实现。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-OnlyMemory)。其中存储有用以执行上述机器学习模型训练方法的可执行指令。
本申请实施例中的存储器14用于存储各种类别的应用程序及操作系统以支持机器学习模型训练装置10的操作。
本申请实施例揭示的机器学习模型训练方法可以应用于处理器11中，或者由处理器11实现。处理器11可能是一种集成电路芯片，具有信号的处理性能。在实现过程中，上述方法的各步骤可以通过处理器11中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器11可以是通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
处理器11可以实现或者执行本申请实施例中的提供的方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。软件模块可以位于存储介质中，该存储介质位于存储器，处理器11读取存储器中的信息，结合其硬件完成前述方法的步骤。
示例性地，存储器14可以与机器学习模型训练装置10的其他组件集中设置，也可以相对于机器学习模型训练装置10中的其他组件分布设置。
通信接口12向处理器11提供外部数据如异地设置的存储器14的访问性能，示例性地，通信接口12可以进行有线方式(如光缆、电缆)的通信，用于接收用于训练机器学习模型的样本，当然，也可以基于近场通信(NFC，Near Field Communication)技术、蓝牙(Bluetooth)技术、紫蜂(ZigBee)技术进行的近距离通信方式接收样本，另外，还可以实现如码分多址(CDMA)、宽带码分多址(WCDMA)等通信制式及其演进制式的通信方式接收样本。
驱动层包括用于供操作系统16识别硬件层并与硬件层各组件通信的中间件15，例如可以为针对硬件层的各组件的驱动程序的集合。
操作系统16用于提供面向用户的图形界面，示例性地，包括插件图标、桌面背景和应用图标，操作系统16支持用户经由图形界面对设备的控制本申请实施例对上述设备的软件环境如操作系统类型、版本不做限定，例如可以是Linux操作系统、UNIX操作系统或其他操作系统。
应用层包括用户侧终端运行的应用，例如应用层中运行有模型训练应用17，用以实现本申请实施例提供的机器学习模型训练方法。
本申请实施例还提供一种电子设备，作为示例，参见图8B。在图8B中示出的电子设备30包括：处理器31、存储器32和通信接口33。电子设备30中的各个组件通过总线系统34耦合在一起。可理解，总线系统34用于实现这些组件之间的连接通信。总线系统34除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图8B中将各种总线都标为第一总线系统34。
图8B示出的组件仅仅是示例，不代表数量的多寡，可以在物理位置上分布式设置，通过总线系统34(如可以为电缆、光纤)连接而在逻辑上成为一个整体，此时，总线系统34可以经由通信接口33而实现分布设置的应用程序322(如数据库)之间的通信。
可以理解，存储器32可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是ROM、PROM。本申请实施例描述的存储器32旨在包括但不限于这些和任意其它适合类别的存储器。
本申请实施例中的存储器32用于存储各种类别的应用程序322及操作系统321以支持电子设备30的操作。
本申请实施例揭示的机器学习模型训练方法可以应用于处理器31中，或者由处理器31实现。处理器31可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器31中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器31可以是通用处理器、DSP，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
处理器31可以实现或者执行本申请实施例中的提供的方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。软件模块可以位于存储介质中，该存储介质位于存储器32，处理器31读取存储器32中的信息，结合其硬件完成前述方法的步骤。
当然，本申请实施例不局限于提供为方法和硬件，还可有多种实现方式，例如提供为存储介质(存储有用于执行本申请实施例提供的机器学习模型训练方法的程序)，该程序被处理器运行时，执行以下操作：
以授信用户的第一训练集中样本的特征为粒度，训练与每个特征分别对应的长短期记忆神经LSTM网络模型；
以全部所述LSTM网络模型的输出作为第一神经网络模型的输入，获得用于表征所述授信用户的信用的第一概率值；
基于所述第一训练集和所述第一概率值，为全部授信拒绝用户的第二训练集中样本打标；
针对打标结果确定所述全部授信拒绝用户中的部分授信拒绝用户，基于所述部分授信拒绝用户和所述授信用户的样本数据构成的第三训练集，训练第二神经网络模型；所述第二神经网络模型用于评估用户的信用。
在一些可选实施例中，该程序被处理器运行时，执行以下操作：
对所述第一训练集中每个特征的样本进行分类；
获取每个样本类别在对应的时间段内的样本数据；
以所述样本数据为输入，训练所述每个特征分别对应的LSTM网络模型。
在一些可选实施例中，该程序被处理器运行时，执行以下操作：
按照所述第一概率值升序的顺序，对所述第二训练集中的样本等频划分为至少两个样本组；
确定每个样本组的非优质用户率；
基于所述每个样本组的非优质用户率，为所述第二训练集中样本打标。
在一些可选实施例中，该程序被处理器运行时，执行以下操作：
标定所述非优质用户率小于或等于第一阈值的样本组内的用户为优质用户；
标定所述非优质用户率大于或等于第二阈值的样本组内的用户为非优质用户；
标定所述非优质用户率大于第一阈值、且小于第二阈值的样本组内的用户为中间层用户。
在一些可选实施例中，该程序被处理器运行时，执行以下操作：
基于所述第二训练集中样本的打标结果，对所述第二训练集中样本进行层次聚类；
基于所述第二训练集中样本的非优质用户率，确定所述中间层用户的非优质用户率；
基于所述中间层用户的非优质用户率，对所述中间层用户中的部分中间层用户打标；
利用所述部分中间层用户、所述优质用户、所述非优质用户和所述授信用户的样本数据，构成第三训练集；
基于所述第三训练集训练所述第二神经网络模型。
以下再对机器学习模型训练装置的不同的实施方式举例说明。
一、移动端应用程序及模块
图9A示出了本申请实施例可提供为使用C/C++、Java等编程语言设计的软件模块，嵌入到基于Android或iOS等系统的各种移动端APP中(例如微信等)(以可执行指令的存储在移动端的存储介质中，由移动端的处理器执行)的一个可选的示意图，使用移动端自身的计算资源完成相关的机器学习模型训练、预测等任务，并且定期或不定期地通过各种网络通信方式将机器学习模型训练、预测等结果传送给远程的服务器，或者在移动端本地保存。
二、服务器应用程序及平台
图9B示出了本申请实施例可提供使用C/C++、Java等编程语言设计的应用软件或大型软件系统中的专用软件模块，运行于服务器端(以可执行指令的方式在服务器端的存储介质中存储，并由服务器端的处理器运行)的一个可选的示意图，将接收到的来自其它设备的各种原始数据、各级中间数据和最终结果中的至少一种，与服务器上已有的某些数据或结果综合起来进行机器学习模型的训练、以及使用训练完成的机器学习模型进预测，然后实时或非实时地输出机器学习模型或预测结果给其他应用程序或模块使用，也可以写入服务器端数据库或文件进行存储。
本申请实施例还可以提供为在多台服务器构成的分布式、并行计算平台上，搭载定制的、易于交互的网络(Web)界面或其他各用户界面(UI，User Interface)，形成供个人、群体或企业使用的数据挖掘平台、信用评估平台(用于评估客户是否为优质客户)等。使用者可以将已有的数据包批量上传给此平台以获得各种计算结果，也可以将实时的数据流传输给此平台来实时计算和刷新各级结果。
三、服务器端应用程序接口(API，Application Program Interface)及插件
图9C示出了本申请实施例可提供为服务器端的实现基于人工智能的机器学习模型训练功能、基于机器学习模型进行预测的API、软件开发套件(SDK，SoftwareDevelopment Toolkit)或插件的一个可选的示意图，供其他的服务器端应用程序开发人员调用，并嵌入到各类应用程序中。
四、移动设备客户端API及插件
图9D示出了本申请实施例提供为移动设备端的实现基于机器学习模型训练功能、基于机器学习模型进行预测的API、SDK或插件的一个可选的示意图，供其他的移动端应用程序开发人员调用，并嵌入到各类应用程序中。
五、云端开放服务
图9E示出了本申请实施例可提供为基于机器学习模型进行信用评估的云服务的一个可选的示意图，包括信用评估云服务、本申请实施例还可提供为信用评估云服务的API、SDK及插件等，打包封装成可供企业内外人员开放使用的云服务，或者将各种结果以适当形式展示在各种终端显示设备上，供个人、群体或企事业单位查询。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序命令相关的硬件来完成，前述的程序可以存储于一存储介质中，所述存储介质包括：移动存储设备、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random AccessMemory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干命令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种机器学习模型训练方法，其特征在于，所述方法包括：
以授信用户的第一训练集中样本的特征为粒度，训练与每个特征分别对应的长短期记忆神经LSTM网络模型；
以全部所述LSTM网络模型的输出作为第一神经网络模型的输入，获得用于表征所述授信用户的信用的第一概率值；
基于所述第一训练集和所述第一概率值，为全部授信拒绝用户的第二训练集中样本打标；
针对打标结果确定所述全部授信拒绝用户中的部分授信拒绝用户，基于所述部分授信拒绝用户和所述授信用户的样本数据构成的第三训练集，训练第二神经网络模型；所述第二神经网络模型用于评估用户的信用。
2.根据权利要求1所述的方法，其特征在于，所述以授信用户的第一训练集中样本的特征为粒度，训练与每个特征分别对应的长短期记忆神经LSTM网络模型包括：
对所述第一训练集中每个特征的样本进行分类；
获取每个样本类别在对应的时间段内的样本数据；
以所述样本数据为输入，训练所述每个特征分别对应的LSTM网络模型。
3.根据权利要求1所述的方法，其特征在于，所述基于所述第一训练集和所述第一概率值，为全部授信拒绝用户的第二训练集中样本打标，包括：
按照所述第一概率值升序的顺序，对所述第二训练集中的样本等频划分为至少两个样本组；
确定每个样本组的非优质用户率；
基于所述每个样本组的非优质用户率，为所述第二训练集中样本打标。
4.根据权利要求3所述的方法，其特征在于，所述基于所述每个样本组的非优质用户率，为所述第二训练集中样本打标包括：
标定所述非优质用户率小于或等于第一阈值的样本组内的用户为优质用户；
标定所述非优质用户率大于或等于第二阈值的样本组内的用户为非优质用户；
标定所述非优质用户率大于第一阈值、且小于第二阈值的样本组内的用户为中间层用户。
5.根据权利要求4所述的方法，其特征在于，所述针对打标结果确定所述全部授信拒绝用户中的部分授信拒绝用户，基于所述部分授信拒绝用户和所述授信用户的样本数据构成的第三训练集，训练第二神经网络模型，包括：
基于所述第二训练集中样本的打标结果，对所述第二训练集中样本进行层次聚类；
基于所述第二训练集中样本的非优质用户率，确定所述中间层用户的非优质用户率；
基于所述中间层用户的非优质用户率，对所述中间层用户中的部分中间层用户打标；
利用所述部分中间层用户、所述优质用户、所述非优质用户和所述授信用户的样本数据，构成第三训练集；
基于所述第三训练集训练所述第二神经网络模型。
6.一种机器学习模型训练装置，其特征在于，所述装置包括：
第一训练单元，用于以授信用户的第一训练集中样本的特征为粒度，训练与每个特征分别对应的长短期记忆神经LSTM网络模型；
获取单元，用于以全部所述LSTM网络模型的输出作为第一神经网络模型的输入，获得用于表征所述授信用户的信用的第一概率值；
打标单元，用于基于所述第一训练集和所述第一概率值，为全部授信拒绝用户的第二训练集中样本打标；
第二训练单元，用于针对打标结果确定所述全部授信拒绝用户中的部分授信拒绝用户，基于所述部分授信拒绝用户和所述授信用户的样本数据构成的第三训练集，训练第二神经网络模型；所述第二神经网络模型用于评估用户的信用。
7.根据权利要求6所述的装置，其特征在于，所述第一训练单元，用于对所述第一训练集中每个特征的样本进行分类；
获取每个样本类别在对应的时间段内的样本数据；
以所述样本数据为输入，训练所述每个特征分别对应的LSTM网络模型。
8.根据权利要求6所述的装置，其特征在于，所述打标单元，用于按照所述第一概率值升序的顺序，对所述第二训练集中的样本等频划分为至少两个样本组；
确定每个样本组的非优质用户率；
基于所述每个样本组的非优质用户率，为所述第二训练集中样本打标。
9.根据权利要求8所述的装置，其特征在于，所述打标单元，用于标定所述非优质用户率小于或等于第一阈值的样本组内的用户为优质用户；
标定所述非优质用户率大于或等于第二阈值的样本组内的用户为非优质用户；
标定所述非优质用户率大于第一阈值、且小于第二阈值的样本组内的用户为中间层用户。
10.根据权利要求9所述的装置，其特征在于，所述第二训练单元，用于基于所述第二训练集中样本的打标结果，对所述第二训练集中样本进行分层聚类；
基于所述第二训练集中样本的非优质用户率，确定所述中间层用户的非优质用户率；
基于所述中间层用户的非优质用户率，对所述中间层用户中的部分中间层用户打标；
利用所述部分中间层用户、所述优质用户、所述非优质用户和所述授信用户的样本数据，构成第三训练集；
基于所述第三训练集训练所述第二神经网络模型。
11.一种电子设备，其特征在于，所述电子设备包括：
存储器，配置为存储可执行程序；
处理器，配置为通过执行所述存储器中存储的可执行程序时，实现权利要求1至5任一项所述的机器学习模型训练方法。
12.一种机器学习模型训练装置，其特征在于，所述装置包括：
存储器，配置为存储可执行程序；
处理器，配置为通过执行所述存储器中存储的可执行程序时，实现权利要求1至5任一项所述的机器学习模型训练方法。
13.一种存储介质，存储有可执行程序，所述可执行程序被处理器执行时，实现权利要求1至5任一项所述的机器学习模型训练方法。
CN202011285117.0A 2020-11-17 2020-11-17 一种机器学习模型训练方法及装置 Pending CN112308706A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011285117.0A CN112308706A (zh) 2020-11-17 2020-11-17 一种机器学习模型训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011285117.0A CN112308706A (zh) 2020-11-17 2020-11-17 一种机器学习模型训练方法及装置

Publications (1)

Publication Number Publication Date
CN112308706A true CN112308706A (zh) 2021-02-02

Family

ID=74335919

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011285117.0A Pending CN112308706A (zh) 2020-11-17 2020-11-17 一种机器学习模型训练方法及装置

Country Status (1)

Country Link
CN (1) CN112308706A (zh)

Similar Documents

Publication Publication Date Title
EP3985578A1 (en) Method and system for automatically training machine learning model
CN106548210B (zh) 基于机器学习模型训练的信贷用户分类方法及装置
Ala’raj et al. Modelling customers credit card behaviour using bidirectional LSTM neural networks
US20200134716A1 (en) Systems and methods for determining credit worthiness of a borrower
Baesens et al. 50 years of data mining and OR: upcoming trends and challenges
CN108475393A (zh) 通过合成特征和梯度提升决策树进行预测的系统和方法
US20210303970A1 (en) Processing data using multiple neural networks
CN110599336B (zh) 一种金融产品购买预测方法及系统
CN105718490A (zh) 一种用于更新分类模型的方法及装置
CN110288459A (zh) 贷款预测方法、装置、设备及存储介质
KR102330423B1 (ko) 이미지 인식 딥러닝 알고리즘을 이용한 온라인 부도 예측 시스템
CN111797320B (zh) 数据处理方法、装置、设备及存储介质
Yuping et al. New methods of customer segmentation and individual credit evaluation based on machine learning
US20220207420A1 (en) Utilizing machine learning models to characterize a relationship between a user and an entity
CN116911994B (zh) 对外贸易风险预警系统
CN116821759A (zh) 类别标签的识别预测方法、装置和处理器及电子设备
CN117196630A (zh) 交易风险预测方法、装置、终端设备以及存储介质
CN111310931A (zh) 参数生成方法、装置、计算机设备及存储介质
CN116151857A (zh) 一种营销模型的构建方法及装置
CN115439180A (zh) 一种目标对象确定方法、装置、电子设备及存储介质
CN115860889A (zh) 一种基于人工智能的金融贷款大数据管理方法及系统
CN112308706A (zh) 一种机器学习模型训练方法及装置
Lee et al. Application of machine learning in credit risk scorecard
Chong et al. Customer churn prediction of telecom company using machine learning algorithms
CN112150276A (zh) 一种机器学习模型的训练方法、使用方法、装置和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210803

Address after: 518052 2501, office building T2, Qianhai China Resources Financial Center, 55 guiwan 4th Road, Nanshan street, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen City, Guangdong Province

Applicant after: Shenzhen Huantai Digital Technology Co.,Ltd.

Address before: 518057 Fuan Science and Technology Building, Block B, No. 13, Yuehai Street, Nanshan District, Shenzhen City, Guangdong Province, 207-2

Applicant before: Shenzhen Huantai Technology Co.,Ltd.

Applicant before: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230612

Address after: 1301, Office Building T2, Qianhai China Resources Financial Center, No. 55 Guiwan Fourth Road, Nanshan Street, Qianhai Shenzhen-Hong Kong Cooperation Zone, Shenzhen, Guangdong Province, 518052

Applicant after: Shenzhen Hefei Technology Co.,Ltd.

Address before: 518052 2501, office building T2, Qianhai China Resources Financial Center, 55 guiwan 4th Road, Nanshan street, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen City, Guangdong Province

Applicant before: Shenzhen Huantai Digital Technology Co.,Ltd.

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20210202

RJ01 Rejection of invention patent application after publication