CN116578877A - 一种模型训练及二次优化打标的风险识别的方法及装置 - Google Patents
一种模型训练及二次优化打标的风险识别的方法及装置 Download PDFInfo
- Publication number
- CN116578877A CN116578877A CN202310867387.XA CN202310867387A CN116578877A CN 116578877 A CN116578877 A CN 116578877A CN 202310867387 A CN202310867387 A CN 202310867387A CN 116578877 A CN116578877 A CN 116578877A
- Authority
- CN
- China
- Prior art keywords
- data
- risk
- identified
- training
- updated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 188
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000005457 optimization Methods 0.000 title abstract description 20
- 238000012545 processing Methods 0.000 claims description 34
- 238000003860 storage Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 description 30
- 238000010586 diagram Methods 0.000 description 15
- 239000004973 liquid crystal related substance Substances 0.000 description 12
- 230000004913 activation Effects 0.000 description 8
- 230000006872 improvement Effects 0.000 description 8
- 239000013598 vector Substances 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0635—Risk analysis of enterprise or organisation activities
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Data Mining & Analysis (AREA)
- Economics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Game Theory and Decision Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Development Economics (AREA)
- Evolutionary Computation (AREA)
- Educational Administration (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本说明书公开了一种模型训练及二次优化打标的风险识别的方法及装置,通过根据风险识别模型所确定出的低于预设风险阈值的数据,来对辅助模型进行训练。并将风险识别模型与训练所得到的辅助模型相结合,来判断用户所执行的目标业务对应的业务数据是否存在风险。从而保证对于该目标业务是否存在风险的判断的准确性。
Description
技术领域
本说明书涉及计算机技术领域,尤其涉及一种模型训练及二次优化打标的风险识别的方法及装置。
背景技术
随着科技的发展,涌现了越来越多的可以实际应用于帮助改善人们生产生活的人工智能模型,促进了现代社会的发展和人类社会的进步。
风险识别模型即是在实际应用中常使用的模型之一,其主要的功能是:可以根据输入的用户提供的包含有事故案件发生的时间地点等信息的数据,来识别该事故案件为风险案件的风险值。若风险值高于预设阈值,则认为该事故案件是风险案件,否则认为该事故案件不是风险案件。
然而事实上,有时风险识别模型会对于真实存在风险的事故案件给出一个低于预设阈值的风险值,从而错误的将潜在的风险案件判定为非风险案件。
因此,如何准确高效的识别出潜在的风险案件,则是个亟待解决的问题。
发明内容
本说明书提供一种模型训练及二次优化打标的风险识别的方法及装置,以部分的解决现有技术存在的上述问题。
本说明书采用下述技术方案:
本说明书提供了一种模型训练的方法,包括:
获取各样本数据,其中,针对每个样本数据,该样本数据记录有该样本数据对应的事故案件的信息;
将所述各样本数据输入到线上风险识别所使用的风险识别模型中,确定出每个样本数据的风险值,并将风险值高于预设的风险阈值的样本数据确定为训练数据,将风险值低于所述风险阈值的样本数据确定为待识别数据;
根据由所述训练数据构建出的训练集,对待训练的辅助模型进行训练,得到更新后辅助模型;
将各待识别数据输入到所述更新后辅助模型中,以针对每个所述待识别数据,确定该待识别数据是风险数据的概率,作为第一概率,以及确定该待识别数据不是风险数据的概率,作为第二概率;
将第一概率高于确定出的第一阈值的待识别数据和/或第二概率高于所述第一阈值的待识别数据添加到所述训练集中,以根据更新后的所述训练集,对所述更新后辅助模型进行训练,训练后的辅助模型用于对所述风险识别模型识别出的低于所述风险阈值的数据做进一步风险识别。
可选地,将各待识别数据输入到所述更新后辅助模型中,以针对每个所述待识别数据,确定该待识别数据是风险数据的概率,作为第一概率,以及确定该待识别数据不是风险数据的概率,作为第二概率,具体包括:
针对每个待识别数据,确定出该待识别数据中的各有效数据,并按照每个有效数据的数据类型所对应的数据处理方式,分别对每个有效数据进行处理,以得到该待识别数据的特征;
将每个待识别数据的特征输入到所述更新后辅助模型中,以针对每个所述待识别数据,确定该待识别数据是风险数据的概率,作为第一概率,以及确定该待识别数据不是风险数据的概率,作为第二概率。
可选地,训练所述更新后辅助模型,具体包括:
确定当前轮次所述更新后辅助模型的初始学习率;
根据预设的衰减系数,对所述初始学习率进行更新,得到更新后学习率;
通过预设的优化器,根据所述更新后学习率、预设的衰减系数以及更新后辅助模型所确定的关于所述更新后训练集的梯度,来对所述更新后辅助模型中的参数进行更新,以训练所述更新后辅助模型。
可选地,确定第一阈值,具体包括:
根据所述更新后辅助模型当前的训练轮次以及预设的所述辅助模型训练的总轮次,确定第一阈值,其中,所述第一阈值随着所述当前的训练轮次的增大而增大。
本说明书提供了一种二次优化打标的风险识别的方法,包括:
接收用户执行目标业务发送的业务处理请求;
响应于所述业务处理请求,获取所述目标业务所对应的业务数据;
将所述业务数据输入到线上风险识别所使用的风险识别模型中,确定出所述目标业务对应的风险值;
若根据所述风险值,确定出用户所执行的目标业务不存在风险,则将所述业务数据输入到辅助模型中,以通过所述辅助模型来对所述目标业务进行风险识别,所述辅助模型是按照上述模型训练的方法进行训练得到的。
本说明书提供了一种模型训练的装置,包括:
获取模块,用于获取各样本数据,其中,针对每个样本数据,该样本数据记录有该样本数据对应的事故案件的信息;
第一确定模块,用于将所述各样本数据输入到线上风险识别所使用的风险识别模型中,确定出每个样本数据的风险值,并将风险值高于预设的风险阈值的样本数据确定为训练数据,将风险值低于所述风险阈值的样本数据确定为待识别数据;
第一训练模块,用于根据由所述训练数据构建出的训练集,对待训练的辅助模型进行训练,得到更新后辅助模型;
第二确定模块,用于将各待识别数据输入到所述更新后辅助模型中,以针对每个所述待识别数据,确定该待识别数据是风险数据的概率,作为第一概率,以及确定该待识别数据不是风险数据的概率,作为第二概率;
第二训练模块,用于将第一概率高于确定出的第一阈值的待识别数据和/或第二概率高于所述第一阈值的待识别数据添加到所述训练集中,以根据更新后的所述训练集,对所述更新后辅助模型进行训练,训练后的辅助模型用于对所述风险识别模型识别出的低于所述风险阈值的数据做进一步风险识别。
可选的,所述第二确定模块具体用于,针对每个待识别数据,确定出该待识别数据中的各有效数据,并按照每个有效数据的数据类型所对应的数据处理方式,分别对每个有效数据进行处理,以得到该待识别数据的特征;将每个待识别数据的特征输入到所述更新后辅助模型中,以针对每个所述待识别数据,确定该待识别数据是风险数据的概率,作为第一概率,以及确定该待识别数据不是风险数据的概率,作为第二概率。
可选的,所述第二训练模块具体用于,确定当前轮次所述更新后辅助模型的初始学习率;根据预设的衰减系数,对所述初始学习率进行更新,得到更新后学习率;通过预设的优化器,根据所述更新后学习率、预设的衰减系数以及更新后辅助模型所确定的关于所述更新后训练集的梯度,来对所述更新后辅助模型中的参数进行更新,以训练所述更新后辅助模型。
可选的,所述第二训练模块具体用于,根据所述更新后辅助模型当前的训练轮次以及预设的所述辅助模型训练的总轮次,确定第一阈值,其中,所述第一阈值随着所述当前的训练轮次的增大而增大。
本说明书提供了一种二次优化打标的风险识别的装置,包括:
接收模块,用于接收用户执行目标业务发送的业务处理请求;
响应模块,用于响应于所述业务处理请求,获取所述目标业务所对应的业务数据;
第一识别模块,用于将所述业务数据输入到线上风险识别所使用的风险识别模型中,确定出所述目标业务对应的风险值;
第二识别模块,用于若根据所述风险值,确定出用户所执行的目标业务不存在风险,则将所述业务数据输入到辅助模型中,以通过所述辅助模型来对所述目标业务进行风险识别,所述辅助模型是按照上述模型训练的方法进行训练得到的。
本说明书提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述模型训练的方法或者二次优化打标的风险识别的方法。
本说明书提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述模型训练的方法或者二次优化打标的风险识别的方法。
本说明书采用的上述至少一个技术方案能够达到以下有益效果:
本说明书提供的模型训练及二次优化打标的风险识别的方法,获取各样本数据,将各样本数据输入到线上风险识别所使用的风险识别模型中,确定出每个样本数据的风险值,并将风险值高于预设的风险阈值的样本数据确定为训练数据,将风险值低于该风险阈值的样本数据确定为待识别数据,根据由该训练数据构建出的训练集,对待训练的辅助模型进行训练,得到更新后辅助模型,将各待识别数据输入到该更新后辅助模型中,以针对每个该待识别数据,确定该待识别数据是风险数据的概率,作为第一概率,以及确定该待识别数据不是风险数据的概率,作为第二概率,将第一概率高于确定出的第一阈值的待识别数据和/或第二概率高于该第一阈值的待识别数据添加到该训练集中,以根据该更新后训练集,对该更新后辅助模型进行训练,训练后的辅助模型用于对该风险识别模型识别出的低于该风险阈值的数据做进一步风险识别。
从上述方法中可以看出,在模型训练时,可以根据风险识别模型所确定出的低于预设风险阈值的数据,来对辅助模型进行训练。并将风险识别模型与训练所得到的辅助模型相结合,来判断用户所执行的目标业务对应的业务数据是否存在风险。从而保证对于该目标业务是否存在风险的判断的准确性。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解,构成本说明书的一部分,本说明书的示意性实施例及其说明用于解释本说明书,并不构成对本说明书的不当限定。在附图中:
图1为本说明书中提供的一种模型训练的方法的流程示意图;
图2为本说明书提供的RELU激活函数的示意图;
图3为本说明书提供的函数的示意图;
图4为本说明书中提供的一种二次优化打标的风险识别的方法的流程示意图;
图5为本说明书提供的一种模型训练的装置结构的示意图;
图6为本说明书提供的一种二次优化打标的风险识别的装置结构的示意图;
图7为本说明书提供的对应于图1或图4的电子设备的结构示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚,下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本说明书保护的范围。
以下结合附图,详细说明本说明书各实施例提供的技术方案。
图1为本说明书中提供的一种模型训练的方法的流程示意图,包括以下步骤:
S101:获取各样本数据。
S102:将所述各样本数据输入到线上风险识别所使用的风险识别模型中,确定出每个样本数据的风险值,并将风险值高于预设的风险阈值的样本数据确定为训练数据,将风险值低于所述风险阈值的样本数据确定为待识别数据。
本说明书中涉及的模型训练的方法的执行主体可以是诸如台式电脑、笔记本电脑等终端设备,也可以是服务器,下面仅以终端设备是执行主体为例,对本说明书实施例中的模型训练的方法进行说明。
如今,线上风险识别所使用的风险识别模型可以根据用户执行目标业务所对应的业务数据,识别出用户所执行的目标业务是否存在风险,具体可以是,风险识别模型首先确定出该目标业务对应的风险值,之后根据该风险值,确定该目标业务是否存在风险,然而目前的风险识别模型有时会对于真实存在风险的目标业务给出一个低于预设阈值的风险值,此时则会错误的将存在风险的目标业务错误的识别为不存在风险的目标业务,这会降低风险业务判断的准确率。
在本说明书中,终端设备可以首先获取各样本数据,每一个样本数据都记录该样本数据对应的事故案件的信息,这里的样本数据中可以包括记录有事故发生现场状况、事故发生的地点、用户的联系方式等信息。
风险识别模型可以针对输入到该风险识别模型中的每个样本数据,确定出该样本数据的风险值,这里的风险值用于表述风险识别模型所识别出的该样本数据是风险数据的可能性的大小(风险值越大,则说明风险识别模型所识别出的该样本数据是风险数据的可能性越高;反之,则说明风险识别模型所识别出的该样本数据是风险数据的可能性越低)。之后,风险识别模型可以将该风险值与预设的风险阈值的大小进行比较,根据比较结果对该样本数据是否为风险数据做出评判。
例如,若对于某一个样本数据,风险识别模型识别出该样本数据的风险值为0.4,而预设的风险阈值是0.5,那么显然0.4<0.5,则可以说明风险识别模型认为该样本数据不是风险数据;而对于另一个样本数据,风险识别模型识别出该样本数据的风险值为0.9,而预设的风险阈值是0.5,那么显然0.9>0.5,则可以说明风险识别模型认为该样本数据是风险数据。
之后,可以将风险值高于预设的风险阈值的样本数据确定为训练数据,将风险值低于该风险阈值的样本数据确定为待识别数据。需要注意的是,为了保证训练数据中的每条数据均是实际中存在风险的数据,还可以在确定出风险值高于预设的风险阈值的样本数据之后,对于风险值高于预设的风险阈值的样本数据对应的事故案件进行人工审核,以确定出上述风险值高于预设的风险阈值的样本数据是否在实际中真实存在风险,并将完成上述人工审核之后确定出的真实存在风险的上述风险值高于预设的风险阈值的样本数据确定为训练数据。
S103:根据由所述训练数据构建出的训练集,对待训练的辅助模型进行训练,得到更新后辅助模型。
S104:将各待识别数据输入到所述更新后辅助模型中,以针对每个所述待识别数据,确定该待识别数据是风险数据的概率,作为第一概率,以及确定该待识别数据不是风险数据的概率,作为第二概率。
S105:将第一概率高于确定出的第一阈值的待识别数据和/或第二概率高于所述第一阈值的待识别数据添加到所述训练集中,以根据更新后的所述训练集,对所述更新后辅助模型进行训练,训练后的辅助模型用于对所述风险识别模型识别出的低于所述风险阈值的数据做进一步风险识别。
需要注意的是,由于上述内容中提到的风险识别模型有时会对于一些真实的风险样本数据给出一个低于预设阈值的风险值,导致该风险识别模型错误的将真实的风险样本数据确定为无风险样本数据,这些被错误判断的样本数据则是潜在的风险数据,那么此时则需要通过辅助模型来进一步对于这些风险识别模型认为不是风险数据的数据进一步的进行风险识别。
为了提高辅助模型的识别能力,可以对该辅助模型进行训练,以使得最终训练所得到辅助模型能够更精确的辅助风险识别模型来对输入到该风险识别模型中的数据进行风险识别。
由于训练数据是风险值高于预设的风险阈值的样本数据,即风险识别模型已经确认了该训练数据是风险数据,那么此时可以根据由训练数据构建出的训练集,对待训练的辅助模型进行有监督训练,得到更新后辅助模型,使得更新后辅助模型可以更加精准的识别出风险数据。
而由于待识别数据是通过风险识别模型所确定出的无风险数据,但是事实上该待识别数据中有可能会存在有真实的风险数据,那么此时则可以将训练集与待识别数据相结合,来对该更新后辅助模型进行半监督训练,使得最终训练完成的辅助模型可以在具有精确识别出风险数据的基础上,相对于风险识别模型有更好的识别出潜在的风险数据的能力。
因此,在确定出更新后辅助模型之后,可以首先将各待识别数据输入到该更新后辅助模型中,以通过该新后辅助模型针对每个待识别数据,确定该待识别数据是风险数据的概率,作为第一概率,以及确定该待识别数据不是风险数据的概率,作为第二概率。
具体的,可以首先针对每个待识别数据,确定出该待识别数据中的各有效数据,并按照每个有效数据的数据类型所对应的数据处理方式,分别对每个有效数据进行数据处理,以得到该待识别数据的特征。
这里的有效数据指的是例如事故现场状况信息、事故发生地点的省份、用户投保地点的省份或者事故发生地点的纬度之类的有助于判断该待识别数据是否为风险数据的数据。而相应的无效数据则是指类似用户电话号、案件编号等的对于判断该待识别数据是否为风险数据没有意义的数据。
而这里的每个有效数据的数据类型所对应的数据处理方式可以参照下表的对应关系来确定:
通过表1可以看出,针对例如描述事故现场状况信息的文字信息之类的文本语义特征类型的有效数据,所采用的是数据处理方式是通过Bert预训练模型将该有效数据转为数值型特征;针对例如事故发生地点的省份之类的枚举特征类型的有效数据,所采用的是数据处理方式是将该有效数据转为OneHot向量或者MultiHot向量(OneHot向量、MultiHot向量为机器学习中的专有术语),再利用预设的向量矩阵将OneHot向量或者MultiHot向量转为稠密数值特征;而针对类似事故发生地点的纬度之类的可能会含有较多连续的数字的连续性数值型特征,可以首先按照预设的数值区间将确定出该有效数据中的连续的数字划分为几组数字,并确定出各组数字所位于的数值区间,由于不同的数值区间是可以枚举出来的,所以此时这时的连续性数值型特征对应的有效数据可以作为枚举特征类型的有效数据,并按照枚举特征对应的有效数据的数据处理方式来处理该有效数据。
例如,某个待识别数据的中既包含有事故现场状况信息,又包含有事故发生地点的纬度,那么此时,对于事故现场状况信息则可以通过文本语义特征对应的数据处理方式得到一个特征,而对于事故发生地点的纬度则可以通过连续性数值型特征对应的数据处理方式得到另一个特征。这两个特征共同构成了该待识别数据的特征。
在确定出各待识别数据的特征之后,将每个待识别数据的特征输入到该更新后辅助模型中,以针对每个待识别数据,确定该待识别数据是风险数据的概率,作为第一概率,以及确定该待识别数据不是风险数据的概率,作为第二概率。
并且,还可以确定出第一阈值,这里的第一阈值可以用于筛选出这些待识别数据中,更新后辅助模型识别效果较好的一部分,后续,可以将更新后辅助模型对这些识别效果较好的一部分待识别数据以及添加到上述训练集中来对该训练集进行更新,以使得可以根据更新后训练集中的数据来对更新后辅助模型进行训练。
这里的第一阈值的确定方法可以如下:根据该更新后辅助模型当前的训练轮次以及预设的该辅助模型训练的总轮次,确定出第一阈值,其中,该第一阈值随着当前的训练轮次的增大而增大,具体可以由下式确定第一阈值:
第一阈值=
其中,表示当前的训练轮次,/>表示预设的该辅助模型训练的总轮次。
在确定出第一阈值之后,可以将第一概率高于确定出的第一阈值的待识别数据和/或第二概率高于该第一阈值的待识别数据添加到该训练集中(即将上述提到的更新后辅助模型识别效果较好的一部分待识别数据添加到该训练集中),并将该训练集中的第一概率高于确定出的第一阈值的待识别数据作为风险数据,该训练集中的第二概率高于该第一阈值的待识别数据作为无风险数据,以根据更新后训练集,对该更新后辅助模型进行训练。
具体的,在根据更新后训练集,对该更新后辅助模型进行训练时,可以是通过更新后辅助模型,对该更新后训练集中的所有数据进行识别,以确定出更新后训练集中的每个数据是风险数据的概率,作为第一概率,以及确定出更新后训练集中的每个数据不是风险数据的概率,作为第二概率。并针对更新后训练集中的每个数据,根据该数据的第一概率以及第二概率,确定出辅助模型的识别结果(具体可以是将更新后训练集中的第一概率高于确定出的第一阈值的待识别数据作为辅助模型识别出的风险数据,更新后训练集中的第二概率高于该第一阈值的待识别数据作为辅助模型识别出的无风险数据),其中,第一概率可以用来表示,第二概率可以用/>来表示。
而在具体的该更新后辅助模型的识别过程中,所使用的激活函数可以是RELU激活函数。
图2为本说明书提供的RELU激活函数的示意图。
如图2所示,对于每个隐层的输出,会将该隐层的输出作为该激活函数的输入,之后再根据该激活函数的输出,来确定出下一个隐层的输入。可以看出,对于每个隐层的输出,当该隐层的输出>0,图2中的激活函数的输出则为该隐层的输出,而当该隐层的输出<0,图2中的激活函数的输出则为0。
另外,这里所确定出的和/>可以通过/>函数对该更新后辅助模型的原始输出的数据进行处理得到。
这里的原始输出数据用于表示:该更新后辅助模型将输入到该更新后辅助模型中的数据分为的各个类别时,所确定出的各个类别所对应的可能性。
例如,当更新后辅助模型将输入到该更新后辅助模型中的数据分为两类,一类是风险数据,另一类不是风险数据时,原始输出数据可以包含有两项:一项用于表述更新后辅助模型所识别出的输入到该更新后辅助模型中的数据是风险数据的可能性,另一项用于表述更新后辅助模型所识别出的输入到该更新后辅助模型中的数据不是风险数据的可能性。
函数可以通过下列公式确定:
其中,表示该更新后辅助模型所识别出的输入到该更新后辅助模型中的数据可以分为几类(在本说明书中,更新后辅助模型可以将输入到该更新后辅助模型中的数据分为两类,一类是风险数据,一类不是风险数据,即/>为2),而/>表示该更新后辅助模型原始输出的该输入到该更新后辅助模型中的数据是/>类中的第i类的可能性,i可以取1、……、。
图3为本说明书提供的函数的示意图。
如图3所示,更新后辅助模型可以将输入到该更新后辅助模型中的数据分为2类。而若上述更新后辅助模型原始输出的该输入到该更新后辅助模型中的数据中:=2(数据是风险数据的可能性对应的数据为2),/>=3(数据不是风险数据的可能性对应的数据为3)。那么/>=0.4,/>=0.6,即第一概率是0.4,而第二概率是0.6。
之后,可以最小化预设的损失函数的值为优化目标来对该更新后辅助模型中的参数进行调节以实现对该辅助模型的训练。这里的预设的损失函数用于表示当前训练轮次时,辅助模型所识别出的更新后训练集中的每个数据是否为风险数据的结果,与更新后训练集中所携带的每个数据是否为风险数据的信息之间的偏差。
预设的损失函数L可以用下式表示:
其中,表示更新后训练集中一共有/>个数据,/>表示更新后辅助模型所识别出的更新后训练集中第i个数据是风险数据的概率,/>则表示更新后辅助模型所识别出的更新后训练集中第i个数据不是风险数据的概率。/>可以取得0或者1,当更新后训练集中所携带表示第i个数据是风险数据时,/>为1,/>为0,而当更新后训练集中所携带表示第i个数据不是风险数据时,/>为0,/>为1。
而上述提到的对该更新后辅助模型中的参数进行调节的方法具体可以是:
首先确定当前轮次该更新后辅助模型的初始学习率,根据预设的衰减系数,对该初始学习率进行更新,具体可以根据下列公式来更新初始学习率。
其中,表示更新后辅助模型的初始学习率,/>表示更新后学习率,/>和/>为预设的衰减系数。
之后,可以通过预设的优化器,根据更新后学习率、预设的衰减系数以及更新后辅助模型所确定的关于该更新后训练集的梯度,来对该更新后辅助模型中的参数进行更新,以训练该更新后辅助模型。
具体来说,可以根据更新后辅助模型所确定的关于该更新后训练集的梯度,确定出该梯度的一阶矩阵和二阶矩阵/>,这里的/>和/>的确定方法可以如下述公式所示:
其中,表示更新后辅助模型所确定的关于该更新后训练集的梯度,/>和/>为预设的衰减系数,/>表示该梯度的一阶矩阵,/>表示该梯度的二阶矩阵。
之后,可以根据该一阶矩阵、二阶矩阵/>以及更新后学习率,来对更新后辅助模型中的参数进行更新,具体可以参照下述公式:
其中,表示更新后辅助模型中需要更新的参数,/>表示更新后辅助模型中更新后的参数,/>表示更新后学习率,/>为预设常数,以避免分母为零,/>可以预设为/>。
而在通过多个模型训练轮次,来对该更新后辅助模型进行训练时,所用到的终止条件可以是:若当前模型训练轮次最终所得到的预设的损失函数的取值与上一模型训练轮次最终所得到的预设的损失函数/>的取值之间的误差小于预设值,则可以终止对该更新后辅助模型的训练。
下面将以示例性的形式将上述提及的辅助模型的模型训练过程串联起来:
获取各样本数据,这里的样本数据中包含15000个数据,之后将各样本数据输入到线上风险识别所使用的风险识别模型中,确定出每个样本数据的风险值,并将风险值高于预设的风险阈值0.5的10000个样本数据确定为训练数据,将风险值低于该风险阈值0.5的5000样本数据确定为待识别数据。
之后,可以根据这10000个训练数据构建出的训练集,对待训练的辅助模型进行训练,得到更新后辅助模型。
后续,可以确定出这5000个待识别数据分别所对应的特征,并且将这5000个待识别数据分别所对应的特征输入到更新后辅助模型中,以针对每个待识别数据,确定该待识别数据是风险数据的概率,作为第一概率,以及确定该待识别数据不是风险数据的概率,作为第二概率。
将第一概率高于确定出的第一阈值0.86的2个待识别数据和第二概率高于该第一阈值0.86的3000个待识别数据添加到该训练集中,以根据更新后训练集(更新后训练集中有13002(=10000+2+3000)个数据),以最小化预设的损失函数L的值为优化目标对该更新后辅助模型进行第一轮次的模型训练。
之后,可以通过第一轮次训练所得的辅助模型,来对全部5000个待识别数据进行识别,以针对该更新后训练集中的每个数据,确定该数据是风险数据的概率,作为第一概率,以及确定该数据不是风险数据的概率,作为第二概率。
将第一概率高于确定出的第一阈值0.88的4个待识别数据和/或第二概率高于该第一阈值0.88的3100个待识别数据添加到该更新后训练集中,以对该更新后训练集进行更新,并更新所得的训练集还命名为更新后训练集。之后可以根据更新后训练集(此时,更新后训练集中有13104(10000 + 4 + 3100)个数据),以最小化预设的损失函数L的值为优化目标对第一轮次训练所得的辅助模型再次进行模型训练,并通过训练所得模型对全部5000个待识别数据的再次识别,进而不断更新训练后数据集,以此类推,直到发现第H训练轮次所得到的损失函数L的值与第H-1训练轮次所得到的损失函数L的值之间的偏差小于预设值0.4,才终止对于该辅助模型的模型训练,认为该辅助模型已经训练完成。
即辅助模型完成每轮次的模型训练后,都需要通过更新后的辅助模型对原始的全部待识别数据重新进行识别,并且每次更新训练集时,更新后训练集中的内容应包含原始的通过上述风险识别模型识别出的风险值高于预设的风险阈值的训练数据以及每轮次的辅助模型重新识别出的第一概率高于确定出的第一阈值的待识别数据和/或第二概率高于该第一阈值的待识别数据。
上述内容介绍了辅助模型训练的方法,下面将介绍在训练好该辅助模型之后,具体如何应用该辅助模型进行风险识别。
图4为本说明书中提供的一种二次优化打标的风险识别的方法的流程示意图,包括以下步骤:
S401:接收用户执行目标业务发送的业务处理请求;
S402:响应于所述业务处理请求,获取所述目标业务所对应的业务数据;
S403:将所述业务数据输入到线上风险识别所使用的风险识别模型中,确定出所述目标业务对应的风险值;
S404:若根据所述风险值,确定出用户所执行的目标业务不存在风险,则将所述业务数据输入到辅助模型中,以通过所述辅助模型来对所述目标业务进行风险识别,所述辅助模型是按照上述模型训练的方法进行训练得到的。
上述提到的用户所执行的目标业务可以指的是车险理赔业务,也可以是交易理赔业务,当然还可以是其他业务,在本说明书中不做具体限制。
当目标业务是车险理赔业务时,对应的业务数据中可以包括该事故发生的现场环境的描述、该事故发生的时间、该事故发生的地点的经纬度等信息。而当目标业务是交易理赔时,对应的业务数据中则可以包括该需要进行理赔的交易所对应的交易数据、交易双方的信用度之类的可以用于识别交易双方账号安全性的数据等信息。
例如,当接收到用户执行目标业务发送的业务处理请求表示目标业务是车险理赔业务,则可以响应于该业务处理请求,获取用户所输入的车险理赔业务相关的业务数据,之后,可以将该业务数据输入到线上风险识别所使用的风险识别模型中,确定出该目标业务对应的风险值为0.48,而预设的风险阈值为0.5,
显然0.48<0.5,那么根据该风险值,可以确定出用该户所执行的目标业务不存在风险,之后,则可以将该业务数据输入到辅助模型中,以通过该辅助模型来对该目标业务进行风险识别,并且该辅助模型识别出了该业务数据是风险数据的概率是0.8,并且也识别出了该业务数据不是风险数据的概率是0.2,显然0.8>0.2,即辅助模型认为该业务数据是风险数据,该目标业务存在风险。
需要注意的是,上述内容中提到的二次优化打标,指的是先使用上述风险识别模型识别某条业务数据是否存在风险,之后,为了保证最后对该条数据风险识别的准确性,再使用上述训练完成后的辅助模型进一步的来识别该条业务数据是否存在风险。
从上述方法中可以看出,在模型训练时,可以根据风险识别模型所确定出的低于预设风险阈值的数据,来对辅助模型进行训练。并将风险识别模型与训练所得到的辅助模型相结合,来判断用户所执行的目标业务对应的业务数据是否存在风险。从而保证对于该目标业务是否存在风险的判断的准确性。
以上为本说明书的一个或多个实施的方法,基于同样的思路,本说明书还提供了相应的模型训练的装置,如图5所示。
图5为本说明书提供的一种模型训练的装置结构的示意图,包括:
获取模块501,用于获取各样本数据,其中,针对每个样本数据,该样本数据记录有该样本数据对应的事故案件的信息;
第一确定模块502,用于将所述各样本数据输入到线上风险识别所使用的风险识别模型中,确定出每个样本数据的风险值,并将风险值高于预设的风险阈值的样本数据确定为训练数据,将风险值低于所述风险阈值的样本数据确定为待识别数据;
第一训练模块503,用于根据由所述训练数据构建出的训练集,对待训练的辅助模型进行训练,得到更新后辅助模型;
第二确定模块504,用于将各待识别数据输入到所述更新后辅助模型中,以针对每个所述待识别数据,确定该待识别数据是风险数据的概率,作为第一概率,以及确定该待识别数据不是风险数据的概率,作为第二概率;
第二训练模块505,用于将第一概率高于确定出的第一阈值的待识别数据和/或第二概率高于所述第一阈值的待识别数据添加到所述训练集中,以根据更新后的所述训练集,对所述更新后辅助模型进行训练,训练后的辅助模型用于对所述风险识别模型识别出的低于所述风险阈值的数据做进一步风险识别。
可选地,所述第二确定模块504具体用于,针对每个待识别数据,确定出该待识别数据中的各有效数据,并按照每个有效数据的数据类型所对应的数据处理方式,分别对每个有效数据进行处理,以得到该待识别数据的特征;将每个待识别数据的特征输入到所述更新后辅助模型中,以针对每个所述待识别数据,确定该待识别数据是风险数据的概率,作为第一概率,以及确定该待识别数据不是风险数据的概率,作为第二概率。
可选地,所述第二训练模块505具体用于,确定当前轮次所述更新后辅助模型的初始学习率;根据预设的衰减系数,对所述初始学习率进行更新,得到更新后学习率;通过预设的优化器,根据所述更新后学习率、预设的衰减系数以及更新后辅助模型所确定的关于所述更新后训练集的梯度,来对所述更新后辅助模型中的参数进行更新,以训练所述更新后辅助模型。
可选地,所述第二训练模块505具体用于,根据所述更新后辅助模型当前的训练轮次以及预设的所述辅助模型训练的总轮次,确定第一阈值,其中,所述第一阈值随着所述当前的训练轮次的增大而增大。
图6为本说明书提供的一种二次优化打标的风险识别的装置结构的示意图,包括:
接收模块601,用于接收用户执行目标业务发送的业务处理请求;
响应模块602,用于响应于所述业务处理请求,获取所述目标业务所对应的业务数据;
第一识别模块603,用于将所述业务数据输入到线上风险识别所使用的风险识别模型中,确定出所述目标业务对应的风险值;
第二识别模块604,用于若根据所述风险值,确定出用户所执行的目标业务不存在风险,则将所述业务数据输入到辅助模型中,以通过所述辅助模型来对所述目标业务进行风险识别,所述辅助模型是按照上述模型训练的方法进行训练得到的。
本说明书还提供了一种计算机可读存储介质,该存储介质存储有计算机程序,计算机程序可用于执行上述图1提供的一种模型训练的方法或图4提供的一种二次优化打标的风险识别的方法。
本说明书还提供了图7所示的一种对应于图1或图4的电子设备的示意结构图。如图7所示,在硬件层面,该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器,当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,以实现上述图1提供的一种模型训练的方法或图4提供的一种二次优化打标的风险识别的方法。
当然,除了软件实现方式之外,本说明书并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device, PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本说明书的实施例可提供为方法、系统、或计算机程序产品。因此,本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本说明书的实施例可提供为方法、系统或计算机程序产品。因此,本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已,并不用于限制本说明书。对于本领域技术人员来说,本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书的权利要求范围之内。
Claims (12)
1.一种模型训练的方法,其特征在于,所述方法包括:
获取各样本数据,其中,针对每个样本数据,该样本数据记录有该样本数据对应的事故案件的信息;
将所述各样本数据输入到线上风险识别所使用的风险识别模型中,确定出每个样本数据的风险值,并将风险值高于预设的风险阈值的样本数据确定为训练数据,将风险值低于所述风险阈值的样本数据确定为待识别数据;
根据由所述训练数据构建出的训练集,对待训练的辅助模型进行训练,得到更新后辅助模型;
将各待识别数据输入到所述更新后辅助模型中,以针对每个所述待识别数据,确定该待识别数据是风险数据的概率,作为第一概率,以及确定该待识别数据不是风险数据的概率,作为第二概率;
将第一概率高于确定出的第一阈值的待识别数据和/或第二概率高于所述第一阈值的待识别数据添加到所述训练集中,以根据更新后的所述训练集,对所述更新后辅助模型进行训练,训练后的辅助模型用于对所述风险识别模型识别出的低于所述风险阈值的数据做进一步风险识别。
2.如权利要求1所述的方法,其特征在于,将各待识别数据输入到所述更新后辅助模型中,以针对每个所述待识别数据,确定该待识别数据是风险数据的概率,作为第一概率,以及确定该待识别数据不是风险数据的概率,作为第二概率,具体包括:
针对每个待识别数据,确定出该待识别数据中的各有效数据,并按照每个有效数据的数据类型所对应的数据处理方式,分别对每个有效数据进行处理,以得到该待识别数据的特征;
将每个待识别数据的特征输入到所述更新后辅助模型中,以针对每个所述待识别数据,确定该待识别数据是风险数据的概率,作为第一概率,以及确定该待识别数据不是风险数据的概率,作为第二概率。
3.如权利要求1所述的方法,其特征在于,训练所述更新后辅助模型,具体包括:
确定当前轮次所述更新后辅助模型的初始学习率;
根据预设的衰减系数,对所述初始学习率进行更新,得到更新后学习率;
通过预设的优化器,根据所述更新后学习率、预设的衰减系数以及更新后辅助模型所确定的关于所述更新后训练集的梯度,来对所述更新后辅助模型中的参数进行更新,以训练所述更新后辅助模型。
4.如权利要求1~3任一项所述的方法,其特征在于,确定第一阈值,具体包括:
根据所述更新后辅助模型当前的训练轮次以及预设的所述辅助模型训练的总轮次,确定第一阈值,其中,所述第一阈值随着所述当前的训练轮次的增大而增大。
5.一种二次优化打标的风险识别的方法,其特征在于,包括:
接收用户执行目标业务发送的业务处理请求;
响应于所述业务处理请求,获取所述目标业务所对应的业务数据;
将所述业务数据输入到线上风险识别所使用的风险识别模型中,确定出所述目标业务对应的风险值;
若根据所述风险值,确定出用户所执行的目标业务不存在风险,则将所述业务数据输入到辅助模型中,以通过所述辅助模型来对所述目标业务进行风险识别,所述辅助模型是按照上述权利要求1~4任一项所述的方法进行训练得到的。
6.一种模型训练的装置,其特征在于,包括:
获取模块,用于获取各样本数据,其中,针对每个样本数据,该样本数据记录有该样本数据对应的事故案件的信息;
第一确定模块,用于将所述各样本数据输入到线上风险识别所使用的风险识别模型中,确定出每个样本数据的风险值,并将风险值高于预设的风险阈值的样本数据确定为训练数据,将风险值低于所述风险阈值的样本数据确定为待识别数据;
第一训练模块,用于根据由所述训练数据构建出的训练集,对待训练的辅助模型进行训练,得到更新后辅助模型;
第二确定模块,用于将各待识别数据输入到所述更新后辅助模型中,以针对每个所述待识别数据,确定该待识别数据是风险数据的概率,作为第一概率,以及确定该待识别数据不是风险数据的概率,作为第二概率;
第二训练模块,用于将第一概率高于确定出的第一阈值的待识别数据和/或第二概率高于所述第一阈值的待识别数据添加到所述训练集中,以根据更新后的所述训练集,对所述更新后辅助模型进行训练,训练后的辅助模型用于对所述风险识别模型识别出的低于所述风险阈值的数据做进一步风险识别。
7.如权利要求6所述的装置,其特征在于,所述第二确定模块具体用于,针对每个待识别数据,确定出该待识别数据中的各有效数据,并按照每个有效数据的数据类型所对应的数据处理方式,分别对每个有效数据进行处理,以得到该待识别数据的特征;将每个待识别数据的特征输入到所述更新后辅助模型中,以针对每个所述待识别数据,确定该待识别数据是风险数据的概率,作为第一概率,以及确定该待识别数据不是风险数据的概率,作为第二概率。
8.如权利要求6所述的装置,其特征在于,所述第二训练模块具体用于,
确定当前轮次所述更新后辅助模型的初始学习率;根据预设的衰减系数,对所述初始学习率进行更新,得到更新后学习率;通过预设的优化器,根据所述更新后学习率、预设的衰减系数以及更新后辅助模型所确定的关于所述更新后训练集的梯度,来对所述更新后辅助模型中的参数进行更新,以训练所述更新后辅助模型。
9.如权利要求6~8任一项所述的装置,其特征在于,所述第二训练模块具体用于,根据所述更新后辅助模型当前的训练轮次以及预设的所述辅助模型训练的总轮次,确定第一阈值,其中,所述第一阈值随着所述当前的训练轮次的增大而增大。
10.一种二次优化打标的风险识别的装置,其特征在于,包括:
接收模块,用于接收用户执行目标业务发送的业务处理请求;
响应模块,用于响应于所述业务处理请求,获取所述目标业务所对应的业务数据;
第一识别模块,用于将所述业务数据输入到线上风险识别所使用的风险识别模型中,确定出所述目标业务对应的风险值;
第二识别模块,用于若根据所述风险值,确定出用户所执行的目标业务不存在风险,则将所述业务数据输入到辅助模型中,以通过所述辅助模型来对所述目标业务进行风险识别,所述辅助模型是按照上述权利要求1~4任一项所述的方法进行训练得到的。
11.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述权利要求1~5任一项所述的方法。
12.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现上述权利要求1~5任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310867387.XA CN116578877B (zh) | 2023-07-14 | 2023-07-14 | 一种模型训练及二次优化打标的风险识别的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310867387.XA CN116578877B (zh) | 2023-07-14 | 2023-07-14 | 一种模型训练及二次优化打标的风险识别的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116578877A true CN116578877A (zh) | 2023-08-11 |
CN116578877B CN116578877B (zh) | 2023-12-26 |
Family
ID=87541805
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310867387.XA Active CN116578877B (zh) | 2023-07-14 | 2023-07-14 | 一种模型训练及二次优化打标的风险识别的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116578877B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117786061A (zh) * | 2023-12-06 | 2024-03-29 | 之江实验室 | 一种基于时空注意力机制的大语言模型预测方法及装置 |
Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108449313A (zh) * | 2018-02-01 | 2018-08-24 | 平安科技(深圳)有限公司 | 电子装置、互联网服务系统风险预警方法及存储介质 |
CN110135681A (zh) * | 2019-04-03 | 2019-08-16 | 平安科技(深圳)有限公司 | 风险用户识别方法、装置、可读存储介质及终端设备 |
WO2019184118A1 (zh) * | 2018-03-26 | 2019-10-03 | 平安科技(深圳)有限公司 | 风险模型训练方法、风险识别方法、装置、设备及介质 |
CN110335115A (zh) * | 2019-07-01 | 2019-10-15 | 阿里巴巴集团控股有限公司 | 一种业务订单处理方法及装置 |
CN110362828A (zh) * | 2019-07-16 | 2019-10-22 | 中国工商银行股份有限公司 | 网络资讯风险识别方法及系统 |
US20200210899A1 (en) * | 2017-11-22 | 2020-07-02 | Alibaba Group Holding Limited | Machine learning model training method and device, and electronic device |
CN112118551A (zh) * | 2020-10-16 | 2020-12-22 | 同盾控股有限公司 | 设备风险识别方法及相关设备 |
CN113313575A (zh) * | 2021-06-08 | 2021-08-27 | 支付宝(杭州)信息技术有限公司 | 一种风险识别模型的确定方法及装置 |
CN113537300A (zh) * | 2021-06-23 | 2021-10-22 | 上海大学 | 一种基于糖尿病足伤口缺血或感染图像的深度学习分期方法 |
CN113643119A (zh) * | 2021-07-19 | 2021-11-12 | 北京三快在线科技有限公司 | 一种模型训练的方法、业务风控的方法及装置 |
CA3135732A1 (en) * | 2020-10-23 | 2022-04-23 | 10353744 Canada Ltd. | Method and device for processing credit data |
WO2022126970A1 (zh) * | 2020-12-15 | 2022-06-23 | 平安科技(深圳)有限公司 | 金融欺诈风险识别方法、装置、计算机设备及存储介质 |
CN114971844A (zh) * | 2022-05-05 | 2022-08-30 | 浪潮软件科技有限公司 | 基于机器学习的发票虚开风险识别方法及系统 |
CN115018656A (zh) * | 2022-08-08 | 2022-09-06 | 太平金融科技服务(上海)有限公司深圳分公司 | 风险识别方法、风险识别模型的训练方法、装置和设备 |
CN115018608A (zh) * | 2022-07-14 | 2022-09-06 | 中国工商银行股份有限公司 | 风险预测方法、装置、计算机设备 |
CN115600106A (zh) * | 2022-10-18 | 2023-01-13 | 支付宝(杭州)信息技术有限公司(Cn) | 一种风险识别模型的训练方法、装置、设备及存储介质 |
CN116188023A (zh) * | 2023-02-23 | 2023-05-30 | 支付宝(杭州)信息技术有限公司 | 一种风险识别模型训练的方法、装置、存储介质及设备 |
CN116403034A (zh) * | 2023-03-28 | 2023-07-07 | 支付宝(杭州)信息技术有限公司 | 一种图数据模型训练的方法、装置、存储介质及电子设备 |
-
2023
- 2023-07-14 CN CN202310867387.XA patent/CN116578877B/zh active Active
Patent Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200210899A1 (en) * | 2017-11-22 | 2020-07-02 | Alibaba Group Holding Limited | Machine learning model training method and device, and electronic device |
CN108449313A (zh) * | 2018-02-01 | 2018-08-24 | 平安科技(深圳)有限公司 | 电子装置、互联网服务系统风险预警方法及存储介质 |
WO2019184118A1 (zh) * | 2018-03-26 | 2019-10-03 | 平安科技(深圳)有限公司 | 风险模型训练方法、风险识别方法、装置、设备及介质 |
CN110135681A (zh) * | 2019-04-03 | 2019-08-16 | 平安科技(深圳)有限公司 | 风险用户识别方法、装置、可读存储介质及终端设备 |
CN110335115A (zh) * | 2019-07-01 | 2019-10-15 | 阿里巴巴集团控股有限公司 | 一种业务订单处理方法及装置 |
CN110362828A (zh) * | 2019-07-16 | 2019-10-22 | 中国工商银行股份有限公司 | 网络资讯风险识别方法及系统 |
CN112118551A (zh) * | 2020-10-16 | 2020-12-22 | 同盾控股有限公司 | 设备风险识别方法及相关设备 |
CA3135732A1 (en) * | 2020-10-23 | 2022-04-23 | 10353744 Canada Ltd. | Method and device for processing credit data |
WO2022126970A1 (zh) * | 2020-12-15 | 2022-06-23 | 平安科技(深圳)有限公司 | 金融欺诈风险识别方法、装置、计算机设备及存储介质 |
CN113313575A (zh) * | 2021-06-08 | 2021-08-27 | 支付宝(杭州)信息技术有限公司 | 一种风险识别模型的确定方法及装置 |
CN113537300A (zh) * | 2021-06-23 | 2021-10-22 | 上海大学 | 一种基于糖尿病足伤口缺血或感染图像的深度学习分期方法 |
CN113643119A (zh) * | 2021-07-19 | 2021-11-12 | 北京三快在线科技有限公司 | 一种模型训练的方法、业务风控的方法及装置 |
CN114971844A (zh) * | 2022-05-05 | 2022-08-30 | 浪潮软件科技有限公司 | 基于机器学习的发票虚开风险识别方法及系统 |
CN115018608A (zh) * | 2022-07-14 | 2022-09-06 | 中国工商银行股份有限公司 | 风险预测方法、装置、计算机设备 |
CN115018656A (zh) * | 2022-08-08 | 2022-09-06 | 太平金融科技服务(上海)有限公司深圳分公司 | 风险识别方法、风险识别模型的训练方法、装置和设备 |
CN115600106A (zh) * | 2022-10-18 | 2023-01-13 | 支付宝(杭州)信息技术有限公司(Cn) | 一种风险识别模型的训练方法、装置、设备及存储介质 |
CN116188023A (zh) * | 2023-02-23 | 2023-05-30 | 支付宝(杭州)信息技术有限公司 | 一种风险识别模型训练的方法、装置、存储介质及设备 |
CN116403034A (zh) * | 2023-03-28 | 2023-07-07 | 支付宝(杭州)信息技术有限公司 | 一种图数据模型训练的方法、装置、存储介质及电子设备 |
Non-Patent Citations (2)
Title |
---|
SHAIL PRATAP SINGH等: "Harnessing BIM with risk assessment for generating automated safety schedule and developing application for safety training", 《SAFETY SCIENCE》, vol. 164, pages 1 - 15 * |
刘代民: "主权债务违约风险预警研究——基于数据挖掘方法", 《中国博士学位论文全文数据库 经济与管理科学辑》, vol. 2018, no. 7, pages 159 - 7 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117786061A (zh) * | 2023-12-06 | 2024-03-29 | 之江实验室 | 一种基于时空注意力机制的大语言模型预测方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN116578877B (zh) | 2023-12-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110008991B (zh) | 风险事件的识别、风险识别模型的生成方法、装置、设备及介质 | |
CN111881973A (zh) | 一种样本选择方法、装置、存储介质及电子设备 | |
CN116578877B (zh) | 一种模型训练及二次优化打标的风险识别的方法及装置 | |
CN113643119A (zh) | 一种模型训练的方法、业务风控的方法及装置 | |
CN115238826B (zh) | 一种模型训练的方法、装置、存储介质及电子设备 | |
CN114997472A (zh) | 一种模型训练的方法、业务风控的方法及装置 | |
CN116186330B (zh) | 一种基于多模态学习的视频去重方法及装置 | |
CN116824331A (zh) | 一种模型训练、图像识别方法、装置、设备及存储介质 | |
CN114912513A (zh) | 一种模型训练的方法、识别信息的方法及装置 | |
CN111242195B (zh) | 模型、保险风控模型训练方法、装置及电子设备 | |
CN115862675B (zh) | 一种情感识别方法、装置、设备及存储介质 | |
CN115017915B (zh) | 一种模型训练、任务执行的方法及装置 | |
CN116384515B (zh) | 一种模型训练的方法、装置、存储介质及电子设备 | |
CN116340852B (zh) | 一种模型训练、业务风控的方法及装置 | |
CN116434787B (zh) | 一种语音情感识别的方法、装置、存储介质及电子设备 | |
CN111461352B (zh) | 模型训练、业务节点识别方法、装置及电子设备 | |
CN116468096B (zh) | 一种模型训练方法、装置、设备及可读存储介质 | |
CN117194992B (zh) | 一种模型训练、任务执行方法、装置、存储介质及设备 | |
CN112884478B (zh) | 一种数据处理方法、装置及设备 | |
CN117171346A (zh) | 一种实体链接方法、装置、存储介质及电子设备 | |
CN116842570A (zh) | 一种模型训练的方法以及业务风控的方法及装置 | |
CN116957587A (zh) | 一种风险识别的方法、装置、存储介质以及电子设备 | |
CN117454247A (zh) | 一种模型的训练方法、装置、存储介质及电子设备 | |
CN116957330A (zh) | 一种模型训练、业务风控方法、装置、设备及存储介质 | |
CN117575611A (zh) | 一种风险识别的方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |