CN115712866B - 数据处理方法、装置及设备 - Google Patents
数据处理方法、装置及设备 Download PDFInfo
- Publication number
- CN115712866B CN115712866B CN202211336111.0A CN202211336111A CN115712866B CN 115712866 B CN115712866 B CN 115712866B CN 202211336111 A CN202211336111 A CN 202211336111A CN 115712866 B CN115712866 B CN 115712866B
- Authority
- CN
- China
- Prior art keywords
- risk
- target
- service data
- historical service
- control model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Abstract
本说明书实施例提供了一种数据处理方法、装置及设备,所述方法包括:获取与目标指标对应的待训练的目标风险控制模型,并获取与所述目标指标对应的历史业务数据,以及所述历史业务数据对应的标注风险类型;将所述历史业务数据输入所述待训练的目标风险控制模型,得到所述历史业务数据对应不同预测风险类型的风险概率;基于所述历史业务数据对应的标注风险类型、所述历史业务数据对应不同预测风险类型的风险概率和第一损失函数,确定所述目标风险控制模型是否收敛,若所述目标风险控制模型未收敛,则基于所述历史业务数据继续对所述目标风险控制模型进行训练,直至所述目标风险控制模型收敛,得到训练后的目标风险控制模型。
Description
技术领域
本说明书实施例涉及数据处理技术领域,尤其涉及一种数据处理方法、装置及设备。
背景技术
随着互联网行业的迅速发展,网络服务的数量和类型越来越多,网络风险也随之增多,如何为用户提供更加安全的网络环境,成为网络服务商关注的焦点。
在风控场景下,可以通过人工对业务数据进行巡检的方式,确定执行某业务是否存在风险,但是,由于业务数据包含的数据维度较为广泛,而不同的业务场景可能对业务数据中的某些数据维度的风险检测需求不同,因此,人工巡检的方式会使得数据巡检压力大,这就可能导致无法及时准确的确定不同业务场景下执行某业务是否存在风险,因此,需要一种在风控场景下,能及时准确的确定不同业务场景下执行某业务是否存在风险的解决方案。
发明内容
本说明书实施例的目的是提供一种数据处理方法、装置及设备,以提供一种在风控场景下,能及时准确的确定不同业务场景下执行某业务是否存在风险的解决方案。
为了实现上述技术方案,本说明书实施例是这样实现的:
第一方面,本说明书实施例提供了一种数据处理方法,包括:获取与目标指标对应的待训练的目标风险控制模型,并获取与所述目标指标对应的历史业务数据,以及所述历史业务数据对应的标注风险类型,所述目标风险控制模型为二分类模型;将所述历史业务数据输入所述待训练的目标风险控制模型,得到所述历史业务数据对应不同预测风险类型的风险概率,所述风险概率用于确定所述历史业务数据对应的目标预测风险类型;基于所述历史业务数据对应的标注风险类型、所述历史业务数据对应不同预测风险类型的风险概率和第一损失函数,确定所述目标风险控制模型是否收敛,若所述目标风险控制模型未收敛,则基于所述历史业务数据继续对所述目标风险控制模型进行训练,直至所述目标风险控制模型收敛,得到训练后的目标风险控制模型,所述第一损失函数用于通过不同的样本群组中的历史业务数据对应的不同预测风险类型的风险概率,控制所述不同的样本群组到决策边界的距离小于第一预设距离,所述不同的样本群组为基于所述目标指标对所述历史业务数据进行划分得到。
第二方面,本说明书实施例提供了一种数据处理装置,所述装置包括:模型获取模块,用于获取与目标指标对应的待训练的目标风险控制模型,并获取与所述目标指标对应的历史业务数据,以及所述历史业务数据对应的标注风险类型,所述目标风险控制模型为二分类模型;概率确定模块,用于将所述历史业务数据输入所述待训练的目标风险控制模型,得到所述历史业务数据对应不同预测风险类型的风险概率,所述风险概率用于确定所述历史业务数据对应的目标预测风险类型;模型训练模块,用于基于所述历史业务数据对应的标注风险类型、所述历史业务数据对应不同预测风险类型的风险概率和第一损失函数,确定所述目标风险控制模型是否收敛,若所述目标风险控制模型未收敛,则基于所述历史业务数据继续对所述目标风险控制模型进行训练,直至所述目标风险控制模型收敛,得到训练后的目标风险控制模型,所述第一损失函数用于通过不同的样本群组中的历史业务数据对应的不同预测风险类型的风险概率,控制所述不同的样本群组到决策边界的距离小于第一预设距离,所述不同的样本群组为基于所述目标指标对所述历史业务数据进行划分得到。
第三方面,本说明书实施例提供了一种数据处理设备,所述数据处理设备包括:处理器;以及被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器:获取与目标指标对应的待训练的目标风险控制模型,并获取与所述目标指标对应的历史业务数据,以及所述历史业务数据对应的标注风险类型,所述目标风险控制模型为二分类模型;将所述历史业务数据输入所述待训练的目标风险控制模型,得到所述历史业务数据对应不同预测风险类型的风险概率,所述风险概率用于确定所述历史业务数据对应的目标预测风险类型;基于所述历史业务数据对应的标注风险类型、所述历史业务数据对应不同预测风险类型的风险概率和第一损失函数,确定所述目标风险控制模型是否收敛,若所述目标风险控制模型未收敛,则基于所述历史业务数据继续对所述目标风险控制模型进行训练,直至所述目标风险控制模型收敛,得到训练后的目标风险控制模型,所述第一损失函数用于通过不同的样本群组中的历史业务数据对应的不同预测风险类型的风险概率,控制所述不同的样本群组到决策边界的距离小于第一预设距离,所述不同的样本群组为基于所述目标指标对所述历史业务数据进行划分得到。
第四方面,本说明书实施例提供一种存储介质,所述存储介质用于存储计算机可执行指令,所述可执行指令在被执行时实现以下流程:获取与目标指标对应的待训练的目标风险控制模型,并获取与所述目标指标对应的历史业务数据,以及所述历史业务数据对应的标注风险类型,所述目标风险控制模型为二分类模型;将所述历史业务数据输入所述待训练的目标风险控制模型,得到所述历史业务数据对应不同预测风险类型的风险概率,所述风险概率用于确定所述历史业务数据对应的目标预测风险类型;基于所述历史业务数据对应的标注风险类型、所述历史业务数据对应不同预测风险类型的风险概率和第一损失函数,确定所述目标风险控制模型是否收敛,若所述目标风险控制模型未收敛,则基于所述历史业务数据继续对所述目标风险控制模型进行训练,直至所述目标风险控制模型收敛,得到训练后的目标风险控制模型,所述第一损失函数用于通过不同的样本群组中的历史业务数据对应的不同预测风险类型的风险概率,控制所述不同的样本群组到决策边界的距离小于第一预设距离,所述不同的样本群组为基于所述目标指标对所述历史业务数据进行划分得到。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1A为本说明书一种数据处理方法实施例的流程图;
图1B为本说明书一种数据处理方法实施例的处理过程示意图;
图2为本说明书另一种数据处理方法实施例的处理过程示意图;
图3为本说明书一种数据处理过程示意图;
图4为本说明书一种数据处理装置实施例的结构示意图;
图5为本说明书一种数据处理设备的结构示意图。
具体实施方式
本说明书实施例提供一种数据处理方法、装置及设备。
为了使本技术领域的人员更好地理解本说明书中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本说明书保护的范围。
实施例一
如图1A和图1B所示,本说明书实施例提供一种数据处理方法,该方法的执行主体可以为服务器,该服务器可以是独立的服务器,也可以是由多个服务器组成的服务器集群。该方法具体可以包括以下步骤:
在S102中,获取与目标指标对应的待训练的目标风险控制模型,并获取与目标指标对应的历史业务数据,以及历史业务数据对应的标注风险类型。
其中,目标指标可以是与业务场景相关联的指标,例如,业务场景可以为身份验证场景,目标指标可以是位置指标(即用户使用的终端设备的位置信息),或者,业务场景还可以是资源转移场景,目标指标可以包括位置指标、终端设备的分类指标(如手机、平板电脑等移动终端类,服务器类)等多个指标,又或者,业务场景还可以是小程序页面风险检测场景,目标指标可以包括宿主程序类型指标(如宿主程序为即时通讯应用程序类、资源转移应用程序类等)、位置指标等多个指标,目标风险控制模型可以是基于任意机器学习算法构建的二分类模型,历史业务数据可以是基于预设模型训练周期获取的业务数据,业务数据可以根据业务场景的不同有所不同,例如,在身份验证场景下,业务数据可以包括生物特征数据、位置数据、用户标识数据等,在资源转移场景下,业务数据可以包括资源转移数据(包括资源转移时间、资源转移数量、资源转移对象等)、位置数据、设备数据(如用户使用终端设备的类型等)等,在小程序页面风险检测场景下,业务数据可以包括待检测的页面数据、位置数据、设备数据、小程序搭载的宿主程序数据(如宿主程序的类型等),历史业务数据对应的标注风险类型可以是通过预设标注方式确定的历史业务数据对应的风险类型,例如,历史业务数据对应的标注风险类型可以是通过人工标注的方式确定的风险类型,风险类型可以包括风险型、无风险型两种类型,也可以包括高风险型和低风险型两种类型,可以根据不同的风险检测场景确定不同的风险类型,本说明书实施例对具体的风险类型不作具体限定。
在实施中,随着互联网行业的迅速发展,网络服务的数量和类型越来越多,网络风险也随之增多,如何为用户提供更加安全的网络环境,成为网络服务商关注的焦点。在风控场景下,可以通过人工对业务数据进行巡检的方式,确定执行某业务是否存在风险,但是,由于业务数据包含的数据维度较为广泛,而不同的业务场景可能对业务数据中的某些数据维度的风险检测需求不同,因此,人工巡检的方式会使得数据巡检压力大,这就可能导致无法及时准确的确定不同业务场景下执行某业务是否存在风险,因此,需要一种在风控场景下,能及时准确的确定不同业务场景下执行某业务是否存在风险的解决方案。为此,本说明书实施例提供一种可以解决上述问题的技术方案,具体可以参见下述内容。
以身份验证场景为例,目标指标可以是位置指标,即在身份验证场景下执行某业务对用户所处的位置的安全检测需求较低,因此,服务器可以基于指标和风险控制模型的预设对应关系,获取与目标指标对应的待训练的目标风险控制模型。然后,服务可以基于预设模型训练周期,获取身份验证业务的历史业务数据,以及身份验证业务的业务数据对应的标注风险类型。
在S104中,将历史业务数据输入待训练的目标风险控制模型,得到历史业务数据对应不同预测风险类型的风险概率。
其中,风险概率可以用于确定历史业务数据对应的目标预测风险类型,预测风险类型可以包括标注风险类型,例如,若标注风险类型包括风险型、无风险型这两种类型,那么,预测风险类型也包括风险型、无风险型这两种类型,此外,预测风险类型还可以根据风险检测场景的不同而有所不同,例如,在小程序页面检测场景下,预测风险类型还可以包括欺诈风险和安全类风险,在身份验证场景下,预测风险类型还可以包括登录安全风险和认证安全风险,在资源转移场景下,预测风险类型还可以包括资源转移行为风险和资源转移对象风险。
在实施中,以目标风险控制模型为基于预设神经网络算法构建的二分类模型,预测风险类型包括风险型、无风险型这两种类型为例,可以将历史业务数据输入由预设神经网络算法构建的二分类模型中,得到历史业务数据对应风险型的风险概率以及历史业务数据对应无风险型的风险概率,历史业务数据对应风险型的风险概率以及历史业务数据对应无风险型的风险概率可以用于确定该历史业务数据对应的目标预测风险类型,例如,若历史业务数据对应风险型的风险概率为0.8,历史业务数据对应无风险型的风险概率为0.2,那么,可以确定该历史业务数据对应的目标预测风险类型为风险型。
上述是以目标风险控制模型为基于预设神经网络算法构建的二分类模型为例,在实际应用场景中二分类模型还可以基于不同的算法构建,可以根据实际业务场景的风险检测需求的不同,选取不同的机器学习算法构建不同的目标风险控制模型,本说明书实施例对此不做具体限定。
在S106中,基于历史业务数据对应的标注风险类型、历史业务数据对应不同预测风险类型的风险概率和第一损失函数,确定目标风险控制模型是否收敛,若目标风险控制模型未收敛,则基于历史业务数据继续对目标风险控制模型进行训练,直至目标风险控制模型收敛,得到训练后的目标风险控制模型。
其中,第一损失函数可以用于通过不同的样本群组中的历史业务数据对应的不同预测风险类型的风险概率,控制不同的样本群组到决策边界的距离小于第一预设距离,不同的样本群组可以为基于目标指标对历史业务数据进行划分得到。
在实施中,以业务场景可以为身份验证场景,目标指标为位置指标为例,可以根据每个历史业务数据对应的位置信息,将历史业务数据划分为不同的样本群组,例如,历史业务数据包括历史业务数据1、历史业务数据2和历史业务数据3,其中,历史业务数据1和历史业务数据3对应的位置信息为位置1,历史业务数据2对应的位置信息为位置2,那么,可以将历史业务数据1和历史业务数据3划分在样本群组1,将历史业务数据2划分在样本群组2。
假设预测风险类型包括风险型、无风险型这两种类型,历史业务数据1、历史业务数据2和历史业务数据3对应这两个预测风险类型的风险概率如下表1所示。
表1
可以基于第一损失函数和表1中的风险概率,控制样本群组1和样本群组2到决策边界的距离小于第一预设距离,例如,可以基于第一损失函数和表1中的风险概率,确定样本群组1中的历史业务数据到决策边界的平均距离1(如历史业务数据1到决策边界的距离与历史业务数据2到决策边界的距离的均值),以及样本群组2中的历史业务数据到决策边界的平均距离2,在控制平均距离1和平均距离2的差值的绝对值小于第一预设距离。其中,可以通过历史业务数据对应不同预测风险类型的风险概率估计历史业务数据到决策边界的距离。
这样,不同的样本群组到决策边界的距离越一致,目标指标对目标风险控制模型的分类效果的影响越小,训练得到的目标风险控制模型针对目标指标的分类效果越公平,例如,在小程序页面风险检测场景下,由于宿主程序的类型对小程序页面风险检测的准确性影响较小,因此,可以将宿主程序类型指标作为目标指标,并基于该目标指标通过历史业务数据(如历史小程序页面数据等)对目标风险控制模型进行训练,训练得到的目标风险控制模型就可以在降低宿主程序类型指标的影响下进行准确的分类处理,以准确的确定小程序页面是否存在风险,或存在某一种风险(如可能存在欺诈风险)。
此外,上述基于目标指标对历史业务数据进行划分得到不同的样本群组的方法是一种可选地、可实现的划分方法,在实际应用场景中,还可以有多种不同的划分方法,可以根据实际应用场景的不同,选取不同的划分方法,本说明书实施例对此不作具体限定。
本说明书实施例提供一种数据处理方法,获取与目标指标对应的待训练的目标风险控制模型,并获取与目标指标对应的历史业务数据,以及历史业务数据对应的标注风险类型,目标风险控制模型为二分类模型,将历史业务数据输入待训练的目标风险控制模型,得到历史业务数据对应不同预测风险类型的风险概率,风险概率用于确定历史业务数据对应的目标预测风险类型,基于历史业务数据对应的标注风险类型、历史业务数据对应不同预测风险类型的风险概率和第一损失函数,确定目标风险控制模型是否收敛,若目标风险控制模型未收敛,则基于历史业务数据继续对目标风险控制模型进行训练,直至目标风险控制模型收敛,得到训练后的目标风险控制模型,第一损失函数可以用于通过不同的样本群组中的历史业务数据对应的不同预测风险类型的风险概率,控制不同的样本群组到决策边界的距离小于第一预设距离,不同的样本群组可以为基于目标指标对历史业务数据进行划分得到。这样,通过第一损失函数控制不同的样本群组到决策边界的距离小于第一预设距离,可以使训练后的目标风险控制模型在减小目标指标的对其分类效果的影响下,提高针对目标指标的分类效果的公平性,即可以在不同业务场景下,通过不同的目标指标对不同的目标风险控制模型进行训练,使得通过训练后的目标风险控制模型,可以在不同业务场景下及时准确的确定执行某业务是否存在风险。
实施例二
如图2所示,本说明书实施例提供一种数据处理方法,该方法的执行主体可以为终端设备或服务器,终端设备可以如个人计算机等设备,也可以如手机、平板电脑等移动终端设备,该服务器可以是独立的服务器,也可以是由多个服务器组成的服务器集群。该方法具体可以包括以下步骤:
在S102中,获取与目标指标对应的待训练的目标风险控制模型,并获取与目标指标对应的历史业务数据,以及历史业务数据对应的标注风险类型。
其中,目标风险控制模型可以为二分类模型。
在S104中,将历史业务数据输入待训练的目标风险控制模型,得到历史业务数据对应不同预测风险类型的风险概率。
其中,风险概率可以用于确定历史业务数据对应的目标预测风险类型。
历史业务数据对应不同预测风险类型的风险概率可以包括历史业务数据属于第一预测风险类型的第一风险概率,以及属于第二预测风险类型的第二风险概率,例如,预测风险类型可以包括风险型和无风险型,即第一预测风险类型可以是风险型,第二预测风险类型可以是无风险型,在得到历史业务数据对应的第一风险概率和第二风险概率后,可以继续执行下述S202。
在S202中,基于目标指标对历史业务数据进行划分处理,得到多个不同的样本群组,每个样本群组包括多个历史业务数据。
在实施中,以身份验证场景为例,在身份验证场景下,终端设备的位置信息对身份验证的影响较小,因此,可以将位置指标作为目标指标,服务器可以通过历史业务数据中包含的位置信息,将历史业务数据分为多个不同的样本群组,例如,可以将位置1和位置3对应的历史业务数据划分为样本群组1,将位置2和位置4对应的历史业务数据划分为样本群组2。
历史业务数据的划分方法还可以有多种,可以根据实际应用场景的不同选取不同的划分方法,本说明书实施例对此不作具体限定。
在S204中,基于样本群组中每个历史业务数据对应的第一风险概率和第二风险概率,以及第一损失函数,确定第一损失值。
在实施中,在实际应用中,上述确定第一损失值的处理方式可以多种多样,例如,可以基于样本群组中每个历史业务数据对应的第一风险概率和第二风险概率,以及与每个历史业务数据对应的预设梯度算子,确定第一损失值。
其中,可以根据第一风险概率和第二风险概率在历史业务数据附近的线性性质,通过每个历史业务数据对应的第一风险概率和第二风险概率,以及与每个历史业务数据对应的预设梯度算子,近似表征历史业务数据到决策边界的距离,在通过历史业务数据到决策边界的距离,确定第一损失值。
例如,可以将每个历史业务数据对应的第一风险概率和第二风险概率,以及与每个历史业务数据对应的预设梯度算子输入公式
得到每个历史业务数据到决策边界的距离,其中,x为第x个历史业务数据,B为决策边界,d(x,B)为第x个历史业务数据到决策边界的距离,f0(x)为第x个历史业务数据对应的第一风险概率,f1(x)为第x个历史业务数据对应的第二风险概率,为第x个历史业务数据对应的预设梯度算子。
可以基于每个样本群组对应的历史业务数据到决策边界的距离,确定第一损失值,例如,可以将每个样本群组对应的历史业务数据到决策边界的距离输入公式
Lfairness=|Ex|s(x)=a(d(x,B)-Ex|s(x)=b(d(x,B)|,
得到第一损失值,其中,Lfairness为第一损失值,s(x)=a为基于目标指标划分的样本群组a,s(x)=b为基于目标指标划分的样本群组b,Ex|s(x)=a(d(x,B)为样本群组a中每个历史业务数据到决策边界的距离的期望值,Ex|s(x)=b(d(x,B)为样本群组b中每个历史业务数据到决策边界的距离的期望值。
另外,目标风险控制模型可以包括全连接层和归一化层,全连接层可以用于对数据进行分类处理,归一化层可以用于对全连接层的输出数据进行归一化处理,目标风险控制模型的输出数据在决策边界附近的局部邻域可以为线性的,因此,上述S304还可以通过下述步骤一~步骤三进行处理:
步骤一,获取全连接层输出的每个历史业务数据属于第一预测风险类型的第三风险概率,以及每个历史业务数据属于第二预测风险类型的第四风险概率。
在实施中,假设历史业务数据包括历史业务数据1和历史业务数据2,如图3所示,可以将历史业务数据输入目标风险控制模型的全连接层,得到历史业务数据1属于第一预测风险类型的第三风险概率1、历史业务数据1属于第二预测风险类型的第四风险概率1、历史业务数据2属于第一预测风险类型的第三风险概率2、历史业务数据2属于第二预测风险类型的第四风险概率2,这样,在通过归一化层(如softmax层)对上述四个风险概率进行归一化处理,可以得到与历史业务数据1属于第一预测风险类型的第一风险概率1、历史业务数据1属于第二预测风险类型的第二风险概率1、历史业务数据2属于第一预测风险类型的第一风险概率2、历史业务数据2属于第二预测风险类型的第二风险概率2。
步骤二,基于样本群组中每个历史业务数据的第三风险概率和第四风险概率的差值,以及样本群组中历史业务数据的数量,确定每个样本群组的目标差值。
在实施中,可以将样本群组中每个历史业务数据的第三风险概率和第四风险概率的差值与样本群组中历史业务数据的数量的商,作为每个样本群组的目标差值,目标差值即可以作为样本群组中历史业务数据到决策边界的平均距离的估计值。
步骤三,基于每个样本群组的目标差值,确定目标指标对应的第一损失值。
在实施中,可以将多个样本群组的目标差值的均值,作为目标指标对应的第一损失值,例如,可以将每个样本群组中每个历史业务数据的第三风险概率和第四风险概率的差值,以及样本群组中历史业务数据的数量,输入公式
得到目标指标对应的第一损失值,其中,Lfairness为第一损失值,na为基于目标指标划分的样本群组a中历史业务数据的数量,nb为基于目标指标划分的样本群组b中历史业务数据的数量,g0(x)为样本群组中第x个历史业务数据对应的第三风险概率,g1(x)为样本群组中第x个历史业务数据对应的第四风险概率。
在S206中,基于历史业务数据对应的第一风险概率和第二风险概率,确定历史业务数据对应的目标预测风险类型,并基于历史业务数据对应的标注风险类型和目标预测风险类型,以及预设交叉熵损失函数,确定第二损失值。
在实施中,可以将第一风险概率和第二风险概率中较大的风险概率对应的预测风险类型,确定为该历史业务数据对应的目标预测风险类型,例如,假设历史业务数据的第一风险概率为0.6,第二风险概率为0.4,则该历史业务数据对应的目标预测风险类型可以是与第一风险概率对应的第一预测风险类型。
在S208中,基于第一损失值和第二损失值,确定目标损失值。
在实施中,在实际应用中,上述S208的处理方式可以多种多样,以下提供一种可选的实现方式,具体可以参见下述步骤一~步骤二处理:
步骤一,基于第二损失函数、每个历史业务数据的第三风险概率和第四风险概率,以及历史业务数据的数量,确定第三损失值。
其中,第二损失函数可以用于通过历史业务数据对应不同预测风险类型的风险概率,控制历史业务数据到决策边界的距离大于第二预设距离。
在实施中,为提高训练后的目标风险控制模型的鲁棒性,可以通过第二损失函数控制历史业务数据到决策边界的距离大于第二预设距离,即历史业务数据到决策边界的距离越大,训练后的目标风险控制模型的鲁棒性越好。
可以将每个历史业务数据的第三风险概率和第四风险概率,以及历史业务数据的数量输入公式
得到第三损失值,其中,Lrobust为第三损失值,N为历史业务数据的数量。
其中,第二预设距离可以根据不同的业务应用场景的风险检测需求进行设定,本说明书实施例对此不作具体限定。
步骤二,基于第一损失值、第二损失值和所述第三损失值,确定目标损失值。
在实施中,可以基于第一预设超参数和第一损失值,确定第一分值,基于第三损失值的倒数和第二预设超参数,确定第二分值,并基于第一分值、第二损失值和第二分值,确定目标损失值。
可以将第一预设超参数、第一损失值、第二损失值、第二预设超参数和第三损失值输入公式
Loverall=Lcross+λFLfairness+λR1/Lrobust,
得到目标损失值,其中,Loverall为目标损失值,Lcross为第二损失值,λF为第一预设超参数,λR为第二预设超参数。
此外,目标指标还可以有多个,在确定第一分值时,可以获取每个目标指标对应的第一损失值,以及每个目标指标对应的预设权重,并基于第一预设超参数、每个目标指标对应的第一损失值,以及每个目标指标对应的预设权重,确定第一分值,以基于目标指标对应的预设权重,控制目标指标对目标风险控制模型的分析效果的影响程度,目标指标对应的预设权重可以根据业务场景的不同设置不同的权重,本说明书实施例对此不做具体限定。
在S210中,基于目标损失值确定风险控制模型是否收敛,若目标风险控制模型未收敛,则基于历史业务数据继续对目标风险控制模型进行训练,直至目标风险控制模型收敛,得到训练后的目标风险控制模型。
在S212中,在接收到与目标指标对应的目标业务数据的风险检测指令的情况下,将目标业务数据输入训练得到的目标风险控制模型,得到目标业务数据对应的目标预测风险类型。
其中,目标业务数据为执行目标业务所需的数据。
在实施中,服务器可以获取终端设备发送的目标业务数据,并将接收到的目标业务数据输入训练得到的目标风险控制模型,以得到目标业务数据对应的目标预测风险类型。
在S214中,基于目标业务数据对应的目标预测风险类型,确定执行目标业务是否存在风险。
在实施中,若目标业务数据对应的目标预测风险类型为风险型,则可以确定执行目标业务存在风险,服务器可以将目标业务数据对应的目标预测风险类型返回给终端设备,或者,服务器还可以在确定执行目标业务存在风险的情况下,获取预设告警信息并将预设告警信息返回给终端设备。
本说明书实施例提供一种数据处理方法,获取与目标指标对应的待训练的目标风险控制模型,并获取与目标指标对应的历史业务数据,以及历史业务数据对应的标注风险类型,目标风险控制模型为二分类模型,将历史业务数据输入待训练的目标风险控制模型,得到历史业务数据对应不同预测风险类型的风险概率,风险概率用于确定历史业务数据对应的目标预测风险类型,基于历史业务数据对应的标注风险类型、历史业务数据对应不同预测风险类型的风险概率和第一损失函数,确定目标风险控制模型是否收敛,若目标风险控制模型未收敛,则基于历史业务数据继续对目标风险控制模型进行训练,直至目标风险控制模型收敛,得到训练后的目标风险控制模型,第一损失函数可以用于通过不同的样本群组中的历史业务数据对应的不同预测风险类型的风险概率,控制不同的样本群组到决策边界的距离小于第一预设距离,不同的样本群组可以为基于目标指标对历史业务数据进行划分得到。这样,通过第一损失函数控制不同的样本群组到决策边界的距离小于第一预设距离,可以使训练后的目标风险控制模型在减小目标指标的对其分类效果的影响下,提高针对目标指标的分类效果的公平性,即可以在不同业务场景下,通过不同的目标指标对不同的目标风险控制模型进行训练,使得通过训练后的目标风险控制模型,可以在不同业务场景下及时准确的确定执行某业务是否存在风险。
实施例三
以上为本说明书实施例提供的数据处理方法,基于同样的思路,本说明书实施例还提供一种数据处理装置,如图4所示。
该数据处理装置包括:模型获取模块401、概率确定模块402和模型训练模块403,其中:
模型获取模块401,用于获取与目标指标对应的待训练的目标风险控制模型,并获取与所述目标指标对应的历史业务数据,以及所述历史业务数据对应的标注风险类型,所述目标风险控制模型为二分类模型;
概率确定模块402,用于将所述历史业务数据输入所述待训练的目标风险控制模型,得到所述历史业务数据对应不同预测风险类型的风险概率,所述风险概率用于确定所述历史业务数据对应的目标预测风险类型;
模型训练模块403,用于基于所述历史业务数据对应的标注风险类型、所述历史业务数据对应不同预测风险类型的风险概率和第一损失函数,确定所述目标风险控制模型是否收敛,若所述目标风险控制模型未收敛,则基于所述历史业务数据继续对所述目标风险控制模型进行训练,直至所述目标风险控制模型收敛,得到训练后的目标风险控制模型,所述第一损失函数用于通过不同的样本群组中的历史业务数据对应的不同预测风险类型的风险概率,控制所述不同的样本群组到决策边界的距离小于第一预设距离,所述不同的样本群组为基于所述目标指标对所述历史业务数据进行划分得到。
本说明书实施例中,所述历史业务数据对应不同预测风险类型的风险概率包括所述历史业务数据属于第一预测风险类型的第一风险概率,以及属于第二预测风险类型的第二风险概率,所述模型训练模块403,用于:
基于所述目标指标对所述历史业务数据进行划分处理,得到多个所述不同的样本群组,每个所述样本群组包括多个所述历史业务数据;
基于所述样本群组中每个历史业务数据对应的第一风险概率和第二风险概率,以及所述第一损失函数,确定第一损失值;
基于所述历史业务数据对应的第一风险概率和第二风险概率,确定所述历史业务数据对应的目标预测风险类型,并基于所述历史业务数据对应的标注风险类型和所述目标预测风险类型,以及预设交叉熵损失函数,确定第二损失值;
基于所述第一损失值和所述第二损失值,确定目标损失值,并基于所述目标损失值确定所述风险控制模型是否收敛。
本说明书实施例中,所述模型训练模块403,用于:
基于所述样本群组中每个历史业务数据对应的第一风险概率和第二风险概率,以及与每个所述历史业务数据对应的预设梯度算子,确定所述第一损失值。
本说明书实施例中,所述目标风险控制模型包括全连接层和归一化层,所述全连接层用于对数据进行分类处理,所述归一化层用于对所述全连接层的输出数据进行归一化处理,所述目标风险控制模型的输出数据在决策边界附近的局部邻域为线性的,所述模型训练模块403,用于:
获取所述全连接层输出的每个所述历史业务数据属于所述第一预测风险类型的第三风险概率,以及每个所述历史业务数据属于所述第二预测风险类型的第四风险概率;
基于所述样本群组中每个历史业务数据的第三风险概率和第四风险概率的差值,以及所述样本群组中历史业务数据的数量,确定每个所述样本群组的目标差值;
基于每个所述样本群组的目标差值,确定所述目标指标对应的所述第一损失值。
本说明书实施例中,所述模型训练模块403,用于:
基于第二损失函数、每个所述历史业务数据的第三风险概率和第四风险概率,以及所述历史业务数据的数量,确定第三损失值,所述第二损失函数用于通过所述历史业务数据对应不同预测风险类型的风险概率,控制所述历史业务数据到决策边界的距离大于第二预设距离;
基于所述第一损失值、所述第二损失值和所述第三损失值,确定所述目标损失值。
本说明书实施例中,所述模型训练模块403,用于:
基于第一预设超参数和所述第一损失值,确定第一分值,基于所述第三损失值的倒数和第二预设超参数,确定第二分值,并基于所述第一分值、所述第二损失值和所述第二分值,确定所述目标损失值。
本说明书实施例中,所述装置还包括:
类型确定模块,用于在接收到与所述目标指标对应的目标业务数据的风险检测指令的情况下,将所述目标业务数据输入训练得到的目标风险控制模型,得到所述目标业务数据对应的目标预测风险类型,所述目标业务数据为执行目标业务所需的数据;
风险确定模块,用于基于所述目标业务数据对应的目标预测风险类型,确定执行所述目标业务是否存在风险。
本说明书实施例提供一种数据处理装置,获取与目标指标对应的待训练的目标风险控制模型,并获取与目标指标对应的历史业务数据,以及历史业务数据对应的标注风险类型,目标风险控制模型为二分类模型,将历史业务数据输入待训练的目标风险控制模型,得到历史业务数据对应不同预测风险类型的风险概率,风险概率用于确定历史业务数据对应的目标预测风险类型,基于历史业务数据对应的标注风险类型、历史业务数据对应不同预测风险类型的风险概率和第一损失函数,确定目标风险控制模型是否收敛,若目标风险控制模型未收敛,则基于历史业务数据继续对目标风险控制模型进行训练,直至目标风险控制模型收敛,得到训练后的目标风险控制模型,第一损失函数可以用于通过不同的样本群组中的历史业务数据对应的不同预测风险类型的风险概率,控制不同的样本群组到决策边界的距离小于第一预设距离,不同的样本群组可以为基于目标指标对历史业务数据进行划分得到。这样,通过第一损失函数控制不同的样本群组到决策边界的距离小于第一预设距离,可以使训练后的目标风险控制模型在减小目标指标的对其分类效果的影响下,提高针对目标指标的分类效果的公平性,即可以在不同业务场景下,通过不同的目标指标对不同的目标风险控制模型进行训练,使得通过训练后的目标风险控制模型,可以在不同业务场景下及时准确的确定执行某业务是否存在风险。
实施例四
基于同样的思路,本说明书实施例还提供一种数据处理设备,如图5所示。
数据处理设备可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上的处理器501和存储器502,存储器502中可以存储有一个或一个以上存储应用程序或数据。其中,存储器502可以是短暂存储或持久存储。存储在存储器502的应用程序可以包括一个或一个以上模块(图示未示出),每个模块可以包括对数据处理设备中的一系列计算机可执行指令。更进一步地,处理器501可以设置为与存储器502通信,在数据处理设备上执行存储器502中的一系列计算机可执行指令。数据处理设备还可以包括一个或一个以上电源503,一个或一个以上有线或无线网络接口504,一个或一个以上输入输出接口505,一个或一个以上键盘506。
具体在本实施例中,数据处理设备包括有存储器,以及一个或一个以上的程序,其中一个或者一个以上程序存储于存储器中,且一个或者一个以上程序可以包括一个或一个以上模块,且每个模块可以包括对数据处理设备中的一系列计算机可执行指令,且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令:
获取与目标指标对应的待训练的目标风险控制模型,并获取与所述目标指标对应的历史业务数据,以及所述历史业务数据对应的标注风险类型,所述目标风险控制模型为二分类模型;
将所述历史业务数据输入所述待训练的目标风险控制模型,得到所述历史业务数据对应不同预测风险类型的风险概率,所述风险概率用于确定所述历史业务数据对应的目标预测风险类型;
基于所述历史业务数据对应的标注风险类型、所述历史业务数据对应不同预测风险类型的风险概率和第一损失函数,确定所述目标风险控制模型是否收敛,若所述目标风险控制模型未收敛,则基于所述历史业务数据继续对所述目标风险控制模型进行训练,直至所述目标风险控制模型收敛,得到训练后的目标风险控制模型,所述第一损失函数用于通过不同的样本群组中的历史业务数据对应的不同预测风险类型的风险概率,控制所述不同的样本群组到决策边界的距离小于第一预设距离,所述不同的样本群组为基于所述目标指标对所述历史业务数据进行划分得到。
可选地,所述历史业务数据对应不同预测风险类型的风险概率包括所述历史业务数据属于第一预测风险类型的第一风险概率,以及属于第二预测风险类型的第二风险概率,所述基于所述历史业务数据对应的标注风险类型、所述历史业务数据对应的不同预测风险类型的风险概率和第一损失函数,确定所述目标风险控制模型是否收敛,包括:
基于所述目标指标对所述历史业务数据进行划分处理,得到多个所述不同的样本群组,每个所述样本群组包括多个所述历史业务数据;
基于所述样本群组中每个历史业务数据对应的第一风险概率和第二风险概率,以及所述第一损失函数,确定第一损失值;
基于所述历史业务数据对应的第一风险概率和第二风险概率,确定所述历史业务数据对应的目标预测风险类型,并基于所述历史业务数据对应的标注风险类型和所述目标预测风险类型,以及预设交叉熵损失函数,确定第二损失值;
基于所述第一损失值和所述第二损失值,确定目标损失值,并基于所述目标损失值确定所述风险控制模型是否收敛。
可选地,所述基于所述样本群组中每个历史业务数据对应的第一风险概率和第二风险概率,以及所述第一损失函数,确定第一损失值,包括:
基于所述样本群组中每个历史业务数据对应的第一风险概率和第二风险概率,以及与每个所述历史业务数据对应的预设梯度算子,确定所述第一损失值。
可选地,所述目标风险控制模型包括全连接层和归一化层,所述全连接层用于对数据进行分类处理,所述归一化层用于对所述全连接层的输出数据进行归一化处理,所述目标风险控制模型的输出数据在决策边界附近的局部邻域为线性的,所述基于所述样本群组中每个历史业务数据对应的第一风险概率和第二风险概率,以及所述第一损失函数,确定第一损失值,包括:
获取所述全连接层输出的每个所述历史业务数据属于所述第一预测风险类型的第三风险概率,以及每个所述历史业务数据属于所述第二预测风险类型的第四风险概率;
基于所述样本群组中每个历史业务数据的第三风险概率和第四风险概率的差值,以及所述样本群组中历史业务数据的数量,确定每个所述样本群组的目标差值;
基于每个所述样本群组的目标差值,确定所述目标指标对应的所述第一损失值。
可选地,所述基于所述第一损失值和所述第二损失值,确定目标损失值,包括:
基于第二损失函数、每个所述历史业务数据的第三风险概率和第四风险概率,以及所述历史业务数据的数量,确定第三损失值,所述第二损失函数用于通过所述历史业务数据对应不同预测风险类型的风险概率,控制所述历史业务数据到决策边界的距离大于第二预设距离;
基于所述第一损失值、所述第二损失值和所述第三损失值,确定所述目标损失值。
可选地,所述基于所述第一损失值、所述第二损失值和所述第三损失值,确定所述目标损失值,包括:
基于第一预设超参数和所述第一损失值,确定第一分值,基于所述第三损失值的倒数和第二预设超参数,确定第二分值,并基于所述第一分值、所述第二损失值和所述第二分值,确定所述目标损失值。
可选地,所述目标指标有多个,所述基于第一预设超参数和所述第一损失值,确定第一分值,包括:
获取每个所述目标指标对应的第一损失值,以及每个所述目标指标对应的预设权重;
基于所述第一预设超参数、每个所述目标指标对应的第一损失值,以及每个所述目标指标对应的预设权重,确定所述第一分值。
可选地,所述方法还包括:
在接收到与所述目标指标对应的目标业务数据的风险检测指令的情况下,将所述目标业务数据输入训练得到的目标风险控制模型,得到所述目标业务数据对应的目标预测风险类型,所述目标业务数据为执行目标业务所需的数据;
基于所述目标业务数据对应的目标预测风险类型,确定执行所述目标业务是否存在风险。
本说明书实施例提供一种数据处理设备,获取与目标指标对应的待训练的目标风险控制模型,并获取与目标指标对应的历史业务数据,以及历史业务数据对应的标注风险类型,目标风险控制模型为二分类模型,将历史业务数据输入待训练的目标风险控制模型,得到历史业务数据对应不同预测风险类型的风险概率,风险概率用于确定历史业务数据对应的目标预测风险类型,基于历史业务数据对应的标注风险类型、历史业务数据对应不同预测风险类型的风险概率和第一损失函数,确定目标风险控制模型是否收敛,若目标风险控制模型未收敛,则基于历史业务数据继续对目标风险控制模型进行训练,直至目标风险控制模型收敛,得到训练后的目标风险控制模型,第一损失函数可以用于通过不同的样本群组中的历史业务数据对应的不同预测风险类型的风险概率,控制不同的样本群组到决策边界的距离小于第一预设距离,不同的样本群组可以为基于目标指标对历史业务数据进行划分得到。这样,通过第一损失函数控制不同的样本群组到决策边界的距离小于第一预设距离,可以使训练后的目标风险控制模型在减小目标指标的对其分类效果的影响下,提高针对目标指标的分类效果的公平性,即可以在不同业务场景下,通过不同的目标指标对不同的目标风险控制模型进行训练,使得通过训练后的目标风险控制模型,可以在不同业务场景下及时准确的确定执行某业务是否存在风险。
实施例五
本说明书实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述数据处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,如只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等。
本说明书实施例提供一种计算机可读存储介质,获取与目标指标对应的待训练的目标风险控制模型,并获取与目标指标对应的历史业务数据,以及历史业务数据对应的标注风险类型,目标风险控制模型为二分类模型,将历史业务数据输入待训练的目标风险控制模型,得到历史业务数据对应不同预测风险类型的风险概率,风险概率用于确定历史业务数据对应的目标预测风险类型,基于历史业务数据对应的标注风险类型、历史业务数据对应不同预测风险类型的风险概率和第一损失函数,确定目标风险控制模型是否收敛,若目标风险控制模型未收敛,则基于历史业务数据继续对目标风险控制模型进行训练,直至目标风险控制模型收敛,得到训练后的目标风险控制模型,第一损失函数可以用于通过不同的样本群组中的历史业务数据对应的不同预测风险类型的风险概率,控制不同的样本群组到决策边界的距离小于第一预设距离,不同的样本群组可以为基于目标指标对历史业务数据进行划分得到。这样,通过第一损失函数控制不同的样本群组到决策边界的距离小于第一预设距离,可以使训练后的目标风险控制模型在减小目标指标的对其分类效果的影响下,提高针对目标指标的分类效果的公平性,即可以在不同业务场景下,通过不同的目标指标对不同的目标风险控制模型进行训练,使得通过训练后的目标风险控制模型,可以在不同业务场景下及时准确的确定执行某业务是否存在风险。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本说明书一个或多个实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本说明书的实施例可提供为方法、系统、或计算机程序产品。因此,本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书的实施例是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本说明书的实施例可提供为方法、系统或计算机程序产品。因此,本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书一个或多个实施例,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已,并不用于限制本说明书。对于本领域技术人员来说,本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书的权利要求范围之内。
Claims (11)
1.一种数据处理方法,包括:
获取与目标指标对应的待训练的目标风险控制模型,并获取与所述目标指标对应的历史业务数据,以及所述历史业务数据对应的标注风险类型,所述目标风险控制模型为二分类模型;
将所述历史业务数据输入所述待训练的目标风险控制模型,得到所述历史业务数据对应不同预测风险类型的风险概率,所述风险概率用于确定所述历史业务数据对应的目标预测风险类型;
基于所述历史业务数据对应的标注风险类型、所述历史业务数据对应不同预测风险类型的风险概率和第一损失函数,确定所述目标风险控制模型是否收敛,若所述目标风险控制模型未收敛,则基于所述历史业务数据继续对所述目标风险控制模型进行训练,直至所述目标风险控制模型收敛,得到训练后的目标风险控制模型,所述第一损失函数用于通过不同的样本群组中的历史业务数据对应的不同预测风险类型的风险概率,控制所述不同的样本群组到决策边界的距离小于第一预设距离,所述不同的样本群组为基于所述目标指标对所述历史业务数据进行划分得到。
2.根据权利要求1所述的方法,所述历史业务数据对应不同预测风险类型的风险概率包括所述历史业务数据属于第一预测风险类型的第一风险概率,以及属于第二预测风险类型的第二风险概率,所述基于所述历史业务数据对应的标注风险类型、所述历史业务数据对应的不同预测风险类型的风险概率和第一损失函数,确定所述目标风险控制模型是否收敛,包括:
基于所述目标指标对所述历史业务数据进行划分处理,得到多个所述不同的样本群组,每个所述样本群组包括多个所述历史业务数据;
基于所述样本群组中每个历史业务数据对应的第一风险概率和第二风险概率,以及所述第一损失函数,确定第一损失值;
基于所述历史业务数据对应的第一风险概率和第二风险概率,确定所述历史业务数据对应的目标预测风险类型,并基于所述历史业务数据对应的标注风险类型和所述目标预测风险类型,以及预设交叉熵损失函数,确定第二损失值;
基于所述第一损失值和所述第二损失值,确定目标损失值,并基于所述目标损失值确定所述风险控制模型是否收敛。
3.根据权利要求2所述的方法,所述基于所述样本群组中每个历史业务数据对应的第一风险概率和第二风险概率,以及所述第一损失函数,确定第一损失值,包括:
基于所述样本群组中每个历史业务数据对应的第一风险概率和第二风险概率,以及与每个所述历史业务数据对应的预设梯度算子,确定所述第一损失值。
4.根据权利要求2所述的方法,所述目标风险控制模型包括全连接层和归一化层,所述全连接层用于对数据进行分类处理,所述归一化层用于对所述全连接层的输出数据进行归一化处理,所述目标风险控制模型的输出数据在决策边界附近的局部邻域为线性的,所述基于所述样本群组中每个历史业务数据对应的第一风险概率和第二风险概率,以及所述第一损失函数,确定第一损失值,包括:
获取所述全连接层输出的每个所述历史业务数据属于所述第一预测风险类型的第三风险概率,以及每个所述历史业务数据属于所述第二预测风险类型的第四风险概率;
基于所述样本群组中每个历史业务数据的第三风险概率和第四风险概率的差值,以及所述样本群组中历史业务数据的数量,确定每个所述样本群组的目标差值;
基于每个所述样本群组的目标差值,确定所述目标指标对应的所述第一损失值。
5.根据权利要求4所述的方法,所述基于所述第一损失值和所述第二损失值,确定目标损失值,包括:
基于第二损失函数、每个所述历史业务数据的第三风险概率和第四风险概率,以及所述历史业务数据的数量,确定第三损失值,所述第二损失函数用于通过所述历史业务数据对应不同预测风险类型的风险概率,控制所述历史业务数据到决策边界的距离大于第二预设距离;
基于所述第一损失值、所述第二损失值和所述第三损失值,确定所述目标损失值。
6.根据权利要求5所述的方法,所述基于所述第一损失值、所述第二损失值和所述第三损失值,确定所述目标损失值,包括:
基于第一预设超参数和所述第一损失值,确定第一分值,基于所述第三损失值的倒数和第二预设超参数,确定第二分值,并基于所述第一分值、所述第二损失值和所述第二分值,确定所述目标损失值。
7.根据权利要求6所述的方法,所述目标指标有多个,所述基于第一预设超参数和所述第一损失值,确定第一分值,包括:
获取每个所述目标指标对应的第一损失值,以及每个所述目标指标对应的预设权重;
基于所述第一预设超参数、每个所述目标指标对应的第一损失值,以及每个所述目标指标对应的预设权重,确定所述第一分值。
8.根据权利要求7所述的方法,所述方法还包括:
在接收到与所述目标指标对应的目标业务数据的风险检测指令的情况下,将所述目标业务数据输入训练得到的目标风险控制模型,得到所述目标业务数据对应的目标预测风险类型,所述目标业务数据为执行目标业务所需的数据;
基于所述目标业务数据对应的目标预测风险类型,确定执行所述目标业务是否存在风险。
9.一种数据处理装置,包括:
模型获取模块,用于获取与目标指标对应的待训练的目标风险控制模型,并获取与所述目标指标对应的历史业务数据,以及所述历史业务数据对应的标注风险类型,所述目标风险控制模型为二分类模型;
概率确定模块,用于将所述历史业务数据输入所述待训练的目标风险控制模型,得到所述历史业务数据对应不同预测风险类型的风险概率,所述风险概率用于确定所述历史业务数据对应的目标预测风险类型;
模型训练模块,用于基于所述历史业务数据对应的标注风险类型、所述历史业务数据对应不同预测风险类型的风险概率和第一损失函数,确定所述目标风险控制模型是否收敛,若所述目标风险控制模型未收敛,则基于所述历史业务数据继续对所述目标风险控制模型进行训练,直至所述目标风险控制模型收敛,得到训练后的目标风险控制模型,所述第一损失函数用于通过不同的样本群组中的历史业务数据对应的不同预测风险类型的风险概率,控制所述不同的样本群组到决策边界的距离小于第一预设距离,所述不同的样本群组为基于所述目标指标对所述历史业务数据进行划分得到。
10.一种数据处理设备,所述数据处理设备包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器:
获取与目标指标对应的待训练的目标风险控制模型,并获取与所述目标指标对应的历史业务数据,以及所述历史业务数据对应的标注风险类型,所述目标风险控制模型为二分类模型;
将所述历史业务数据输入所述待训练的目标风险控制模型,得到所述历史业务数据对应不同预测风险类型的风险概率,所述风险概率用于确定所述历史业务数据对应的目标预测风险类型;
基于所述历史业务数据对应的标注风险类型、所述历史业务数据对应不同预测风险类型的风险概率和第一损失函数,确定所述目标风险控制模型是否收敛,若所述目标风险控制模型未收敛,则基于所述历史业务数据继续对所述目标风险控制模型进行训练,直至所述目标风险控制模型收敛,得到训练后的目标风险控制模型,所述第一损失函数用于通过不同的样本群组中的历史业务数据对应的不同预测风险类型的风险概率,控制所述不同的样本群组到决策边界的距离小于第一预设距离,所述不同的样本群组为基于所述目标指标对所述历史业务数据进行划分得到。
11.一种存储介质,所述存储介质用于存储计算机可执行指令,所述可执行指令在被处理器执行时实现以下流程:
获取与目标指标对应的待训练的目标风险控制模型,并获取与所述目标指标对应的历史业务数据,以及所述历史业务数据对应的标注风险类型,所述目标风险控制模型为二分类模型;
将所述历史业务数据输入所述待训练的目标风险控制模型,得到所述历史业务数据对应不同预测风险类型的风险概率,所述风险概率用于确定所述历史业务数据对应的目标预测风险类型;
基于所述历史业务数据对应的标注风险类型、所述历史业务数据对应不同预测风险类型的风险概率和第一损失函数,确定所述目标风险控制模型是否收敛,若所述目标风险控制模型未收敛,则基于所述历史业务数据继续对所述目标风险控制模型进行训练,直至所述目标风险控制模型收敛,得到训练后的目标风险控制模型,所述第一损失函数用于通过不同的样本群组中的历史业务数据对应的不同预测风险类型的风险概率,控制所述不同的样本群组到决策边界的距离小于第一预设距离,所述不同的样本群组为基于所述目标指标对所述历史业务数据进行划分得到。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211336111.0A CN115712866B (zh) | 2022-10-28 | 2022-10-28 | 数据处理方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211336111.0A CN115712866B (zh) | 2022-10-28 | 2022-10-28 | 数据处理方法、装置及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115712866A CN115712866A (zh) | 2023-02-24 |
CN115712866B true CN115712866B (zh) | 2023-05-02 |
Family
ID=85231577
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211336111.0A Active CN115712866B (zh) | 2022-10-28 | 2022-10-28 | 数据处理方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115712866B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115952859B (zh) * | 2023-03-01 | 2023-05-23 | 支付宝(杭州)信息技术有限公司 | 数据处理方法、装置及设备 |
CN116151494A (zh) * | 2023-04-24 | 2023-05-23 | 中国科学院地理科学与资源研究所 | 数据处理方法、装置、设备以及计算机可读存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110119882A (zh) * | 2019-04-12 | 2019-08-13 | 国家计算机网络与信息安全管理中心 | 一种平台风险监控方法、装置、设备及存储介质 |
CN112365269A (zh) * | 2020-10-27 | 2021-02-12 | 北京三快在线科技有限公司 | 风险检测方法、装置、设备以及存储介质 |
CN113065748A (zh) * | 2021-03-15 | 2021-07-02 | 中国平安财产保险股份有限公司 | 业务风险评估方法、装置、设备及存储介质 |
CN113313575A (zh) * | 2021-06-08 | 2021-08-27 | 支付宝(杭州)信息技术有限公司 | 一种风险识别模型的确定方法及装置 |
CN113344700A (zh) * | 2021-07-27 | 2021-09-03 | 上海华瑞银行股份有限公司 | 一种基于多目标优化的风控模型构建方法、装置和电子设备 |
CN114255121A (zh) * | 2021-12-27 | 2022-03-29 | 中国农业银行股份有限公司 | 信贷风险预测模型的训练方法和信贷风险预测方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008140683A2 (en) * | 2007-04-30 | 2008-11-20 | Sheltonix, Inc. | A method and system for assessing, managing, and monitoring information technology risk |
US20110125548A1 (en) * | 2009-11-25 | 2011-05-26 | Michal Aharon | Business services risk management |
-
2022
- 2022-10-28 CN CN202211336111.0A patent/CN115712866B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110119882A (zh) * | 2019-04-12 | 2019-08-13 | 国家计算机网络与信息安全管理中心 | 一种平台风险监控方法、装置、设备及存储介质 |
CN112365269A (zh) * | 2020-10-27 | 2021-02-12 | 北京三快在线科技有限公司 | 风险检测方法、装置、设备以及存储介质 |
CN113065748A (zh) * | 2021-03-15 | 2021-07-02 | 中国平安财产保险股份有限公司 | 业务风险评估方法、装置、设备及存储介质 |
CN113313575A (zh) * | 2021-06-08 | 2021-08-27 | 支付宝(杭州)信息技术有限公司 | 一种风险识别模型的确定方法及装置 |
CN113344700A (zh) * | 2021-07-27 | 2021-09-03 | 上海华瑞银行股份有限公司 | 一种基于多目标优化的风控模型构建方法、装置和电子设备 |
CN114255121A (zh) * | 2021-12-27 | 2022-03-29 | 中国农业银行股份有限公司 | 信贷风险预测模型的训练方法和信贷风险预测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115712866A (zh) | 2023-02-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115712866B (zh) | 数据处理方法、装置及设备 | |
CN110008991B (zh) | 风险事件的识别、风险识别模型的生成方法、装置、设备及介质 | |
CN112200132B (zh) | 一种基于隐私保护的数据处理方法、装置及设备 | |
CN113297396A (zh) | 基于联邦学习的模型参数更新方法、装置及设备 | |
CN109615171B (zh) | 特征阈值确定方法及装置、问题对象确定方法及装置 | |
CN116049761A (zh) | 数据处理方法、装置及设备 | |
CN115618964B (zh) | 一种模型训练的方法、装置、存储介质及电子设备 | |
CN111538925B (zh) | 统一资源定位符url指纹特征的提取方法及装置 | |
CN116664514A (zh) | 数据处理方法、装置及设备 | |
CN111242195B (zh) | 模型、保险风控模型训练方法、装置及电子设备 | |
CN115204395A (zh) | 数据的处理方法、装置及设备 | |
CN116340852B (zh) | 一种模型训练、业务风控的方法及装置 | |
CN115688130B (zh) | 数据处理方法、装置及设备 | |
CN115827935B (zh) | 一种数据处理方法、装置及设备 | |
CN115423485B (zh) | 数据处理方法、装置及设备 | |
CN115600155B (zh) | 一种数据处理方法、装置及设备 | |
CN115952859B (zh) | 数据处理方法、装置及设备 | |
CN116070916B (zh) | 数据处理方法、装置及设备 | |
CN112115952B (zh) | 一种基于全卷积神经网络的图像分类方法、设备及介质 | |
CN111275445B (zh) | 一种数据的处理方法、装置及设备 | |
CN116401541A (zh) | 一种模型训练的方法、装置、存储介质及电子设备 | |
CN116630029A (zh) | 风险识别模型训练方法及装置 | |
CN117950876A (zh) | 数据处理方法、装置及设备 | |
CN117313739A (zh) | 一种语言模型的训练方法、装置、设备及存储介质 | |
CN116186607A (zh) | 一种模型的处理方法、装置及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |