CN111444952B - 样本识别模型的生成方法、装置、计算机设备和存储介质 - Google Patents

样本识别模型的生成方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN111444952B
CN111444952B CN202010213549.4A CN202010213549A CN111444952B CN 111444952 B CN111444952 B CN 111444952B CN 202010213549 A CN202010213549 A CN 202010213549A CN 111444952 B CN111444952 B CN 111444952B
Authority
CN
China
Prior art keywords
sample set
trained
classification network
network model
source domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010213549.4A
Other languages
English (en)
Other versions
CN111444952A (zh
Inventor
李超
范梦迪
蓝利君
郭清宇
卢笑
王翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010213549.4A priority Critical patent/CN111444952B/zh
Publication of CN111444952A publication Critical patent/CN111444952A/zh
Application granted granted Critical
Publication of CN111444952B publication Critical patent/CN111444952B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及一种样本识别模型的生成方法、装置、计算机设备和存储介质。所述方法包括:采集至少两个源域样本集和一个目标域样本集;根据各个源域样本集对待训练的分类网络模型进行预训练,得到预训练后的分类网络模型;分别根据各个源域样本集对预训练后的分类网络模型进行再次训练,得到各个再次训练后的分类网络模型;分别根据各个源域样本集和目标域样本集,对各个再次训练后的分类网络模型进行对抗训练,得到各个训练完成的分类网络模型;根据源域样本集和目标域样本集,确定各个训练完成的分类网络模型对应的分类权重,结合各个训练完成的分类网络模型,生成训练完成的样本识别模型。采用本方法能够提高模型的样本识别准确率。

Description

样本识别模型的生成方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域,特别是涉及一种样本识别模型的生成方法、装置、计算机设备和存储介质。
背景技术
随着计算机技术的发展,各种样本层出不穷;为了对样本进行分类,需要训练相应的样本识别模型,以通过样本识别模型对样本进行识别。
然而,目前的样本识别模型的训练方法,一般是通过携带有标签的历史样本对模型进行训练,并通过训练得到的模型,对新的样本进行识别,以得到样本的类别;但是,若携带有标签的历史样本较少,会导致训练得到的模型存在过拟合,从而使得模型的样本识别准确率较低。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高模型的样本识别准确率的样本识别模型的生成方法、装置、计算机设备和存储介质。
一种样本识别模型的生成方法,所述方法包括:
采集至少两个源域样本集和一个目标域样本集;所述源域样本集和所述目标域样本集中的样本均标记有对应的实际分类概率;
根据各个所述源域样本集对待训练的分类网络模型进行预训练,得到预训练后的分类网络模型;
分别根据各个所述源域样本集对所述预训练后的分类网络模型进行再次训练,得到各个再次训练后的分类网络模型;
分别根据各个所述源域样本集和所述目标域样本集,对所述各个再次训练后的分类网络模型进行对抗训练,得到各个训练完成的分类网络模型;
根据所述源域样本集和所述目标域样本集,确定所述各个训练完成的分类网络模型对应的分类权重;
根据所述各个训练完成的分类网络模型以及所述各个训练完成的分类网络模型对应的分类权重,生成训练完成的样本识别模型。
一种样本识别方法,所述方法包括:
获取待识别样本的特征编码;
将所述待识别样本的特征编码输入训练完成的样本识别模型,得到所述待识别样本在各个训练完成的分类网络模型中的分类概率以及所述各个训练完成的分类网络模型对应的分类权重;所述训练完成的样本识别模型根据上述所述的样本识别模型的生成方法得到,所述训练完成的样本识别模型包括所述各个训练完成的分类网络模型;
根据所述各个训练完成的分类网络模型对应的分类权重,对所述待识别样本在各个训练完成的分类网络模型中的分类概率进行加权处理,得到所述待识别样本的目标分类概率;
根据所述待识别样本的目标分类概率,确定对所述待识别样本的识别结果。
一种样本识别模型的生成装置,所述装置包括:
样本集获取模块,用于采集至少两个源域样本集和一个目标域样本集;所述源域样本集和所述目标域样本集中的样本均标记有对应的实际分类概率;
模型预训练模块,用于根据各个所述源域样本集对待训练的分类网络模型进行预训练,得到预训练后的分类网络模型;
模型再训练模块,用于分别根据各个所述源域样本集对所述预训练后的分类网络模型进行再次训练,得到各个再次训练后的分类网络模型;
模型对抗训练模块,用于分别根据各个所述源域样本集和所述目标域样本集,对所述各个再次训练后的分类网络模型进行对抗训练,得到各个训练完成的分类网络模型;
分类权重确定模块,用于根据所述源域样本集和所述目标域样本集,确定所述各个训练完成的分类网络模型对应的分类权重;
识别模型生成模块,用于根据所述各个训练完成的分类网络模型以及所述各个训练完成的分类网络模型对应的分类权重,生成训练完成的样本识别模型。
一种样本识别装置,其特征在于,所述装置包括:
特征编码获取模块,用于获取待识别样本的特征编码;
分类概率确定模块,用于将所述待识别样本的特征编码输入训练完成的样本识别模型,得到所述待识别样本在各个训练完成的分类网络模型中的分类概率以及所述各个训练完成的分类网络模型对应的分类权重;所述训练完成的样本识别模型根据上述所述的样本识别模型的生成方法得到,所述训练完成的样本识别模型包括所述各个训练完成的分类网络模型;
目标分类概率确定模块,用于根据所述各个训练完成的分类网络模型对应的分类权重,对所述待识别样本在各个训练完成的分类网络模型中的分类概率进行加权处理,得到所述待识别样本的目标分类概率;
识别结果确定模块,用于根据所述待识别样本的目标分类概率,确定对所述待识别样本的识别结果。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
采集至少两个源域样本集和一个目标域样本集;所述源域样本集和所述目标域样本集中的样本均标记有对应的实际分类概率;
根据各个所述源域样本集对待训练的分类网络模型进行预训练,得到预训练后的分类网络模型;
分别根据各个所述源域样本集对所述预训练后的分类网络模型进行再次训练,得到各个再次训练后的分类网络模型;
分别根据各个所述源域样本集和所述目标域样本集,对所述各个再次训练后的分类网络模型进行对抗训练,得到各个训练完成的分类网络模型;
根据所述源域样本集和所述目标域样本集,确定所述各个训练完成的分类网络模型对应的分类权重;
根据所述各个训练完成的分类网络模型以及所述各个训练完成的分类网络模型对应的分类权重,生成训练完成的样本识别模型。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取待识别样本的特征编码;
将所述待识别样本的特征编码输入训练完成的样本识别模型,得到所述待识别样本在各个训练完成的分类网络模型中的分类概率以及所述各个训练完成的分类网络模型对应的分类权重;所述训练完成的样本识别模型根据上述所述的样本识别模型的生成方法得到,所述训练完成的样本识别模型包括所述各个训练完成的分类网络模型;
根据所述各个训练完成的分类网络模型对应的分类权重,对所述待识别样本在各个训练完成的分类网络模型中的分类概率进行加权处理,得到所述待识别样本的目标分类概率;
根据所述待识别样本的目标分类概率,确定对所述待识别样本的识别结果。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
采集至少两个源域样本集和一个目标域样本集;所述源域样本集和所述目标域样本集中的样本均标记有对应的实际分类概率;
根据各个所述源域样本集对待训练的分类网络模型进行预训练,得到预训练后的分类网络模型;
分别根据各个所述源域样本集对所述预训练后的分类网络模型进行再次训练,得到各个再次训练后的分类网络模型;
分别根据各个所述源域样本集和所述目标域样本集,对所述各个再次训练后的分类网络模型进行对抗训练,得到各个训练完成的分类网络模型;
根据所述源域样本集和所述目标域样本集,确定所述各个训练完成的分类网络模型对应的分类权重;
根据所述各个训练完成的分类网络模型以及所述各个训练完成的分类网络模型对应的分类权重,生成训练完成的样本识别模型。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取待识别样本的特征编码;
将所述待识别样本的特征编码输入训练完成的样本识别模型,得到所述待识别样本在各个训练完成的分类网络模型中的分类概率以及所述各个训练完成的分类网络模型对应的分类权重;所述训练完成的样本识别模型根据上述所述的样本识别模型的生成方法得到,所述训练完成的样本识别模型包括所述各个训练完成的分类网络模型;
根据所述各个训练完成的分类网络模型对应的分类权重,对所述待识别样本在各个训练完成的分类网络模型中的分类概率进行加权处理,得到所述待识别样本的目标分类概率;
根据所述待识别样本的目标分类概率,确定对所述待识别样本的识别结果。
上述样本识别模型的生成方法、装置、计算机设备和存储介质,通过获取的至少两个源域样本集,对待训练的分类网络模型进行预训练,得到预训练后的分类网络模型;然后分别根据各个源域样本集对预训练后的分类网络模型进行再次训练,得到各个再次训练后的分类网络模型,并分别根据各个源域样本集和目标域样本集,对各个再次训练后的分类网络模型进行对抗训练,得到各个训练完成的分类网络模型;最后根据源域样本集和目标域样本集,确定各个训练完成的分类网络模型对应的分类权重,并根据各个训练完成的分类网络模型,生成训练完成的样本识别模型;实现了根据多个源域样本集和目标域样本集,对待训练的分类网络模型进行训练,以生成训练完成的样本识别模型的目的;有利于迁移多个基于源域样本集训练得到的模型的样本识别知识,又能保证对目标域样本集进行有效地监督学习,避免了基于数量较少的样本训练得到的模型存在过拟合,导致模型的样本识别准确率较低的缺陷,从而提高了训练完成的样本识别模型的样本识别准确率;同时,根据各个训练完成的分类网络模型以及各个训练完成的分类网络模型对应的分类权重,生成训练完成的样本识别模型,有利于综合考虑各个训练完成的分类网络模型输出的预测结果的重要程度,保证了相关源域的正向迁移,同时抑制了不相关源域的负向迁移,从而使得训练得到的样本识别模型的样本识别效果更好,进一步提高了训练得到的样本识别模型的样本识别准确率。
附图说明
图1为一个实施例中样本识别模型的生成方法的应用环境图;
图2为一个实施例中样本识别模型的生成方法的流程示意图;
图3为一个实施例中得到预训练后的分类网络模型的步骤的流程示意图;
图4为一个实施例中得到各个源域对应的分类网络模型的步骤的流程示意图;
图5为一个实施例中得到各个再次训练后的分类网络模型的步骤的流程示意图;
图6为一个实施例中得到各个训练完成的分类网络模型的步骤的流程示意图;
图7为一个实施例中对分类网络模型进行对抗训练的示意图;
图8为一个实施例中确定各个训练完成的分类网络模型对应的分类权重的步骤的流程示意图;
图9为一个实施例中对训练完成的分类网络模型输出的分类概率进行加权处理的示意图;
图10为一个实施例中特征距离模型的训练步骤的流程示意图;
图11为一个实施例中样本识别方法的流程示意图;
图12为一个实施例中获取待识别样本的特征编码的步骤的流程示意图;
图13为一个实施例中确定对待识别样本的识别结果的步骤的流程示意图;
图14为一个实施例中存储待识别样本的识别结果的步骤的流程示意图;
图15为一个实施例中样本识别方法的应用环境图;
图16为另一个实施例中样本识别方法的流程示意图;
图17为一个实施例中样本审核的界面示意图;
图18为又一个实施例中样本识别方法的流程示意图;
图19为一个实施例中用户样本识别方法的流程示意图;
图20为一个实施例中用户审核的界面示意图;
图21为一个实施例中样本识别模型的生成装置的结构框图;
图22为一个实施例中样本识别装置的结构框图;
图23为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的样本识别方法,可以应用于如图1所示的应用环境中。参照图1,该应用环境图包括服务器110。服务器110是指具有模型训练功能的服务器,具体可以用独立的服务器或者是多个服务器组成的服务器集群来实现。图1中以服务器110是独立的服务器为例进行说明,服务器110采集至少两个源域样本集和一个目标域样本集;源域样本集和目标域样本集中的样本均标记有对应的实际分类概率;根据各个源域样本集对待训练的分类网络模型进行预训练,得到预训练后的分类网络模型;分别根据各个源域样本集对预训练后的分类网络模型进行再次训练,得到各个再次训练后的分类网络模型;分别根据各个源域样本集和目标域样本集,对各个再次训练后的分类网络模型进行对抗训练,得到各个训练完成的分类网络模型;根据源域样本集和目标域样本集,确定各个训练完成的分类网络模型对应的分类权重;根据各个训练完成的分类网络模型以及各个训练完成的分类网络模型对应的分类权重,生成训练完成的样本识别模型
进一步地,在生成训练完成的样本识别模型之后,服务器110还可以获取待识别样本,并对待识别样本进行编码处理,得到待识别样本的特征编码;其中,待识别样本可以是服务器110自身从网络上或者本地数据库中获取的,也可以是终端上传的;例如,服务器110采集当前网络上或者本地数据库中未被分类的样本,作为待识别样本;或者终端将审核人员在终端界面上选择的待识别样本发送至服务器110。然后,服务器110将待识别样本的特征编码输入训练完成的样本识别模型,得到待识别样本在各个训练完成的分类网络模型中的分类概率以及各个训练完成的分类网络模型对应的分类权重;训练完成的样本识别模型包括各个训练完成的分类网络模型;根据各个训练完成的分类网络模型对应的分类权重,对待识别样本在各个训练完成的分类网络模型中的分类概率进行加权处理,得到所述待识别样本的目标分类概率;根据待识别样本的目标分类概率,确定对待识别样本的识别结果,比如样本类别。其中,对待识别样本的识别结果可以用于推送至对应的终端;比如,服务器基于终端发送的样本识别请求,将对待识别样本的识别结果推送至对应的终端,以供终端对应的审核人员进行查看。
需要说明的是,本申请还可以应用在样本分类场景、样本审核场景、金融反欺诈评分场景等,也可以应用在各个小样本学习领域的各个场景,比如自然语言处理、计算机视觉、推荐系统等,具体本申请不做限定。
在一个实施例中,如图2所示,提供了一种样本识别模型的生成方法,以该方法应用于图1中的服务器110为例进行说明,包括以下步骤:
步骤S202,采集至少两个源域样本集和一个目标域样本集;源域样本集和目标域样本集中的样本均标记有对应的实际分类概率。
其中,样本是指标记有样本类型的样本,其来源于真实场景;在实际场景中,样本可以是指借贷人的行为特征信息;比如,与金融支付行为相关的画像信息(如消费能力信息、消费偏好信息等)、历史借贷记录信息、多头借贷行为信息等;在该实际场景下,样本类型是指欺诈用户(即黑样本)或者非欺诈用户(即白样本)。
其中,分类概率用于衡量样本属于某一种类型的概率;比如,在金融反欺诈场景中,分类概率是指样本属于欺诈用户的概率。举例说明,若样本属于欺诈用户,则对应的实际分类概率为1;若样本属于非欺诈用户,则对应的实际分类概率为0。
其中,源域样本集是指与待识别样本所属场景相似的场景所对应的样本集,目标域样本集是指待识别样本所属场景对应的样本集。例如,在金融反欺诈场景中,目标域样本集是小额短期借贷对应的样本集,那么源域样本集可以是大额长期、消费分期等典型借贷场景对应的样本集。源域样本集和目标域样本集均包含有多个样本,每个样本均标记有对应的实际分类概率
需要说明的是,待识别样本是指训练完成的样本识别模型所要识别的样本,具体是指目标域的未标记为样本类型的样本;至少两个源域样本集可以是两个或者两个以上源域样本集,具体本申请不做限定。
具体地,服务器基于大数据技术,从网络上采集待识别样本所属场景对应的样本集,作为目标域样本集;同时采集与待识别样本所属场景相似的多个场景所对应的样本集,作为至少两个源域样本集。这样,有利于后续各个源域训练样本集和目标域样本集,对待训练的分类网络模型进行多次训练。
举例说明,在金融反欺诈场景中,服务器采集小额短期借贷对应的样本集,作为目标域样本集,采集9个不同借贷场景(比如大额长期、消费分期等)对应的样本集,作为源域样本集;所有的样本集都经过严格的脱敏处理,每个样本集中的欺诈用户和非欺诈用户的比例为1:1,并划分为Train、Test、OOT三个样本集,其中Test样本集和OOT样本集(也称跨时间测试集)均为验证集,用来验证分类网络模型的模型效果,但Test样本集的样本日期与Train样本集的样本日期有重合,而OOT样本集的样本日期均在Train样本集的样本日期之后;OOT样本集的设置是为了更客观地验证分类网络模型随时间的稳定性。为了模拟小样本实验环境,当样本集被用作目标域样本集时,Train样本集的样本数被限定为1000或3000。在后续实验中,当某一个样本集作为目标域样本集时,其他样本集均作为源域样本集参与分类网络模型的训练。表1列出了所有样本集的样本划分情况。
表1
进一步地,服务器还可以查询本地数据库,获取待识别样本所属场景对应的样本集,作为目标域样本集;同时获取与待识别样本所属场景相似的多个场景所对应的样本集,作为至少两个源域样本集。
在一个实施例中,在获取样本集之后,服务器还可以对样本集中的样本进行预处理,比如脱敏处理、特征归一化处理等;具体地,服务器根据预设的脱敏处理指令,对样本集中的样本进行脱敏处理,得到脱敏处理后的样本。这样,有利于避免多余信息干扰,便于后续根据样本集中的样本对待训练的分类网络模型进行训练。
步骤S204,根据各个源域样本集对待训练的分类网络模型进行预训练,得到预训练后的分类网络模型。
其中,分类网络模型是一种能够输出样本的分类概率,以对样本进行分类的神经网络模型,比如DNN(Deep Neural Networks,深度神经网络)模型;具体包括特征提取网络和类别预测网络;特征提取网络用于提取样本特征,类别预测网络用于预测样本类型。
具体地,服务器从各个源域样本集中随机抽取一批源域样本集,构建源域样本集合;利用元学习方法,基于源域样本集合,对待训练的分类网络模型进行预训练,不断重复此过程,可以得到待训练的分类网络模型的初始网络参数;根据待训练的元分类网络模型的初始网络参数,对待训练的分类网络模型的网络参数进行初始化,得到初始化的分类网络模型,作为预训练后的分类网络模型。其中,待训练的元分类网络模型的初始网络参数,代表多个源域到目标域的初始迁移。这样,通过各个源域样本集对待训练的分类网络模型进行预训练,有利于迁移多个基于源域样本集训练得到的模型的样本识别知识,从而得到一个在多个源域样本集上具有较强泛化能力的分类网络模型。
举例说明,参考表1,服务器指定一个样本集作为目标域样本集,剩下9个样本集作为被迁移的源域样本集,从9个源域样本集中随机抽取4个源域样本集,构建源域样本集合;根据源域样本集合,利用MAML(Model Agnostic Meta Learning,模型无关的元学习)所提出的内外循环方式,对待训练的分类网络模型进行不断学习,得到待训练的分类网络模型的初始网络参数;根据待训练的分类网络模型的初始网络参数,对待训练的分类网络模型的网络参数进行初始化,得到预训练后的分类网络模型。其中,元学习(Meta-learning),也称学会学习(Learning to learn),是指从已知任务中学习经验知识(即先验知识、元知识)以指导新任务的学习,具有快速适应新任务的能力。元学习主要分为meta-training和meta-testing两个阶段。在meta-training阶段将数据分为不同的任务(即task),并学习跨任务的元知识,如参数初始值、优化器函数、数据增强函数等;在meta-testing阶段,给定新的任务(如识别新的样本),在少量样本条件下利用元知识快速训练一个泛化性强的机器学习模型。
在一个实施例中,服务器从源域样本集合中的各个源域样本集中抽取少量样本,分别根据各个源域样本集中的少量样本,对待训练的分类网络模型进行训练,得到待训练的分类网络模型在各个源域样本集中的少量样本上的预测损失值;分别根据待训练的分类网络模型在各个源域样本集中的少量样本上的预测损失值,对待训练的分类网络模型迭代更新少次(比如15次),得到各个源域对应的分类网络模型;重新从各个源域样本集中抽取少量样本,分别计算其在刚刚训练得到的各个源域对应的分类网络模型上的预测损失值;根据预测损失值之和对待训练的分类网络模型的网络参数进行梯度更新,并重复执行上述过程,以对梯度更新后的分类网络模型进行反复训练,直到分类网络模型的网络参数达到收敛,从而预训练后的分类网络模型。在本实施例中,基于MAML的两次梯度更新机制,有利于得到一组在多个源域上具有较强泛化能力的初始网络参数,从而得到一个在多个源域上具有较强泛化能力的分类网络模型。
步骤S206,分别根据各个源域样本集对预训练后的分类网络模型进行再次训练,得到各个再次训练后的分类网络模型。
具体地,服务器分别根据各个源域样本集中的样本,对同一个预训练后的分类网络模型进行对应训练,得到各个训练后的分类网络模型;统计各个训练后的分类网络模型输出的样本的分类概率与对应的实际分类概率之间的损失值,根据各个训练后的分类网络模型输出的样本的分类概率与对应的实际分类概率之间的损失值,分别对各个训练后的分类网络模型的网络参数进行更新;以此类推,可以分别根据各个源域样本集对各个训练后的分类网络模型的网络参数进行多次更新,直到训练后的分类网络模型的训练次数达到预设训练次数;将当前的各个训练后的分类网络模型,作为各个再次训练后的分类网络模型。这样,有利于进一步迁移各个基于源域样本集训练得到的模型的样本识别知识,同时,先根据源域样本集对预训练后的分类网络模型进行训练,避免过早地引入目标域样本集,导致训练得到的分类网络模型存在过拟合的缺陷,进一步提高了后续训练得到的样本识别模型的样本识别准确率。
举例说明,假设有9个源域样本集,服务器先根据1个源域样本集,对预训练后的分类网络模型进行训练,得到训练后的分类网络模型;统计训练后的分类网络模型在该源域样本集上的损失值,根据损失值对该训练后的分类网络模型的网络参数进行对应更新;以此类推,可以根据该源域样本集对训练后的分类网络模型的网络参数进行多次更新,直到训练后的分类网络模型的训练次数达到预设训练次数;将当前的分类网络模型,作为再次训练后的分类网络模型;依照此方法,基于9个源域样本集,可以得到9个再次训练后的分类网络模型。
步骤S208,分别根据各个源域样本集和目标域样本集,对各个再次训练后的分类网络模型进行对抗训练,得到各个训练完成的分类网络模型。
其中,训练完成的分类网络模型是一种能够独立地对目标域的样本进行识别的神经网络模型,具体对应一个源域到目标域的最终迁移模型。
具体地,服务器分别将各个源域样本集和目标域样本集进行组合,得到多个目标样本集;分别根据各个目标样本集,利用基于对抗的迁移学习方法,训练再次训练后的分类网络模型,以实现单源域的知识向目标域的迁移,从而得到多个训练完成的分类网络模型。这样,根据源域样本集和目标域样本集,对再次训练后的分类网络模型进行对抗训练,有利于实现多个源域向目标域的迁移,从而提高了训练完成的分类网络模型对目标域的样本的识别能力,进一步提高了通过训练完成的分类网络模型构建而成的样本识别模型的样本识别准确率。
步骤S210,根据源域样本集和目标域样本集,确定各个训练完成的分类网络模型对应的分类权重。
其中,训练完成的分类网络模型对应的分类权重是指分类网络模型输出的分类概率所对应的投票权重,用于衡量训练完成的分类网络模型输出的分类概率的重要程度;一般地,训练完成的分类网络模型对应的分类权重越大,表示该训练完成的分类网络模型输出的分类概率的重要程度越高,说明该训练完成的分类网络模型输出的分类概率的投票权重越大;训练完成的分类网络模型对应的分类权重越小,表示该训练完成的分类网络模型输出的分类概率的重要程度越低,说明该训练完成的分类网络模型输出的分类概率的投票权重越小。
其中,各个训练完成的分类网络模型对应的分类权重通过训练得到该训练完成的分类网络模型的源域样本集和目标域样本集之间的相关性决定;一般地,训练得到训练完成的分类网络模型的源域样本集和目标域样本集之间的相关性越大,说明在基于源域样本集训练得到训练完成的分类网络模型的过程中,从源域到目标域属于正向迁移,为了保证正向迁移,那么该训练完成的分类网络模对应的分类权重就应该越大;训练得到训练完成的分类网络模型的源域训练样本集和目标域训练样本集之间的相关性越小,说明在基于源域样本集训练得到训练完成的分类网络模型的过程中,从源域到目标域属于负向迁移,为了抑制负向迁移,那么该训练完成的分类网络模对应的分类权重就应该越小。
需要说明的是,训练得到该训练完成的分类网络模型的源域样本集和目标域样本集,是指参与该分类网络模型的再次训练和对抗训练的源域样本集和目标域样本集。
具体地,服务器从源域样本集和目标域样本集中,筛选出各个训练完成的分类网络模型对应的源域样本集和目标域样本集;根据预设的相关性统计网络模型,得到各个训练完成的分类网络模型对应的源域样本集和目标域样本集之间的相关性;根据各个训练完成的分类网络模型对应的源域样本集和目标域样本集之间的相关性,查询预设的相关性与分类权重的对应关系,得到各个训练完成的分类网络模型对应的分类权重。其中,预设的相关性统计网络模型是一种能够统计两个样本集之间的相关性的神经网络模型。这样,通过确定各个训练完成的分类网络模型对应的分类权重,有利于综合考虑各个训练完成的分类网络模型输出的分类概率的重要程度,保证了相关源域的正向迁移,同时抑制了不相关源域的负向迁移。
步骤S212,根据各个训练完成的分类网络模型以及各个训练完成的分类网络模型对应的分类权重,生成训练完成的样本识别模型。
其中,样本识别模型是由各个训练完成的分类网络模型共同组成的最终模型,能够对目标域的样本进行识别,以预测出样本的类型;具体用于对各个训练完成的分类网络模型输出的预测结果进行加权处理,得到最终的预测结果。
具体地,服务器将各个训练完成的分类网络模型对应的分类权重,标记为各个训练完成的分类网络模型输出的分类概率对应的投票权重;并将各个训练完成的分类网络模型进行组合,生成组合模型,作为训练完成的样本识别模型。
进一步地,通过样本识别模型可以输出目标域的待识别样本在各个训练完成的分类网络模型中的分类概率;根据各个训练完成的分类网络模型对应的分类权重,对待识别样本在各个训练完成的分类网络模型中的分类概率进行加权处理,得到各个训练完成的分类网络模型对应的分类权重与分类概率的乘积;将各个训练完成的分类网络模型对应的分类权重与分类概率的乘积进行相加,得到待识别样本的最终分类概率;根据待识别样本的最终分类概率,确定对待识别样本的识别结果,比如确定待识别样本的类型。例如,在金融反欺诈场景中,待识别样本的最终分类概率大于预设分类概率,则确认待识别样本所对应的贷款人属于欺诈用户。
上述样本识别模型的生成方法中,通过获取的至少两个源域样本集,对待训练的分类网络模型进行预训练,得到预训练后的分类网络模型;然后分别根据各个源域样本集对预训练后的分类网络模型进行再次训练,得到各个再次训练后的分类网络模型,并分别根据各个源域样本集和目标域样本集,对各个再次训练后的分类网络模型进行对抗训练,得到各个训练完成的分类网络模型;最后根据源域样本集和目标域样本集,确定各个训练完成的分类网络模型对应的分类权重,并根据各个训练完成的分类网络模型,生成训练完成的样本识别模型;实现了根据多个源域样本集和目标域样本集,对待训练的分类网络模型进行训练,以生成训练完成的样本识别模型的目的;有利于迁移多个基于源域样本集训练得到的模型的样本识别知识,又能保证对目标域样本集进行有效地监督学习,避免了基于数量较少的样本训练得到的模型存在过拟合,导致模型的样本识别准确率较低的缺陷,从而提高了训练完成的样本识别模型的样本识别准确率;同时,根据各个训练完成的分类网络模型以及各个训练完成的分类网络模型对应的分类权重,生成训练完成的样本识别模型,有利于综合考虑各个训练完成的分类网络模型输出的预测结果的重要程度,保证了相关源域的正向迁移,同时抑制了不相关源域的负向迁移,从而使得训练得到的样本识别模型的样本识别效果更好,进一步提高了训练得到的样本识别模型的样本识别准确率。
在一个实施例中,如图3所示,步骤S204中根据各个源域样本集对待训练的分类网络模型进行预训练,得到预训练后的分类网络模型,具体包括如下步骤:
步骤S302,多次从各个源域样本集中抽取一批源域样本集,得到多批源域样本集合。
其中,每批源域样本集合包括多个源域样本集,且每批源域样本集合对应分类网络模型的一次迭代训练。
举例说明,参考表1,服务器从9个源域样本集中随机抽取出4个源域样本集,得到一批源域样本集合;再从9个源域样本集中随机抽取出4个源域样本集,得到另一批源域样本集合;以此类推,可以得到多批源域样本集合。
步骤S304,根据多批源域样本集合,构建各批源域样本集合中的各个源域样本集的第一样本集和第二样本集。
其中,第一样本集是指从样本集(比如源域样本集或者目标域样本集)中抽取的一部分样本,具体是指support set,满足N-way-K-shot设置,用于训练源域对应的分类网络模型;第二样本集是指从样本集(比如源域样本集或者目标域样本集)的剩余样本中重新抽取的一部分样本,具体是指query set,用于作为统计源域对应的分类网络模型的预测损失值的样本集。
需要说明的是,每个源域样本集的第一样本集和第二样本集,共同构成分类网络模型的一个训练任务,一个训练任务相当于分类网络模型的一条训练数据,多个训练任务即可构成分类网络模型的一批训练数据。
具体地,服务器分别从每个源域样本集中抽取一批样本,构成源域样本集的第一样本集;再从每个源域样本集剩余的样本中重新抽取一批样本,构成源域样本集的第二样本集,从而得到源域样本集的第一样本集和第二样本集;参照此方法,可以得到各批源域样本集合中的各个源域样本集的第一样本集和第二样本集;这样,有利于后续训练分类网络模型从第一样本集中学习如何区分第二样本集中的样本。
举例说明,假设N-way-K-shot为5-way-5-shot,则参考表1,从9个源域样本集中随机选取4个源域样本集,针对每个源域样本集,随机选取5个类别,每个类别随机选取20个样本;针对每20个样本,5个样本作为该源域样本集的第一样本集,15个样本作为该源域样本集的第二样本集;这样,针对每个源域样本集,其第一样本集一共有5×5=25个样本,第二样本集一共有5×15=75个样本;按照同样的方式,可以得到各批源域样本集合中的各个源域样本集的第一样本集和第二样本集。
步骤S306,分别根据各个源域样本集的第一样本集对待训练的分类网络模型进行训练,得到各个源域对应的分类网络模型。
具体地,服务器分别将源域样本集的第一样本集中的每个样本输入待训练的分类网络模型,得到待训练的分类网络模型输出的分类概率与对应的实际分类概率之间的分类损失值总和;根据该分类损失值总和对待训练的分类网络模型中的网络参数进行暂时更新,得到更新后的分类网络模型,作为源域对应的元分类网络模型;参照此方法,可以根据各个源域样本集的第一样本集,得到各个源域对应的分类网络模型。
进一步地,服务器还可以根据源域样本集的第一样本集中的样本对待训练的分类网络模型进行初次训练,得到初次训练后的分类网络模型;获取初次训练后的分类网络模型输出的分类概率与对应的实际分类概率之间的分类损失值;根据分类损失值调整初次训练后的分类网络模型的网络参数,并对调整后的分类网络模型进行反复训练,直至达到训练结束条件(比如训练10次);当达到训练结束条件时,将当前的分类网络模型,作为源域对应的分类网络模型;参照此方法,可以得到各个源域对应的分类网络模型。
步骤S308,获取各个源域对应的分类网络模型在各个源域样本集的第二样本集上的预测损失值,根据预测损失值对待训练的分类网络模型进行训练,得到训练后的分类网络模型。
其中,各个源域对应的分类网络模型在各个源域样本集的第二样本集上的预测损失值,是指各个源域对应的分类网络模型在各个源域样本集的第二样本集中的各个样本上的分类损失值的总和。
具体地,服务器分别将源域样本集的第二样本集中的每个样本输入源域对应的分类网络模型,得到源域对应的分类网络模型输出的每个样本的分类概率与对应的实际分类概率之间的分类损失值;将源域对应的分类网络模型输出的每个样本的分类概率与对应的实际分类概率之间的分类损失值进行相加,得到源域对应的分类网络模型在源域样本集的第二样本集上的预测损失值;参照此方法,可以得到各个源域对应的分类网络模型在各个源域样本集的第二样本集上的预测损失值;将各个源域对应的分类网络模型在各个源域样本集的第二样本集上的预测损失值进行相加,得到目标损失值;根据目标损失值对待训练的分类网络模型的网络参数进行更新,得到更新后的分类网络模型,作为训练后的分类网络模型。
步骤S310,若训练后的分类网络模型不满足第一收敛条件,则将训练后的分类网络模型作为待训练的分类网络模型,并跳转至分别根据各个源域样本集的第一样本集对待训练的分类网络模型进行训练,得到各个源域对应的分类网络模型的步骤。
步骤S312,若训练后的分类网络模型满足第一收敛条件,将分类网络模型作为预训练后的分类网络模型。
其中,训练后的分类网络模型满足第一收敛条件是指训练后的分类网络模型的训练次数达到预设训练次数或者训练后的分类网络模型的网络参数达到收敛;那么训练后的分类网络模型不满足第一收敛条件是指训练后的分类网络模型的训练次数没有达到预设训练次数或者训练后的分类网络模型的网络参数没有达到收敛。
具体地,当训练后的分类网络模型的训练次数没有达到预设训练次数或者训练后的分类网络模型的网络参数没有达到收敛,则确认训练后的分类网络模型不满足第一收敛条件,并将当前的训练后的分类网络模型,作为待训练的分类网络模型,并跳转至步骤S306,不断重复执行步骤S306至S308,直至当前的分类网络模型的训练次数达到预设训练次数或者当前的分类网络模型的网络参数达到收敛。
在本实施例中,通过各个源域样本集对待训练的分类网络模型进行预训练,有利于迁移多个基于源域样本集训练得到的模型的样本识别知识,从而得到一个在多个源域样本集上具有较强泛化能力的分类网络模型。
在一个实施例中,如图4所示,上述步骤S306,分别根据各个源域样本集的第一样本集对待训练的分类网络模型进行训练,得到各个源域对应的分类网络模型,具体包括如下步骤:
步骤S402,分别根据各个源域样本集的第一样本集对待训练的分类网络模型进行训练,得到待训练的分类网络模型在各个源域样本集的第一样本集上的预测损失值。
其中,待训练的分类网络模型在各个源域样本集的第一样本集上的预测损失值,是指待训练的分类网络模型在各个源域样本集的第一样本集中各个样本上的分类损失值的总和。
具体地,服务器将源域样本集的第一样本集中的样本输入待训练的分类网络模型中,得到待训练的分类网络模型输出的分类概率;根据待训练的分类网络模型输出的分类概率以及该样本对应的实际分类概率,结合交叉熵损失函数,得到该样本的分类损失值;以此类推,可以得到待训练的分类网络模型对源域样本集的第一样本集中各个样本的分类损失值;将待训练的分类网络模型对源域样本集的第一样本集中各个样本的分类损失值进行相加,得到待训练的分类网络模型在源域样本集的第一样本集上的分类损失值总和,作为待训练的分类网络模型在源域样本集的第一样本集上的预测损失值;参照此方法,可以得到待训练的分类网络模型在各个源域样本集的第一样本集上的预测损失值。
步骤S404,分别根据待训练的分类网络模型在各个源域样本集的第一样本集上的预测损失值,对待训练的分类网络模型的网络参数进行更新,得到各个源域对应的分类网络模型。
具体地,服务器根据待训练的分类网络模型在源域样本集的第一样本集上的预测损失值,确定待训练的分类网络模型的网络参数更新梯度;根据待训练的分类网络模型的网络参数更新梯度,对待训练的分类网络模型的网络参数进行更新,得到更新后的分类网络模型,作为源域对应的分类网络模型;参照此方法,可以得到各个源域对应的分类网络模型。
在本实施例中,通过源域样本集的第一样本集,对待训练的分类网络模型进行训练,有利于学习多个源域样本集的特征信息,便于后续得到一个在多个源域样本集上具有较强泛化能力的分类网络模型,从而实现多个源域到目标域的迁移。
在一个实施例中,如图5所示,上述步骤S206,分别根据各个源域样本集对预训练后的分类网络模型进行再次训练,得到各个再次训练后的分类网络模型,具体包括如下步骤:
步骤S502,分别将各个源域样本集中的样本输入预训练后的分类网络模型,得到预训练后的分类网络模型对各个源域样本集中的样本的分类概率。
具体地,服务器根据预设的特征编码指令对源域样本集中的样本进行特征提取处理和特征编码处理,得到源域样本集中的样本的特征编码;其中,预设的特征编码指令是一种能够自动对样本进行特征提取处理和特征编码处理的指令;样本的特征编码是指经过压缩编码后的用于表示样本的低层语义的低维度特征向量。接着,服务器将源域样本集中的样本的特征编码输入预训练后的分类网络模型,通过预训练后的分类网络模型中的特征提取网络对样本的特征编码进行卷积处理,得到样本的目标特征编码;通过预训练后的分类网络模型中的类别预测网络对样本的目标特征编码进行全连接处理,得到预训练后的分类网络模型对源域样本集中的样本的分类概率;参照此方法,可以得到预训练后的分类网络模型对各个源域样本集中的样本的分类概率。
步骤S504,获取预训练后的分类网络模型对各个源域样本集中的样本的分类概率与对应的实际分类概率的差值。
其中,预训练后的分类网络模型对各个源域样本集中的样本的分类概率与对应的实际分类概率的差值,用于衡量预训练后的分类网络模型对各个源域样本集中的样本的分类概率与对应的实际分类概率之间的偏差程度。
步骤S506,根据差值确定预训练后的分类网络模型在各个源域样本集中的样本上的损失值。
具体地,服务器将各个差值,对应识别为预训练后的分类网络模型在各个源域样本集中的样本上的损失值。
步骤S508,分别根据各个损失值反向训练预训练后的分类网络模型,直至各个预训练后的分类网络模型均满足第二收敛条件。
其中,第二收敛条件是指预训练后的分类网络模型的训练次数达到预设训练次数。
具体地,服务器根据各个损失值确定各个网络参数更新梯度,分别根据各个网络参数更新梯度对预训练后的分类网络模型的网络参数进行对应更新,得到各个更新后的分类网络模型;将各个更新后的分类网络模型作为各个预训练后的元分类网络模型,重复执行步骤S502至S508,直到各个预训练后的元分类网络模型的训练次数均达到预设训练次数。
步骤S510,若各个预训练后的分类网络模型均满足第二收敛条件,则将当前的各个预训练后的分类网络模型,对应作为各个再次训练后的分类网络模型。
在本实施例中,分别根据各个源域样本集对预训练后的分类网络模型进行再次训练,有利于进一步迁移各个基于源域样本集训练得到的模型的样本识别知识;同时,先根据源域样本集对预训练后的分类网络模型进行训练,避免过早地引入样本数较少的目标域样本集,导致训练得到的分类网络模型存在过拟合的缺陷,进一步提高了后续训练得到的样本识别模型的样本识别准确率。
在一个实施例中,如图6所示,上述步骤S208,分别根据各个源域样本集和目标域样本集,对各个再次训练后的分类网络模型进行对抗训练,得到各个训练完成的分类网络模型,具体包括如下步骤:
步骤S602,分别将各个源域样本集和目标域样本集进行组合,得到与各个源域样本集对应的组合样本集。
其中,每个组合样本集具有多批样本集,可以是源域样本集中的一部分样本组合而成的样本集,也可以是源域样本集中的一部分样本和目标域样本集中的一部分样本共同组成的样本集。
具体地,服务器分别从每个源域样本集中抽取一些样本,与目标域样本集中抽取的一些样本进行组合,可以得到每个源域样本集对应的一批样本集;以此类推,可以得到每个源域样本集对应的多批样本集,作为每个源域样本集对应的组合样本集。
步骤S604,分别将与各个源域样本集对应的组合样本集中的样本对应输入各个再次训练后的分类网络模型中的特征提取网络,得到样本的目标特征编码。
其中,样本的目标特征编码是指数据维度更低且保留有更多关键的样本信息的特征编码。
具体地,服务器分别将与各个源域样本集对应的组合样本集中的样本的特征编码输入各个再次训练后的分类网络模型中的特征提取网络,通过特征提取网络对样本的特征编码进行多次卷积处理(如两次卷积处理),得到样本的目标特征编码。
步骤S606,分别将样本的目标特征编码输入各个再次训练后的分类网络模型中的类别预测网络以及类别预测网络对应的域分类网络,得到各个类别预测网络输出的类别预测值和各个域分类网络输出的域预测值。
其中,域分类网络是一种能够输出样本属于某一个域(源域或者目标域)的概率的网络模型;例如,参考图7,域分类网络和类别预测网络均位于再次训练后的分类网络模型中的特征提取网络之后,且将域分类网络称为与再次训练后的分类网络模型中的类别预测网络对应的域分类网络。
其中,域预测值用于衡量样本属于某一个域(源域或者目标域)的概率;类别预测值用于衡量样本属于某一个类别的概率,具体是指样本的分类概率。
具体地,服务器分别将样本的目标特征编码输入各个再次训练后的分类网络模型中的类别预测网络以及类别预测网络对应的域分类网络,通过类别预测网络对样本的目标特征编码进行卷积处理,得到样本的类别预测值;通过域分类网络对样本的目标特征编码进行卷积处理,得到样本的域预测值;参照此方法,可以得到各个类别预测网络输出的类别预测值和各个域分类网络输出的域预测值。
举例说明,参考图7,服务器将样本的目标特征编码输入再次训练后的分类网络模型中的类别预测网络,通过类别预测网络对样本的目标特征编码进行多次卷积处理(如两次卷积处理),得到样本的分类编码;对样本的分类编码进行归一化处理,得到样本在各个预设类别下的概率;从样本在各个预设类别下的概率中,选择一个预设类别下的概率作为样本对应的分类概率,并将样本对应的分类概率作为样本的类别预测值。比如,假设样本有两个类别,分别是类别a、类别b;服务器将样本的目标特征编码输入再次训练后的分类网络模型中的类别预测网络,通过类别预测网络对样本的目标特征编码进行多次卷积处理,得到样本的分类编码为(A1,B1);对样本的分类编码进行归一化处理,得到归一化处理后的分类编码为(A2,B2);其中,A2=A1/(A1+B1),B2=B1/(A1+B1);根据归一化处理后的分类编码(A2,B2),确定样本在类别a、类别b下的概率分别为A2、B2;将样本在类别b下的概率,作为样本对应的分类概率,并将其称为样本的类别预测值。比如,在金融反欺诈场景中,假设样本有两个类别,分别是非欺诈用户、欺诈用户,得到的分类编码为(1,4),那么归一化处理后的分类编码为(0.2,0.8),说明样本属于非欺诈用户的概率为0.2,属于欺诈用户的概率为0.8,则将样本属于欺诈用户的概率作为样本对应的分类概率。
需要说明的是,按照上述同样的原理,可以得到样本的域预测值,具体在此不再赘述。
步骤S608,根据各个类别预测网络输出的类别预测值和各个域分类网络输出的域预测值,得到各个目标损失值。
其中,目标损失值用于衡量分类网络模型的总体损失值。
具体地,服务器统计类别预测网络输出的类别预测值与对应的实际类别预测值之间的差值,作为第一差值;分别统计域分类网络输出的域预测值与对应的实际域预测值之间的差值,作为第二差值;对第一差值和第二差值进行加权处理,得到目标损失值;参照此方法,可以得到各个目标损失值。
此外,服务器还可以利用交叉熵损失函数计算类别预测网络的第一损失值和域分类网络的第二损失值;对类别预测网络的第一损失值和域分类网络的第二损失值进行加权处理,得到目标损失值;参照此方法,可以得到各个目标损失值。
步骤S610,根据各个目标损失值对应调整各个再次训练后的分类网络模型的网络参数,直至达到训练结束条件。
其中,再次训练后的分类网络模型达到训练结束条件,是指再次训练后的分类网络模型的训练次数达到预设训练次数,或者再次训练后的分类网络模型的网络参数达到收敛,或者根据再次训练后的分类网络模型得到的目标损失值达到最小。
具体地,服务器根据目标损失值,基于反向传播机制,对再次训练后的分类网络模型的网络参数进行更新,直至再次训练后的分类网络模型的网络参数达到收敛,则结束训练。
步骤S612,若达到训练结束条件,将当前的各个再次训练后的分类网络模型作为各个训练完成的分类网络模型。
具体地,若不满足训练结束条件,则不断调整再次训练后的分类网络模型中的网络参数,以对再次训练后的分类网络模型进行反复训练,直至根据再次训练后的分类网络模型得到的目标损失值满足训练结束条件;若根据再次训练后的分类网络模型得到的目标损失值满足训练结束条件,则将当前的多个再次训练后的分类网络模型,作为多个训练完成的分类网络模型。这样,分别根据各个源域样本集和目标域样本集,对各个再次训练后的分类网络模型进行对抗训练,有利于实现多个源域向目标域的迁移,从而提高了训练完成的分类网络模型对目标域的样本的识别能力,进一步提高了通过训练完成的分类网络模型构建而成的样本识别模型的样本识别准确率。
举例说明,参考图7,分类网络模型包括特征提取网络和类别预测网络,特征提取网络用于将样本的特征编码作为输入,并输出后续类别预测网络所需要的特征,同时将源域样本集中的样本和目标域样本集中的样本进行混合和映射,具体可以是32×16的神经网络隐含层;类别预测网络用于将特征提取网络输出的特征作为输入,并输出样本的分类概率,以实现对样本分类的功能,具体可以是16×2的神经网络隐含层。域分类网络用于判断特征提取网络输出的特征来自源域样本集还是目标域样本集,具体可以是16×2的神经网络隐含层。
参考图7,在对分类网络模型进行对抗训练的过程中,服务器先对预设的域分类网络进行随机初始化,而分类网络模型则采用上述得到的再次训练后的分类网络模型;针对每个源域样本集对应的组合样本集,对应训练得到训练完成的分类网络模型;比如,假设有9个源域样本集对应的组合样本集,将每个源域样本集对应的组合样本集中的样本的特征编码输入再次训练后的分类网络模型中的特征提取网络,通过特征提取网络输出样本的目标特征编码;类别预测网络将样本的目标特征编码作为输入,输出样本的类别预测值;域分类网络将样本的目标特征编码作为输入,输出样本的域预测值;通过交叉熵损失函数,计算样本的类别预测值与对应的实际类别预测值之间的第一损失值,以及样本的域预测值与对应的实际域预测值之间的第二损失值;通过第一损失值和第二损失值,基于反向传播机制,对分类网络模型的网络参数进行更新,直至达到训练结束条件,从而得到9个训练完成的分类网络模型。
需要说明的是,在训练分类网络模型的过程中,域分类网络的对抗机制可将源域样本集中的样本和目标域样本集中的样本映射至相似的特征空间;比如,在反向传播过程中,域分类网络和特征提取网络中间的梯度反转层使得特征提取网络的训练目标与域分类网络的训练目标相反,即特征提取网络希望输出的样本特征让域分类网络无法正确判断出样本特征来自于哪一个域(比如源域或者目标域);这种对抗关系最终使得域分类网络不能将接收的样本特征进行正确区分,特征提取网络成功将源域样本集中的样本和目标域样本集中的样本混合在某个公共的特征空间中。
进一步地,为了防止训练得到的分类网络模型存在过拟合的缺陷,服务器还可以基于dropout机制,在上述分类网络模型的训练过程中随机删除分类网络模型中的一部分神经网络隐藏层的节点单元,避免了训练得到的分类网络模型存在过拟合的缺陷。
此外,考虑到目标域样本集中的样本数较少,不宜过早参与分类网络模型的训练,服务器还可以在前面大部分迭代过程中,仅仅根据源域样本集对分类网络模型进行训练(对应步骤S206),等到最后几次迭代,才同时根据源域样本集和目标域样本集对分类网络模型进行训练(对应步骤S208);例如,在前90次迭代过程中,每次仅仅根据源域样本集中的500个样本,对分类网络模型进行训练;在最后10次迭代过程中,才同时根据源域样本集中的500个样本和目标域样本集中的500个样本对分类网络模型进行训练;这样,避免了过早引入目标域样本集的样本,导致训练得到的分类网络模型存在过拟合的缺陷。
在一个实施例中,如图8所示,步骤S210中,根据源域样本集和目标域样本集,确定各个训练完成的分类网络模型对应的分类权重,具体包括如下步骤:
步骤S802,从源域样本集和目标域样本集中,确定出各个训练完成的分类网络模型的源域样本集和目标域样本集。
其中,各个训练完成的分类网络模型的源域样本集和目标域样本集是指参与分类网络模型再次训练和对抗训练的样本集;每个训练完成的分类网络模型对应一个源域样本集和一个目标域样本集。
具体地,服务器获取各个训练完成的分类网络模型的模型标识(如模型编号、模型名称等),根据各个训练完成的分类网络模型的模型标识查询预设的模型标识与源域样本集和目标域样本集的对应关系,得到各个训练完成的分类网络模型的模型标识对应的源域样本集和目标域样本集,对应作为各个训练完成的分类网络模型的源域样本集和目标域样本集。
步骤S804,统计各个训练完成的分类网络模型的源域样本集和目标域样本集之间的特征距离。
其中,特征距离用于衡量源域样本集和目标域样本集之间的相关性,一般地,特征距离越大,表示源域样本集和目标域样本集之间越不相关;特征距离越小,表示源域样本集和目标域样本集之间越相关。在实际场景中,特征距离可以是W距离(WassersteinDistance),它相比于KL距离的优越性在于,即使两个样本集之间的样本分布没有重叠,W距离仍然能够反映他们之间的特征距离远近。
具体地,服务器将各个训练完成的分类网络模型的源域样本集和目标域样本集输入特征距离统计模型中,得到各个训练完成的分类网络模型的源域样本集和目标域样本集之间的特征距离;特征距离统计模型用于对各个训练完成的分类网络模型的源域样本集和目标域样本集进行分析处理,得到各个训练完成的分类网络模型的源域样本集和目标域样本集之间的特征距离。
进一步地,服务器还可以根据预设的特征距离统计指令,对各个训练完成的分类网络模型的源域样本集和目标域样本集进行处理,得到各个训练完成的分类网络模型的源域样本集和目标域样本集之间的特征距离。
步骤S806,根据各个训练完成的分类网络模型的源域样本集和目标域样本集之间的特征距离,查询预设的特征距离与权重的对应关系,确定各个训练完成的分类网络模型对应的权重。
其中,训练完成的分类网络模型的源域样本集和目标域样本集之间的特征距离越大,表示源域样本集和目标域样本集之间越不相关,说明源域样本集对目标域样本集的迁移效果较差,那么通过源域样本集和目标域样本集训练得到的分类网络模型的代表性较差,说明该分类网络模型对应的权重越小;训练完成的分类网络模型的源域样本集和目标域样本集之间的特征距离越小,表示源域样本集和目标域样本集之间越相关,说明源域样本集对目标域样本集的迁移效果较优,那么通过源域样本集和目标域样本集训练得到的分类网络模型的代表性较优,说明该分类网络模型对应的权重越大。
具体地,服务器获取预设的特征距离与权重的对应关系,并根据各个训练完成的分类网络模型的源域样本集和目标域样本集之间的特征距离,查询该预设的特征距离与权重的对应关系,得到各个训练完成的分类网络模型的源域样本集和目标域样本集之间的特征距离对应的权重,对应作为各个训练完成的分类网络模型对应的权重。
进一步地,服务器还可以统计各个训练完成的分类网络模型的源域样本集和目标域样本集之间的特征距离的倒数,对应作为各个训练完成的分类网络模型对应的权重。
步骤S808,将各个训练完成的分类网络模型对应的权重进行归一化处理,得到各个训练完成的分类网络模型对应的分类权重。
举例说明,假设有4个训练完成的分类网络模型,对应的权重分别为A1,A2,A3,A4,那么通过归一化处理后,这4个训练完成的分类网络模型对应的分类权重分别为A1/(A1+A2+A3+A4),A2/(A1+A2+A3+A4),A3/(A1+A2+A3+A4),A4/(A1+A2+A3+A4)。
进一步地,在得到各个训练完成的分类网络模型对应的分类权重之后,服务器可以根据各个训练完成的分类网络模型对应的分类权重,对各个训练完成的分类网络模型输出的待识别样本的分类概率进行加权处理,得到待识别样本的目标分类概率。
举例说明,参考图9,针对组合样本集1(由源域样本集1和目标域样本集1组合)、组合样本集2(由源域样本集2和目标域样本集1组合)······组合样本集n(由源域样本集n和目标域样本集1组合),对各个预训练后的分类网络模型进行反复训练,可以得到n个源域样本集参与训练的分类网络模型;通过n个分类网络模型对待识别样本的特征编码进行处理,可以输出待识别样本的n个分类概率,比如分类概率1、分类概率2······分类概率n;通过W距离网络对该待识别样本的n个分类概率进行加权融合,得到待识别样本的目标分类概率;例如,通过W距离网络统计得到n个分类网络模型的源域样本集和目标域样本集之间的W距离,并查询W距离与权重的对应关系,得到n个W距离对应的权重,对应作为n个分类网络模型的权重;通过对n个分类网络模型的权重进行归一化处理,得到n个分类网络模型的分类权重,对应作为n个分类网络模型输出的分类概率的权重;通过n个分类网络模型输出的分类概率的权重,对n个分类网络模型输出的分类概率进行加权处理,得到待识别样本的目标分类概率。
在本实施例中,通过确定各个训练完成的分类网络模型对应的分类权重,有利于确定各个训练完成的分类网络模型输出的分类概率所对应的投票权重,同时有利于综合考虑各个训练完成的分类网络模型的重要程度,保证了相关源域的正向迁移,同时抑制了不相关源域的负向迁移。
在一个实施例中,步骤S804中,统计各个训练完成的分类网络模型的源域样本集和目标域样本集之间的特征距离,包括:分别将各个训练完成的分类网络模型的源域样本集和目标域样本集输入预先训练的特征距离模型,得到各个训练完成的分类网络模型的源域样本集和目标域样本集之间的特征距离;其中,预先训练的特征距离模型用于分别对各个训练完成的分类网络模型的源域样本集和目标域样本集中的样本的特征编码进行全连接处理,输出各个训练完成的分类网络模型的源域样本集和目标域样本集之间的特征距离。
其中,预先训练的特征距离模型是一种能够统计不同域样本集之间的特征距离的全连接神经网络,比如W距离网络。
在本实施例中,通过预先训练的特征距离模型,可以得到各个训练完成的分类网络模型的源域样本集和目标域样本集之间的特征距离,便于后续根据各个训练完成的分类网络模型的源域样本集和目标域样本集之间的特征距离,确定各个训练完成的分类网络模型的权重,进而确定各个训练完成的分类网络模型的分类权重。
在一个实施例中,如图10所示,预先训练的特征距离模型通过下述步骤训练得到:
步骤S1002,采集第一域样本集、第二域样本集以及第一域样本集和第二域样本集之间的实际特征距离。
具体地,服务器基于大数据技术,采集第一域样本集和第二域样本集,并通过人工标注的方式,确定第一域样本集和第二域样本集之间的实际特征距离。
需要说明的是,第一域样本集、第二域样本集可以是任意的两个域样本集。
步骤S1004,根据第一域样本集和第二域样本集对待训练的特征距离模型进行训练,得到训练后的特征距离模型。
步骤S1006,获取训练后的特征距离模型输出的特征距离与实际特征距离之间的差值。
其中,训练后的特征距离模型输出的特征距离与实际特征距离之间的差值用于衡量训练后的特征距离模型输出的特征距离与实际特征距离之间的偏差程度。
步骤S1008,当差值大于或者等于预设阈值时,根据差值调整特征距离模型的网络参数,得到调整后的特征距离模型,并对调整后的特征距离模型进行反复训练,直至根据训练后的特征距离模型得到的差值小于预设阈值。
步骤S1010,若根据训练后的特征距离模型得到的差值小于预设阈值,将训练后的特征距离模型作为预先训练的特征距离模型。
具体地,在差值大于或者等于第二预设阈值的情况下,服务器不断调整特征距离模型(如W距离网络)中的网络参数,以对特征距离模型进行反复训练,直至根据训练后的特征距离模型得到的差值小于第二预设阈值,则将当前的特征距离模型作为预先训练的特征距离模型。
在一个实施例中,以特征距离模型为W距离网络为例进行说明,服务器先随机初始化W距离网络的参数w,接着进入循环,循环次数为W距离网络的网络参数w更新的次数;在循环过程中,对于任意两个域x和z,分别采样m个样本,得到样本集和样本集/>然后计算梯度gw,并利用Adam优化器更新网络参数w,网络参数w收敛之后跳出循环,整个训练过程结束。
w←w+α·Adam(w,gw)
其中,fw()为计算W距离的函数,通过两个域之间的平均W距离的差值对网络参数w求偏导,得到网络参数w的更新梯度gw
在本实施例中,通过对特征距离模型进行多次训练,可以提高特征距离模型输出的特征距离的准确率,从而提高了得到的训练完成的分类网络模型的权重的准确率,进一步提高了得到的训练完成的分类网络模型的分类权重的准确率。
在一个实施例中,如图11所示,提供了一种样本识别方法,以该方法应用于图1中的服务器为例进行说明,包括以下步骤:
步骤S1102,获取待识别样本的特征编码。
其中,待识别样本是指目标域中需要确定样本类型的样本,可以是本地数据库中缓存的样本,也可以是网络上的样本,还可以是终端上传的样本;具体本申请不做限定。
其中,待识别样本的特征编码是指经过压缩编码后的用于表示待识别样本的低层语义的低维度特征向量,可以通过预先训练的特征嵌入网络模型学习得到。
具体地,服务器获取待识别样本,根据预设的特征编码指令对待识别样本进行特征提取处理和特征编码处理,得到待识别样本的特征编码;其中,预设的特征编码指令是一种能够自动对样本进行特征提取处理和特征编码处理的指令。这样,通过获取待识别样本的特征编码,有利于后续根据待识别样本的特征编码,确定待识别样本在各个训练完成的分类网络模型中的分类概率。
在一个实施例中,服务器接收终端发送的样本识别请求,对样本识别请求进行解析,得到待识别样本;将待识别样本输入预先训练的特征嵌入网络模型,得到待识别样本的特征编码。其中,预先训练的特征嵌入网络模型是一种能够对待识别样本进行特征提取和特征编码,以得到待识别样本对应的特征编码的神经网络模型。
举例说明,终端通过响应审核人员在终端的样本审核界面上的样本输入操作,获取审核人员输入的待识别样本;根据审核人员输入的待识别样本,生成样本识别请求,并将样本识别请求发送至对应的服务器;服务器对样本识别请求进行解析,得到待识别样本;对待识别样本进行编码处理,得到待识别样本的特征编码。
在金融反欺诈场景中,审核人员在欺诈识别界面上输入用户的行为表现信息,并点击审核按钮,触发终端获取用户的行为表现信息,并将用户的行为表现信息当作待识别样本发送至对应的服务器,以请求服务器对用户的行为表现信息进行识别,以确定用户是欺诈用户还是非欺诈用户。
进一步地,在获取待识别样本的特征编码之前,服务器还可以对待识别样本进行预处理,比如脱敏处理、特征归一化处理等;具体地,服务器根据预设的脱敏处理指令,对待识别样本进行脱敏处理,得到脱敏处理后的待识别样本。这样,有利于避免多余信息干扰,从而提高了得到的待识别样本的特征编码的准确率。
在另一个实施例中,服务器还可以基于大数据技术,获取网络上未识别类型的样本,作为待识别样本;或者从本地数据库中获取未识别类型的样本,作为待识别样本;对待识别样本进行预处理,得到预处理后的待识别样本;根据预设的特征编码指令对预处理后的待识别样本进行特征提取处理和特征编码处理,得到待识别样本的特征编码。
步骤S1104,将待识别样本的特征编码输入训练完成的样本识别模型,得到待识别样本在各个训练完成的分类网络模型中的分类概率以及各个训练完成的分类网络模型对应的分类权重;训练完成的样本识别模型根据上述所述的样本识别模型的生成方法得到,训练完成的样本识别模型包括各个训练完成的分类网络模型。
需要说明的是,获取训练完成的样本识别模型的具体方式参考本申请关于样本识别模型的生成方法的实施例,具体在此不再赘述。
步骤S1106,根据各个训练完成的分类网络模型对应的分类权重,对待识别样本在各个训练完成的分类网络模型中的分类概率进行加权处理,得到待识别样本的目标分类概率。
其中,目标分类概率用于衡量待识别样本属于某一种类型的最终概率;比如,在金融反欺诈场景中,目标分类概率是指待识别样本属于欺诈用户的最终概率。
具体地,服务器根据各个训练完成的分类网络模型对应的分类权重,对待识别样本在各个训练完成的分类网络模型中的分类概率进行加权处理,得到各个训练完成的分类网络模型对应的分类权重与分类概率的乘积;将各个训练完成的分类网络模型对应的分类权重与分类概率的乘积进行相加,得到待识别样本的最终分类概率,作为待识别样本的目标分类概率。这样,有利于综合考虑各个训练完成的分类网络模型输出的分类概率的重要程度,从而使得后续确定出的待识别样本的识别结果更加准确,进一步提高了样本的识别准确率;同时,有利于后续根据待识别样本的目标分类概率,自动确定对待识别样本的识别结果,无需通过人工对样本进行审核,从而降低了人工审核成本,进一步提高了样本识别效率。
举例说明,假设待识别样本在各个训练完成的分类网络模型中的分类概率分别是A1、A2、A3,各个训练完成的分类网络模型对应的权重分别是b1、b2、b3,那么待识别样本的目标分类概率为A1×b1+A2×b2+A3×b3。
步骤S1108,根据待识别样本的目标分类概率,确定对待识别样本的识别结果。
其中,对待识别样本的识别结果是指对待识别样本的审核结果,比如待识别样本符合要求或者不符合要求、待识别样本的样本类型等;在金融反欺诈场景中,对待识别样本的识别结果可以是指用户的信用评分、用户的欺诈风险、用户属于欺诈用户或者非欺诈用户等。
具体地,服务器获取与待识别样本的目标分类概率对应的审核结果,作为对待识别样本的识别结果;比如,若待识别样本的目标分类概率大于或者等于预设分类概率,则对应的审核结果为待识别样本不符合要求,或者待识别样本属于某一个类别。这样,实现了根据待识别样本的目标分类概率,自动确定对待识别样本的识别结果的目的,避免了基于数量较少的样本训练得到的模型存在过拟合,导致输出的样本类别的准确率较低,从而造成样本的识别准确率较低的缺陷,进一步提高了样本的识别准确率。
在金融反欺诈场景中,假设待识别样本为贷款人的行为特征信息,若待识别样本的目标分类概率大于或者等于预设分类概率,则确定贷款人属于欺诈用户,或者贷款人的欺诈风险较高,并将这些信息作为对待识别样本的识别结果。
在一个实施例中,在根据待识别样本的目标分类概率,确定对待识别样本的识别结果之后,服务器还可以根据对待识别样本的识别结果,确定不符合要求的样本,比如欺诈用户;将不符合要求的样本进行过滤处理,从而得到有效的样本。这样,通过对待识别样本的识别结果,有利于对不符合要求的样本进行过滤,从而保证了样本质量。
在另一个实施例中,在根据待识别样本的目标分类概率,确定对待识别样本的识别结果之后,服务器还可以接收终端发送的样本识别请求;对样本识别请求进行解析,得到待识别样本;从预先存储的对待识别样本的识别结果中,确定与该待识别样本对应的识别结果,并将该待识别样本对应的识别结果推送至对应的终端;这样,有利于终端对应的审核人员对识别结果进行查看,以确定待识别样本是否符合要求,进而做进一步的其它操作;比如,若基于贷款人的行为特征信息识别到贷款人属于欺诈用户,则拒绝该贷款人的贷款请求。同时,避免了通过人工对待识别样本进行识别,过程比较繁琐且容易出现错误,导致样本的识别准确率较低的缺陷,进一步提高了样本的识别准确率。
上述样本识别方法,根据各个训练完成的分类网络模型对应的分类权重,对待识别样本在各个训练完成的分类网络模型中的分类概率进行加权处理,得到待识别样本的目标分类概率,进而确定待识别样本的识别结果;综合考虑了待识别样本在多个训练完成的分类网络模型中的分类概率,避免了基于数量较少的样本训练得到的模型存在过拟合,导致输出的样本类别的准确率较低,从而造成样本的识别准确率较低的缺陷,进一步提高了样本的识别准确率;同时,对待识别样本在多个训练完成的分类网络模型中的分类概率进行加权处理,有利于综合考虑各个训练完成的分类网络模型输出的分类概率的重要程度,从而使得确定出的待识别样本的识别结果更加准确,进一步提高了样本的识别准确率。
在一个实施例中,如图12所示,上述步骤S1102,获取待识别样本的特征编码,具体包括如下步骤:
步骤S1202,对待识别样本进行特征归一化处理,得到待识别样本的标准化特征。
其中,标准化特征用于标识待识别样本的特征信息。
具体地,服务器获取预设的特征归一化处理文件,根据预设的特征归一化处理文件,对待识别样本进行特征归一化处理,得到待识别样本的标准化特征;其中,预设的特征归一化处理文件是一种能够对样本进行特征归一化处理的算法文件。
进一步地,服务器还可以通过z-score标准化的方式对待识别样本进行特征归一化处理,得到待识别样本的标准化特征。
步骤S1204,对待识别样本的标准化特征进行编码处理,得到待识别样本的特征编码。
具体地,服务器获取预设的编码处理文件,根据预设的编码处理文件对待识别样本的标准化特征进行编码处理,得到待识别样本的特征编码;其中,预设的编码处理文件是一种能够对样本的标准化特征进行编码处理的算法文件。
举例说明,服务器对待识别样本的标准化特征进行编码处理,得到一个多维度的特征向量,作为待识别样本的特征编码。
在本实施例中,通过获取待识别样本的特征编码,有利于后续根据待识别样本的特征编码,确定待识别样本在各个训练完成的分类网络模型中的分类概率。
在一个实施例中,如图13所示,上述步骤S1108,根据待识别样本的目标分类概率,确定对待识别样本的识别结果,具体包括如下步骤:
步骤S1302,若待识别样本的目标分类概率大于或者等于预设分类概率,确定待识别样本的类型为第一预设类型。
步骤S1304,若待识别样本的目标分类概率小于预设分类概率,确定待识别样本的类型为第二预设类型。
其中,第一预设类型和第二预设类型均用于标识样本类型;在金融反欺诈场景中,第一预设类型是指欺诈用户,第二预设类型是指非欺诈用户。
具体地,若待识别样本的目标分类概率大于或者等于预设分类概率,说明待识别样本属于第一预设类型的概率较高,则确认待识别样本的类型为第一预设类型;若待识别样本的目标分类概率小于预设分类概率,说明待识别样本属于第二预设类型的概率较高,则确认待识别样本的类型为第二预设类型。
进一步地,服务器还可以将待识别样本的类型,作为待识别样本的标签信息,方便审核人员根据待识别样本的标签信息,即可快速了解待识别样本的类型。
在金融反欺诈场景中,若待识别样本的目标分类概率大于或者等于预设分类概率,确定待识别样本所属的用户类型为欺诈用户;若待识别样本的目标分类概率小于预设分类概率,确定待识别样本所属的用户类型为非欺诈用户。
此外,服务器还可以根据待识别样本的目标分类概率,确定待识别样本的信用评分,从而评估待识别样本的欺诈风险;比如待识别样本的目标分类概率为0.82,待识别样本的信用评分为0.82×100=82分。需要说明的是,待识别样本的信用评分越高,待识别样本的欺诈风险越大。
在本实施例中,实现了根据待识别样本的目标分类概率,确定对待识别样本的识别结果的目的,综合考虑了待识别样本在各个训练完成的分类网络模型中的分类概率,避免了基于数量较少的样本训练得到的模型存在过拟合,导致输出的样本类别的准确率较低,从而造成样本的识别准确率较低的缺陷,进一步提高了样本的识别准确率。
在一个实施例中,如图14所示,本申请的样本识别方法还包括存储待识别样本的识别结果的步骤,具体包括如下步骤:
步骤S1402,获取待识别样本的样本标识。
其中,样本标识是指用于标识待识别样本的标识信息,比如样本名称、样本编号等。
具体地,服务器获取待识别样本的样本名称,将待识别样本的样本名称,作为待识别样本的样本标识;或者,服务器识别待识别样本的样本编号,将待识别样本的样本编号,作为待识别样本的样本标识。
步骤S1404,将待识别样本的识别结果,按照待识别样本的样本标识存储至预设数据库中。
具体地,服务器将待识别样本的识别结果均按照待识别样本的样本标识存储至Redis数据库中,以通过Redis数据库存储多个样本标识对应的识别结果。当然,服务器还可以通过其他缓存方式存储样本标识对应的识别结果。
进一步地,将待识别样本的识别结果,按照待识别样本的样本标识存储至预设数据库中之后,在终端发起携带有样本标识的样本识别请求时,服务器还可以从预设数据库中提取出该样本标识对应的识别结果,并将该识别结果推送至对应的终端,以通过终端界面展示识别结果。
在本实施例中,实现了将待识别样本的识别结果进行存储的目的,便于后续根据终端发起的样本识别请求,准确地、实时地将对应的识别结果推送至对应的终端,无需通过人工审核样本,从而降低了人工审核成本,进而提高了样本的识别效率。
在一个实施例中,本申请还提供了另一种样本识别方法,该样本识别方法可以应用于如图15所示的应用环境图中。参照图15,该样本识别方法应用于样本审核系统。该样本审核系统包括终端1510和服务器1520;终端1510与服务器1520通过网络连接。终端1510可以是移动终端,移动终端具体可以是手机、平板电脑、笔记本电脑等中的至少一种。服务器1520可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图16所示,提供了另一种样本识别方法,以该方法应用于图15中的服务器1520为例进行说明,包括以下步骤:
步骤S1602,接收终端发送的样本识别请求;样本识别请求中携带有样本标识。
具体地,终端通过响应审核人员在终端的样本审核页面上的样本选择操作,获取审核人员选择的待识别样本的样本标识,并根据待识别样本的样本标识生成样本识别请求,将生成的样本识别请求发送至对应的服务器;服务器对样本识别请求进行解析,得到待识别样本的样本标识。
举例说明,参考图17(a),审核人员在终端的样本审核界面上选择需要审核的样本,比如样本A,并点击审核按钮,触发终端基于审核人员已选择的样本所对应的样本标识,生成样本识别请求,并将该样本识别请求发送至对应的服务器,以请求服务器根据该样本标识,获取对应的识别结果。
此外,审核人员还可以通过登录终端中运行的浏览器,进入样本审核页面,通过样本审核页面对线上的待识别样本进行选择操作,触发生成样本识别请求,并通过终端将该样本识别请求发送至对应的服务器,以触发服务器根据样本识别请求,得到待识别样本的样本标识。
步骤S1604,从预设数据库中获取与样本标识对应的识别结果。
其中,预设数据库中存储了多个样本标识对应的识别结果;识别结果是指对样本标识对应的样本的识别结果。
具体地,服务器根据样本标识查询预设数据库,从预设数据库中获取与该样本标识对应的识别结果。
此外,若在预设数据库中没有获取到与样本标识对应的识别结果,说明预设数据库中没有存储该样本标识对应的识别结果,则通过服务器获取样本标识对应的样本,根据样本标识对应的样本,实时确定该样本的识别结果。
需要说明的是,服务器除了可以从预设数据库中获取与样本标识对应的识别结果,还可以实时确定样本标识对应的样本的识别结果。例如,服务器实时获取与样本标识对应的样本,作为待识别样本,并执行步骤S1102至步骤S1108,得到对待识别样本的识别结果,作为该样本标识对应的识别结果。
步骤S1606,将识别结果推送至终端。
具体地,服务器将样本标识对应的识别结果推送至对应的终端,以通过终端的样本审核界面展示样本标识对应的识别结果,方便审核人员查看样本的类型。举例说明,参考图17(b),通过终端的样本审核界面展示服务器发送的样本A的识别结果。
在本实施例中,实现了根据终端的样本识别请求,实时将相应的识别结果推送至对应的终端的目的,无需通过人工对样本进行审核,从而提高了样本的识别效率,同时节约了人工审核成本。
在一个实施例中,如图18所示,提供了又一种样本识别方法,以该方法应用于图15中的服务器1520为例进行说明,包括以下步骤:
步骤S1802,采集至少两个源域样本集和一个目标域样本集;源域样本集和目标域样本集中的样本均标记有对应的实际分类概率。
步骤S1804,根据各个源域样本集对待训练的分类网络模型进行预训练,得到预训练后的分类网络模型。
步骤S1806,分别根据各个源域样本集对预训练后的分类网络模型进行再次训练,得到各个再次训练后的分类网络模型。
步骤S1808,分别根据各个源域样本集和目标域样本集,对各个再次训练后的分类网络模型进行对抗训练,得到各个训练完成的分类网络模型。
步骤S1810,根据源域样本集和目标域样本集,确定各个训练完成的分类网络模型对应的分类权重。
步骤S1812,根据各个训练完成的分类网络模型以及各个训练完成的分类网络模型对应的分类权重,生成训练完成的样本识别模型。
步骤S1814,接收终端发送的样本识别请求;样本识别请求中携带有待识别样本。
步骤S1816,获取待识别样本的特征编码。
步骤S1818,将待识别样本的特征编码输入训练完成的样本识别模型,得到待识别样本在各个训练完成的分类网络模型中的分类概率以及各个训练完成的分类网络模型对应的分类权重。
步骤S1820,根据各个训练完成的分类网络模型对应的分类权重,对待识别样本在各个训练完成的分类网络模型中的分类概率进行加权处理,得到待识别样本的目标分类概率。
步骤S1822,根据待识别样本的目标分类概率,确定对待识别样本的识别结果。
步骤S1824,将对待识别样本的识别结果推送至终端。
在本实施例中,通过训练完成的样本识别模型,确定待识别样本在各个训练完成的分类网络模型中的分类概率,结合各个训练完成的分类网络模型对应的分类权重,得到待识别样本的目标分类概率,进而确定待识别样本的识别结果;综合考虑了待识别样本在多个训练完成的分类网络模型中的分类概率以及各个训练完成的目标域分类网络模型输出的分类概率的重要程度,有利于提高样本识别模型输出的样本识别结果的准确率,进一步提高了样本的识别准确率。
在一个实施例中,如图19所示,本申请还提供了一种用户样本识别方法,以该方法应用于图1中的服务器110为例进行说明,包括以下步骤:
步骤S1902,获取待识别用户的行为特征信息,作为待识别用户样本。
其中,待识别用户的行为特征信息用于表征待识别用户的行为表现特征,可以是与金融支付行为相关的画像信息、历史借贷记录信息、多头借贷行为信息等。
举例说明,参考图20(a),审核人员在终端的用户审核界面上输入待识别用户的行为特征信息,比如用户A的行为特征信息,并点击审核按钮,触发终端获取待识别用户的行为特征信息,并根据待识别用户的行为特征信息生成用户样本识别请求,将用户样本识别请求发送至对应的服务器;服务器对终端发送的用户样本识别请求进行解析,得到待识别用户的行为特征信息,并将待识别用户的行为特征信息作为待识别用户样本。
步骤S1904,获取待识别用户样本的特征编码。
具体地,服务器根据预设的特征编码指令对待识别用户样本进行特征提取处理和特征编码处理,得到待识别用户样本的特征编码。
步骤S1906,将待识别用户样本的特征编码输入训练完成的样本识别模型,得到待识别用户样本在各个训练完成的分类网络模型中的分类概率以及各个训练完成的分类网络模型对应的分类权重。
具体地,服务器分别将待识别用户样本的特征编码输入与待识别用户样本对应的样本识别模型中,通过样本识别模型中的各个训练完成的分类网络模型对待识别用户样本的特征编码进行卷积处理,得到待识别用户样本在各个训练完成的分类网络模型中的分类概率以及各个训练完成的分类网络模型对应的分类权重。
步骤S1908,根据各个训练完成的分类网络模型对应的分类权重,对待识别用户样本在各个训练完成的分类网络模型中的分类概率进行加权处理,得到待识别用户样本的目标分类概率。
具体地,服务器根据各个训练完成的分类网络模型对应的分类权重,对待识别用户样本在各个训练完成的分类网络模型中的分类概率进行加权处理,得到各个训练完成的分类网络模型对应的分类权重与分类概率的乘积;将各个训练完成的分类网络模型对应的分类权重与分类概率的乘积进行相加,得到待识别用户样本的最终分类概率,作为待识别用户样本的目标分类概率。
步骤S1910,根据待识别用户样本的目标分类概率,确定对待识别用户样本的识别结果,作为对待识别用户的识别结果。
具体地,若待识别用户样本的目标分类概率大于或者等于预设分类概率,确定待识别用户样本的类型为欺诈用户,说明待识别用户为欺诈用户;若待识别用户样本的目标分类概率小于预设分类概率,确定待识别用户样本的类型为非欺诈用户,说明待识别用户为非欺诈用户。
进一步地,服务器还可以将待识别用户的识别结果推送至对应的终端,以通过终端的用户审核界面展示待识别用户的识别结果,方便审核人员查看待识别用户的类型。举例说明,参考图20(b),通过终端的用户审核界面展示服务器发送的用户A的识别结果。
上述用户样本识别方法,根据各个训练完成的分类网络模型对应的分类权重,对待识别用户样本在各个训练完成的分类网络模型中的分类概率进行加权处理,得到待识别用户样本的目标分类概率,进而确定待识别用户样本的识别结果;综合考虑了待识别用户样本在多个训练完成的分类网络模型中的分类概率,避免了基于数量较少的用户样本训练得到的模型存在过拟合,导致输出的样本类别的准确率较低,从而造成样本的识别准确率较低的缺陷,进一步提高了用户样本的识别准确率;同时,对待识别用户样本在多个训练完成的分类网络模型中的分类概率进行加权处理,有利于综合考虑各个训练完成的分类网络模型输出的分类概率的重要程度,从而使得确定出的待识别用户样本的识别结果更加准确,进一步提高了用户样本的识别准确率。
应该理解的是,虽然图2-6、8、10-14、16、18、19的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-6、8、10-14、16、18、19中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图21所示,提供了一种样本识别模型的生成装置,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:样本集获取模块2110、模型预训练模块2120、模型再训练模块2130、模型对抗训练模块2140、分类权重确定模块2150和识别模型生成模块2160,其中:
样本集获取模块2110,用于采集至少两个源域样本集和一个目标域样本集;源域样本集和目标域样本集中的样本均标记有对应的实际分类概率。
模型预训练模块2120,用于根据各个源域样本集对待训练的分类网络模型进行预训练,得到预训练后的分类网络模型。
模型再训练模块2130,用于分别根据各个源域样本集对预训练后的分类网络模型进行再次训练,得到各个再次训练后的分类网络模型。
模型对抗训练模块2140,用于分别根据各个源域样本集和目标域样本集,对各个再次训练后的分类网络模型进行对抗训练,得到各个训练完成的分类网络模型。
分类权重确定模块2150,用于根据源域样本集和目标域样本集,确定各个训练完成的分类网络模型对应的分类权重。
识别模型生成模块2160,用于根据各个训练完成的分类网络模型以及各个训练完成的分类网络模型对应的分类权重,生成训练完成的样本识别模型。。
在一个实施例中,模型预训练模块2120还用于多次从各个源域样本集中抽取一批源域样本集,得到多批源域样本集合;根据多批源域样本集合,构建各批源域样本集合中的各个源域样本集的第一样本集和第二样本集;分别根据各个源域样本集的第一样本集对待训练的分类网络模型进行训练,得到各个源域对应的分类网络模型;获取各个源域对应的分类网络模型在各个源域样本集的第二样本集上的预测损失值,根据预测损失值对待训练的分类网络模型进行训练,得到训练后的分类网络模型;若训练后的分类网络模型不满足第一收敛条件,则将训练后的分类网络模型作为待训练的分类网络模型,并跳转至分别根据各个源域样本集的第一样本集对待训练的分类网络模型进行训练,得到各个源域对应的分类网络模型的步骤;若训练后的分类网络模型满足第一收敛条件,将分类网络模型作为预训练后的分类网络模型。
在一个实施例中,模型预训练模块2120还用于分别根据各个源域样本集的第一样本集对待训练的分类网络模型进行训练,得到待训练的分类网络模型在各个源域样本集的第一样本集上的预测损失值;分别根据待训练的分类网络模型在各个源域样本集的第一样本集上的预测损失值,对待训练的分类网络模型的网络参数进行更新,得到各个源域对应的分类网络模型。
在一个实施例中,模型再训练模块2130还用于分别将各个源域样本集中的样本输入预训练后的分类网络模型,得到预训练后的分类网络模型对各个源域样本集中的样本的分类概率;获取预训练后的分类网络模型对各个源域样本集中的样本的分类概率与对应的实际分类概率的差值;根据差值确定预训练后的分类网络模型在各个源域样本集中的样本上的损失值;分别根据各个损失值反向训练预训练后的分类网络模型,直至各个预训练后的分类网络模型均满足第二收敛条件;若各个预训练后的分类网络模型均满足第二收敛条件,则将当前的各个预训练后的分类网络模型,对应作为各个再次训练后的分类网络模型。
在一个实施例中,模型对抗训练模块2140还用于分别将各个源域样本集和目标域样本集进行组合,得到与各个源域样本集对应的组合样本集;分别将与各个源域样本集对应的组合样本集中的样本对应输入各个再次训练后的分类网络模型中的特征提取网络,得到样本的目标特征编码;分别将样本的目标特征编码输入各个再次训练后的分类网络模型中的类别预测网络以及类别预测网络对应的域分类网络,得到各个类别预测网络输出的类别预测值和各个域分类网络输出的域预测值;根据各个类别预测网络输出的类别预测值和各个域分类网络输出的域预测值,得到各个目标损失值;根据各个目标损失值对应调整各个再次训练后的分类网络模型的网络参数,直至达到训练结束条件;若达到训练结束条件,将当前的各个再次训练后的分类网络模型作为各个训练完成的分类网络模型。
在一个实施例中,分类权重确定模块2150还用于从源域样本集和目标域样本集中,确定出各个训练完成的分类网络模型的源域样本集和目标域样本集;统计各个训练完成的分类网络模型的源域样本集和目标域样本集之间的特征距离;根据各个训练完成的分类网络模型的源域样本集和目标域样本集之间的特征距离,查询预设的特征距离与权重的对应关系,确定各个训练完成的分类网络模型对应的权重;将各个训练完成的分类网络模型对应的权重进行归一化处理,得到各个训练完成的分类网络模型对应的分类权重。
在一个实施例中,分类权重确定模块2150还用于分别将各个训练完成的分类网络模型的源域样本集和目标域样本集输入预先训练的特征距离模型,得到各个训练完成的分类网络模型的源域样本集和目标域样本集之间的特征距离;其中,预先训练的特征距离模型用于分别对各个训练完成的分类网络模型的源域样本集和目标域样本集中的样本的特征编码进行全连接处理,输出各个训练完成的分类网络模型的源域样本集和目标域样本集之间的特征距离。
在一个实施例中,样本识别模型的生成装置还包括:特征距离模型训练模块,用于采集第一域样本集、第二域样本集以及第一域样本集和第二域样本集之间的实际特征距离;根据第一域样本集和第二域样本集对待训练的特征距离模型进行训练,得到训练后的特征距离模型;获取训练后的特征距离模型输出的特征距离与实际特征距离之间的差值;当差值大于或者等于预设阈值时,根据差值调整特征距离模型的网络参数,得到调整后的特征距离模型,并对调整后的特征距离模型进行反复训练,直至根据训练后的特征距离模型得到的差值小于预设阈值;若根据训练后的特征距离模型得到的差值小于预设阈值,将训练后的特征距离模型作为预先训练的特征距离模型。
关于样本识别模型的生成装置的具体限定可以参见上文中对于样本识别模型的生成方法的限定,在此不再赘述。上述样本识别模型的生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,如图22所示,提供了一种样本识别装置,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:特征编码获取模块2210、分类概率确定模块2220、目标分类概率确定模块2230和识别结果确定模块2240,其中:
特征编码获取模块2210,用于获取待识别样本的特征编码。
分类概率确定模块2220,用于将待识别样本的特征编码输入训练完成的样本识别模型,得到待识别样本在各个训练完成的分类网络模型中的分类概率以及各个训练完成的分类网络模型对应的分类权重;训练完成的样本识别模型根据上述样本识别模型的生成方法得到,训练完成的样本识别模型包括各个训练完成的分类网络模型。
目标分类概率确定模块2230,用于根据各个训练完成的分类网络模型对应的分类权重,对待识别样本在各个训练完成的分类网络模型中的分类概率进行加权处理,得到待识别样本的目标分类概率。
识别结果确定模块2240,用于根据待识别样本的目标分类概率,确定对待识别样本的识别结果。
在一个实施例中,特征编码获取模块2210还用于对待识别样本进行特征归一化处理,得到待识别样本的标准化特征;对待识别样本的标准化特征进行编码处理,得到待识别样本的特征编码。
在一个实施例中,识别结果确定模块2240还用于若待识别样本的目标分类概率大于或者等于预设分类概率,确定待识别样本的类型为第一预设类型;若待识别样本的目标分类概率小于预设分类概率,确定待识别样本的类型为第二预设类型。
关于样本识别装置的具体限定可以参见上文中对于样本识别方法的限定,在此不再赘述。上述样本识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图23所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储样本识别模型、待识别样本的识别结果等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种样本识别方法。
本领域技术人员可以理解,图23中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (24)

1.一种样本识别模型的生成方法,应用于服务器,所述方法包括:
查询数据库,获取至少两个源域样本集和一个目标域样本集;所述源域样本集和所述目标域样本集中的样本均标记有对应的实际用户分类概率;所述样本为用户的金融行为特征信息,所述目标域样本集为待识别用户的金融行为特征信息所属场景对应的样本集,所述源域样本集为与所述待识别用户的金融行为特征信息所属场景相似的场景所对应的样本集;
根据各个所述源域样本集中的用户的金融行为特征信息以及对应的实际用户分类概率,对待训练的用户分类网络模型进行预训练,得到预训练后的用户分类网络模型;
对各个所述源域样本集中的用户的金融行为特征信息进行特征提取处理和特征编码处理,得到各个所述源域样本集中的用户的金融行为特征信息对应的特征编码;分别根据各个所述源域样本集中的用户的金融行为特征信息对应的特征编码和实际用户分类概率,对所述预训练后的用户分类网络模型进行再次训练,得到各个再次训练后的用户分类网络模型;
分别根据各个所述源域样本集中的用户的金融行为特征信息对应的特征编码和实际用户分类概率,和所述目标域样本集中的用户的金融行为特征信息对应的特征编码和实际用户分类概率,对所述各个再次训练后的用户分类网络模型进行对抗训练,得到各个训练完成的用户分类网络模型;
根据所述各个训练完成的用户分类网络模型对应的源域样本集中的用户的金融行为特征信息和对应的目标域样本集中的用户的金融行为特征信息之间的相关性,确定所述各个训练完成的用户分类网络模型对应的分类权重;
根据所述各个训练完成的用户分类网络模型以及所述各个训练完成的用户分类网络模型对应的分类权重,生成训练完成的用户类型识别模型;所述训练完成的用户类型识别模型用于基于所述待识别用户的金融行为特征信息对应的特征编码,得到所述待识别用户的金融行为特征信息在所述各个训练完成的用户分类网络模型中的用户分类概率,并结合所述各个训练完成的用户分类网络模型对应的分类权重,识别出所述待识别用户的用户类型。
2.根据权利要求1所述的方法,其特征在于,所述根据各个所述源域样本集中的用户的金融行为特征信息以及对应的实际用户分类概率,对待训练的用户分类网络模型进行预训练,得到预训练后的用户分类网络模型,包括:
多次从各个所述源域样本集中抽取一批源域样本集,得到多批源域样本集合;
根据所述多批源域样本集合,构建所述各批源域样本集合中的各个源域样本集的第一样本集和第二样本集;
分别根据所述各个源域样本集的第一样本集对所述待训练的用户分类网络模型进行训练,得到所述各个源域对应的用户分类网络模型;
获取所述各个源域对应的用户分类网络模型在所述各个源域样本集的第二样本集上的预测损失值,根据所述预测损失值对所述待训练的用户分类网络模型进行训练,得到训练后的用户分类网络模型;
若所述训练后的用户分类网络模型不满足第一收敛条件,则将所述训练后的用户分类网络模型作为待训练的用户分类网络模型,并跳转至分别根据所述各个源域样本集的第一样本集对所述待训练的用户分类网络模型进行训练,得到所述各个源域对应的用户分类网络模型的步骤;
若所述训练后的用户分类网络模型满足所述第一收敛条件,将所述用户分类网络模型作为预训练后的用户分类网络模型。
3.根据权利要求2所述的方法,其特征在于,所述分别根据所述各个源域样本集的第一样本集对所述待训练的用户分类网络模型进行训练,得到所述各个源域对应的用户分类网络模型,包括:
分别根据所述各个源域样本集的第一样本集对所述待训练的用户分类网络模型进行训练,得到所述待训练的用户分类网络模型在所述各个源域样本集的第一样本集上的预测损失值;
分别根据所述待训练的用户分类网络模型在所述各个源域样本集的第一样本集上的预测损失值,对所述待训练的用户分类网络模型的网络参数进行更新,得到所述各个源域对应的用户分类网络模型。
4.根据权利要求1所述的方法,其特征在于,所述分别根据各个所述源域样本集中的用户的金融行为特征信息对应的特征编码和实际用户分类概率,对所述预训练后的用户分类网络模型进行再次训练,得到各个再次训练后的用户分类网络模型,包括:
分别将各个所述源域样本集中的样本输入所述预训练后的用户分类网络模型,得到所述预训练后的用户分类网络模型对各个所述源域样本集中的所述样本的分类概率;
获取所述预训练后的用户分类网络模型对各个所述源域样本集中的所述样本的分类概率与对应的实际分类概率的差值;
根据所述差值确定所述预训练后的用户分类网络模型在各个所述源域样本集中的所述样本上的损失值;
分别根据各个所述损失值反向训练所述预训练后的用户分类网络模型,直至各个所述预训练后的用户分类网络模型均满足第二收敛条件;
若各个所述预训练后的用户分类网络模型均满足所述第二收敛条件,则将当前的各个所述预训练后的用户分类网络模型,对应作为所述各个再次训练后的用户分类网络模型。
5.根据权利要求1所述的方法,其特征在于,所述分别根据各个所述源域样本集中的用户的金融行为特征信息对应的特征编码和实际用户分类概率,和所述目标域样本集中的用户的金融行为特征信息对应的特征编码和实际用户分类概率,对所述各个再次训练后的用户分类网络模型进行对抗训练,得到各个训练完成的用户分类网络模型,包括:
分别将各个所述源域样本集和所述目标域样本集进行组合,得到与各个所述源域样本集对应的组合样本集;
分别将与各个所述源域样本集对应的组合样本集中的样本对应输入所述各个再次训练后的用户分类网络模型中的特征提取网络,得到所述样本的目标特征编码;
分别将所述样本的目标特征编码输入所述各个再次训练后的用户分类网络模型中的类别预测网络以及所述类别预测网络对应的域分类网络,得到各个所述类别预测网络输出的类别预测值和各个所述域分类网络输出的域预测值;
根据各个所述类别预测网络输出的类别预测值和各个所述域分类网络输出的域预测值,得到各个目标损失值;
根据所述各个目标损失值对应调整所述各个再次训练后的用户分类网络模型的网络参数,直至达到训练结束条件;
若达到所述训练结束条件,将当前的各个再次训练后的用户分类网络模型作为各个训练完成的用户分类网络模型。
6.根据权利要求1所述的方法,其特征在于,所述根据所述各个训练完成的用户分类网络模型对应的源域样本集中的用户的金融行为特征信息和对应的目标域样本集中的用户的金融行为特征信息之间的相关性,确定所述各个训练完成的用户分类网络模型对应的分类权重,包括:
从所述源域样本集和所述目标域样本集中,确定出所述各个训练完成的用户分类网络模型的源域样本集和目标域样本集;
统计所述各个训练完成的用户分类网络模型的所述源域样本集和所述目标域样本集之间的特征距离;
根据所述各个训练完成的用户分类网络模型的所述源域样本集和所述目标域样本集之间的特征距离,查询预设的特征距离与权重的对应关系,确定所述各个训练完成的用户分类网络模型对应的权重;
将所述各个训练完成的用户分类网络模型对应的权重进行归一化处理,得到所述各个训练完成的用户分类网络模型对应的分类权重。
7.根据权利要求6所述的方法,其特征在于,所述统计所述各个训练完成的用户分类网络模型的所述源域样本集和所述目标域样本集之间的特征距离,包括:
分别将所述各个训练完成的用户分类网络模型的所述源域样本集和所述目标域样本集输入预先训练的特征距离模型,得到所述各个训练完成的用户分类网络模型的所述源域样本集和所述目标域样本集之间的特征距离;
其中,所述预先训练的特征距离模型用于分别对所述各个训练完成的用户分类网络模型的所述源域样本集和所述目标域样本集中的样本的特征编码进行全连接处理,输出所述各个训练完成的用户分类网络模型的所述源域样本集和所述目标域样本集之间的特征距离。
8.根据权利要求7所述的方法,其特征在于,所述预先训练的特征距离模型通过下述方式训练得到,包括:
采集第一域样本集、第二域样本集以及所述第一域样本集和所述第二域样本集之间的实际特征距离;
根据所述第一域样本集和所述第二域样本集对待训练的特征距离模型进行训练,得到训练后的特征距离模型;
获取所述训练后的特征距离模型输出的特征距离与所述实际特征距离之间的差值;
当所述差值大于或者等于预设阈值时,根据所述差值调整所述特征距离模型的网络参数,得到调整后的特征距离模型,并对所述调整后的特征距离模型进行反复训练,直至根据训练后的特征距离模型得到的所述差值小于所述预设阈值;
若根据所述训练后的特征距离模型得到的所述差值小于所述预设阈值,将所述训练后的特征距离模型作为所述预先训练的特征距离模型。
9.一种样本识别方法,其特征在于,应用于服务器,所述方法包括:
获取待识别样本的特征编码;所述待识别样本为待识别用户的金融行为特征信息;
将所述待识别样本的特征编码输入训练完成的用户类型识别模型,得到所述待识别样本在各个训练完成的用户分类网络模型中的分类概率以及所述各个训练完成的用户分类网络模型对应的分类权重;所述训练完成的用户类型识别模型根据权利要求1至8任一项所述的方法得到,所述训练完成的用户类型识别模型包括所述各个训练完成的用户分类网络模型;所述训练完成的用户类型识别模型用于基于所述待识别用户的金融行为特征信息,识别出所述待识别用户的用户类型;
根据所述各个训练完成的用户分类网络模型对应的分类权重,对所述待识别样本在各个训练完成的用户分类网络模型中的分类概率进行加权处理,得到所述待识别样本的目标分类概率;
根据所述待识别样本的目标分类概率,确定对所述待识别样本的识别结果。
10.根据权利要求9所述的方法,其特征在于,所述获取待识别样本的特征编码,包括:
对所述待识别样本进行特征归一化处理,得到所述待识别样本的标准化特征;
对所述待识别样本的标准化特征进行编码处理,得到所述待识别样本的特征编码。
11.根据权利要求9所述的方法,其特征在于,所述根据所述待识别样本的目标分类概率,确定对所述待识别样本的识别结果,包括:
若所述待识别样本的目标分类概率大于或者等于预设分类概率,确定所述待识别样本的类型为第一预设类型;
若所述待识别样本的目标分类概率小于所述预设分类概率,确定所述待识别样本的类型为第二预设类型。
12.一种样本识别模型的生成装置,其特征在于,应用于服务器,所述装置包括:
样本集获取模块,用于查询数据库,获取至少两个源域样本集和一个目标域样本集;所述源域样本集和所述目标域样本集中的样本均标记有对应的实际用户分类概率;所述样本为用户的金融行为特征信息,所述目标域样本集为待识别用户的金融行为特征信息所属场景对应的样本集,所述源域样本集为与所述待识别用户的金融行为特征信息所属场景相似的场景所对应的样本集;
模型预训练模块,用于根据各个所述源域样本集中的用户的金融行为特征信息以及对应的实际用户分类概率,对待训练的用户分类网络模型进行预训练,得到预训练后的用户分类网络模型;
模型再训练模块,用于对各个所述源域样本集中的用户的金融行为特征信息进行特征提取处理和特征编码处理,得到各个所述源域样本集中的用户的金融行为特征信息对应的特征编码;分别根据各个所述源域样本集中的用户的金融行为特征信息对应的特征编码和实际用户分类概率,对所述预训练后的用户分类网络模型进行再次训练,得到各个再次训练后的用户分类网络模型;
模型对抗训练模块,用于分别根据各个所述源域样本集中的用户的金融行为特征信息对应的特征编码和实际用户分类概率,和所述目标域样本集中的用户的金融行为特征信息对应的特征编码和实际用户分类概率,对所述各个再次训练后的用户分类网络模型进行对抗训练,得到各个训练完成的用户分类网络模型;
分类权重确定模块,用于根据所述各个训练完成的用户分类网络模型对应的源域样本集中的用户的金融行为特征信息和对应的目标域样本集中的用户的金融行为特征信息之间的相关性,确定所述各个训练完成的用户分类网络模型对应的分类权重;
识别模型生成模块,用于根据所述各个训练完成的用户分类网络模型以及所述各个训练完成的用户分类网络模型对应的分类权重,生成训练完成的用户类型识别模型;所述训练完成的用户类型识别模型用于基于所述待识别用户的金融行为特征信息对应的特征编码,得到所述待识别用户的金融行为特征信息在所述各个训练完成的用户分类网络模型中的用户分类概率,并结合所述各个训练完成的用户分类网络模型对应的分类权重,识别出所述待识别用户的用户类型。
13.根据权利要求12所述的装置,其特征在于,所述模型预训练模块,还用于多次从各个所述源域样本集中抽取一批源域样本集,得到多批源域样本集合;根据所述多批源域样本集合,构建所述各批源域样本集合中的各个源域样本集的第一样本集和第二样本集;分别根据所述各个源域样本集的第一样本集对所述待训练的用户分类网络模型进行训练,得到所述各个源域对应的用户分类网络模型;获取所述各个源域对应的用户分类网络模型在所述各个源域样本集的第二样本集上的预测损失值,根据所述预测损失值对所述待训练的用户分类网络模型进行训练,得到训练后的用户分类网络模型;若所述训练后的用户分类网络模型不满足第一收敛条件,则将所述训练后的用户分类网络模型作为待训练的用户分类网络模型,并跳转至分别根据所述各个源域样本集的第一样本集对所述待训练的用户分类网络模型进行训练,得到所述各个源域对应的用户分类网络模型的步骤;若所述训练后的用户分类网络模型满足所述第一收敛条件,将所述用户分类网络模型作为预训练后的用户分类网络模型。
14.根据权利要求13所述的装置,其特征在于,所述模型预训练模块,还用于分别根据所述各个源域样本集的第一样本集对所述待训练的用户分类网络模型进行训练,得到所述待训练的用户分类网络模型在所述各个源域样本集的第一样本集上的预测损失值;分别根据所述待训练的用户分类网络模型在所述各个源域样本集的第一样本集上的预测损失值,对所述待训练的用户分类网络模型的网络参数进行更新,得到所述各个源域对应的用户分类网络模型。
15.根据权利要求12所述的装置,其特征在于,所述模型再训练模块,还用于分别将各个所述源域样本集中的样本输入所述预训练后的用户分类网络模型,得到所述预训练后的用户分类网络模型对各个所述源域样本集中的所述样本的分类概率;获取所述预训练后的用户分类网络模型对各个所述源域样本集中的所述样本的分类概率与对应的实际分类概率的差值;根据所述差值确定所述预训练后的用户分类网络模型在各个所述源域样本集中的所述样本上的损失值;分别根据各个所述损失值反向训练所述预训练后的用户分类网络模型,直至各个所述预训练后的用户分类网络模型均满足第二收敛条件;若各个所述预训练后的用户分类网络模型均满足所述第二收敛条件,则将当前的各个所述预训练后的用户分类网络模型,对应作为所述各个再次训练后的用户分类网络模型。
16.根据权利要求12所述的装置,其特征在于,所述模型对抗训练模块,还用于分别将各个所述源域样本集和所述目标域样本集进行组合,得到与各个所述源域样本集对应的组合样本集;分别将与各个所述源域样本集对应的组合样本集中的样本对应输入所述各个再次训练后的用户分类网络模型中的特征提取网络,得到所述样本的目标特征编码;分别将所述样本的目标特征编码输入所述各个再次训练后的用户分类网络模型中的类别预测网络以及所述类别预测网络对应的域分类网络,得到各个所述类别预测网络输出的类别预测值和各个所述域分类网络输出的域预测值;根据各个所述类别预测网络输出的类别预测值和各个所述域分类网络输出的域预测值,得到各个目标损失值;根据所述各个目标损失值对应调整所述各个再次训练后的用户分类网络模型的网络参数,直至达到训练结束条件;若达到所述训练结束条件,将当前的各个再次训练后的用户分类网络模型作为各个训练完成的用户分类网络模型。
17.根据权利要求12所述的装置,其特征在于,所述分类权重确定模块,还用于从所述源域样本集和所述目标域样本集中,确定出所述各个训练完成的用户分类网络模型的源域样本集和目标域样本集;统计所述各个训练完成的用户分类网络模型的所述源域样本集和所述目标域样本集之间的特征距离;根据所述各个训练完成的用户分类网络模型的所述源域样本集和所述目标域样本集之间的特征距离,查询预设的特征距离与权重的对应关系,确定所述各个训练完成的用户分类网络模型对应的权重;将所述各个训练完成的用户分类网络模型对应的权重进行归一化处理,得到所述各个训练完成的分类网络模型对应的分类权重。
18.根据权利要求17所述的装置,其特征在于,所述分类权重确定模块,还用于分别将所述各个训练完成的用户分类网络模型的所述源域样本集和所述目标域样本集输入预先训练的特征距离模型,得到所述各个训练完成的用户分类网络模型的所述源域样本集和所述目标域样本集之间的特征距离;其中,所述预先训练的特征距离模型用于分别对所述各个训练完成的用户分类网络模型的所述源域样本集和所述目标域样本集中的样本的特征编码进行全连接处理,输出所述各个训练完成的用户分类网络模型的所述源域样本集和所述目标域样本集之间的特征距离。
19.根据权利要求18所述的装置,其特征在于,所述装置还包括特征距离模型训练模块,用于采集第一域样本集、第二域样本集以及所述第一域样本集和所述第二域样本集之间的实际特征距离;根据所述第一域样本集和所述第二域样本集对待训练的特征距离模型进行训练,得到训练后的特征距离模型;获取所述训练后的特征距离模型输出的特征距离与所述实际特征距离之间的差值;当所述差值大于或者等于预设阈值时,根据所述差值调整所述特征距离模型的网络参数,得到调整后的特征距离模型,并对所述调整后的特征距离模型进行反复训练,直至根据训练后的特征距离模型得到的所述差值小于所述预设阈值;若根据所述训练后的特征距离模型得到的所述差值小于所述预设阈值,将所述训练后的特征距离模型作为所述预先训练的特征距离模型。
20.一种样本识别装置,其特征在于,应用于服务器,所述装置包括:
特征编码获取模块,用于获取待识别样本的特征编码;所述待识别样本为待识别用户的金融行为特征信息;
分类概率确定模块,用于将所述待识别样本的特征编码输入训练完成的用户类型识别模型,得到所述待识别样本在各个训练完成的用户分类网络模型中的分类概率以及所述各个训练完成的用户分类网络模型对应的分类权重;所述训练完成的用户类型识别模型根据权利要求1至8任一项所述的方法得到,所述训练完成的用户类型识别模型包括所述各个训练完成的用户分类网络模型;所述训练完成的用户类型识别模型用于基于所述待识别用户的金融行为特征信息,识别出所述待识别用户的用户类型;
目标分类概率确定模块,用于根据所述各个训练完成的用户分类网络模型对应的分类权重,对所述待识别样本在各个训练完成的用户分类网络模型中的分类概率进行加权处理,得到所述待识别样本的目标分类概率;
识别结果确定模块,用于根据所述待识别样本的目标分类概率,确定对所述待识别样本的识别结果。
21.根据权利要求20所述的装置,其特征在于,所述特征编码获取模块,还用于对所述待识别样本进行特征归一化处理,得到所述待识别样本的标准化特征;对所述待识别样本的标准化特征进行编码处理,得到所述待识别样本的特征编码。
22.根据权利要求20所述的装置,其特征在于,所述识别结果确定模块,还用于若所述待识别样本的目标分类概率大于或者等于预设分类概率,确定所述待识别样本的类型为第一预设类型;若所述待识别样本的目标分类概率小于所述预设分类概率,确定所述待识别样本的类型为第二预设类型。
23.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述方法的步骤。
24.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。
CN202010213549.4A 2020-03-24 2020-03-24 样本识别模型的生成方法、装置、计算机设备和存储介质 Active CN111444952B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010213549.4A CN111444952B (zh) 2020-03-24 2020-03-24 样本识别模型的生成方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010213549.4A CN111444952B (zh) 2020-03-24 2020-03-24 样本识别模型的生成方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN111444952A CN111444952A (zh) 2020-07-24
CN111444952B true CN111444952B (zh) 2024-02-20

Family

ID=71654253

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010213549.4A Active CN111444952B (zh) 2020-03-24 2020-03-24 样本识别模型的生成方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN111444952B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111950429B (zh) * 2020-08-07 2023-11-14 南京审计大学 一种基于加权协同表示的人脸识别方法
CN111683108B (zh) * 2020-08-17 2020-11-17 鹏城实验室 一种网络流异常检测模型的生成方法和计算机设备
CN112069302B (zh) * 2020-09-15 2024-03-08 腾讯科技(深圳)有限公司 会话意图识别模型的训练方法、会话意图识别方法及装置
CN112149754B (zh) * 2020-09-30 2021-06-11 罗中岩 一种信息的分类方法、装置、设备及存储介质
CN114501515A (zh) * 2020-11-11 2022-05-13 中兴通讯股份有限公司 模型训练方法和装置、电子设备、计算机可读存储介质
CN112465042B (zh) * 2020-12-02 2023-10-24 中国联合网络通信集团有限公司 一种分类网络模型的生成方法及装置
CN112541081B (zh) * 2020-12-21 2022-09-16 中国人民解放军国防科技大学 一种基于领域自适应的可迁移谣言检测方法
CN112883190A (zh) * 2021-01-28 2021-06-01 平安科技(深圳)有限公司 文本分类方法、装置、电子设备及存储介质
CN113065633B (zh) * 2021-02-26 2024-07-09 华为技术有限公司 一种模型训练方法及其相关联设备
CN113177486B (zh) * 2021-04-30 2022-06-03 重庆师范大学 基于区域建议网络的蜻蜓目昆虫识别方法
CN113297974A (zh) * 2021-05-25 2021-08-24 北京沃东天骏信息技术有限公司 模型训练方法、信息生成方法、装置、设备和介质
CN113850012B (zh) * 2021-06-11 2024-05-07 腾讯科技(深圳)有限公司 数据处理模型生成方法、装置、介质及电子设备
CN113537101B (zh) * 2021-07-22 2024-04-30 中科曙光国际信息产业有限公司 人体属性的识别方法、装置、计算机设备及存储介质
CN113610787A (zh) * 2021-07-27 2021-11-05 广东省科技基础条件平台中心 图像缺陷检测模型的训练方法、装置、计算机设备
CN114694150B (zh) * 2022-05-31 2022-10-21 成都考拉悠然科技有限公司 一种提升数字图像分类模型泛化能力的方法及系统
CN116737607B (zh) * 2023-08-16 2023-11-21 之江实验室 样本数据缓存方法、系统、计算机设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108256561A (zh) * 2017-12-29 2018-07-06 中山大学 一种基于对抗学习的多源域适应迁移方法及系统
CN108898218A (zh) * 2018-05-24 2018-11-27 阿里巴巴集团控股有限公司 一种神经网络模型的训练方法、装置、及计算机设备
CN109948648A (zh) * 2019-01-31 2019-06-28 中山大学 一种基于元对抗学习的多目标域适应迁移方法及系统
CN109947086A (zh) * 2019-04-11 2019-06-28 清华大学 基于对抗学习的机械故障迁移诊断方法及系统
CN110148142A (zh) * 2019-05-27 2019-08-20 腾讯科技(深圳)有限公司 图像分割模型的训练方法、装置、设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10354199B2 (en) * 2015-12-07 2019-07-16 Xerox Corporation Transductive adaptation of classifiers without source data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108256561A (zh) * 2017-12-29 2018-07-06 中山大学 一种基于对抗学习的多源域适应迁移方法及系统
CN108898218A (zh) * 2018-05-24 2018-11-27 阿里巴巴集团控股有限公司 一种神经网络模型的训练方法、装置、及计算机设备
CN109948648A (zh) * 2019-01-31 2019-06-28 中山大学 一种基于元对抗学习的多目标域适应迁移方法及系统
CN109947086A (zh) * 2019-04-11 2019-06-28 清华大学 基于对抗学习的机械故障迁移诊断方法及系统
CN110148142A (zh) * 2019-05-27 2019-08-20 腾讯科技(深圳)有限公司 图像分割模型的训练方法、装置、设备和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SAR Target Recognition Based on Cross-Domain and Cross-Task Transfer Learning;KE WANG 等;《 IEEE Access》;153391-153399 *
一种基于伪标签的半监督少样本学习模型;余游 等;《电子学报》;第47卷(第11期);2284-2291 *
基于域适应Faster RCNN的复杂背景目标检测;王露荻 等;《航天控制》;第38卷(第1期);63-69 *

Also Published As

Publication number Publication date
CN111444952A (zh) 2020-07-24

Similar Documents

Publication Publication Date Title
CN111444952B (zh) 样本识别模型的生成方法、装置、计算机设备和存储介质
CN111444951B (zh) 样本识别模型的生成方法、装置、计算机设备和存储介质
US20230316076A1 (en) Unsupervised Machine Learning System to Automate Functions On a Graph Structure
CN109522304B (zh) 异常对象识别方法及装置、存储介质
US20190378049A1 (en) Ensemble of machine learning engines coupled to a graph structure that spreads heat
US20180365525A1 (en) Multi-sampling model training method and device
CN109816200B (zh) 任务推送方法、装置、计算机设备和存储介质
CN110310114B (zh) 对象分类方法、装置、服务器及存储介质
CN111797320A (zh) 数据处理方法、装置、设备及存储介质
CN111639690A (zh) 基于关系图谱学习的欺诈分析方法、系统、介质及设备
CN112016313A (zh) 口语化要素识别方法及装置、警情分析系统
CN115130536A (zh) 特征提取模型的训练方法、数据处理方法、装置及设备
CN111523604A (zh) 一种用户分类的方法和相关装置
CN111539612A (zh) 一种风险分类模型的训练方法和系统
CN116340793A (zh) 一种数据处理方法、装置、设备以及可读存储介质
CN116958622A (zh) 数据的分类方法、装置、设备、介质及程序产品
CN117372144A (zh) 应用于小样本场景的风控策略智能化方法及系统
CN112115994A (zh) 图像识别模型的训练方法、装置、服务器及存储介质
CN117131401A (zh) 对象识别方法、装置、电子设备和存储介质
CN111241297A (zh) 一种基于标签传播算法的图谱数据处理方法及装置
CN118035800A (zh) 模型训练方法、装置、设备及存储介质
CN115293783A (zh) 风险用户识别方法、装置、计算机设备和存储介质
CN115936104A (zh) 用于训练机器学习模型的方法和装置
CN115099934A (zh) 一种高潜客户识别方法、电子设备和存储介质
CN110570301A (zh) 风险识别方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40026394

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant