CN110008984A - 一种基于多任务样本的目标模型训练方法和装置 - Google Patents

一种基于多任务样本的目标模型训练方法和装置 Download PDF

Info

Publication number
CN110008984A
CN110008984A CN201910058311.6A CN201910058311A CN110008984A CN 110008984 A CN110008984 A CN 110008984A CN 201910058311 A CN201910058311 A CN 201910058311A CN 110008984 A CN110008984 A CN 110008984A
Authority
CN
China
Prior art keywords
sample
task
training
model
object module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910058311.6A
Other languages
English (en)
Other versions
CN110008984B (zh
Inventor
张雅淋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201910058311.6A priority Critical patent/CN110008984B/zh
Publication of CN110008984A publication Critical patent/CN110008984A/zh
Application granted granted Critical
Publication of CN110008984B publication Critical patent/CN110008984B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/018—Certifying business or products
    • G06Q30/0185—Product, service or business identity fraud
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Evolutionary Computation (AREA)
  • Finance (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Development Economics (AREA)
  • Software Systems (AREA)
  • Marketing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Technology Law (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本说明书实施例提供一种基于多任务样本的目标模型训练方法和装置，其中，所述方法包括：将各个训练样本分别输入预先训练得到的任务分类模型，得到所述训练样本对应的样本权重；所述样本权重用于表示所述训练样本与目标任务的契合度；使用所述各个训练样本训练所述目标模型，其中，在所述目标模型的训练过程中，通过所述样本权重差异化各个训练样本在损失函数中的比重；获得训练完成的所述目标模型。

Description

一种基于多任务样本的目标模型训练方法和装置
技术领域
本公开涉及机器学习技术领域，特别涉及一种基于多任务样本的目标模型训练方法和装置。
背景技术
随着互联网的发展，移动支付的普及，移动支付手段越来越受青睐。然而，与此同时，相关的问题接踵而至，对于移动支付平台而言，一个重要的威胁来自于欺诈交易。以转账交易为例，有些不法分子通过非法窃取他人账户，进而进行转账到卡或转账到账户等操作，来获取非法利益。这些不法分子进行的转账操作可以称为一种欺诈交易。
目前对于欺诈交易的检测，可以依赖于人工配置相应的规则，但是这种方式只能覆盖极少的欺诈交易，对于潜在的欺诈交易，很难做到及时发现。基于机器学习的手段来检测异常的转账行为，能够及时发现并通知账户所有者以最大程度地避免经济损失。然而，在目前的机器学习检测的方案中，大多基于单一任务的数据来构建模型，需要采集大量的本任务数据，并花费极大的时间和精力来进行本任务数据的标注，以实现对本任务性能的提升。不仅是欺诈交易的检测，在其他的模型应用场景中，也存在着类似的问题。
发明内容
有鉴于此，本说明书一个或多个实施例提供一种基于多任务样本的目标模型训练方法和装置，以使得训练得到的模型预测更加准确，并降低对任务的数据收集要求。
具体地，本说明书一个或多个实施例是通过如下技术方案实现的：
第一方面，提供一种基于多任务样本的目标模型训练方法，所述目标模型的训练样本来自于目标任务和至少一个相关任务所包括的样本；所述方法包括：
将各个训练样本分别输入预先训练得到的任务分类模型，得到所述训练样本对应的样本权重；所述样本权重用于表示所述训练样本与目标任务的契合度；
使用所述各个训练样本训练所述目标模型，其中，在所述目标模型的训练过程中，通过所述样本权重差异化各个训练样本在损失函数中的比重；
获得训练完成的所述目标模型。
第二方面，提供一种欺诈交易的识别方法，所述方法包括：
获取待识别的交易样本；
将所述交易样本的样本特征输入预先训练的欺诈交易模型，输出所述交易样本是否为欺诈交易的预测结果；
其中，所述欺诈交易模型基于多任务学习产生，所述欺诈交易模型的训练样本来自于目标任务和至少一个相关任务；所述目标任务用于训练所述欺诈交易模型；并且，在所述欺诈交易模型的训练过程中，通过所述样本权重差异化各个训练样本在损失函数中的比重；所述样本权重用于表示所述训练样本与目标任务的契合度。
第三方面，提供一种多任务学习方法，所述方法用于同时学习多个任务，每个任务用于训练产生一种目标模型；所述方法包括：对于所述多个任务中的每一个任务，执行如下处理，所述任务作为目标任务：
将各个训练样本输入预先训练的任务分类模型，分别得到各个训练样本的样本权重；所述训练样本包括目标任务和至少一个相关任务包括的样本；所述任务分类模型是与所述目标任务对应的模型，多任务学习中的每个任务都有各自对应的任务分类模型；
若所述样本权重满足预设权重条件，将所述样本权重对应的训练样本用于训练所述目标任务对应的目标模型；
使用所述训练样本训练所述目标模型；其中，在所述目标模型的训练过程中，对损失函数进行优化，并且，所述损失函数通过所述样本权重差异化各个训练样本在损失函数中的比重；
获得训练完成的所述目标模型。
第四方面，提供一种基于多任务样本的目标模型训练装置，所述目标模型的训练样本来自于目标任务和至少一个相关任务所包括的样本；所述装置包括：
权重学习模块，用于将各个训练样本分别输入预先训练得到的任务分类模型，得到所述训练样本对应的样本权重；所述样本权重用于表示所述训练样本与目标任务的契合度；
模型训练模块，用于使用所述各个训练样本训练所述目标模型，其中，在所述目标模型的训练过程中，通过所述样本权重差异化各个训练样本在损失函数中的比重；获得训练完成的所述目标模型。
第五方面，提供一种欺诈交易的识别装置，所述装置包括：
样本获取模块，用于获取待识别的交易样本；
模型预测模块，用于将所述交易样本的样本特征输入预先训练的欺诈交易模型，输出所述交易样本是否为欺诈交易的预测结果；
其中，所述欺诈交易模型基于多任务学习产生，所述欺诈交易模型的训练样本来自于目标任务和至少一个相关任务；所述目标任务用于训练所述欺诈交易模型；并且，在所述欺诈交易模型的训练过程中，通过所述样本权重差异化各个训练样本在损失函数中的比重；所述样本权重用于表示所述训练样本与目标任务的契合度。
第六方面，提供一种多任务学习系统，所述系统用于同时学习多个任务，每个任务用于训练产生一种目标模型；其中，对于所述多个任务中的每一个任务，执行如下处理，所述任务作为目标任务：
将各个训练样本输入预先训练的任务分类模型，分别得到各个训练样本的样本权重；所述训练样本包括目标任务和至少一个相关任务包括的样本；所述任务分类模型是与所述目标任务对应的模型，多任务学习中的每个任务都有各自对应的任务分类模型；
若所述样本权重满足预设权重条件，将所述样本权重对应的训练样本用于训练所述目标任务对应的目标模型；
使用所述训练样本训练所述目标模型；其中，在所述目标模型的训练过程中，对损失函数进行优化，并且，所述损失函数通过所述样本权重差异化各个训练样本在损失函数中的比重；
获得训练完成的所述目标模型。
第七方面，提供一种多任务学习设备，所述设备用于同时学习多个任务，每个任务用于训练产生一种目标模型；所述设备包括存储器、处理器，以及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行指令时实现以下步骤：
对于所述多个任务中的每一个任务执行如下处理，所述任务作为目标任务：
将各个训练样本输入预先训练的任务分类模型，分别得到各个训练样本的样本权重；所述训练样本包括目标任务和至少一个相关任务包括的样本；所述任务分类模型是与所述目标任务对应的模型，多任务学习中的每个任务都有各自对应的任务分类模型；
若所述样本权重满足预设权重条件，将所述样本权重对应的训练样本用于训练所述目标任务对应的目标模型；
使用所述训练样本训练所述目标模型；其中，在所述目标模型的训练过程中，对损失函数进行优化，并且，所述损失函数通过所述样本权重差异化各个训练样本在损失函数中的比重；
获得训练完成的所述目标模型。
本说明书一个或多个实施例的基于多任务样本的目标模型训练方法和装置，通过多任务学习的方式，降低了单个任务对应的数据收集压力；而且还通过引入样本权重，使得与目标任务更为相似的样本在模型训练中发挥了更大的作用，从而提升了模型的性能，使得训练得到的模型的预测结果更为准确。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个实施例中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本说明书一个或多个实施例提供的一种多任务学习的系统原理；
图2为本说明书一个或多个实施例提供的一种任务的模型训练方法；
图3为本说明书一个或多个实施例提供的一种基于多任务样本的目标模型训练方法；
图4为本说明书一个或多个实施例提供的一种多任务学习方法；
图5为本说明书一个或多个实施例提供的一种基于多任务样本的目标模型训练装置；
图6为本说明书一个或多个实施例提供的一种欺诈交易的识别装置。
具体实施方式
为了使本技术领域的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。
对于欺诈交易的检测，基于机器学习的方法大多是针对不同的场景分别收集数据，并独立训练模型来解决每一个任务的问题。
例如，以转账交易为例，不法分子在非法窃取他人账户后，可以进行转账到卡或者转账到户的操作，来获取非法利益。那么，对于转账到卡的场景，可以训练一个用于识别转账到卡的欺诈交易的模型；同理，对于转账到户的场景，可以训练一个用于识别转账到户的欺诈交易模型。这可以认为是两个独立的任务，分别进行数据采集和模型训练。
然而，机器学习模型对数据量有着相当高的要求，要获得理想的模型效果，往往需要投入大量的时间精力进行数据准备，对于某一个任务来说，需要收集大量的本任务数据才能得到好的模型效果，因此，单一任务训练对数据量的收集压力较大。多任务学习(Multi-task learning)可以降低对数据收集的要求，能够充分利用已有的相关任务的数据来提升本任务的模型性能。
多任务学习可以将多个任务同时进行学习，利用其他任务的有用信息(例如，其他任务的数据)提升在每个任务上的性能表现，以期达到相比单任务数据训练的模型更好的效果。更具体地，给定m个学习任务，多任务学习的目标是通过使用这m个任务中包含的数据来帮助提升各个任务的性能。
其中，多任务学习同时学习的多个任务是不同但高度关联的任务，例如，以上述的两个任务为例，其中一个任务是训练转账到卡的欺诈交易模型，另一个任务是训练转账到户的欺诈交易模型。这两个任务是高度关联的，在识别转账到卡的欺诈交易时，或者在识别转账到户的欺诈交易时，依据的信息是类似的，比如，都可以包括转账双方的性别、年龄等属性信息，还可以包括转账频次、转账时间、转账设备等信息。并且，不仅依据信息类似，两种任务的欺诈交易的特点也相似，比如，不论是转账到卡还是转账到户，欺诈交易一般都会出现转账频次的突变或者转账金额的突变。因此，所述的任务间高度关联，可以是说不同任务的模型在训练时有很多方面相似，比如上述的欺诈交易的识别依据信息或者欺诈交易特点。
而如果直接将相关联的其他任务的数据拿来参与本任务的模型训练，也是可能出现问题的。比如，尽管其他任务是高度相关的，但其他任务的任务数据中包括很多样本，有可能其中的部分样本与本任务并不相似，如果不加区分的直接将相关任务的样本引入进来参与本任务的模型训练，反而有可能引入噪声，影响本任务的模型效果。
基于此，本说明书至少一个实施例在基于多任务学习训练欺诈交易模型时，细化到了对任务中的样本的判定，不同的样本在参与本任务模型训练时加以区别对待，以使得模型训练效果更好。
在描述基于多任务学习训练欺诈交易模型的方法之前，先说明一些基础：
“样本权重”的含义：
先以两个任务为例(多任务学习的任务数量可以多于两个)，假设任务一是训练转账到卡的欺诈交易模型，另一个任务是训练转账到户的欺诈交易模型。并且，假设任务一的数据中包括多个样本11，任务二的数据中也包括多个样本12。每一个样本可以包括样本特征和样本标签，其中，样本特征可以包括多个维度的交易特征，样本标签可以是该笔交易是否为欺诈交易。
举例如下：可以将任务一的数据表示为其中t1表示该数据是任务一的数据，表示任务一的第i个样本的样本特征，其特征维度为d，表示该样本是一笔欺诈交易，表示该交易为正常交易。类似地，可以将任务二的数据表示为其中t2表示该数据是任务二的数据，表示任务二的第i个样本的特征，其特征维度为d，表示该样本是一笔欺诈交易，表示该交易为正常交易。要注意的是，尽管来自两个不同的任务，但是其特征和标记空间都是一致的，即特征的每一位有同样的含义，标记都是0或1。
每一个样本都可以具有一个样本权重，例如，该样本权重可以是0至1的任意数值，比如，样本权重可以是0.8，或者，可以是0.2，或者可以是1，甚至还可以是0，等。
对于训练任务一对应的欺诈交易模型时，样本权重可以用于表示该样本与任务一的契合度。比如，若一个样本的样本权重wi越高，表明该样本与任务一很相似，在后续的任务一的模型训练中应该发挥更大的作用；而如果一个样本的样本权重wi越低，表明该样本与任务一的契合度较低，在后续的任务一的模型训练中应该发挥更小的作用。
举个简单的例子来说，假设当前要训练的目标任务是转账到户的任务，这个任务的特点是一般转账金额较大，比如，在1万以上。那么，当要使用相关的转账到卡的任务数据时，其中一个样本的转账金额是20元，可以认为这个样本与目标任务的契合度较低，给予该样本较低的样本权重(如，0.1)，使得该样本即使参与目标任务的模型训练，也发挥较小的作用。
同理，对于训练任务二对应的欺诈交易模型时，样本权重可以用于表示该样本与任务二的契合度。即，同一个样本，对于不同的任务，可以具有不同的样本权重，比如，以其中一个样本来说，该样本可以既参与任务一的模型训练，也参与任务二的模型训练，但是，对于任务一来说，该样本的样本权重是0.8，即在参与任务一的模型训练时发挥了较大的作用，对于任务二来说，该样本的样本权重是0.2，在参与任务二的模型训练时发挥了较小的作用。或者，同一个样本对不同任务对应的样本权重也可以相差不大。
“样本权重”的产生：
可以通过任务分类模型来得到一个样本的样本权重，该任务分类模型的输入是一个样本，输出是该样本的样本权重。
上述的任务分类模型同样要经过训练得到。训练集D可以这样构建：以基于任务一和任务二的数据训练任务一的模型为例，可以基于任务一和二的数据构建训练集即将任务一的样本特征和其对应的样本标签整合起来作为新的特征并赋予标签1，表示该样本来自于任务一，该样本是已经确定的真的来自于任务一的样本。将任务二的特征和其对应的样本标签整合起来作为新的特征并赋予标签0，表示该样本不来自于任务一。
如上，可以称为一个整合样本，称为整合样本特征，1可以称为整合样本标签。该整合样本特征可以包括任务一样本的样本特征和样本标签整合样本标签用于表示所述整合样本是否来自于目标任务，比如是否来自于任务一。同理，也是一个整合样本。
根据上述的训练集D可以训练任务分类模型，不同的任务可以具有对应的任务分类模型，比如，任务一可以有对应任务一的任务分类模型，用于为参与任务一训练的多任务样本产生样本权重，任务二可以有对应任务二的任务分类模型，用于为参与任务二训练的多任务样本产生样本权重。
任务分类模型可以包括但不限于逻辑回归、随机森林等分类模型。
当训练完成任务分类模型后，将一个样本输入该任务分类模型，可以得到该样本对应的样本权重。
“样本权重”的应用：
在得到了各个样本的样本权重的基础上，这些样本权重可以在通过样本训练模型的训练过程中发挥作用。
在模型训练过程中，可以通过损失函数评价模型的预测值与真实值的不一致程度，而通过样本权重可以差异化各个训练样本在损失函数中的比重。例如，损失函数可以包括各个训练样本分别对应的损失，损失函数可以是各个样本的损失之和，可以将各个训练样本的样本权重引入各个样本的损失中作为代价参数，以差异化各个样本的损失在损失函数整体中的比重。
如下以待训练的任务一的模型是GBDT(Gradient Boosting Decision Tree)模型为例，并优化交叉熵损失函数，所述交叉熵损失函数如下：
其中，LOSS是损失函数值，n是训练样本的数量，wi是第i个训练样本的样本权重；yi是第i个训练样本的样本标签，所述zi是第i个训练样本通过所述欺诈交易模型的预测值。如上，wi[yi log zi+(1-yi)log(1-zi)可以称为损失函数中训练样本i对应的损失，每一个样本都有一个损失。
当然，上述的GBDT和交叉熵损失函数只是一个示例，实际实施中并不局限于此。
如上描述了样本权重的含义及其在模型训练中的使用，本说明书至少一个实施例的方法即在多任务学习中引入了样本权重，细化区分参与任务模型训练的样本在训练过程中作用的不同，进而使得训练得到的模型更加准确。
请参见图1所示，图1示例了一种多任务学习的系统原理。
该多任务学习以三个任务为例，同时学习三个任务：任务一、任务二和任务三。其中，这三个任务的样本都参与三个任务的学习。
如图1所示，每一个任务都有各自对应的任务分类模型和样本分类模型，对于其中一个任务来说，如果将该任务作为目标任务，将另外两个任务作为其他任务，那么，可以将目标任务的样本和其他任务的样本都输入预先训练的任务分类模型，该任务分类模型是与该目标任务对应的模型，可以分别得到各个样本的样本权重。
将各个样本及其样本权重参与到该目标任务对应的样本分类模型的训练，其中，通过所述样本权重差异化各个样本在损失函数中的比重。具体的样本权重的使用可以参见上面所述，不再详述。样本分类模型是用于对样本进行分类的模型，比如，在交易场景中，该样本分类模型的输出可以是交易样本是否是目标任务对应的欺诈交易(如，是否是转账到卡的欺诈交易)，输入可以是交易样本的样本特征。
下面以欺诈交易的场景为例，可以基于多任务学习同时学习多个任务，每个任务用于训练产生一种欺诈交易模型，比如，任务一是训练转账到卡的欺诈交易模型，任务二是训练转账到户的欺诈交易模型。
如下的图2描述多任务学习的其中一种任务的模型训练方法，该方法用于训练转账到卡的欺诈交易模型，以识别转账到卡的欺诈交易。该转账到卡的模型训练可以是目标任务，其他任务是相关任务。
在步骤200中，将各个训练样本分别输入预先训练得到的任务分类模型，得到所述训练样本对应的样本权重；所述样本权重用于表示所述训练样本与目标任务的契合度。
其中，训练样本的样本特征可以是一笔交易的交易特征，例如，交易双方的性别、年龄、转账交易的交易设备、交易时间等；所述训练样本的样本标签是该笔交易是否为转账到卡的欺诈交易。
本步骤中，目标任务的任务分类模型已经预先训练得到，可以将目标任务和相关任务的样本都输入该任务分类模型，得到这些样本分别对应的样本权重，所述样本权重用于表示样本与目标任务的契合度，样本权重越大，表明样本与目标任务越为相似。
目标任务的各个样本在输入任务分类模型后，也可以产生不同的样本权重，权重较高的表示该样本与目标任务更为相似；相关任务的各个样本在输入任务分类模型后，同样可以产生不同的样本权重。
在步骤202中，使用所述各个训练样本训练所述欺诈交易模型，其中，在所述欺诈交易模型的训练过程中，通过所述样本权重差异化各个训练样本在损失函数中的比重。
本步骤中，还可以根据步骤200中得到的样本权重，选择满足预设权重条件的样本参与到目标任务的模型训练。
例如，可以设定当样本权重高于一个权重阈值时，该样本可以参与目标任务对应的欺诈交易模型的模型训练，否则，该样本可以参与模型训练。
或者，也可以设定只要样本权重不等于0，就可以参与模型训练，否则，若样本权重等于0，可以直接丢弃，不再参与目标任务的模型训练。
如上所述，样本权重在样本分类模型的训练过程中，可以引入到损失函数，使得不同的样本根据该样本的样本权重在损失函数中发挥不同的作用。在该例子中，样本分类模型可以是用于识别一个交易样本是否是欺诈交易的欺诈交易模型。
在步骤204中，获得训练完成的所述欺诈交易模型。
在得到训练完成的欺诈交易模型后，可以将该模型应用于欺诈交易的识别。例如，可以获取待识别的交易样本；将所述交易样本的样本特征输入预先训练的欺诈交易模型，输出所述交易样本是否为欺诈交易的预测结果。
本例子的训练模型的方法，不仅通过多任务学习的方式，降低了单个任务对应的数据收集压力；而且还通过引入样本权重，使得与目标任务更为相似的样本在模型训练中发挥了更大的作用，从而提升了模型的性能，使得训练得到的模型的预测结果更为准确。
上述例子的描述，是以识别检测欺诈交易为例，描述了欺诈交易模型的训练和应用。本领域技术人员可以理解，这种在基于多任务样本进行模型训练中加入了样本权重的方式，可以具有更为广泛的应用场景，不局限于欺诈交易模型的训练，在其他的应用场景中的模型，同样可以使用该方法进行模型训练。
基于此，图3提供了一种基于多任务样本的目标模型训练方法，该方法中，目标模型的训练样本来自于目标任务和至少一个相关任务所包括的样本。如图3所示，该方法可以包括如下处理：
在步骤300中，将各个训练样本分别输入预先训练得到的任务分类模型，得到所述训练样本对应的样本权重；所述样本权重用于表示所述训练样本与目标任务的契合度。
不论是何种应用场景，多任务学习中的其中每个任务对应的模型在训练时，该模型的训练样本都可以输入任务分类模型，以得到训练样本对应的样本权重。具体的任务分类模型的训练和使用，可以参见上述欺诈交易模型的例子描述。
在步骤302中，使用所述各个训练样本训练所述目标模型，其中，在所述目标模型的训练过程中，通过所述样本权重差异化各个训练样本在损失函数中的比重。
本步骤中，可以将样本权重应用于模型的训练过程，通过样本权重来差异化各个训练样本在损失函数中的比重。例如，可以参见上述欺诈交易模型的例子中的交叉熵损失函数，实际实施中，也可以采用其他类型的损失函数。
在步骤304中，获得训练完成的所述目标模型。
本例子的模型训练方法，通过为各个训练样本生成对应的样本权重，可以细致化的区分不同权重的样本在参与模型训练过程中的作用，从而使得训练得到的模型性能更好，预测结果更准确。
图4提供了一种多任务学习方法，该方法立足于多个任务同时学习的系统来看，每个任务用于训练产生一种目标模型。对于所述多个任务中的每一个任务，都可以执行图4所示的处理：
在步骤400中，将各个训练样本输入预先训练的任务分类模型，分别得到各个训练样本的样本权重；所述训练样本包括目标任务和至少一个相关任务包括的样本；所述任务分类模型是与所述目标任务对应的模型，多任务学习中的每个任务都有各自对应的任务分类模型。
在步骤402中，若所述样本权重满足预设权重条件，将所述样本权重对应的训练样本用于训练所述目标任务对应的目标模型。
在步骤404中，使用所述训练样本训练所述目标模型；其中，在所述目标模型的训练过程中，对损失函数进行优化，并且，所述损失函数通过所述样本权重差异化各个训练样本在损失函数中的比重。
在步骤406中，获得训练完成的所述目标模型。
图5提供了一种基于多任务样本的目标模型训练装置，所述目标模型的训练样本来自于目标任务和至少一个相关任务所包括的样本。如图5所示，所述装置包括：权重学习模块51和模型训练模块52。
权重学习模块51，用于将各个训练样本分别输入预先训练得到的任务分类模型，得到所述训练样本对应的样本权重；所述样本权重用于表示所述训练样本与目标任务的契合度；
模型训练模块52，用于使用所述各个训练样本训练所述目标模型，其中，在所述目标模型的训练过程中，通过所述样本权重差异化各个训练样本在损失函数中的比重；获得训练完成的所述目标模型。
在一个例子中，权重学习模块51，还用于在所述样本权重满足预设权重条件时，确定所述任务样本作为所述目标任务对应的目标模型的训练样本。
在一个例子中，模型训练模块52，具体用于：在每个训练样本对应的损失中，引入所述训练样本的样本权重作为代价参数；所述损失函数包括：各个训练样本分别对应的损失之和。
图6提供了一种欺诈交易的识别装置，如图6所示，该装置可以包括：样本获取模块61和模型预测模块62。
样本获取模块61，用于获取待识别的交易样本；
模型预测模块62，用于将所述交易样本的样本特征输入预先训练的欺诈交易模型，输出所述交易样本是否为欺诈交易的预测结果；
其中，所述欺诈交易模型基于多任务学习产生，所述欺诈交易模型的训练样本来自于目标任务和至少一个相关任务；所述目标任务用于训练所述欺诈交易模型；并且，在所述欺诈交易模型的训练过程中，通过所述样本权重差异化各个训练样本在损失函数中的比重；所述样本权重用于表示所述训练样本与目标任务的契合度。
本说明书实施例还提供了一种多任务学习系统，所述系统用于同时学习多个任务，每个任务用于训练产生一种目标模型；其中，对于所述多个任务中的每一个任务，执行如下处理，所述任务作为目标任务：
将各个训练样本输入预先训练的任务分类模型，分别得到各个训练样本的样本权重；所述训练样本包括目标任务和至少一个相关任务包括的样本；所述任务分类模型是与所述目标任务对应的模型，多任务学习中的每个任务都有各自对应的任务分类模型；
若所述样本权重满足预设权重条件，将所述样本权重对应的训练样本用于训练所述目标任务对应的目标模型；
使用所述训练样本训练所述目标模型；其中，在所述目标模型的训练过程中，对损失函数进行优化，并且，所述损失函数通过所述样本权重差异化各个训练样本在损失函数中的比重；
获得训练完成的所述目标模型。
上述实施例阐明的装置或模块，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书一个或多个实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述图中所示流程中的各个步骤，其执行顺序不限制于流程图中的顺序。此外，各个步骤的描述，可以实现为软件、硬件或者其结合的形式，例如，本领域技术人员可以将其实现为软件代码的形式，可以为能够实现所述步骤对应的逻辑功能的计算机可执行指令。当其以软件的方式实现时，所述的可执行指令可以存储在存储器中，并被设备中的处理器执行。
例如，对应于上述方法，本说明书一个或多个实施例同时提供一种多任务学习设备，该设备用于同时学习多个任务，每个任务用于训练产生一种目标模型；所述设备可以包括处理器、存储器、以及存储在存储器上并可在处理器上运行的计算机指令，所述处理器通过执行所述指令，用于实现如下步骤：
对于所述多个任务中的每一个任务执行如下处理，所述任务作为目标任务：
将各个训练样本输入预先训练的任务分类模型，分别得到各个训练样本的样本权重；所述训练样本包括目标任务和至少一个相关任务包括的样本；所述任务分类模型是与所述目标任务对应的模型，多任务学习中的每个任务都有各自对应的任务分类模型；
若所述样本权重满足预设权重条件，将所述样本权重对应的训练样本用于训练所述目标任务对应的目标模型；
使用所述训练样本训练所述目标模型；其中，在所述目标模型的训练过程中，对损失函数进行优化，并且，所述损失函数通过所述样本权重差异化各个训练样本在损失函数中的比重；
获得训练完成的所述目标模型。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于数据处理设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
以上所述仅为本说明书一个或多个实施例的较佳实施例而已，并不用以限制本说明书一个或多个实施例，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例保护的范围之内。

Claims (13)

1.一种基于多任务样本的目标模型训练方法，所述目标模型的训练样本来自于目标任务和至少一个相关任务所包括的样本；所述方法包括：
将各个训练样本分别输入预先训练得到的任务分类模型，得到所述训练样本对应的样本权重；所述样本权重用于表示所述训练样本与目标任务的契合度；
使用所述各个训练样本训练所述目标模型，其中，在所述目标模型的训练过程中，通过所述样本权重差异化各个训练样本在损失函数中的比重；
获得训练完成的所述目标模型。
2.根据权利要求1所述的方法，所述任务分类模型，由所述目标任务和至少一个相关任务的整合样本训练得到；
其中，所述整合样本包括：整合样本特征和整合样本标签；
所述整合样本特征，包括任务样本的样本特征和样本标签，所述任务样本是所述目标任务或者相关任务的样本；
所述整合样本标签，用于表示所述整合样本是否来自于目标任务。
3.根据权利要求1所述的方法，所述方法还包括：
若所述样本权重满足预设权重条件，将所述任务样本作为所述目标任务对应的目标模型的训练样本。
4.根据权利要求1所述的方法，所述通过所述样本权重差异化各个训练样本在损失函数中的比重，包括：
所述损失函数包括：各个训练样本分别对应的损失之和；
其中，每个训练样本对应的损失，引入所述训练样本的样本权重作为代价参数。
5.根据权利要求4所述的方法，当所述损失函数是交叉熵损失函数时；
所述交叉熵损失函数如下：
其中，LOSS是损失函数值，n是训练样本的数量，wi是第i个训练样本的样本权重；yi是第i个训练样本的样本标签，所述zi是第i个训练样本通过所述目标模型的预测值。
6.一种欺诈交易的识别方法，所述方法包括：
获取待识别的交易样本；
将所述交易样本的样本特征输入预先训练的欺诈交易模型，输出所述交易样本是否为欺诈交易的预测结果；
其中，所述欺诈交易模型基于多任务学习产生，所述欺诈交易模型的训练样本来自于目标任务和至少一个相关任务；所述目标任务用于训练所述欺诈交易模型；并且，在所述欺诈交易模型的训练过程中，通过所述样本权重差异化各个训练样本在损失函数中的比重；所述样本权重用于表示所述训练样本与目标任务的契合度。
7.一种多任务学习方法，所述方法用于同时学习多个任务，每个任务用于训练产生一种目标模型；所述方法包括：对于所述多个任务中的每一个任务，执行如下处理，所述任务作为目标任务：
将各个训练样本输入预先训练的任务分类模型，分别得到各个训练样本的样本权重；所述训练样本包括目标任务和至少一个相关任务包括的样本；所述任务分类模型是与所述目标任务对应的模型，多任务学习中的每个任务都有各自对应的任务分类模型；
若所述样本权重满足预设权重条件，将所述样本权重对应的训练样本用于训练所述目标任务对应的目标模型；
使用所述训练样本训练所述目标模型；其中，在所述目标模型的训练过程中，对损失函数进行优化，并且，所述损失函数通过所述样本权重差异化各个训练样本在损失函数中的比重；
获得训练完成的所述目标模型。
8.一种基于多任务样本的目标模型训练装置，所述目标模型的训练样本来自于目标任务和至少一个相关任务所包括的样本；所述装置包括：
权重学习模块，用于将各个训练样本分别输入预先训练得到的任务分类模型，得到所述训练样本对应的样本权重；所述样本权重用于表示所述训练样本与目标任务的契合度；
模型训练模块，用于使用所述各个训练样本训练所述目标模型，其中，在所述目标模型的训练过程中，通过所述样本权重差异化各个训练样本在损失函数中的比重；获得训练完成的所述目标模型。
9.根据权利要求8所述的装置，
所述权重学习模块，还用于在所述样本权重满足预设权重条件时，确定所述任务样本作为所述目标任务对应的目标模型的训练样本。
10.根据权利要求8所述的装置，
所述模型训练模块，具体用于：在每个训练样本对应的损失中，引入所述训练样本的样本权重作为代价参数；所述损失函数包括：各个训练样本分别对应的损失之和。
11.一种欺诈交易的识别装置，所述装置包括：
样本获取模块，用于获取待识别的交易样本；
模型预测模块，用于将所述交易样本的样本特征输入预先训练的欺诈交易模型，输出所述交易样本是否为欺诈交易的预测结果；
其中，所述欺诈交易模型基于多任务学习产生，所述欺诈交易模型的训练样本来自于目标任务和至少一个相关任务；所述目标任务用于训练所述欺诈交易模型；并且，在所述欺诈交易模型的训练过程中，通过所述样本权重差异化各个训练样本在损失函数中的比重；所述样本权重用于表示所述训练样本与目标任务的契合度。
12.一种多任务学习系统，所述系统用于同时学习多个任务，每个任务用于训练产生一种目标模型；其中，对于所述多个任务中的每一个任务，执行如下处理，所述任务作为目标任务：
将各个训练样本输入预先训练的任务分类模型，分别得到各个训练样本的样本权重；所述训练样本包括目标任务和至少一个相关任务包括的样本；所述任务分类模型是与所述目标任务对应的模型，多任务学习中的每个任务都有各自对应的任务分类模型；
若所述样本权重满足预设权重条件，将所述样本权重对应的训练样本用于训练所述目标任务对应的目标模型；
使用所述训练样本训练所述目标模型；其中，在所述目标模型的训练过程中，对损失函数进行优化，并且，所述损失函数通过所述样本权重差异化各个训练样本在损失函数中的比重；
获得训练完成的所述目标模型。
13.一种多任务学习设备，所述设备用于同时学习多个任务，每个任务用于训练产生一种目标模型；所述设备包括存储器、处理器，以及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行指令时实现以下步骤：
对于所述多个任务中的每一个任务执行如下处理，所述任务作为目标任务：
将各个训练样本输入预先训练的任务分类模型，分别得到各个训练样本的样本权重；所述训练样本包括目标任务和至少一个相关任务包括的样本；所述任务分类模型是与所述目标任务对应的模型，多任务学习中的每个任务都有各自对应的任务分类模型；
若所述样本权重满足预设权重条件，将所述样本权重对应的训练样本用于训练所述目标任务对应的目标模型；
使用所述训练样本训练所述目标模型；其中，在所述目标模型的训练过程中，对损失函数进行优化，并且，所述损失函数通过所述样本权重差异化各个训练样本在损失函数中的比重；
获得训练完成的所述目标模型。
CN201910058311.6A 2019-01-22 2019-01-22 一种基于多任务样本的目标欺诈交易模型训练方法和装置 Active CN110008984B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910058311.6A CN110008984B (zh) 2019-01-22 2019-01-22 一种基于多任务样本的目标欺诈交易模型训练方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910058311.6A CN110008984B (zh) 2019-01-22 2019-01-22 一种基于多任务样本的目标欺诈交易模型训练方法和装置

Publications (2)

Publication Number Publication Date
CN110008984A true CN110008984A (zh) 2019-07-12
CN110008984B CN110008984B (zh) 2023-07-25

Family

ID=67165455

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910058311.6A Active CN110008984B (zh) 2019-01-22 2019-01-22 一种基于多任务样本的目标欺诈交易模型训练方法和装置

Country Status (1)

Country Link
CN (1) CN110008984B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110533106A (zh) * 2019-08-30 2019-12-03 腾讯科技（深圳）有限公司 图像分类处理方法、装置及存储介质
CN110909775A (zh) * 2019-11-08 2020-03-24 支付宝(杭州)信息技术有限公司 一种数据处理方法、装置及电子设备
CN111709789A (zh) * 2020-06-18 2020-09-25 腾讯科技（深圳）有限公司 一种用户转化率的确定方法及相关设备
CN112735535A (zh) * 2021-04-01 2021-04-30 腾讯科技（深圳）有限公司 预测模型训练、数据预测方法、装置和存储介质
CN113392889A (zh) * 2021-06-07 2021-09-14 深圳市欢太数字科技有限公司 数据处理方法、装置以及电子设备
CN113630495A (zh) * 2020-05-07 2021-11-09 中国电信股份有限公司 涉诈订单预测模型训练方法和装置，订单预测方法和装置
CN113723944A (zh) * 2021-09-14 2021-11-30 中国银行股份有限公司 转账额度的设置方法、装置、电子设备及计算机存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106682067A (zh) * 2016-11-08 2017-05-17 浙江邦盛科技有限公司 一种基于交易数据的机器学习反欺诈监测系统
CN107730262A (zh) * 2017-10-23 2018-02-23 阿里巴巴集团控股有限公司 一种欺诈识别方法和装置
CN108537397A (zh) * 2017-03-01 2018-09-14 腾讯科技（深圳）有限公司 一种互联网征信评估方法和系统
CN108875776A (zh) * 2018-05-02 2018-11-23 北京三快在线科技有限公司 模型训练方法和装置、业务推荐的方法和装置、电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106682067A (zh) * 2016-11-08 2017-05-17 浙江邦盛科技有限公司 一种基于交易数据的机器学习反欺诈监测系统
CN108537397A (zh) * 2017-03-01 2018-09-14 腾讯科技（深圳）有限公司 一种互联网征信评估方法和系统
CN107730262A (zh) * 2017-10-23 2018-02-23 阿里巴巴集团控股有限公司 一种欺诈识别方法和装置
CN108875776A (zh) * 2018-05-02 2018-11-23 北京三快在线科技有限公司 模型训练方法和装置、业务推荐的方法和装置、电子设备

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110533106A (zh) * 2019-08-30 2019-12-03 腾讯科技（深圳）有限公司 图像分类处理方法、装置及存储介质
CN110909775A (zh) * 2019-11-08 2020-03-24 支付宝(杭州)信息技术有限公司 一种数据处理方法、装置及电子设备
CN113630495A (zh) * 2020-05-07 2021-11-09 中国电信股份有限公司 涉诈订单预测模型训练方法和装置，订单预测方法和装置
CN113630495B (zh) * 2020-05-07 2022-08-02 中国电信股份有限公司 涉诈订单预测模型训练方法和装置，订单预测方法和装置
CN111709789A (zh) * 2020-06-18 2020-09-25 腾讯科技（深圳）有限公司 一种用户转化率的确定方法及相关设备
CN111709789B (zh) * 2020-06-18 2023-12-19 腾讯科技（深圳）有限公司 一种用户转化率的确定方法及相关设备
CN112735535A (zh) * 2021-04-01 2021-04-30 腾讯科技（深圳）有限公司 预测模型训练、数据预测方法、装置和存储介质
WO2022206320A1 (zh) * 2021-04-01 2022-10-06 腾讯科技（深圳）有限公司 预测模型训练、数据预测方法、装置和存储介质
CN113392889A (zh) * 2021-06-07 2021-09-14 深圳市欢太数字科技有限公司 数据处理方法、装置以及电子设备
CN113723944A (zh) * 2021-09-14 2021-11-30 中国银行股份有限公司 转账额度的设置方法、装置、电子设备及计算机存储介质
CN113723944B (zh) * 2021-09-14 2024-03-26 中国银行股份有限公司 转账额度的设置方法、装置、电子设备及计算机存储介质

Also Published As

Publication number Publication date
CN110008984B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
CN110008984A (zh) 一种基于多任务样本的目标模型训练方法和装置
CN111784502B (zh) 异常交易账户群体识别方法及装置
CN110221965B (zh) 测试用例生成、测试方法、装置、设备及系统
CN107688823A (zh) 一种图像特征获取方法及装置，电子设备
CN109102393A (zh) 训练和使用关系网络嵌入模型的方法及装置
CN108197532A (zh) 人脸识别的方法、装置及计算机装置
CN111325258A (zh) 特征信息获取方法、装置、设备及存储介质
CN111275491A (zh) 一种数据处理方法及装置
CN108681908A (zh) 反作弊方法、装置、计算设备及存储介质
CN110046929A (zh) 一种欺诈团伙识别方法、装置、可读存储介质及终端设备
CN110084609B (zh) 一种基于表征学习的交易欺诈行为深度检测方法
CN111538852B (zh) 多媒体资源处理方法、装置、存储介质及设备
CN110472050A (zh) 一种团伙聚类方法和装置
CN111428217A (zh) 欺诈团伙识别方法、装置、电子设备及计算机可读存储介质
CN110060155A (zh) 区块链的智能合约执行方法及装置和电子设备
CN109191167A (zh) 一种目标用户的挖掘方法和装置
CN113435900A (zh) 交易风险确定方法、装置和服务器
Hsin et al. Feature engineering and resampling strategies for fund transfer fraud with limited transaction data and a time-inhomogeneous modi operandi
CN114692750A (zh) 一种细粒度图像分类方法、装置、电子设备及存储介质
CN107909439A (zh) 共享产品的推荐方法、装置以及电子设备
CN109783381A (zh) 一种测试数据生成方法、装置及系统
Zhou et al. Training-free transformer architecture search with zero-cost proxy guided evolution
CN110399453A (zh) 征信报告处理方法及装置、电子设备和非暂态存储介质
Khan et al. AI-Powered Smart Contracts: The Dawn of Web 4
CN108985758A (zh) 数据处理方法、数据处理系统及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201015

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

Effective date of registration: 20201015

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant before: Advanced innovation technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant