CN111435452B - 模型训练方法、装置、设备和介质 - Google Patents
模型训练方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN111435452B CN111435452B CN201910028170.3A CN201910028170A CN111435452B CN 111435452 B CN111435452 B CN 111435452B CN 201910028170 A CN201910028170 A CN 201910028170A CN 111435452 B CN111435452 B CN 111435452B
- Authority
- CN
- China
- Prior art keywords
- sample
- local
- identification
- partner
- trained
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000004590 computer program Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明实施例公开了一种模型训练方法、装置、设备和介质，涉及数据处理技术领域。该方法包括：基于目标样本标识在本地数据集中的样本数据与待训练模型参数的乘积，以及目标样本标识在合作方数据集中的样本数据与待训练模型参数的乘积，确定待训练模型的输出与样本标签之间的残差；基于确定的残差，对待训练模型参数进行更新。本发明实施例提供了一种模型训练方法、装置、设备和介质，实现了在无需获取合作方数据明文的情况下，结合合作方数据和自身数据对需求模型进行丰富维度的训练。
Description
技术领域
本发明实施例涉及数据处理技术领域，尤其涉及一种模型训练方法、装置、设备和介质。
背景技术
在这个数据大爆炸的时代，数据已经成为一种无形的资产。企业可以根据业务需求，利用企业自身拥有的数据进行需求模型的训练。然后，利用训练的需求模型对未见数据进行预测。基于预测结果，进行业务需求分析。
通常企业仅利用自身拥有的数据进行需求模型的训练。
然而，一个企业的样本数据的维度相对较少，而基于较少维度的样本数据完成的需求模型无法对数据进行准确预测。从而无法基于预测结果进行业务需求的准确分析。
发明内容
本发明实施例提供一种模型训练方法、装置、设备和介质，以实现在无需获取合作方数据明文的情况下，结合合作方数据和自身数据对需求模型进行丰富维度的训练。
第一方面，本发明实施例提供了一种模型训练方法，该方法包括：
基于目标样本标识在本地数据集中的样本数据与待训练模型参数的乘积，以及目标样本标识在合作方数据集中的样本数据与待训练模型参数的乘积，确定待训练模型的输出与样本标签之间的残差；
基于确定的残差，对待训练模型参数进行更新。
第二方面，本发明实施例还提供了一种模型训练方法，所述方法包括：
确定目标样本标识在本地数据集中的样本数据与待训练模型参数的乘积；
向业务方发送目标样本标识在本地数据集中的样本数据与待训练模型参数的乘积，由业务方执行如下：基于目标样本标识在本地数据集中的样本数据与待训练模型参数的乘积，以及目标样本标识在业务方数据集中的样本数据与待训练模型参数的乘积，确定待训练模型的输出与样本标签之间的残差；基于确定的残差，对待训练模型参数进行更新。
第三方面，本发明实施例还提供了一种模型训练装置，该装置包括：
残差确定模块，用于基于目标样本标识在本地数据集中的样本数据与待训练模型参数的乘积，以及目标样本标识在合作方数据集中的样本数据与待训练模型参数的乘积，确定待训练模型的输出与样本标签之间的残差；
参数更新模块，用于基于确定的残差，对待训练模型参数进行更新。
第四方面，本发明实施例还提供了一种模型训练装置，该装置包括：
乘积确定模块，用于确定目标样本标识在本地数据集中的样本数据与待训练模型参数的乘积；
乘积发送模块，用于向业务方发送目标样本标识在本地数据集中的样本数据与待训练模型参数的乘积，由业务方执行如下：基于目标样本标识在本地数据集中的样本数据与待训练模型参数的乘积，以及目标样本标识在业务方数据集中的样本数据与待训练模型参数的乘积，确定待训练模型的输出与样本标签之间的残差；基于确定的残差，对待训练模型参数进行更新。
第五方面，本发明实施例还提供了一种设备，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例中任一所述的模型训练方法。
第六方面，本发明实施例还提供的一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的模型训练方法。
本发明实施例通过基于目标样本标识在本地数据集中的样本数据与待训练模型参数的乘积，以及目标样本标识在合作方数据集中的样本数据与待训练模型参数的乘积，确定待训练模型的输出与样本标签之间的残差。从而实现结合合作方数据和自身数据对需求模型进行丰富维度的训练。
同时，基于目标样本标识在合作方数据集中的样本数据与待训练模型参数的乘积进行残差的确定，所以本地无需合作方样本数据的明文。
附图说明
图1为本发明实施例一提供的一种模型训练方法的流程图；
图2是本发明实施例二提供的一种模型训练方法的流程图；
图3是本发明实施例三提供的一种模型训练方法的流程图；
图4是本发明实施例四提供的一种模型训练方法的流程图；
图5是本发明实施例五提供的一种模型训练方法的流程图；
图6是本发明实施例六提供的一种模型训练方法的流程图；
图7是本发明实施例七提供的一种模型训练的流程图；
图8是本发明实施例八提供的一种模型训练装置的结构示意图；
图9是本发明实施例九提供的一种模型训练装置的结构示意图；
图10为本发明实施例十提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种模型训练方法的流程图。本实施例可适用于利用多方数据进行模型训练的情况。该方法可以由一种模型训练装置来执行。该装置可以由软件和/或硬件的方式实现。参见图1，本实施例提供的模型训练方法包括：
S110、基于目标样本标识在本地数据集中的样本数据与待训练模型参数的乘积，以及目标样本标识在合作方数据集中的样本数据与待训练模型参数的乘积，确定待训练模型的输出与样本标签之间的残差。
其中，目标样本标识是本地数据集中样本标识与合作方数据集中样本标识的交集。样本标识用于唯一标识样本，本地数据集和合作方数据集中存在样本多个维度的数据。
例如，样本为用户数据，样本标识为用户身份证号，样本其他维度的数据可以是用户的性别、年龄、姓名和操作记录中的至少一种等。
样本标签是预先设定的，样本所述类别的标签。通常样本标签由本地预先设定。
具体地，目标样本标识在本地数据集中的样本数据与待训练模型参数的乘积的计算公式为：i>＝1且i<＝m，其中n为目标样本的数据维数，m为目标样本的数量。目标样本是目标样本标识表示的样本。
其中，Wa[j]为待训练模型参数，Xa[i,j]为目标样本标识在本地数据集中的样本数据。Xa[i,j]中的行表示不同的样本数据，列表示样本数据的不同维度。
目标样本标识在合作方数据集中的样本数据与待训练模型参数的乘积的计算公式为：i>＝1且i<＝m。
其中，n为目标样本的数据维数，m为目标样本的数量。Wb[j]为待训练模型参数，该参数可以与Wa[j]相同，也可以不同。Xb[i,j]为目标样本标识在合作方数据集中的样本数据。
具体地，残差的确定的计算过程可以描述如下：
F[i]＝F1[i]+F2[i]；
t[i]＝sigmoid(F[i])-y[i]。
其中，t[i]为残差；sigmoid()为激活函数；y[i]为样本标签所属类别的概率。
S120、基于确定的残差，对待训练模型参数进行更新。
具体地，基于确定的残差确定待训练模型的梯度，梯度计算公式为：j>＝1且j<＝n，其中n为目标样本的数据维数，m为目标样本的数量。
根据待训练模型的梯度和目标样本标识在本地数据集中的样本数据，确定更新后的待训练模型参数为：Wa[j]＝grada[j]×alpha+Wa[j],其中等式左边Wa[j]为更新后的待训练模型参数，等式右边Wa[j]为更新前的待训练模型参数，alpha为设定步长。
在基于确定的残差，对待训练模型参数进行更新之后，基于更新后的待训练模型参数，返回执行S110和S120，以此对待训练模型参数的进行迭代计算，确定最佳待训练模型参数。
进而基于最佳待训练模型参数对预测样本数据进行预测，并根据预测结果对业务需求进行分析。
本实施例的技术方案，通过基于目标样本标识在本地数据集中的样本数据与待训练模型参数的乘积，以及目标样本标识在合作方数据集中的样本数据与待训练模型参数的乘积，确定待训练模型的输出与样本标签之间的残差。从而实现结合合作方数据和自身数据对需求模型进行丰富维度的训练。
同时，基于目标样本标识在合作方数据集中的样本数据与待训练模型参数的乘积进行残差的确定，所以本地无需合作方样本数据的明文。
实施例二
图2是本发明实施例二提供的一种模型训练方法的流程图。本实施例是在上述实施例的基础上提出的一种可选方案。参见图2，本实施例提供的一种模型训练方法包括：
S210、确定本地数据集与合作方数据集中相同的样本标识，并将确定结果作为目标样本标识。
为避免各自数据集中的样本标识泄露给对方，确定本地数据集与合作方数据集中相同的样本标识，包括：
匹配基于不同参数进行相同逻辑运算的本地标识序列和合作方标识序列；
根据匹配结果，确定匹配成功的样本标识在本地标识序列中的位置信息；
根据所述位置信息，从本地标识序列中确定与合作方数据集中样本标识相同的样本标识。
具体地，位置信息可以是指在标识序列中的排列顺序。
上述方法通过基于不同参数进行相同逻辑运算的合作方标识序列进行匹配，从而使得本地无需获取合作方标识序列的明文，进而避免了合作方数据集中样本标识的泄露。
同时，基于所述位置信息，可以建立本地数据集中样本数据与合作方数据集中样本数据的关联。
例如，本地标识序列中的第一个标识与合作方标识序列中的第二个标识相同，建立两标识之间的关联。基于该关联，确定上述实施例中F1i和F2i之间的对应关系。
进一步地，所述匹配基于不同参数进行相同逻辑运算的本地标识序列和合作方标识序列，包括：
提取本地数据集中各样本的样本标识，生成本地标识序列；
基于本地运算参数和设定运算逻辑，对本地标识序列中的样本标识进行运算；
将运算后的本地标识序列发送给合作方，并接收合作方发送的运算后的合作方标识序列，其中所述运算后的合作方标识序列，由合作方基于合作方运算参数和所述设定运算逻辑对合作方数据集中各样本的样本标识运算得到；
基于本地运算参数和所述设定运算逻辑对运算后的合作方标识序列中的样本标识进行运算，生成二次运算的合作方标识序列；
接收合作方发送的二次运算的本地标识序列，其中二次运算的本地标识序列，由合作方基于合作方运算参数和所述设定运算逻辑对接收的运算后的本地标识序列中的样本标识进行运算得到；
匹配二次运算的合作方标识序列和二次运算的本地标识序列中的样本标识。
典型地，所述匹配基于不同参数进行相同逻辑运算的本地标识序列和合作方标识序列，包括：
提取本地数据集中各样本的样本标识，生成本地标识序列；
对本地标识序列中的样本标识进行本地运算参数次幂的计算，其中本地运算参数为迪夫-赫尔曼算法生成的一密钥；
将运算后的本地标识序列发送给合作方，并接收合作方发送的运算后的合作方标识序列，其中所述运算后的合作方标识序列，由合作方对合作方数据集中各样本标识进行合作方运算参数次幂的计算确定，其中合作方运算参数为迪夫-赫尔曼算法生成的另一密钥；
对运算后的合作方标识序列中的样本标识进行本地运算参数次幂的运算，生成二次运算的合作方标识序列；
接收合作方发送的二次运算的本地标识序列，其中二次运算的本地标识序列，由合作方对接收的运算后的本地标识序列中的样本标识进行合作方运算参数次幂的运算得到；
匹配二次运算的合作方标识序列和二次运算的本地标识序列中的样本标识。
S220、基于目标样本标识在本地数据集中的样本数据与待训练模型参数的乘积，以及目标样本标识在合作方数据集中的样本数据与待训练模型参数的乘积，确定待训练模型的输出与样本标签之间的残差。
S230、基于确定的残差，对待训练模型参数进行更新。
本发明实施例的技术方案，通过确定本地数据集与合作方数据集中相同的样本标识，并将确定结果作为目标样本标识。从而实现目标样本标识的确定。
实施例三
图3是本发明实施例三提供的一种模型训练方法的流程图。本实施例是在上述实施例的基础上提出的一种可选方案。参见图3，本实施例提供的模型训练方法包括:
S310、基于目标样本标识在本地数据集中的样本数据与本地待训练模型参数的乘积，以及目标样本标识在合作方数据集中的样本数据与合作方待训练模型参数的乘积，确定待训练模型的输出与样本设定标签之间的残差。
S320、基于所述残差以及目标样本标识在合作方数据集中的样本数据的密文，确定合作方待训练模型的更新参数。
具体地，目标样本标识在合作方数据集中的样本数据的密文，是采用加法同态算法(Paillier)生成的公钥加密得到。
确定合作方待训练模型的梯度为：
其中，j>＝1且j<＝n，n为目标样本的数据维数，m为目标样本的数量。ti为残差，c[i,j]为基于公钥对目标样本标识在合作方数据集中的样本数据的加密结果。rand[i]为随机数，具体元素取0或1。
将sum_gradb_c和sum_rand作为合作方待训练模型的更新参数。
S330、向合作方发送包括合作方待训练模型的更新参数的请求，所述请求指示合作方根据更新参数对合作方待训练模型参数进行更新。
具体地，合作方利用加法同态算法(Paillier)生成的私钥解密sum_gradb_c得到sum_gradb，并计算gradb[j]＝sum_gradb[j]/sum_rand，得到合作方梯度信息。
为实现合作方待训练模型参数的更新，由合作方执行如下：Wb[j]＝gradb[j]×alpha+Wb[j]。
其中，等式左边Wb[j]为更新后的合作方待训练模型参数，alpha为设定步长，等式右边Wb[j]为更新前的合作方待训练模型参数。
本发明实施例的技术方案，通过基于所述残差以及目标样本标识在合作方数据集中的样本数据的密文，确定合作方待训练模型的更新参数；向合作方发送包括合作方待训练模型的更新参数的请求，所述请求指示合作方根据更新参数对合作方待训练模型参数进行更新。从而实现对合作方模型的训练。
实施例四
图4是本发明实施例四提供的一种模型训练方法的流程图。本实施例是以合作方的角度对上述模型训练方法进行描述。参见图4，本实施例提供的模型训练方法包括：
S410、确定目标样本标识在本地数据集中的样本数据与待训练模型参数的乘积。
具体地，目标样本标识在合作方数据集中的样本数据与待训练模型参数的乘积的计算公式为：i>＝1且i<＝m，n为目标样本的数据维数，m为目标样本的数量。
其中，Wb[j]为待训练模型参数，该参数可以与Wa[j]相同，也可以不同。Xb[i,j]为目标样本标识在合作方数据集中的样本数据。
S420、向业务方发送目标样本标识在本地数据集中的样本数据与待训练模型参数的乘积，由业务方执行如下：基于目标样本标识在本地数据集中的样本数据与待训练模型参数的乘积，以及目标样本标识在业务方数据集中的样本数据与待训练模型参数的乘积，确定待训练模型的输出与样本标签之间的残差；基于确定的残差，对待训练模型参数进行更新。
需要说明的是，本实施例出现的与上述实施例相同的概念或执行逻辑的理解也相同，本实施例对此不在赘述。
本实施例的技术方案，通过向业务方发送目标样本标识在本地数据集中的样本数据与待训练模型参数的乘积，由业务方执行如下：基于目标样本标识在本地数据集中的样本数据与待训练模型参数的乘积，以及目标样本标识在业务方数据集中的样本数据与待训练模型参数的乘积，确定待训练模型的输出与样本标签之间的残差；基于确定的残差，对待训练模型参数进行更新。从而实现结合合作方数据和自身数据对需求模型进行丰富维度的训练。
同时，基于目标样本标识在合作方数据集中的样本数据与待训练模型参数的乘积进行残差的确定，所以本地无需合作方样本数据的明文。
实施例五
图5是本发明实施例五提供的一种模型训练方法的流程图。本实施例是在上述实施例的基础上提出的一种可选方案。参见图5，本实施例提供的模型训练方法包括：
S510、确定本地数据集与业务方数据集中相同的样本标识，并将确定结果作为目标样本标识。
为避免样本标识泄露给对方，确定本地数据集与业务方数据集中相同的样本标识，包括：
匹配基于不同参数进行相同逻辑运算的本地标识序列和合作方标识序列；
根据匹配结果，确定匹配成功的样本标识在本地标识序列中的位置信息；
根据所述位置信息，从本地标识序列中确定与业务方数据集中样本标识相同的样本标识。
例如，位置信息可以是本地标识序列中的第几个标识。
同时，基于所述位置信息，建立本地数据集中样本数据与合作方数据集中样本数据的关联。
进一步地，所述匹配基于不同参数进行相同逻辑运算的本地标识序列和业务方标识序列，包括：
提取本地数据集中各样本的样本标识，生成本地标识序列；
基于本地运算参数和设定运算逻辑，对本地标识序列中的样本标识进行运算；
将运算后的本地标识序列发送给业务方，并接收业务方发送的运算后的合作方标识序列，其中所述运算后的业务方标识序列，由业务方基于业务方运算参数和所述设定运算逻辑对业务方数据集中各样本的样本标识运算得到；
基于本地运算参数和所述设定运算逻辑对运算后的业务方标识序列中的样本标识进行运算，生成二次运算的业务方标识序列；
接收业务方发送的二次运算的本地标识序列，其中二次运算的本地标识序列，由业务方基于业务方运算参数和所述设定运算逻辑对接收的运算后的本地标识序列中的样本标识进行运算得到；
匹配二次运算的业务方标识序列和二次运算的本地标识序列中的样本标识。
S520、确定目标样本标识在本地数据集中的样本数据与待训练模型参数的乘积。
S530、向业务方发送目标样本标识在本地数据集中的样本数据与待训练模型参数的乘积，由业务方执行如下：基于目标样本标识在本地数据集中的样本数据与待训练模型参数的乘积，以及目标样本标识在业务方数据集中的样本数据与待训练模型参数的乘积，确定待训练模型的输出与样本标签之间的残差；基于确定的残差，对待训练模型参数进行更新。
本实施例中出现的与上述实施例描述相同的概念或执行逻辑的理解也相同，本实施例对此不在赘述。
本实施例的技术方案，通过确定本地数据集与合作方数据集中相同的样本标识，并将确定结果作为目标样本标识。从而实现目标样本标识的确定。
实施例六
图6是本发明实施例六提供的一种模型训练方法的流程图。本实施例是在上述实施例的基础上提出的一种可选方案。参见图6，本实施例提供的模型训练方法包括：
S610、确定目标样本标识在本地数据集中的样本数据与待训练模型参数的乘积。
S620、向业务方发送目标样本标识在本地数据集中的样本数据与待训练模型参数的乘积，由业务方执行如下：基于目标样本标识在本地数据集中的样本数据与待训练模型参数的乘积，以及目标样本标识在业务方数据集中的样本数据与待训练模型参数的乘积，确定待训练模型的输出与样本标签之间的残差；基于确定的残差，对待训练模型参数进行更新。
S630、加密目标样本标识在本地数据集中的样本数据，并将加密结果发送给业务方。
S640、接收业务方发送的包括本地待训练模型的更新参数的请求，其中所述更新参数由业务方基于所述残差以及目标样本标识在本地数据集中的样本数据的加密结果确定。
S650、根据接收的更新参数对本地待训练模型参数进行更新。
本实施例中出现的与上述实施例描述相同的概念或执行逻辑的理解也相同，本实施例对此不在赘述。
本发明实施例的技术方案，通过加密目标样本标识在本地数据集中的样本数据，并将加密结果发送给业务方；接收业务方发送的包括本地待训练模型的更新参数的请求；根据接收的更新参数对本地待训练模型参数进行更新。从而实现对合作方模型的训练。
实施例七
图7是本发明实施例七提供的一种模型训练的流程图。本实施例是在上述实施例的基础上提出的一种可选方案。参见图7，本实施例提供的模型训练方法包括：
将双方数据集的标识进行安全求交运算。
其中，求交过程采用了迪夫-赫尔曼(diffe-hellman)安全快速求交。求得的交集中包括m个目标样本标识。业务方从业务方数据集中确定与目标样本标识关联的其他维度数据，标记为Xa。合作方从合作方数据集中确定与目标样本标识关联的其他维度数据，标记为Xb。
对待训练模型进行参数初始化。
业务方计算i>＝1且i<＝m，其中m为目标样本个数，n为目标样本的数据维数。
合作方计算
合作方将F2[i]发送给业务方。
业务方计算F[i]＝F1[i]+F2[i]。
业务方计算残差t[i]＝sigmoid(F[i])-y[i]，其中y[i]由业务方设定。
业务方生成随机数rand[i]，其中1<＝i,且m>＝i，元素为0或1。
业务方计算业务方的梯度 其中，j>＝1且j<＝n，n为目标样本的数据维数，m为目标样本的数量。
合作方采用加法同态算法(Paillier)生成公钥和私钥。
合作方使用公钥对Xb[i,j]进行加密得到Cb[i,j]，并将Cb[i,j]发送给业务。
业务方计算如下： 其中，j>＝1且j<＝n，n为目标样本的数据维数，m为目标样本的数量。
业务方将sum_gradb_c和sum_rand发送给合作方。
合作方解密sum_gradb_c得到sum_gradb，并计算gradb[j]＝sum_gradb[j]/sum_rand，得到合作方的梯度信息。
业务方基于Wa[j]＝grada[j]×alpha+Wa[j]对业务方待训练模型参数进行更新；合作方基于Wb[j]＝gradb[j]×alpha+Wb[j]对合作方待训练模型参数进行更新。
若训练结果不满足训练结束条件，则基于更新后的待训练模型参数返回继续对待训练模型参数进行更新，直至训练结果满足训练结束条件。
由此可见，整个过程中，业务方和合作方不会暴漏各自的数据和模型，并且合作方无法获取到y[i]。
本发明实施例的基本思路为：利用合作方数据，对目标样本标识关联的样本数据进行维度扩充。然后基于扩充后的样本数据进行安全的机器学习训练。最后两方分别得到各自的训练模型。
本发明实施例的技术方案，保证了联合建模过程不会暴漏两方的各自隐私数据。同时促进企业之间的数据流通，打破数据孤岛，充分发挥了企业的之间数据价值。
需要说明的是，经过本实施例的技术教导，本领域技术人员有动机将上述实施例中描述的任一种实施方式进行方案的组合，以实现在不暴露多方数据明文的情况下，利用多方数据进行模型的训练。
实施例八
图8是本发明实施例八提供的一种模型训练装置的结构示意图。参见图8，本实施例提供的模型训练装置包括：残差确定模块10和参数更新模块20。
其中，残差确定模块10，用于基于目标样本标识在本地数据集中的样本数据与待训练模型参数的乘积，以及目标样本标识在合作方数据集中的样本数据与待训练模型参数的乘积，确定待训练模型的输出与样本标签之间的残差；
参数更新模块20，用于基于确定的残差，对待训练模型参数进行更新。
本实施例的技术方案，通过基于目标样本标识在本地数据集中的样本数据与待训练模型参数的乘积，以及目标样本标识在合作方数据集中的样本数据与待训练模型参数的乘积，确定待训练模型的输出与样本标签之间的残差。从而实现结合合作方数据和自身数据对需求模型进行丰富维度的训练。
同时，基于目标样本标识在合作方数据集中的样本数据与待训练模型参数的乘积进行残差的确定，所以本地无需合作方样本数据的明文。
进一步地，所述装置还包括：目标样本标识确定模块。
其中，目标样本标识确定模块，用于确定本地数据集与合作方数据集中相同的样本标识，并将确定结果作为目标样本标识。
进一步地，目标样本标识确定模块，包括：标识匹配单元、位置确定单元和相同标识确定单元。
其中，标识匹配单元，用于匹配基于不同参数进行相同逻辑运算的本地标识序列和合作方标识序列；
位置确定单元，用于根据匹配结果，确定匹配成功的样本标识在本地标识序列中的位置信息；
相同标识确定单元，用于根据所述位置信息，从本地标识序列中确定与合作方数据集中样本标识相同的样本标识。
进一步地，所述标识匹配单元具体用于：
提取本地数据集中各样本的样本标识，生成本地标识序列；
基于本地运算参数和设定运算逻辑，对本地标识序列中的样本标识进行运算；
将运算后的本地标识序列发送给合作方，并接收合作方发送的运算后的合作方标识序列，其中所述运算后的合作方标识序列，由合作方基于合作方运算参数和所述设定运算逻辑对合作方数据集中各样本的样本标识运算得到；
基于本地运算参数和所述设定运算逻辑对运算后的合作方标识序列中的样本标识进行运算，生成二次运算的合作方标识序列；
接收合作方发送的二次运算的本地标识序列，其中二次运算的本地标识序列，由合作方基于合作方运算参数和所述设定运算逻辑对接收的运算后的本地标识序列中的样本标识进行运算得到；
匹配二次运算的合作方标识序列和二次运算的本地标识序列中的样本标识。
进一步地，所述残差确地模块，包括：残差确定单元。
其中，残差确定单元，用于基于目标样本标识在本地数据集中的样本数据与本地待训练模型参数的乘积，以及目标样本标识在合作方数据集中的样本数据与合作方待训练模型参数的乘积，确定待训练模型的输出与样本设定标签之间的残差。
进一步地，参数更新模块，包括：参数确定单元和更新请求单元。
其中，参数确定单元，用于基于所述残差以及目标样本标识在合作方数据集中的样本数据的密文，确定合作方待训练模型的更新参数；
更新请求单元，用于向合作方发送包括合作方待训练模型的更新参数的请求，所述请求指示合作方根据更新参数对合作方待训练模型参数进行更新。
本发明实施例所提供的模型训练装置可执行本发明任意实施例所提供的模型训练方法，具备执行方法相应的功能模块和有益效果。
实施例九
图9是本发明实施例九提供的一种模型训练装置的结构示意图。参见图9，本实施例提供的模型训练装置包括：乘积确定模块30和乘积发送模块40。
其中，乘积确定模块30，用于确定目标样本标识在本地数据集中的样本数据与待训练模型参数的乘积；
乘积发送模块40，用于向业务方发送目标样本标识在本地数据集中的样本数据与待训练模型参数的乘积，由业务方执行如下：基于目标样本标识在本地数据集中的样本数据与待训练模型参数的乘积，以及目标样本标识在业务方数据集中的样本数据与待训练模型参数的乘积，确定待训练模型的输出与样本标签之间的残差；基于确定的残差，对待训练模型参数进行更新。
本实施例的技术方案，通过向业务方发送目标样本标识在本地数据集中的样本数据与待训练模型参数的乘积，由业务方执行如下：基于目标样本标识在本地数据集中的样本数据与待训练模型参数的乘积，以及目标样本标识在业务方数据集中的样本数据与待训练模型参数的乘积，确定待训练模型的输出与样本标签之间的残差；基于确定的残差，对待训练模型参数进行更新。从而实现结合合作方数据和自身数据对需求模型进行丰富维度的训练。
同时，基于目标样本标识在合作方数据集中的样本数据与待训练模型参数的乘积进行残差的确定，所以本地无需合作方样本数据的明文。
进一步地，所述装置还包括：目标样本标识确定模块。
其中，目标样本标识确定模块，用于确定本地数据集与业务方数据集中相同的样本标识，并将确定结果作为目标样本标识。
进一步地，目标样本标识确定模块，包括：标识匹配单元、位置确定单元和目标样本标识确定单元。
其中，标识匹配单元，用于匹配基于不同参数进行相同逻辑运算的本地标识序列和业务方标识序列；
位置确定单元，用于根据匹配结果，确定匹配成功的样本标识在本地标识序列中的位置信息；
目标样本标识确定单元，用于根据所述位置信息，从本地标识序列中确定与业务方数据集中样本标识相同的样本标识。
进一步地，所述标识匹配单元具体用于：
提取本地数据集中各样本的样本标识，生成本地标识序列；
基于本地运算参数和设定运算逻辑，对本地标识序列中的样本标识进行运算；
将运算后的本地标识序列发送给业务方，并接收业务方发送的运算后的合作方标识序列，其中所述运算后的业务方标识序列，由业务方基于业务方运算参数和所述设定运算逻辑对业务方数据集中各样本的样本标识运算得到；
基于本地运算参数和所述设定运算逻辑对运算后的业务方标识序列中的样本标识进行运算，生成二次运算的业务方标识序列；
接收业务方发送的二次运算的本地标识序列，其中二次运算的本地标识序列，由业务方基于业务方运算参数和所述设定运算逻辑对接收的运算后的本地标识序列中的样本标识进行运算得到；
匹配二次运算的业务方标识序列和二次运算的本地标识序列中的样本标识。
进一步地，所述装置还包括：样本加密模块、更新请求接收模块和参数更新模块。
其中，样本加密模块，用于向业务方发送目标样本标识在本地数据集中的样本数据与待训练模型参数的乘积之后，加密目标样本标识在本地数据集中的样本数据，并将加密结果发送给业务方；
更新请求接收模块，用于接收业务方发送的包括本地待训练模型的更新参数的请求，其中所述更新参数由业务方基于所述残差以及目标样本标识在本地数据集中的样本数据的加密结果确定；
参数更新模块，用于根据接收的更新参数对本地待训练模型参数进行更新。
本发明实施例所提供的模型训练装置可执行本发明任意实施例所提供的模型训练方法，具备执行方法相应的功能模块和有益效果。
实施例十
图10为本发明实施例十提供的一种设备的结构示意图。图10示出了适于用来实现本发明实施方式的示例性设备12的框图。图10显示的设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图10所示，设备12以通用计算设备的形式表现。设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图10未显示，通常称为“硬盘驱动器”)。尽管图10中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该设备12交互的设备通信，和/或与使得该设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与设备12的其它模块通信。应当明白，尽管图中未示出，可以结合设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的模型训练方法。
实施例十一
本发明实施例十一还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的模型训练方法，该方法包括：
基于目标样本标识在本地数据集中的样本数据与待训练模型参数的乘积，以及目标样本标识在合作方数据集中的样本数据与待训练模型参数的乘积，确定待训练模型的输出与样本标签之间的残差；
基于确定的残差，对待训练模型参数进行更新。
或者，
确定目标样本标识在本地数据集中的样本数据与待训练模型参数的乘积；
向业务方发送目标样本标识在本地数据集中的样本数据与待训练模型参数的乘积，由业务方执行如下：基于目标样本标识在本地数据集中的样本数据与待训练模型参数的乘积，以及目标样本标识在业务方数据集中的样本数据与待训练模型参数的乘积，确定待训练模型的输出与样本标签之间的残差；基于确定的残差，对待训练模型参数进行更新。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (14)
1.一种模型训练方法，其特征在于，由业务方执行，包括：
确定本地数据集与合作方数据集中相同的样本标识，并将确定结果作为目标样本标识，其中，所述目标样本标识是本地数据集中样本标识与合作方数据集中样本标识的交集；样本标识用于唯一标识样本，本地数据集和合作方数据集中包括样本多个维度的数据，样本为用户数据，样本标识为用户身份证号，样本其他维度的数据是用户的性别、年龄、姓名和操作记录中的至少一种；本地为业务方本地；
基于目标样本标识在本地数据集中的样本数据与本地待训练模型参数的乘积，以及目标样本标识在合作方数据集中的样本数据与合作方待训练模型参数的乘积，确定待训练模型的输出与样本标签之间的残差；
基于确定的残差，对待训练模型参数进行更新；
基于更新后的待训练模型参数确定最佳待训练模型参数，其中，所述最佳待训练模型参数用于对预测样本数据进行预测，预测结果用于对业务需求进行分析；
确定本地数据集与合作方数据集中相同的样本标识，包括：
匹配基于不同参数进行相同逻辑运算的本地标识序列和合作方标识序列；
根据匹配结果，确定匹配成功的样本标识在本地标识序列中的位置信息；
根据所述位置信息，从本地标识序列中确定与合作方数据集中样本标识相同的样本标识。
2.根据权利要求1所述的方法，其特征在于，所述匹配基于不同参数进行相同逻辑运算的本地标识序列和合作方标识序列，包括：
提取本地数据集中各样本的样本标识，生成本地标识序列；
基于本地运算参数和设定运算逻辑，对本地标识序列中的样本标识进行运算；
将运算后的本地标识序列发送给合作方，并接收合作方发送的运算后的合作方标识序列，其中所述运算后的合作方标识序列，由合作方基于合作方运算参数和所述设定运算逻辑对合作方数据集中各样本的样本标识运算得到；
基于本地运算参数和所述设定运算逻辑对运算后的合作方标识序列中的样本标识进行运算，生成二次运算的合作方标识序列；
接收合作方发送的二次运算的本地标识序列，其中二次运算的本地标识序列，由合作方基于合作方运算参数和所述设定运算逻辑对接收的运算后的本地标识序列中的样本标识进行运算得到；
匹配二次运算的合作方标识序列和二次运算的本地标识序列中的样本标识。
3.根据权利要求1所述的方法，其特征在于，基于确定的残差对待训练模型参数进行更新，包括：
基于所述残差以及目标样本标识在合作方数据集中的样本数据的密文，确定合作方待训练模型的更新参数；
向合作方发送包括合作方待训练模型的更新参数的请求，所述请求指示合作方根据更新参数对合作方待训练模型参数进行更新。
4.一种模型训练方法，其特征在于，由合作方执行，包括：
确定本地数据集与业务方数据集中相同的样本标识，并将确定结果作为目标样本标识，其中，所述目标样本标识是本地数据集中样本标识与业务方数据集中样本标识的交集；样本标识用于唯一标识样本，本地数据集和业务方数据集中包括样本多个维度的数据，样本为用户数据，样本标识为用户身份证号，样本其他维度的数据是用户的性别、年龄、姓名和操作记录中的至少一种；本地为合作方本地；
确定目标样本标识在本地数据集中的样本数据与待训练模型参数的乘积；
向业务方发送目标样本标识在本地数据集中的样本数据与待训练模型参数的乘积，由业务方执行如下：基于目标样本标识在本地数据集中的样本数据与本地待训练模型参数的乘积，以及目标样本标识在业务方数据集中的样本数据与业务方待训练模型参数的乘积，确定待训练模型的输出与样本标签之间的残差；基于确定的残差，对待训练模型参数进行更新；基于更新后的待训练模型参数确定最佳待训练模型参数，其中，所述最佳待训练模型参数用于对预测样本数据进行预测，预测结果用于对业务需求进行分析；
确定本地数据集与业务方数据集中相同的样本标识，包括：
匹配基于不同参数进行相同逻辑运算的本地标识序列和业务方标识序列；
根据匹配结果，确定匹配成功的样本标识在本地标识序列中的位置信息；
根据所述位置信息，从本地标识序列中确定与业务方数据集中样本标识相同的样本标识。
5.根据权利要求4所述的方法，其特征在于，所述匹配基于不同参数进行相同逻辑运算的本地标识序列和业务方标识序列，包括：
提取本地数据集中各样本的样本标识，生成本地标识序列；
基于本地运算参数和设定运算逻辑，对本地标识序列中的样本标识进行运算；
将运算后的本地标识序列发送给业务方，并接收业务方发送的运算后的业务方标识序列，其中所述运算后的业务方标识序列，由业务方基于业务方运算参数和所述设定运算逻辑对业务方数据集中各样本的样本标识运算得到；
基于本地运算参数和所述设定运算逻辑对运算后的业务方标识序列中的样本标识进行运算，生成二次运算的业务方标识序列；
接收业务方发送的二次运算的本地标识序列，其中二次运算的本地标识序列，由业务方基于业务方运算参数和所述设定运算逻辑对接收的运算后的本地标识序列中的样本标识进行运算得到；
匹配二次运算的业务方标识序列和二次运算的本地标识序列中的样本标识。
6.根据权利要求4所述的方法，其特征在于，向业务方发送目标样本标识在本地数据集中的样本数据与待训练模型参数的乘积之后，还包括：
加密目标样本标识在本地数据集中的样本数据，并将加密结果发送给业务方；
接收业务方发送的包括本地待训练模型的更新参数的请求，其中所述更新参数由业务方基于所述残差以及目标样本标识在本地数据集中的样本数据的加密结果确定；
根据接收的更新参数对本地待训练模型参数进行更新。
7.一种模型训练装置，其特征在于，由业务方执行，包括：
目标样本标识确定模块，用于确定本地数据集与合作方数据集中相同的样本标识，并将确定结果作为目标样本标识，其中，所述目标样本标识是本地数据集中样本标识与合作方数据集中样本标识的交集；样本标识用于唯一标识样本，本地数据集和合作方数据集中包括样本多个维度的数据，样本为用户数据，样本标识为用户身份证号，样本其他维度的数据是用户的性别、年龄、姓名和操作记录中的至少一种；本地为业务方本地；
残差确定模块，用于基于目标样本标识在本地数据集中的样本数据与本地待训练模型参数的乘积，以及目标样本标识在合作方数据集中的样本数据与合作方待训练模型参数的乘积，确定待训练模型的输出与样本标签之间的残差；
参数更新模块，用于基于确定的残差，对待训练模型参数进行更新；基于更新后的待训练模型参数确定最佳待训练模型参数，其中，所述最佳待训练模型参数用于对预测样本数据进行预测，预测结果用于对业务需求进行分析；
目标样本标识确定模块，包括：
标识匹配单元，用于匹配基于不同参数进行相同逻辑运算的本地标识序列和合作方标识序列；
位置确定单元，用于根据匹配结果，确定匹配成功的样本标识在本地标识序列中的位置信息；
相同标识确定单元，用于根据所述位置信息，从本地标识序列中确定与合作方数据集中样本标识相同的样本标识。
8.根据权利要求7所述的装置，其特征在于，所述标识匹配单元具体用于：
提取本地数据集中各样本的样本标识，生成本地标识序列；
基于本地运算参数和设定运算逻辑，对本地标识序列中的样本标识进行运算；
将运算后的本地标识序列发送给合作方，并接收合作方发送的运算后的合作方标识序列，其中所述运算后的合作方标识序列，由合作方基于合作方运算参数和所述设定运算逻辑对合作方数据集中各样本的样本标识运算得到；
基于本地运算参数和所述设定运算逻辑对运算后的合作方标识序列中的样本标识进行运算，生成二次运算的合作方标识序列；
接收合作方发送的二次运算的本地标识序列，其中二次运算的本地标识序列，由合作方基于合作方运算参数和所述设定运算逻辑对接收的运算后的本地标识序列中的样本标识进行运算得到；
匹配二次运算的合作方标识序列和二次运算的本地标识序列中的样本标识。
9.根据权利要求7所述的装置，其特征在于，参数更新模块，包括：
参数确定单元，用于基于所述残差以及目标样本标识在合作方数据集中的样本数据的密文，确定合作方待训练模型的更新参数；
更新请求单元，用于向合作方发送包括合作方待训练模型的更新参数的请求，所述请求指示合作方根据更新参数对合作方待训练模型参数进行更新。
10.一种模型训练装置，其特征在于，由合作方执行，包括：
目标样本标识确定模块，用于确定本地数据集与业务方数据集中相同的样本标识，并将确定结果作为目标样本标识，其中，所述目标样本标识是本地数据集中样本标识与业务方数据集中样本标识的交集；样本标识用于唯一标识样本，本地数据集和业务方数据集中包括样本多个维度的数据，样本为用户数据，样本标识为用户身份证号，样本其他维度的数据是用户的性别、年龄、姓名和操作记录中的至少一种；本地为合作方本地；
乘积确定模块，用于确定目标样本标识在本地数据集中的样本数据与待训练模型参数的乘积；
乘积发送模块，用于向业务方发送目标样本标识在本地数据集中的样本数据与待训练模型参数的乘积，由业务方执行如下：基于目标样本标识在本地数据集中的样本数据与本地待训练模型参数的乘积，以及目标样本标识在业务方数据集中的样本数据与业务方待训练模型参数的乘积，确定待训练模型的输出与样本标签之间的残差；基于确定的残差，对待训练模型参数进行更新；基于更新后的待训练模型参数确定最佳待训练模型参数，其中，所述最佳待训练模型参数用于对预测样本数据进行预测，预测结果用于对业务需求进行分析；
目标样本标识确定模块，包括：
标识匹配单元，用于匹配基于不同参数进行相同逻辑运算的本地标识序列和业务方标识序列；
位置确定单元，用于根据匹配结果，确定匹配成功的样本标识在本地标识序列中的位置信息；
目标样本标识确定单元，用于根据所述位置信息，从本地标识序列中确定与业务方数据集中样本标识相同的样本标识。
11.根据权利要求10所述的装置，其特征在于，所述标识匹配单元具体用于：
提取本地数据集中各样本的样本标识，生成本地标识序列；
基于本地运算参数和设定运算逻辑，对本地标识序列中的样本标识进行运算；
将运算后的本地标识序列发送给业务方，并接收业务方发送的运算后的业务方标识序列，其中所述运算后的业务方标识序列，由业务方基于业务方运算参数和所述设定运算逻辑对业务方数据集中各样本的样本标识运算得到；
基于本地运算参数和所述设定运算逻辑对运算后的业务方标识序列中的样本标识进行运算，生成二次运算的业务方标识序列；
接收业务方发送的二次运算的本地标识序列，其中二次运算的本地标识序列，由业务方基于业务方运算参数和所述设定运算逻辑对接收的运算后的本地标识序列中的样本标识进行运算得到；
匹配二次运算的业务方标识序列和二次运算的本地标识序列中的样本标识。
12.根据权利要求10所述的装置，其特征在于，还包括：
样本加密模块，用于向业务方发送目标样本标识在本地数据集中的样本数据与待训练模型参数的乘积之后，加密目标样本标识在本地数据集中的样本数据，并将加密结果发送给业务方；
更新请求接收模块，用于接收业务方发送的包括本地待训练模型的更新参数的请求，其中所述更新参数由业务方基于所述残差以及目标样本标识在本地数据集中的样本数据的加密结果确定；
参数更新模块，用于根据接收的更新参数对本地待训练模型参数进行更新。
13.一种设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-3或权利要求4-6中任一所述的模型训练方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-3或权利要求4-6中任一所述的模型训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910028170.3A CN111435452B (zh) | 2019-01-11 | 2019-01-11 | 模型训练方法、装置、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910028170.3A CN111435452B (zh) | 2019-01-11 | 2019-01-11 | 模型训练方法、装置、设备和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111435452A CN111435452A (zh) | 2020-07-21 |
| CN111435452B true CN111435452B (zh) | 2023-11-03 |
Family
ID=71580323
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910028170.3A Active CN111435452B (zh) | 2019-01-11 | 2019-01-11 | 模型训练方法、装置、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111435452B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115422574A (zh) * | 2022-08-15 | 2022-12-02 | 中国银联股份有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6134582A (en) * | 1998-05-26 | 2000-10-17 | Microsoft Corporation | System and method for managing electronic mail messages using a client-based database |
| CN102077543A (zh) * | 2008-07-29 | 2011-05-25 | 朗讯科技公司 | 计算机网络中用于用户设备间的资源共享的方法和装置 |
| WO2017133615A1 (zh) * | 2016-02-03 | 2017-08-10 | 腾讯科技（深圳）有限公司 | 一种业务参数获取方法及装置 |
| CN107563416A (zh) * | 2017-08-17 | 2018-01-09 | 阿里巴巴集团控股有限公司 | 一种对象识别方法和装置 |
| US9875736B2 (en) * | 2015-02-19 | 2018-01-23 | Microsoft Technology Licensing, Llc | Pre-training and/or transfer learning for sequence taggers |
| CN107704888A (zh) * | 2017-10-23 | 2018-02-16 | 大国创新智能科技(东莞)有限公司 | 一种基于联合聚类深度学习神经网络的数据识别方法 |
| CN107766224A (zh) * | 2017-11-07 | 2018-03-06 | 百度在线网络技术（北京）有限公司 | 测试方法和测试装置 |
| CN107808004A (zh) * | 2017-11-15 | 2018-03-16 | 北京百度网讯科技有限公司 | 模型训练方法和系统、服务器、存储介质 |
| CN107818313A (zh) * | 2017-11-20 | 2018-03-20 | 腾讯科技（深圳）有限公司 | 活体识别方法、装置、存储介质和计算机设备 |
| CN107895055A (zh) * | 2017-12-21 | 2018-04-10 | 儒安科技有限公司 | 一种照片管理方法及系统 |
| CN108111885A (zh) * | 2017-12-25 | 2018-06-01 | 北京奇艺世纪科技有限公司 | 一种合作数据确定方法、装置及电子设备 |
| CN108229267A (zh) * | 2016-12-29 | 2018-06-29 | 北京市商汤科技开发有限公司 | 对象属性检测、神经网络训练、区域检测方法和装置 |
| WO2018174873A1 (en) * | 2017-03-22 | 2018-09-27 | Visa International Service Association | Privacy-preserving machine learning |
| CN108765094A (zh) * | 2018-06-06 | 2018-11-06 | 中国平安人寿保险股份有限公司 | 保险数据处理方法、装置、计算机设备和存储介质 |
| CN108763389A (zh) * | 2018-05-18 | 2018-11-06 | 上海数据交易中心有限公司 | 数据的整合方法及装置、存储介质、终端 |
| CN109033854A (zh) * | 2018-07-17 | 2018-12-18 | 阿里巴巴集团控股有限公司 | 基于模型的预测方法和装置 |
| WO2018228218A1 (zh) * | 2017-06-16 | 2018-12-20 | 腾讯科技（深圳）有限公司 | 身份识别方法、计算设备及存储介质 |
| CN109063535A (zh) * | 2018-05-30 | 2018-12-21 | 华侨大学 | 一种基于联合深度学习的行人再辨识和行人性别分类方法 |
| CN109101822A (zh) * | 2018-07-10 | 2018-12-28 | 西安交通大学 | 一种解决多方计算中数据隐私泄露问题的方法 |
| CN109165515A (zh) * | 2018-08-10 | 2019-01-08 | 深圳前海微众银行股份有限公司 | 基于联邦学习的模型参数获取方法、系统及可读存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070174290A1 (en) * | 2006-01-19 | 2007-07-26 | International Business Machines Corporation | System and architecture for enterprise-scale, parallel data mining |
| US10755172B2 (en) * | 2016-06-22 | 2020-08-25 | Massachusetts Institute Of Technology | Secure training of multi-party deep neural network |
| US10314054B2 (en) * | 2016-07-26 | 2019-06-04 | Industrial Technology Research Institute | Method and apparatuses for controlling configurable bearer based on UE-assisted feedback |
| US20190012592A1 (en) * | 2017-07-07 | 2019-01-10 | Pointr Data Inc. | Secure federated neural networks |
-
2019
- 2019-01-11 CN CN201910028170.3A patent/CN111435452B/zh active Active
Patent Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6134582A (en) * | 1998-05-26 | 2000-10-17 | Microsoft Corporation | System and method for managing electronic mail messages using a client-based database |
| CN102077543A (zh) * | 2008-07-29 | 2011-05-25 | 朗讯科技公司 | 计算机网络中用于用户设备间的资源共享的方法和装置 |
| US9875736B2 (en) * | 2015-02-19 | 2018-01-23 | Microsoft Technology Licensing, Llc | Pre-training and/or transfer learning for sequence taggers |
| WO2017133615A1 (zh) * | 2016-02-03 | 2017-08-10 | 腾讯科技（深圳）有限公司 | 一种业务参数获取方法及装置 |
| CN108229267A (zh) * | 2016-12-29 | 2018-06-29 | 北京市商汤科技开发有限公司 | 对象属性检测、神经网络训练、区域检测方法和装置 |
| WO2018174873A1 (en) * | 2017-03-22 | 2018-09-27 | Visa International Service Association | Privacy-preserving machine learning |
| WO2018228218A1 (zh) * | 2017-06-16 | 2018-12-20 | 腾讯科技（深圳）有限公司 | 身份识别方法、计算设备及存储介质 |
| CN107563416A (zh) * | 2017-08-17 | 2018-01-09 | 阿里巴巴集团控股有限公司 | 一种对象识别方法和装置 |
| CN107704888A (zh) * | 2017-10-23 | 2018-02-16 | 大国创新智能科技(东莞)有限公司 | 一种基于联合聚类深度学习神经网络的数据识别方法 |
| CN107766224A (zh) * | 2017-11-07 | 2018-03-06 | 百度在线网络技术（北京）有限公司 | 测试方法和测试装置 |
| CN107808004A (zh) * | 2017-11-15 | 2018-03-16 | 北京百度网讯科技有限公司 | 模型训练方法和系统、服务器、存储介质 |
| CN107818313A (zh) * | 2017-11-20 | 2018-03-20 | 腾讯科技（深圳）有限公司 | 活体识别方法、装置、存储介质和计算机设备 |
| CN107895055A (zh) * | 2017-12-21 | 2018-04-10 | 儒安科技有限公司 | 一种照片管理方法及系统 |
| CN108111885A (zh) * | 2017-12-25 | 2018-06-01 | 北京奇艺世纪科技有限公司 | 一种合作数据确定方法、装置及电子设备 |
| CN108763389A (zh) * | 2018-05-18 | 2018-11-06 | 上海数据交易中心有限公司 | 数据的整合方法及装置、存储介质、终端 |
| CN109063535A (zh) * | 2018-05-30 | 2018-12-21 | 华侨大学 | 一种基于联合深度学习的行人再辨识和行人性别分类方法 |
| CN108765094A (zh) * | 2018-06-06 | 2018-11-06 | 中国平安人寿保险股份有限公司 | 保险数据处理方法、装置、计算机设备和存储介质 |
| CN109101822A (zh) * | 2018-07-10 | 2018-12-28 | 西安交通大学 | 一种解决多方计算中数据隐私泄露问题的方法 |
| CN109033854A (zh) * | 2018-07-17 | 2018-12-18 | 阿里巴巴集团控股有限公司 | 基于模型的预测方法和装置 |
| CN109165515A (zh) * | 2018-08-10 | 2019-01-08 | 深圳前海微众银行股份有限公司 | 基于联邦学习的模型参数获取方法、系统及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111435452A (zh) | 2020-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108520470B (zh) | 用于生成用户属性信息的方法和装置 | |
| CN111259446B (zh) | 基于联邦迁移学习的参数处理方法、设备及存储介质 | |
| WO2020173228A1 (zh) | 机器学习模型的联合训练方法、装置、设备及存储介质 | |
| CN109460652B (zh) | 用于标注图像样本的方法、设备及计算机可读介质 | |
| WO2022037419A1 (zh) | 音频内容识别方法、装置、设备和计算机可读介质 | |
| CN111368013A (zh) | 基于多账户的统一标识方法、系统、设备和存储介质 | |
| CN111324441A (zh) | 运行环境的切换方法、装置、计算机设备和存储介质 | |
| WO2021196935A1 (zh) | 数据校验方法、装置、电子设备和存储介质 | |
| CN112149174A (zh) | 模型训练方法、装置、设备和介质 | |
| CN112149706A (zh) | 模型训练方法、装置、设备和介质 | |
| CN115438232A (zh) | 知识图谱构建方法及装置、电子设备、存储介质 | |
| CN111046085B (zh) | 数据的溯源处理方法及装置、介质和设备 | |
| CN110378396A (zh) | 样本数据标注方法、装置、计算机设备及存储介质 | |
| CN107817962B (zh) | 一种远程控制方法、装置、控制服务器及存储介质 | |
| CN110782128B (zh) | 一种用户职业标签生成方法、装置和电子设备 | |
| CN111126422B (zh) | 行业模型的建立及行业的确定方法、装置、设备及介质 | |
| CN111435452B (zh) | 模型训练方法、装置、设备和介质 | |
| EP4285275A1 (en) | Virtual dialog system performance assessment and enrichment | |
| CN110837635A (zh) | 一种设备验证的方法、装置、设备及存储介质 | |
| CN108399128A (zh) | 一种用户数据的生成方法、装置、服务器及存储介质 | |
| CN117331956A (zh) | 任务处理方法、装置、计算机设备及存储介质 | |
| CN112149834B (zh) | 模型训练方法、装置、设备和介质 | |
| CN110457318A (zh) | 区块链中数据字段的更新方法、装置、介质、电子设备 | |
| CN112182636B (zh) | 一种联合建模训练的实现方法、装置、设备和介质 | |
| WO2021151354A1 (zh) | 一种单词识别方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |