CN110516475A - 一种数据处理方法、装置及服务器 - Google Patents
一种数据处理方法、装置及服务器 Download PDFInfo
- Publication number
- CN110516475A CN110516475A CN201910815307.XA CN201910815307A CN110516475A CN 110516475 A CN110516475 A CN 110516475A CN 201910815307 A CN201910815307 A CN 201910815307A CN 110516475 A CN110516475 A CN 110516475A
- Authority
- CN
- China
- Prior art keywords
- model
- parameter
- model parameter
- training
- target component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3692—Test management for test results analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/542—Event management; Broadcasting; Multicasting; Notifications
Abstract
本申请公开了一种数据处理方法、装置及服务器,方法包括:从区块链中拉取第一模型;利用本地的样本数据对所述第一模型进行训练,得到第二模型;将所述第一模型的模型参数中的至少一个目标参数更新为所述第二模型中相应的模型参数,以得到第三模型的模型参数;其中,所述目标参数为所述第一模型的模型参数中的部分参数。可见,本申请中即使部分更新模型参数的第三模型被广播,也不会被反向推导,即使第三模型被外界进行反向推导,被外界推导出样本的可能性也会很小,由此能够达到保护本地样本数据的目的。
Description
技术领域
本申请涉及区块链技术领域,尤其涉及一种数据处理方法、装置及服务器。
背景技术
目前处于区块链中的某个参与方节点进行人工智能模型训练时,通常会使用大量包含隐私数据的样本进行模型训练,在将训练完成的模型加入到区块链进行广播时,存在模型可能会被反向推导使得包含隐私数据的样本被外界得到的情况,从而造成样本中隐私数据被泄露。
发明内容
有鉴于此,本申请提供一种数据处理方法、装置及服务器,用以提高样本数据的安全性。
本申请提供了一种数据处理方法,包括:
从区块链中拉取第一模型;
利用本地的样本数据对所述第一模型进行训练,得到第二模型;
将所述第一模型的模型参数中的至少一个目标参数更新为所述第二模型中相应的模型参数,以得到第三模型的模型参数;其中,所述目标参数为所述第一模型的模型参数中的部分参数。
上述方法,可选的,将所述第一模型的模型参数中的至少一个目标参数更新为所述第二模型中相应的模型参数,包括:
基于所述至少一个模型参数的变化增量,将所述第一模型的模型参数中的至少一个目标参数更新为所述第二模型中相应的模型参数;所述变化增量为所述第二模型中的模型参数相对于所述第一模型中相应的模型参数的参数变化增量;
其中,所述目标参数在所述第一模型的模型参数中的数量占比与所述至少一个模型参数的变化增量相对应。
上述方法,可选的,所述目标参数为所述第一模型的模型参数中按照所述变化增量的大小排序在前N位的参数,N为大于或等于1的正整数。
上述方法,可选的,所述N与所述第二模型中的模型参数的数量M之间具有预设的第一比例值。
上述方法,可选的,所述目标参数为所述第一模型的模型参数中所述变化增量的绝对值大于预设增量值的参数。
上述方法,可选的,还包括:
将所述第三模型的模型参数广播到所述区块链中,以使得所述区块链中的其他参与方节点按照所述第三模型的模型参数进行模型测试并按照测试结果生成投票结果;
如果所述投票结果表明模型训练成功,按照所述第三模型的模型参数生成新的区块,以添加到所述区块链中。
上述方法,可选的,如果所述投票结果表明模型训练失败,所述方法还包括:
获得所述其他参与方节点广播的针对所述第一模型的历史模型参数;
基于所述历史模型参数,对所述第三模型的模型参数进行优化,以得到优化的模型参数;
按照所述优化的模型参数,重新执行所述利用本地的样本数据对所述第一模型进行训练,得到第二模型,直到所述投票结果表明模型训练成功。
本申请还提供了另一种数据处理方法,包括:
获得所述区块链中的模型训练方节点发送的第三模型的模型参数;其中,所述第三模型的模型参数由所述模型训练方节点通过将至少一个目标参数更新为第二模型的模型参数得到,所述第二模型的模型参数为第一模型经过所述模型训练方节点利用本地的样本数据训练后的模型参数,所述至少一个目标参数为所述第一模型的模型参数中的部分参数;
按照所述第三模型的模型参数,利用本地的测试数据对所述第一模型进行模型测试,以生成测试结果;
基于所述测试结果,生成投票结果;
将所述投票结果输出给所述模型训练方节点。
本申请还提供了一种数据处理装置,包括:
拉取单元,用于从区块链中拉取第一模型;
训练单元,用于利用本地的样本数据对所述第一模型进行训练,得到第二模型;
更新单元,用于将所述第一模型的模型参数中的至少一个目标参数更新为所述第二模型中相应的模型参数,以得到第三模型的模型参数;其中,所述目标参数为所述第一模型的模型参数中的部分参数。
本申请还提供了另一种数据处理装置,包括:
获得单元,用于获得所述区块链中的模型训练方节点发送的第三模型的模型参数;其中,所述第三模型的模型参数由所述模型训练方节点通过将至少一个目标参数更新为第二模型的模型参数得到,所述第二模型的模型参数为第一模型经过所述模型训练方节点利用本地的样本数据训练后的模型参数,所述至少一个目标参数为所述第一模型的模型参数中的部分参数;
测试单元,用于按照所述第三模型的模型参数,利用本地的测试数据对所述第一模型进行模型测试,以生成测试结果;
生成单元,用于基于所述测试结果,生成投票结果;
输出单元,用于将所述投票结果输出给所述模型训练方节点。
本申请还提供了一种服务器,包括:
存储器,用于存储应用程序及应用程序运行所产生的数据;
处理器,用于执行应用程序,以实现:
从区块链中拉取第一模型;利用本地的样本数据对所述第一模型进行训练,得到第二模型;将所述第一模型的模型参数中的至少一个目标参数更新为所述第二模型中相应的模型参数,以得到第三模型的模型参数;其中,所述目标参数为所述第一模型的模型参数中的部分参数。
本申请还提供了另一种服务器,包括:
存储器,用于存储应用程序及应用程序运行所产生的数据;
处理器,用于执行应用程序,以实现:获得所述区块链中的模型训练方节点发送的第三模型的模型参数;其中,所述第三模型的模型参数由所述模型训练方节点通过将至少一个目标参数更新为第二模型的模型参数得到,所述第二模型的模型参数为第一模型经过所述模型训练方节点利用本地的样本数据训练后的模型参数,所述至少一个目标参数为所述第一模型的模型参数中的部分参数;按照所述第三模型的模型参数,利用本地的测试数据对所述第一模型进行模型测试,以生成测试结果;基于所述测试结果,生成投票结果;将所述投票结果输出给所述模型训练方节点。。
从上述技术方案可以看出,本申请公开的一种数据处理方法、装置及服务器,在从区块链中拉取到第一模型之后,利用本地的样本数据进行训练得到第二模型,通过将原第一模型中的部分的模型参数更新到训练后的第二模型的模型参数中,使得广播到区块链的第三模型中的模型参数仅有部分是基于本地样本数据训练得到。可见,本申请中即使部分更新模型参数的第三模型被广播,也不会被反向推导,即使第三模型被外界进行反向推导,被外界推导出样本的可能性也会很小,由此能够达到保护本地样本数据的目的。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例一提供的一种数据处理方法的流程图;
图2-图4分别为本申请实施例一的其他流程图;
图5为本申请实施例二提供的一种数据处理方法的流程图;
图6为本申请实施例三提供的一种数据处理装置的结构示意图;
图7为本申请实施例四提供的一种数据处理装置的结构示意图;
图8为本申请实施例五提供的一种服务器的结构示意图;
图9为本申请实施例六提供的一种服务器的结构示意图;
图10为本申请实施例中的参数更新示意图;
图11为本申请实施例中区块链参与方的进程0的流程示意图;
图12为本申请实施例中区块链参与方的进程1的流程示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
如图1所示,为本申请实施例一提供的一种数据处理方法的实现流程图,该方法适用于区块链中的节点服务器上。本实施例中的方法主要用于对区块链中的模型进行安全训练,以达到保护用于训练模型的本体样本数据的目的。
具体的,本实施例中的方法可以包括以下步骤:
步骤101:从区块链中拉取第一模型。
其中,第一模型可以理解为区块链中最新版本的模型,该第一模型能够实现相应的功能,如深度学习或者批量数据处理等。
需要说明的是,本实施例中从区块链中拉取第一模型,可以理解为:从区块链中拉取包含模型参数的第一模型,所拉取到的第一模型中具有该第一模型的模型参数,如w1、w2、w3、...、wn,其中,n为第一模型的模型参数的总数量。
步骤102:利用本地的样本数据对第一模型进行训练,得到第二模型。
具体的,本实施例中将本地的样本数据输入到第一模型中,对第一模型进行训练,得到第二模型,此时,第二模型的模型参数已经为新的模型参数。
其中,本实施例中训练得到的第二模型中具有相对于第一模型的新的模型参数,如w1`、w2`、w3`、...、wn`。而新的第二模型的模型参数相对于第一模型的模型参数在参数的种类上不变,在参数的大小上相对变化,w1`相对于w1,w2`相对于w2,w3`相对于w3、...、wn`相对于wn,在参数种类上对应,但在参数的大小上具有增量变化,变大或者变小,当然,也有可能某些模型参数在大小上也不变。
步骤103:将第一模型的模型参数中的至少一个目标参数更新为第二模型中相应的模型参数,以得到第三模型的模型参数。
其中,目标参数为第一模型的模型参数中的部分参数。
也就是说,本实施例中,在第一模型的模型参数中,选取部分参数即至少一个目标参数,将这些目标参数替换为第二模型中相应的新的模型参数,使得得到的第三模型的模型参数中包含部分第一模型的模型参数(除目标参数之外被保留的模型参数)和部分第二模型的模型参数(被替换的目标参数在第二模型中对应的模型参数)。
例如,将w1、w2、w3、...、wn中的目标参数w2、w4和wn分别替换为w2`、w4`、wn`,得到第三模型的模型参数w1、w2`、w3、w4`、w5、...、wn-1、wn`。此时,第三模型的模型参数中包括第一模型的模型参数w1、w3、w5、w6、...、wn和第二模型的模型参数w2`、w4`、wn`。
具体的,本实施例中可以根据预设的选取规则在第一模型的模型参数中选取出目标参数,更新为第二模型中相应的模型参数;或者,本实施例中可以对第二模型的模型参数与第一模型的模型参数进行统计分析,以选取出目标参数,更新为第二模型中相应的模型参数;或者,本实施例中可以对第二模型的模型参数进行参数值的判断,进而将满足预设选取规则的模型参数在第一模型中对应的模型参数选取为目标参数,并更新为第二模型中相应的模型参数,等等。
由上述方案可知,本申请实施例一提供的一种数据处理方法,在从区块链中拉取到第一模型之后,利用本地的样本数据进行训练得到第二模型,通过将原第一模型中的部分的模型参数更新到训练后的第二模型的模型参数中,使得广播到区块链的第三模型中的模型参数仅有部分是基于本地样本数据训练得到。可见,本实施例中即使部分更新模型参数的第三模型被广播,也不会被反向推导,即使第三模型被外界进行反向推导,被外界推导出样本的可能性也会很小,由此能够达到保护本地样本数据的目的。
在一种实现方式中,本实施例中步骤103在将第一模型的模型参数中的至少一个目标参数更新为第二模型中相应的模型参数时,具体可以通过以下方式实现:
首先,获得第二模型相对于第一模型的参数变量信息,该参数变化信息中包括至少一个模型参数的变换增量,该变化增量即为第二模型中的模型参数相对于第一模型中相应的模型参数的参数变化增量。
具体的,本实施例中可以将第二模型中的每个模型参数分别与第一模型中相应的模型参数进行参数比对,由此来得到第二模型中每个模型参数相对于第一模型中相应的模型参数的参数变化增量。
其中,变化增量具体可以以数值上的参数增量值来表征,如+20或-10等表征增加20的变化增量或降低10的变化增量,等等,当然,变化增量为0时表明模型参数在数值上没有发生变化。
之后,在得到变化增量之后,基于至少一个模型参数的变换增量,将第一模型的模型参数中的至少一个目标参数更新为第二模型中相应的模型参数。
也就是说,本实施例中可以根据一个或多个模型参数的变化增量或者所有模型参数的变化增量,在第一模型的模型参数中,选择出至少一个目标参数,将选择出的目标参数进行替换掉,并替换为第二模型中相应的模型参数。
具体的,本实施例中在第一模型的模型参数中选择目标参数时,可以基于至少一个模型参数的变化增量进行选取,使得所选择出的目标参数在第一模型的模型参数中的数量占比与至少一模型参数的变化增量相对应,也就是说,本实施例中根据至少一个模型参数的变化增量在第一模型的模型参数中选择相应的数量占比的目标参数,将其替换为第二模型中相应的模型参数。
在一种情况下,目标参数为第一模型的模型参数中按照变化增量的大小排序在前N位的参数,N为大于或等于1的正整数,此时,目标参数在第一模型的模型参数中的数量占比为N与M之间的比值,M为第一模型的模型参数的总数量,也是第二模型中的模型参数的总数量。
例如,本实施例中在选取目标参数时,首先按照每个模型参数的变化增量的大小,对第一模型中的模型参数进行排序,然后,将排序在前N位的模型参数确定为目标参数。
具体实现中,N可以取值与M的比值为第一比例值,相应的,目标参数为第一模型参数中排序在前且占比在预设的第一比例值内的参数,此时,第一比例值为N与M的预设比例值。
例如,本实施例中在选取目标参数时,首先按照每个模型参数的辩护增量的大小,对第一模型中的模型参数进行排序,然后将排序在前N位且占比N/M在第一比例值内的模型参数确定为目标参数,例如,选取第一模型的模型参数中按照变化增量的大小排序在前20%或60%的模型参数为目标参数。
在另一种情况中,目标参数为第一模型的模型参数中变化增量的绝对值大于预设增量值的参数。也就是说,本实施例中将第一模型中变化增量的大小大于预设增量值的模型参数选取为目标参数,如第一模型中参数值增加或降低的变化量大于3或14的模型参数选取的目标参数。
其中,预设增量值的大小可以根据需求设置。
还有其他情况中,目标参数可以为第一模型参数中变化增量的增量比例高于预设比例值的模型参数,也就是说,本实施例中,将第一模型中增量比例大于预设比例值的模型参数选取为目标参数,例如,将第一模型中参数值增幅超过50%或者降幅超过40%的模型参宿选取为目标参数。
在一种实现方式中,本实施例中在得到第三模型的模型参数之后,还可以包括以下步骤,如图2中所示:
步骤104:将第三模型的模型参数广播到区块链中,以使得区块链中的其他参与方节点按照第三模型的模型参数进行模型测试,并按照测试结果生成投票结果。
其中,本实施例中第三模型的模型参数广播到区块链中,可以理解为:将训练完成的针对第一模型的新的第三模型广播到区块链中,而具体广播是将第三模型的模型参数进行广播,使得区块链中其他参与方节点能够获得该第三模型的模型参数,从而得到最新的模型,并基于该新的模型的模型参数的基础上进行模型测试,得到测试结果,以该测试结果生成投票结果,该投票结果表明区块链上的参与方节点是否同意将新的第三模型的模型参数生成新的区块。
需要说明的是,其他参与方节点进行模型测试的测试结果可以为表明模型参数优于区块链中最新模型参数的结果,如测试结果可以为表明测试成功或不成功的结果,也可以是表明测试满意度的结果,也可以是表明模型稳定概率值的结果,等等。其他参与方节点根据测试结果生成投票结果,该投票结果可以是对测试结果进行量化及归一化后的结果,如表明通过或不通过的投票结果,例如,测试结果表明测试成功时,相应生成表明通过的投票结果,或者,测试结果表明模型稳定概率值为90%时,相应生成表明通过的投票结果,或者测试结果表明模型稳定概率值为40%时,相应生成表明不通过的投票结果,等等。
具体的,区块链中其他参与方节点在基于第三模型的模型参数进行模型测试时,具体可以利用本地的测试数据进行模型测试,相应根据测试结果来生成投票结果,区别于进行哈希值等计算得到的随机结果来生成投票结果的技术方案,本实施例中能够提高测试结果的准确性,使得投票结果更具备真实性。
步骤105:获得其他参与方节点发送的投票结果,并判断投票结果是否表明模型训练成功,如果是,执行步骤106。
其中,本实施例中获得区块链中所有按照第三模型的模型参数进行模型测试的其他参与方节点所反馈的投票结果,并对所有投票结果进行统计分析,来判断出投票结果是否表明模型训练成功。
例如,本实施例中可以对所有投票结果中表明通过的投票结果进行占比分析,如果表明通过的投票结果占比超过60%,那么此时,可以认为模型训练成功;如果表明通过的投票结果占比低于30%,那么此时可以认为模型训练不成功;等等。
步骤106:按照第三模型的模型参数生成新的区块,以添加到区块链中。
其中,本实施例中按照第三模型的模型参数生成新区块后,添加到区块链中,以使得区块链上能够具有新的第三模型,以便于区块链上的各个参与方均能够在授权下进行访问。
在另一种实现中,如果步骤105中发现投票结果表明模型训练不成功时,表明部分模型参数的更新使得新模型无法满足需求,此时,可以执行以下流程,如图3中所示,直到投票结果表明模型训练成功,如下:
步骤107:获得其他参与方节点广播的针对第一模型的历史模型参数。
其中,历史模型参数可以理解为第一模型进行训练之前的模型参数,如w1、w2、w3、...、wn的模型参数。
需要说明的是,由于本地训练方(训练模型)已经将第一模型的模型参数更新为部分第二模型的模型参数,此时,可以从其他参与方节点所记录并广播的参数中获取历史模型参数。
步骤108:基于历史模型参数,对第三模型的模型参数进行优化,以得到优化后的模型参数,按照优化后的模型参数,重新执行步骤102利用本地的样本数据进行训练,得到新的第二模型,直到最后投票结果表明模型训练成功。
其中,本实施例中在对第三模型的模型参数进行优化时,具体可以在历史模型参数与第三模型的模型参数之间的参数值中取值,得到新的模型参数作为优化后的模型参数,例如,设置一个常数比例值a,如30%或50%等,以a*w1+(1-a)*w1`得到优化后的w1``,以此类推,得到所有优化的模型参数w1``、w2``、w3``、...、wn``,此时,将优化后的模型参数作为第一模型的新的模型参数对第一模型进行重新训练,得到新的第二模型,并在更新部分模型参数之后,给其他参与方节点重新进行测试并投票,直到最后投票结果表明模型训练成功,此时,执行步骤106按照第三模型的模型参数生成新的区块,以添加到区块链中。
基于以上方案,在本实施例中步骤102得到第二模型之后,还可以包括有以下步骤,如图4中所示:
步骤109:按照第二模型的模型参数进行模型测试,得到本地测试结果,如果本地测试结果表明模型训练成功,执行步骤103,如果本地测试结果表明模型训练不成功,则执行步骤107及后续步骤,直到本地测试结果表明模型训练成功,执行步骤103,并在最后投票结果表明模型训练成功时执行步骤106按照第三模型的模型参数生成新的区块,以添加到区块链中。
可见,本实施例中能够通过循环迭代的方式反复对模型进行训练及测试,直到本地模型训练成功且其他参与方的投票结果也表明模型训练成功,此时就可以生成新的区块,完成模型训练。
参考图5,为本申请实施例二提供的一种数据处理方法的流程图,该方法适用于区块链中的节点服务器上。本实施例中的方法主要用于对区块链中模型训练方训练完成的第三模型的模型参数进行测试,并进行投票。
具体的,本实施例中的方法可以包括以下步骤:
步骤501:获得所述区块链中的模型训练方节点发送的第三模型的模型参数。
其中,所述第三模型的模型参数由模型训练方节点通过将至少一个目标参数更新为第二模型的模型参数得到,所述第二模型的模型参数为第一模型经过所述模型训练方节点利用本地的样本数据训练后的模型参数,所述至少一个目标参数为所述第一模型的模型参数中的部分参数。
具体的,本实施例中区块链中模型训练方得到第三模型的模型参数的具体实现方式可以参考前文中相应实施例内容,此处不再详述。
需要说明的是,在本文中的模型训练方节点(进行模型训练的节点)与参与方节点(进行模型测试的节点)均为区块链中的节点,在区块链中的任一节点均可以作为模型训练方进行模型训练,也可以作为参与方对其他模型训练方训练完成的模型进行测试。本实施例中的方法所适用的节点与模型训练方节点为区块链中的不同节点,模型训练方节点对模型参数的训练可以参考前文中实施例一的相关内容。
其中,本实施例中可以在模型训练方广播第三模型的模型参数之后,对广播的第三模型的模型参数进行获取。
步骤502:按照所述第三模型的模型参数,利用本地的测试数据对所述第一模型进行模型测试,以生成测试结果。
其中,本实施例中按照第三模型的模型参数进行模型测试时,可以进行哈希值等计算得到一个随机结果;
或者,为了提高测试结果的真实性及准确性,本实施例中可以利用本地的测试数据进行模型测试,相应得到更加真实的测试结果。
需要说明的是,参与方节点进行模型测试的测试结果可以为表明测试成功或不成功的结果,也可以是表明测试满意度的结果,也可以是表明模型稳定概率值的结果,等等。
具体的,本实施例中可以将恩地的测试数据输入到基于第三模型的模型参数搭建的模型中,运行模型并输出测试结果。
步骤503:基于所述测试结果,生成投票结果。
其中,投票结果表明区块链上的当前参与方节点是否同意将新的第三模型的模型参数生成新的区块。
需要说明的是,参与方节点根据测试结果生成投票结果,具体的,投票结果可以是对测试结果进行量化及归一化后的结果,如表明通过或不通过的投票结果,例如,测试结果表明测试成功时,相应生成表明通过的投票结果,或者,测试结果表明模型稳定概率值为90%时,相应生成表明通过的投票结果,或者测试结果表明模型稳定概率值为40%时,相应生成表明不通过的投票结果,等等。
步骤504:将所述投票结果输出给所述模型训练方节点。
其中,本实施例中在参与方节点上可以通过单播的方式,将投票结果输出给模型训练方节点,由模型训练方节点根据投票结果决定是否建立新区块并添加到区块链中。例如,如果模型训练方判断出投票结果满足模型训练成功的条件,如超过半数参与方的投票结果为表明通过的投票结果,那按照第三模型的模型参数生成新的区块,以添加到区块链中。
由上述方案可知,本申请实施例二提供的一种数据处理方法,在模型训练方从区块链中拉取到第一模型之后,利用本地的样本数据进行训练得到第二模型,通过将原第一模型中的部分的模型参数更新到训练后的第二模型的模型参数中,使得广播到区块链的第三模型中的模型参数仅有部分是基于本地样本数据训练得到,由此在保护模型训练方的本地样本数据的基础上,由参与方节点对模型参数进行测试,并在测试成功时由模型训练方生成新区块上传到区块链,实现模型更新。
参考图6,为本申请实施例三提供的一种数据处理装置的结构示意图,该装置可以设置在区块链中的节点服务器上。本实施例中的装置主要用于对区块链中的模型进行安全训练,以达到保护用于训练模型的本体样本数据的目的。
具体的,本实施例中的装置可以包括以下功能单元:
拉取单元601,用于从区块链中拉取第一模型;
其中,第一模型可以理解为区块链中最新版本的模型,该第一模型能够实现相应的功能,如深度学习或者批量数据处理等。
需要说明的是,本实施例中从区块链中拉取第一模型,可以理解为:从区块链中拉取包含模型参数的第一模型,所拉取到的第一模型中具有该第一模型的模型参数,如w1、w2、w3、...、wn,其中,n为第一模型的模型参数的总数量。
训练单元602,用于利用本地的样本数据对所述第一模型进行训练,得到第二模型;
具体的,本实施例中将本地的样本数据输入到第一模型中,对第一模型进行训练,得到第二模型,此时,第二模型的模型参数已经为新的模型参数。
其中,本实施例中训练得到的第二模型中具有相对于第一模型的新的模型参数,如w1`、w2`、w3`、...、wn`。而新的第二模型的模型参数相对于第一模型的模型参数在参数的种类上不变,在参数的大小上相对变化,w1`相对于w1,w2`相对于w2,w3`相对于w3、...、wn`相对于wn,在参数种类上对应,但在参数的大小上具有增量变化,变大或者变小,当然,也有可能某些模型参数在大小上也不变。
更新单元603,用于将所述第一模型的模型参数中的至少一个目标参数更新为所述第二模型中相应的模型参数,以得到第三模型的模型参数。
其中,所述目标参数为所述第一模型的模型参数中的部分参数。
也就是说,本实施例中,在第一模型的模型参数中,选取部分参数即至少一个目标参数,将这些目标参数替换为第二模型中相应的新的模型参数,使得得到的第三模型的模型参数中包含部分第一模型的模型参数(除目标参数之外被保留的模型参数)和部分第二模型的模型参数(被替换的目标参数在第二模型中对应的模型参数)。
例如,将w1、w2、w3、...、wn中的目标参数w2、w4和wn分别替换为w2`、w4`、wn`,得到第三模型的模型参数w1、w2`、w3、w4`、...、wn`。此时,第三模型的模型参数中包括第一模型的模型参数w1、w3、w5、w6、...、wn和第二模型的模型参数w2`、w4`、wn`。
具体的,本实施例中可以根据预设的选取规则在第一模型的模型参数中选取出目标参数,更新为第二模型中相应的模型参数;或者,本实施例中可以对第二模型的模型参数与第一模型的模型参数进行统计分析,以选取出目标参数,更新为第二模型中相应的模型参数;或者,本实施例中可以对第二模型的模型参数进行参数值的判断,进而将满足预设选取规则的模型参数在第一模型中对应的模型参数选取为目标参数,并更新为第二模型中相应的模型参数,等等。
由上述方案可知,本申请实施例三提供的一种数据处理装置,在从区块链中拉取到第一模型之后,利用本地的样本数据进行训练得到第二模型,通过将原第一模型中的部分的模型参数更新到训练后的第二模型的模型参数中,使得广播到区块链的第三模型中的模型参数仅有部分是基于本地样本数据训练得到。可见,本实施例中即使部分更新模型参数的第三模型被广播,也不会被反向推导,即使第三模型被外界进行反向推导,被外界推导出样本的可能性也会很小,由此能够达到保护本地样本数据的目的。
在一种实现方式中,更新单元603在将所述第一模型的模型参数中的至少一个目标参数更新为所述第二模型中相应的模型参数,可以通过以下方式实现:
基于所述至少一个模型参数的变化增量,将所述第一模型的模型参数中的至少一个目标参数更新为所述第二模型中相应的模型参数;所述变化增量为所述第二模型中的模型参数相对于所述第一模型中相应的模型参数的参数变化增量;
其中,所述目标参数在所述第一模型的模型参数中的数量占比与所述至少一个模型参数的变化增量相对应。
具体的,所述目标参数为所述第一模型的模型参数中按照所述变化增量的大小排序在前N位的参数,N为大于或等于1的正整数。进一步的,所述N与所述第二模型中的模型参数的数量M之间具有预设的第一比例值。
或者,所述目标参数为所述第一模型的模型参数中所述变化增量的绝对值大于预设增量值的参数。
在另一种实现方式中,拉取单元601还用于:将所述第三模型的模型参数广播到所述区块链中,以使得所述区块链中的其他参与方节点按照所述第三模型的模型参数进行模型测试并按照测试结果生成投票结果;
如果所述投票结果表明模型训练成功,按照所述第三模型的模型参数生成新的区块,以添加到所述区块链中;
如果所述投票结果表明模型训练失败,则获得所述其他参与方节点广播的针对所述第一模型的历史模型参数;基于所述历史模型参数,对所述第三模型的模型参数进行优化,以得到优化的模型参数;按照所述优化的模型参数,重新执行所述利用本地的样本数据对所述第一模型进行训练,得到第二模型,直到所述投票结果表明模型训练成功。
需要说明的是,本实施例中的装置中各单元的具体实现可以参考前文中相应描述内容,此处不再赘述。
参考图7,为本申请实施例四提供的一种数据处理装置的结构示意图,该装置可以设置在区块链中的节点服务器上。本实施例中的装置主要用于对区块链中模型训练方训练完成的第三模型的模型参数进行测试,并进行投票。
具体的,本实施例中的装置可以包括以下功能单元:
获得单元701,用于获得所述区块链中的模型训练方节点发送的第三模型的模型参数。
其中,所述第三模型的模型参数由模型训练方节点通过将至少一个目标参数更新为第二模型的模型参数得到,所述第二模型的模型参数为第一模型经过所述模型训练方节点利用本地的样本数据训练后的模型参数,所述至少一个目标参数为所述第一模型的模型参数中的部分参数;
具体的,本实施例中区块链中模型训练方得到第三模型的模型参数的具体实现方式可以参考前文中相应实施例内容,此处不再详述。
需要说明的是,在本文中的模型训练方节点(进行模型训练的节点)与参与方节点(进行模型测试的节点)均为区块链中的节点,在区块链中的任一节点均可以作为模型训练方进行模型训练,也可以作为参与方对其他模型训练方训练完成的模型进行测试。本实施例中的方法所适用的节点与模型训练方节点为区块链中的不同节点,模型训练方节点对模型参数的训练可以参考前文中实施例一的相关内容。
其中,本实施例中可以在模型训练方广播第三模型的模型参数之后,对广播的第三模型的模型参数进行获取。
测试单元702,用于按照所述第三模型的模型参数,利用本地的测试数据对所述第一模型进行模型测试,以生成测试结果;
其中,本实施例中按照第三模型的模型参数进行模型测试时,可以进行哈希值等计算得到一个随机结果;
或者,为了提高测试结果的真实性及准确性,本实施例中可以利用本地的测试数据进行模型测试,相应得到更加真实的测试结果。
需要说明的是,参与方节点进行模型测试的测试结果可以为表明测试成功或不成功的结果,也可以是表明测试满意度的结果,也可以是表明模型稳定概率值的结果,等等。
具体的,本实施例中可以将恩地的测试数据输入到基于第三模型的模型参数搭建的模型中,运行模型并输出测试结果。
生成单元703,用于基于所述测试结果,生成投票结果;
其中,投票结果表明区块链上的当前参与方节点是否同意将新的第三模型的模型参数生成新的区块。
需要说明的是,参与方节点根据测试结果生成投票结果,具体的,投票结果可以是对测试结果进行量化及归一化后的结果,如表明通过或不通过的投票结果,例如,测试结果表明测试成功时,相应生成表明通过的投票结果,或者,测试结果表明模型稳定概率值为90%时,相应生成表明通过的投票结果,或者测试结果表明模型稳定概率值为40%时,相应生成表明不通过的投票结果,等等。
输出单元704,用于将所述投票结果输出给所述模型训练方节点。
其中,本实施例中在参与方节点上可以通过单播的方式,将投票结果输出给模型训练方节点,由模型训练方节点根据投票结果决定是否建立新区块并添加到区块链中。例如,如果模型训练方判断出投票结果满足模型训练成功的条件,如超过半数参与方的投票结果为表明通过的投票结果,那按照第三模型的模型参数生成新的区块,以添加到区块链中。
由上述方案可知,本申请实施例四提供的一种数据处理装置,在模型训练方从区块链中拉取到第一模型之后,利用本地的样本数据进行训练得到第二模型,通过将原第一模型中的部分的模型参数更新到训练后的第二模型的模型参数中,使得广播到区块链的第三模型中的模型参数仅有部分是基于本地样本数据训练得到,由此在保护模型训练方的本地样本数据的基础上,由参与方节点对模型参数进行测试,并在测试成功时由模型训练方生成新区块上传到区块链,实现模型更新。
参考图8,为本申请实施例五提供的一种服务器的结构示意图,该服务器可以为区块链中的节点服务器,本实施例中的节点服务器主要用于对区块链中的模型进行安全训练,以达到保护用于训练模型的本体样本数据的目的。
具体的,本实施例中的服务器可以包括以下结构:
存储器801,用于存储应用程序及应用程序运行所产生的数据;
处理器802,用于执行应用程序,以实现:
从区块链中拉取第一模型;利用本地的样本数据对所述第一模型进行训练,得到第二模型;将所述第一模型的模型参数中的至少一个目标参数更新为所述第二模型中相应的模型参数,以得到第三模型的模型参数;其中,所述目标参数为所述第一模型的模型参数中的部分参数。
由上述方案可知,本申请实施例五提供的一种服务器,作为区块链中的模型训练方,在从区块链中拉取到第一模型之后,利用本地的样本数据进行训练得到第二模型,通过将原第一模型中的部分的模型参数更新到训练后的第二模型的模型参数中,使得广播到区块链的第三模型中的模型参数仅有部分是基于本地样本数据训练得到。可见,本实施例中即使部分更新模型参数的第三模型被广播,也不会被反向推导,即使第三模型被外界进行反向推导,被外界推导出样本的可能性也会很小,由此能够达到保护本地样本数据的目的。
需要说明的是,本实施例中处理器802的具体实现可以参考前文中相应描述内容,此处不再赘述。
参考图9,为本申请实施例六提供的一种服务器的结构示意图,该服务器可以为区块链中的节点服务器。本实施例中的服务器主要用于对区块链中模型训练方训练完成的第三模型的模型参数进行测试,并进行投票。
具体的,本实施例中的服务器可以包括以下结构:
存储器901,用于存储应用程序及应用程序运行所产生的数据;
处理器902,用于执行应用程序,以实现:
获得所述区块链中的模型训练方节点发送的第三模型的模型参数;其中,所述第三模型的模型参数通过将至少一个目标参数更新为第二模型的模型参数得到,所述第二模型的模型参数为第一模型经过所述模型训练方节点利用本地的样本数据训练后的模型参数,所述至少一个目标参数为所述第一模型的模型参数中的部分参数;按照所述第三模型的模型参数,利用本地的测试数据对所述第一模型进行模型测试,以生成测试结果;基于所述测试结果,生成投票结果;将所述投票结果输出给所述模型训练方节点。
由上述方案可知,本申请实施例六提供的一种服务器,作为区块链中的参与方,在模型训练方从区块链中拉取到第一模型之后,利用本地的样本数据进行训练得到第二模型,通过将原第一模型中的部分的模型参数更新到训练后的第二模型的模型参数中,使得广播到区块链的第三模型中的模型参数仅有部分是基于本地样本数据训练得到,由此在保护模型训练方的本地样本数据的基础上,由参与方节点对模型参数进行测试,并在测试成功时由模型训练方生成新区块上传到区块链,实现模型更新。
以下结合本实施例中的技术方案,对区块链中进行模型训练的具体示例进行举例说明,如下:
首先,区块链中各参与方根据自身的隐私数据(本地的样本数据)保护程度预先选择(或自定义设置)模型参数广播比例r%或模型参数更新阈值t;
相应的,区块链中参与方节点的本地训练结束后,选取梯度最大即参数变化最大的占比r%的模型参数或模型参数的变化量大于阈值t的模型参数进行更新为经过训练后得到的新的模型参数,其他的模型参数保持不变,并进行广播,由此,更新模型参数的比例越高,则新的模型相对于原模型性能提升得更高,更容易获得其他参与方的赞成投票并生成新区块获取相应的奖励,但同时泄露隐私数据的可能性也更大,各参与方需要在模型提升与保护隐私数据之间按照一定的权衡规则对r%或t进行设置。
因此,本实施例中,选取模型参数变化最大的一部分参数(目标参数)进行更新,在保护隐私数据的基础上,尽可能多的保持训练后新模型与原模型相比模型性能上的提升。
可见,采用本方案之后的优势在于:不仅可以保护各参与方的数据隐私,防止模型参数被反向推导而泄露数据信息,还可以给区块链中各参与方自主选择的权利,由各参与方根据自身对隐私数据的敏感度,自定义或选择模型参数的更新方式或更新比例。
在模型训练方面,结合图10中参数更新示意图,其中,整体流程结合图11和图12中所示,区块链中每个参与方维护两个进程:进程0和和进程1,其中,图11中为进行模型训练的进程0的流程示意图,图12为进行模型测试的进程1的流程示意图,具体实现方案如下:
首先,1各参与方根据隐私数据保护的可接受程度与模型提升速度之间的权衡规则,选择模型参数更新比例r%或模型参数更新阈值t;
其次,2参与方从区块链拉取最新模型即第一模型M0,包含模型参数w1、w2、w3、...、wn,用本地的样本数据作为训练数据输入到M0,经过N轮训练结束后,生成新的模型M1并进行本地测试,其中,模型M1包括模型参数w1`、w2`、w3`、...、wn`,如果本地测试发现模型参数优于区块链上的最新模型参数,则进行下一步,否则综合其他参与方发来的模型参数进行参数更新,如图11中的进程1所示。
然后,3将模型M1模型参数按照的更新梯度值(模型参数的变化增量)进行排序,即新模型M1相对于原模型M0的参数变化值ΔW按从大到小排序,选取占比前r%的ΔW对应的模型参数W进行更新,或选取ΔW大于t的ΔW对应的模型参数W进行更新,剩余其他的模型参数由原模型M0相应的模型参数进行补充,组成新模型即第三模型M2,包括模型参数w1、w2`、w3、w4`、w5、...、wn-1、wn`(w2`、w4`、wn`为更新的模型参数),如图11中的进程1所示。
之后,4参与方将模型M2的模型参数在区块链上进行广播,其他参与方会将接受到的模型参数进行保存,并对模型参数进行本地测试,如果本地测试的结果表明接收到的模型参数优于区块链上的最新模型参数,那么投赞成票,否则投反对票,如图12中的进程0所示。
而在模型训练的参与方获得其他参与方针对模型M2的投票结果后,根据投票结果决定是否生成新区块,若投票成功则生成新区块,若投票失败则综合其他参与方发来的模型参数进行参数更新,例如,设置比例值a,利用a*w+(1-a)*wr`(wr即为w`,表示接收到的其他参与方广播的参数)来更新模型参数,如图11中的进程1所示;
最后,重复步骤2-4,直到区块链上最新区块上的模型达到预期精度要求。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (12)
1.一种数据处理方法,包括:
从区块链中拉取第一模型;
利用本地的样本数据对所述第一模型进行训练,得到第二模型;
将所述第一模型的模型参数中的至少一个目标参数更新为所述第二模型中相应的模型参数,以得到第三模型的模型参数;其中,所述目标参数为所述第一模型的模型参数中的部分参数。
2.根据权利要求1所述的方法,将所述第一模型的模型参数中的至少一个目标参数更新为所述第二模型中相应的模型参数,包括:
基于所述至少一个模型参数的变化增量,将所述第一模型的模型参数中的至少一个目标参数更新为所述第二模型中相应的模型参数;所述变化增量为所述第二模型中的模型参数相对于所述第一模型中相应的模型参数的参数变化增量;
其中,所述目标参数在所述第一模型的模型参数中的数量占比与所述至少一个模型参数的变化增量相对应。
3.根据权利要求2所述的方法,所述目标参数为所述第一模型的模型参数中按照所述变化增量的大小排序在前N位的参数,N为大于或等于1的正整数。
4.根据权利要求3所述的方法,所述N与所述第二模型中的模型参数的数量M之间具有预设的第一比例值。
5.根据权利要求2所述的方法,所述目标参数为所述第一模型的模型参数中所述变化增量的绝对值大于预设增量值的参数。
6.根据权利要求1所述的方法,还包括:
将所述第三模型的模型参数广播到所述区块链中,以使得所述区块链中的其他参与方节点按照所述第三模型的模型参数进行模型测试并按照测试结果生成投票结果;
如果所述投票结果表明模型训练成功,按照所述第三模型的模型参数生成新的区块,以添加到所述区块链中。
7.根据权利要求6所述的方法,如果所述投票结果表明模型训练失败,所述方法还包括:
获得所述其他参与方节点广播的针对所述第一模型的历史模型参数;
基于所述历史模型参数,对所述第三模型的模型参数进行优化,以得到优化的模型参数;
按照所述优化的模型参数,重新执行所述利用本地的样本数据对所述第一模型进行训练,得到第二模型,直到所述投票结果表明模型训练成功。
8.一种数据处理方法,包括:
获得所述区块链中的模型训练方节点发送的第三模型的模型参数;其中,所述第三模型的模型参数由所述模型训练方节点通过将至少一个目标参数更新为第二模型的模型参数得到,所述第二模型的模型参数为第一模型经过所述模型训练方节点利用本地的样本数据训练后的模型参数,所述至少一个目标参数为所述第一模型的模型参数中的部分参数;
按照所述第三模型的模型参数,利用本地的测试数据对所述第一模型进行模型测试,以生成测试结果;
基于所述测试结果,生成投票结果;
将所述投票结果输出给所述模型训练方节点。
9.一种数据处理装置,包括:
拉取单元,用于从区块链中拉取第一模型;
训练单元,用于利用本地的样本数据对所述第一模型进行训练,得到第二模型;
更新单元,用于将所述第一模型的模型参数中的至少一个目标参数更新为所述第二模型中相应的模型参数,以得到第三模型的模型参数;其中,所述目标参数为所述第一模型的模型参数中的部分参数。
10.一种数据处理装置,包括:
获得单元,用于获得所述区块链中的模型训练方节点发送的第三模型的模型参数;其中,所述第三模型的模型参数由所述模型训练方节点通过将至少一个目标参数更新为第二模型的模型参数得到,所述第二模型的模型参数为第一模型经过所述模型训练方节点利用本地的样本数据训练后的模型参数,所述至少一个目标参数为所述第一模型的模型参数中的部分参数;
测试单元,用于按照所述第三模型的模型参数,利用本地的测试数据对所述第一模型进行模型测试,以生成测试结果;
生成单元,用于基于所述测试结果,生成投票结果;
输出单元,用于将所述投票结果输出给所述模型训练方节点。
11.一种服务器,包括:
存储器,用于存储应用程序及应用程序运行所产生的数据;
处理器,用于执行应用程序,以实现:
从区块链中拉取第一模型;利用本地的样本数据对所述第一模型进行训练,得到第二模型;将所述第一模型的模型参数中的至少一个目标参数更新为所述第二模型中相应的模型参数,以得到第三模型的模型参数;其中,所述目标参数为所述第一模型的模型参数中的部分参数。
12.一种服务器,包括:
存储器,用于存储应用程序及应用程序运行所产生的数据;
处理器,用于执行应用程序,以实现:
获得所述区块链中的模型训练方节点发送的第三模型的模型参数;其中,所述第三模型的模型参数由所述模型训练方节点通过将至少一个目标参数更新为第二模型的模型参数得到,所述第二模型的模型参数为第一模型经过所述模型训练方节点利用本地的样本数据训练后的模型参数,所述至少一个目标参数为所述第一模型的模型参数中的部分参数;按照所述第三模型的模型参数,利用本地的测试数据对所述第一模型进行模型测试,以生成测试结果;基于所述测试结果,生成投票结果;将所述投票结果输出给所述模型训练方节点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910815307.XA CN110516475B (zh) | 2019-08-30 | 2019-08-30 | 一种数据处理方法、装置及服务器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910815307.XA CN110516475B (zh) | 2019-08-30 | 2019-08-30 | 一种数据处理方法、装置及服务器 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110516475A true CN110516475A (zh) | 2019-11-29 |
CN110516475B CN110516475B (zh) | 2021-07-16 |
Family
ID=68628584
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910815307.XA Active CN110516475B (zh) | 2019-08-30 | 2019-08-30 | 一种数据处理方法、装置及服务器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110516475B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111209599A (zh) * | 2019-12-26 | 2020-05-29 | 安徽讯呼信息科技有限公司 | 一种基于区块链的数据处理系统 |
CN112863040A (zh) * | 2021-03-29 | 2021-05-28 | 中信银行股份有限公司 | 投票结果的生成、统计与获取方法、装置及电子设备 |
CN113792347A (zh) * | 2021-08-24 | 2021-12-14 | 上海点融信息科技有限责任公司 | 基于区块链的联邦学习方法、装置、设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180248747A1 (en) * | 2017-02-28 | 2018-08-30 | International Business Machines Corporation | Predictive analytics and device tracking to facilitate minimization of alert events |
CN108491266A (zh) * | 2018-03-09 | 2018-09-04 | 联想(北京)有限公司 | 基于区块链的数据处理方法、装置及电子设备 |
CN109194508A (zh) * | 2018-08-27 | 2019-01-11 | 联想(北京)有限公司 | 基于区块链的数据处理方法和装置 |
CN109558950A (zh) * | 2018-11-06 | 2019-04-02 | 联动优势科技有限公司 | 一种确定模型参数的方法及装置 |
CN109815344A (zh) * | 2019-01-29 | 2019-05-28 | 华南师范大学 | 基于参数共享的网络模型训练系统、方法、装置和介质 |
-
2019
- 2019-08-30 CN CN201910815307.XA patent/CN110516475B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180248747A1 (en) * | 2017-02-28 | 2018-08-30 | International Business Machines Corporation | Predictive analytics and device tracking to facilitate minimization of alert events |
CN108491266A (zh) * | 2018-03-09 | 2018-09-04 | 联想(北京)有限公司 | 基于区块链的数据处理方法、装置及电子设备 |
CN109194508A (zh) * | 2018-08-27 | 2019-01-11 | 联想(北京)有限公司 | 基于区块链的数据处理方法和装置 |
CN109558950A (zh) * | 2018-11-06 | 2019-04-02 | 联动优势科技有限公司 | 一种确定模型参数的方法及装置 |
CN109815344A (zh) * | 2019-01-29 | 2019-05-28 | 华南师范大学 | 基于参数共享的网络模型训练系统、方法、装置和介质 |
Non-Patent Citations (1)
Title |
---|
涂奔等: "一种基于私有区块链的信息保护预测模型研究", 《情报理论与实践(ITA)》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111209599A (zh) * | 2019-12-26 | 2020-05-29 | 安徽讯呼信息科技有限公司 | 一种基于区块链的数据处理系统 |
CN111209599B (zh) * | 2019-12-26 | 2023-03-14 | 安徽讯呼信息科技有限公司 | 一种基于区块链的数据处理系统 |
CN112863040A (zh) * | 2021-03-29 | 2021-05-28 | 中信银行股份有限公司 | 投票结果的生成、统计与获取方法、装置及电子设备 |
CN113792347A (zh) * | 2021-08-24 | 2021-12-14 | 上海点融信息科技有限责任公司 | 基于区块链的联邦学习方法、装置、设备及存储介质 |
CN113792347B (zh) * | 2021-08-24 | 2023-09-26 | 上海点融信息科技有限责任公司 | 基于区块链的联邦学习方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110516475B (zh) | 2021-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110516475A (zh) | 一种数据处理方法、装置及服务器 | |
WO2019018375A1 (en) | NEURONAL ARCHITECTURE RESEARCH FOR CONVOLUTION NEURAL NETWORKS | |
CN112132277A (zh) | 联邦学习模型训练方法、装置、终端设备及存储介质 | |
CN112765560B (zh) | 设备健康状态评估方法、装置、终端设备和存储介质 | |
CN110705690B (zh) | 基于生成模型和元学习优化方法的连续学习方法及系统 | |
CN109194510A (zh) | 基于区块链的数据处理方法和装置 | |
Doyen et al. | A generic framework for generalized virtual age models | |
CN111695624B (zh) | 数据增强策略的更新方法、装置、设备及存储介质 | |
CN106373251A (zh) | 一种基于秘密分享的电子选票计票方法 | |
Fiondella et al. | Optimal allocation of testing effort considering software architecture | |
CN110070431A (zh) | 用户反欺诈实现方法、装置、计算机设备及存储介质 | |
CN111475402A (zh) | 程序功能的测试方法及相关装置 | |
Gonzalez et al. | Validation techniques for case-based reasoning systems | |
CN112418433A (zh) | 一种模型训练方法、装置及设备 | |
CN107150603B (zh) | 一种快速获取与电动车匹配度高的充电桩的方法和装置 | |
CN102662848B (zh) | 一种贝叶斯软件可靠性验证测试方法及其计算机辅助工具 | |
CN111985644B (zh) | 神经网络生成方法及装置、电子设备及存储介质 | |
CN111860855B (zh) | 一种行为引导资源投放策略生成方法及装置 | |
CN110889635B (zh) | 一种用于对食品安全事件的处理进行应急演练的方法 | |
CN106227608A (zh) | 一种数据处理方法、终端和系统 | |
CN109447495A (zh) | 核电厂组织行为可靠性评估方法、装置及设备 | |
CN110248372A (zh) | 一种模拟器检测的方法、装置、存储介质及计算机设备 | |
CN115865642B (zh) | 一种招募可信节点完成计算任务的方法和装置 | |
Lewis et al. | Active set identification for linearly constrained minimization without explicit derivatives | |
CN113240110B (zh) | 确定模型的方法、设备以及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |