CN110610241A - 一种模型训练方法、设备及存储介质 - Google Patents
一种模型训练方法、设备及存储介质 Download PDFInfo
- Publication number
- CN110610241A CN110610241A CN201910818571.9A CN201910818571A CN110610241A CN 110610241 A CN110610241 A CN 110610241A CN 201910818571 A CN201910818571 A CN 201910818571A CN 110610241 A CN110610241 A CN 110610241A
- Authority
- CN
- China
- Prior art keywords
- data
- model
- block
- data model
- trained
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Machine Translation (AREA)
Abstract
本发明实施例公开了一种模型训练方法,该方法包括:确定待训练的第一数据的类型,得到第一类型;基于第一数据、第一类型和预设区块链中的第一数据模型,生成训练后的第一数据模型;构建第一区块并添加至预设区块链中得到第一区块链,从预设区块链中获取除第一数据模型外的数据模型得到第一模型集合,并存储第一模型集合和训练后的第一数据模型至第一区块中;基于训练后的第一数据模型和第一区块链中的第二数据模型,生成第三数据模型;构建第二区块并添加至第一区块链中得到第二区块链,从第一区块链中获取除第二数据模型外的数据模型得到第二模型集合,并存储第二模型集合和第三数据模型至第二区块中。本发明实施例还提供了一种设备和存储介质。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种模型训练方法、设备及存储介质。
背景技术
随着区块链技术的迅速发展,区块链的应用越来越广泛,已不限制于比特币交易中,在金融、贸易、征信、物联网、共享经济等诸多领域得到应用。目前,区块链技术在人工智能领域也得到了迅猛发展。例如在基于区块链的人工智能模型训练场景即基于区块链的分布式机器学习(Blockchain-based Distributed Machine Learning,BDML)中,社区可以维护一个可以解决某个特定问题的人工智能模型的区块链,某一个参与方如果训练得到一个更好的可以解决该特定问题的新的人工智能模型时,经过该社区内的其他参与方对该新的人工智能模型投票通过后,可以基于该新的人工智能模型生成一个新的区块,这样,每个参与方均可以在不公开自己数据的情况下对该人工智能模型进行训练,得到解决该特定问题的最佳模型。
在现有基于区块链的人工智能模型训练场景方案中仅针对单类型数据对应的单数据模型,而在实际应用场景中解决特定问题时需对多种类型的数据同时进行分析,但目前并没有更好的方案来同时对多种类型的数据进行分析以解决特定问题。
发明内容
为解决上述技术问题,本发明实施例期望提供一种模型训练方法、设备及存储介质,解决了现有区块链技术中没有针对多种类型的数据进行分析以解决特定问题的方案,基于区块链采用融合模型的方式实现了基于区块链技术对多种类型的数据进行分析并解决特定问题的方案。
本发明的技术方案是这样实现的:
第一方面,一种模型训练方法,所述方法包括:
确定待训练的第一数据的类型,得到第一类型;
基于所述第一数据、所述第一类型和预设区块链中的第一数据模型,生成训练后的第一数据模型;其中,所述第一数据模型用于对一种类型的数据进行处理,所述预设区块链中包括至少两个所述第一数据模型;
构建第一区块并添加至所述预设区块链中得到第一区块链,从所述预设区块链中获取除所述第一数据模型外的数据模型得到第一模型集合,并存储所述第一模型集合和所述训练后的第一数据模型至所述第一区块中;
基于所述训练后的第一数据模型和所述第一区块链中的第二数据模型,生成第三数据模型;其中,所述第二数据模型用于对两种不同类型的数据进行处理,且所述第二数据模型与所述至少两个第一数据模型具有关联关系;
构建第二区块并添加至所述第一区块链中得到第二区块链,从所述第一区块链中获取除所述第二数据模型外的数据模型得到第二模型集合,并存储所述第二模型集合和所述第三数据模型至所述第二区块中。
可选的,所述基于所述第一数据、所述第一类型和所述预设区块链的第一数据模型,生成训练后的第一数据模型,包括:
从所述预设区块链的最后一个区块中获取与所述第一类型对应的所述第一数据模型;
采用所述第一数据对所述第一数据模型进行模型训练,得到所述训练后的第一数据模型;
相应的,所述构建第一区块并添加至所述预设区块链中得到第一区块链,从所述预设区块链中获取除所述第一数据模型外的数据模型得到第一模型集合,并存储所述第一模型集合和所述训练后的第一数据模型至所述第一区块中,包括:
构建所述第一区块,并链接所述第一区块至所述最后一个区块后,得到第一区块链;
从所述最后一个区块中获取除所述第一数据模型外的数据模型,得到所述第一模型集合,并存储所述第一模型集合和所述训练后的第一数据模型至所述第一区块中。
可选的,所述构建第一区块并添加至所述预设区块链中得到第一区块链,从所述预设区块链中获取除所述第一数据模型外的数据模型得到第一模型集合,并存储所述第一模型集合和所述训练后的第一数据模型至所述第一区块中,包括:
对所述训练后的第一数据模型进行评估,得到第一评估值;
若所述第一评估值满足第一预设评估值,构建所述第一区块并添加至所述预设区块链中得到第一区块链,从所述预设区块链中获取除所述第一数据模型外的数据模型得到第一模型集合,并存储所述第一模型集合和所述训练后的第一数据模型至所述第一区块中。
可选的,所述基于所述训练后的第一数据模型和第二数据模型,生成第三数据模型,包括:
从所述第一区块中获取与所述第二数据模型具有关联关系的数据模型,得到第三模型集合;其中,所述第三模型集合中包括所述训练后的第一数据模型;
对所述第三模型集合中的数据模型进行训练,生成所述第三数据模型。
可选的,所述构建第二区块并添加至所述第一区块链中,从所述第一区块链中获取除所述第二数据模型外的数据模型得到第二模型集合,并存储所述第二模型集合和所述第三数据模型至所述第二区块中,包括:
对所述第三数据模型进行评估,得到第二评估值;
若所述第二评估值满足第二预设评估值,构建所述第二区块,并链接所述第二区块至所述第一区块后得到第二区块链;
从所述第一区块中获取除所述第二数据模型外的数据模型,得到所述第二模型集合,并存储所述第二模型集合和所述第三数据模型至所述第二区块中。
可选的,所述构建第二区块并添加至所述第一区块链中得到第二区块链,从所述第一区块链中获取除所述第二数据模型外的数据模型得到第二模型集合,并存储所述第二模型集合和所述第三数据模型至所述第二区块中之后,还包括:
确定待训练的第二数据的类型,得到第二类型;
基于所述第二数据、所述第二类型和所述第二区块中的第四数据模型,生成训练后的第四数据模型;其中,所述第四数据模型与所述至少两个第一数据模型具有关联关系;
构建第三区块并添加至所述第二区块链中得到第三区块链,从所述第二区块链中获取除所述第四数据模型外的数据模型得到第四模型集合,并存储所述第四模型集合和所述训练后的第四数据模型至所述第三区块中;
基于所述训练后的第四数据模型和第五数据模型,生成第六数据模型;其中,所述第五数据模型所述至少一个第二数据模型中的一个数据模型具有关联关系;
构建第四区块并添加至所述第三区块链中得到第四区块链,从所述第三区块链中获取除所述第五数据模型外的数据模型得到第五模型集合,并存储所述第五模型集合和所述第六数据模型至所述第四区块中;
确定待训练的第三数据的类型得到第三类型,并基于所述第三数据、所述第三类型和所述第四区块中的第七数据模型,生成训练后的第七数据模型直至待训练的数据均训练完成。
可选的,所述基于所述第二数据、所述第二类型和所述第二区块中的第四数据模型,生成训练后的第四数据模型,包括:
从所述第二区块中获取与所述第二类型对应的所述第四数据模型;
采用所述第二数据对所述第四数据模型进行模型训练,得到所述训练后的第四数据模型;
相应的,所述构建第三区块并添加至所述第一区块链中得到第二区块链,从所述第一区块链中获取除所述第四数据模型外的数据模型得到第四模型集合,并存储所述第四模型集合和所述训练后的第四数据模型至所述第三区块中,包括:
构建所述第三区块,并链接所述第三区块至所述第二区块后;
从所述第二区块中获取除所述第四数据模型外的数据模型,得到所述第四模型集合,并存储所述第四模型集合和所述训练后的第四数据模型至所述第三区块中。
可选的,所述基于所述训练后的第四数据模型和第五数据模型,生成第六数据模型,包括:
从所述第三区块中获取与所述第五数据模型具有关联关系的数据模型,得到第六模型集合;其中,所述第六模型集合中包括所述训练后的第四数据模型;
对所述第六模型集合中的数据模型进行训练,生成所述第六数据模型。
可选的,所述确定待训练的第一数据的类型,得到第一类型之前,还包括:
获取至少两个第八数据模型;其中,所述第八数据模型用于对一种类型的数据进行处理,且所述第八数据模型与所述第一数据模型具有关联关系;
获取至少一个第九数据模型;其中,所述第九数据模型用于对两种不同类型的数据进行处理,且所述第九数据模型与所述至少两个第八数据模型具有关联关系,且所述第九数据模型与所述第二数据模型具有关联关系;
构建所述预设区块链,并存储所述至少两个第八数据模型和所述至少一个第九数据模型至所述预设区块链的区块中。
第二方面,一种模型训练设备,所述模型训练设备包括:处理器、存储器和通信总线,其中:
所述存储器,用于存储可执行指令;
所述通信总线,用于实现所述处理器和所述存储器之间的通信连接;
所述处理器,用于执行所述存储器中存储的模型训练程序,实现如上述任一项所述的模型训练方法。
第三方面,一种存储介质,其特征在于,所述存储介质上存储有模型训练程序,所述模型训练程序被处理器执行时实现如上述任一项所述的模型训练方法的步骤。
本发明实施例提供了一种模型训练方法、设备及存储介质,确定待训练的第一数据的类型,得到第一类型,基于第一数据、第一类型和预设区块链中的第一数据模型,生成训练后的第一数据模型后,构建第一区块并添加至预设区块链中得到第一区块链,从预设区块链中获取除第一数据模型外的数据模型得到第一模型集合,并存储第一模型集合和训练后的第一数据模型至第一区块中,然后基于训练后的第一数据模型和预设区块链中的第二数据模型,生成第三数据模型,构建第二区块并添加至第一区块链中得到第二区块连,从第一区块链中获取除第二数据模型外的数据模型得到第二模型集合,并存储第二模型集合和第三数据模型至第二区块中。这样,至少两个第一数据模型和至少一个第二数据模型存储在区块链的区块中,并经过不断的对第一数据模型和第二数据模型进行更新,生成新的区块,解决了现有技术中没有针对多种类型的数据进行分析以解决特定问题的方案,基于区块链采用融合模型的方式实现了基于区块链技术对多种类型的数据进行分析并解决特定问题的方案。
附图说明
图1为本发明实施例提供的一种模型训练方法的流程示意图;
图2为本发明实施例提供的另一种模型训练方法的流程示意图;
图3为本发明实施例提供的又一种模型训练方法的流程示意图;
图4为本发明实施例提供的再一种模型训练方法的流程示意图;
图5为本发明实施例提供的一种系统结构示意图;
图6为本发明实施例提供的一种模型训练设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
本发明的实施例提供一种模型训练方法,参照图1所示,方法应用于模型训练设备,该方法包括以下步骤:
步骤101、确定待训练的第一数据的类型,得到第一类型。
在本发明实施例中,第一数据的类型指的是第一数据的数据类型,例如可以是文本类型、图片类型等。
步骤102、基于第一数据、第一类型和预设区块链中的第一数据模型,生成训练后的第一数据模型。
其中,第一数据模型用于对一种类型的数据进行处理,预设区块链中包括至少两个第一数据模型。
在本发明实施例中,预设区块链的区块中存储有至少两个第一数据模型,至少两个第一数据模型分别用于对至少两种不同类型的数据进行处理,第一数据模型通常是指单数据人工智能模型。在预设区块链中获取对第一类型的数据进行处理的第一数据模型,采用第一数据对第一数据模型进行模型训练,对第一数据模型的参数进行更新,得到训练后的第一数据模型。
步骤103、构建第一区块并添加至预设区块链中得到第一区块链,从预设区块链中获取除第一数据模型外的数据模型得到第一模型集合,并存储第一模型集合和训练后的第一数据模型至第一区块中。
在本发明实施例中,将得到的训练后的第一数据模型和预设区块链中除第一数据模型外的其他数据模型存储在构建的第一区块中,并将第一区块添加至预设区块链中,更新预设区块链得到第一区块链,这样保证区块链的区块中具有最新最优的数据模型,以便于对区块链的区块中的数据模型的应用。第一区块通常添加至预设区块链的链尾,使第一区块成为第一区块链的链尾。
步骤104、基于训练后的第一数据模型和第一区块链中的第二数据模型,生成第三数据模型。
其中,第二数据模型用于对两种不同类型的数据进行处理,且第二数据模型与至少两个第一数据模型具有关联关系。
在本发明实施例中,第二数据模型可以是融合模型,即第二数据模型是由至少两个不同的第一数据模型进行模型融合得到的,在一个区块链中,至少包括一个第二数据模型。第三数据模型替代第二数据模型,两者具有一定的对应关系。在一个第一数据模型进行模型训练更新后,对该第一数据模型相关的第二数据模型也需要进行更新,示例性的,第二数据模型是由两个不同的第一数据模型进行模型融合得到的,则当其中一个第一数据模型进行模型训练更新得到训练后的第一数据模型时,对训练后的第一数据模型和另一个未进行更新的第一数据模型进行模型融合训练,得到第三数据模型。
步骤105、构建第二区块并添加至第一区块链中得到第二区块链,从第一区块链中获取除第二数据模型外的数据模型得到第二模型集合,并存储第二模型集合和第三数据模型至第二区块中。
在本发明实施例中,第二模型集合是从第一区块中获取得到的。在第二区块中,采用第三数据模型替换第一区块中的第二数据模型。将第二区块添加至第一区块后对第一区块链进行更新得到第二区块链。
本发明实施例提供了一种模型训练方法,确定待训练的第一数据的类型,得到第一类型,基于第一数据、第一类型和预设区块链中的第一数据模型,生成训练后的第一数据模型后,构建第一区块并添加至预设区块链中得到第一区块链,从预设区块链中获取除第一数据模型外的数据模型得到第一模型集合,并存储第一模型集合和训练后的第一数据模型至第一区块中得到第二区块链,然后基于训练后的第一数据模型和第一区块链中的第二数据模型,生成第三数据模型,构建第二区块并添加至第一区块链中得到第二区块链,从第一区块链中获取除第二数据模型外的数据模型得到第二模型集合,并存储第二模型集合和第三数据模型至第二区块中。这样,至少两个第一数据模型和至少一个第二数据模型存储在区块链的区块中,并经过不断的对第一数据模型和第二数据模型进行更新,生成新的区块,解决了现有技术中没有针对多种类型的数据进行分析以解决特定问题的方案,基于区块链采用融合模型的方式实现了基于区块链技术对多种类型的数据进行分析并解决特定问题的方案。
基于前述实施例,本发明的实施例提供一种模型训练方法,参照图2所示,方法应用于模型训练设备,该方法包括以下步骤:
步骤201、确定待训练的第一数据的类型,得到第一类型。
在本发明实施例中,步骤201可以是模型训练设备中的第一类型训练节点实现的。第一类型训练节点中存储有可以对第一类型对应的第一数据模型进行模型训练的样本数据第一数据。第一类型训练节点可以是模型训练设备中本来就存在的节点,也可以是请求加入模型训练设备的节点。在第一类型训练节点请求加入模型训练设备时,模型训练设备对第一类型训练节点的身份进行认证,例如对第一类型训练节点的注册证书进行认证和授权,模型训练设备对第一类型训练节点的身份进行认证通过后,第一类型训练节点可以获取模型训练设备中的共享资源。
步骤202、基于第一数据、第一类型和预设区块链的第一数据模型,生成训练后的第一数据模型。
其中,第一数据模型用于对一种类型的数据进行处理,预设区块链中包括至少两个第一数据模型。
在本发明实施例中,步骤202可以是模型训练设备中的第一类型训练节点实现的。
步骤203、构建第一区块并添加至预设区块链中得到第一区块链,从预设区块链中获取除第一数据模型外的数据模型得到第一模型集合,并存储第一模型集合和训练后的第一数据模型至第一区块中。
在本发明实施例中,步骤203可以是模型训练设备中的区块生成节点实现的。
在本发明其他实施例中,模型训练设备中的第一类型训练节点执行步骤202时,可以由以下步骤a1至a2来实现:
步骤a1、从预设区块链的最后一个区块中获取与第一类型对应的第一数据模型。
其中,第一数据模型用于对一种类型的数据进行处理,预设区块链中包括至少两个第一数据模型。
在本发明实施例中,步骤a1可以是模型训练设备中的第一类型训练节点实现的。第一类型训练节点从模型训练设备的区块链存储区域获取预设区块链,并基于自身存储的第一数据的第一类型从获取的预设区块链的最后一个区块中获取与第一类型对应的第一数据模型,其中,预设区块链的最后一个区块中存储的数据模型均为最新最优数据模型。
步骤a2、采用第一数据对第一数据模型进行模型训练,得到训练后的第一数据模型。
在本发明实施例中,步骤a2可以是模型训练设备中的第一类型训练节点实现。第一类型训练节点采用第一数据对第一数据模型进行训练,对第一数据模型的参数,例如权重系数,偏差系数等参数进行更新,得到训练后的第一数据模型。第一类型训练节点发送训练后的第一数据模型至区块生成节点接收,可以采用广播的形式进行发送。
对应的,模型训练设备中的区块生成节点执行步骤203时,可以通过以下步骤b1至b2来实现:
步骤b1、构建第一区块,并链接第一区块至最后一个区块后,得到第一区块链。
在本发明实施例中,步骤b1可以是模型训练设备中的区块生成节点实现的。区块生成节点接收到训练后的第一数据模型后,构建第一区块,并将第一区块链接至预设区块链的最后一个区块后得到第一区块链。
步骤b2、从最后一个区块中获取除第一数据模型外的数据模型,得到第一模型集合,并存储第一模型集合和训练后的第一数据模型至第一区块中。
在本发明实施例中,步骤b2可以是模型训练设备中的区块生成节点实现的。区块生成节点从预设区块链的最后一个区块中获取除第一数据模型外的第一模型集合,将第一模型集合和接收到的训练后的第一数据模型至第一区块中。区块生成节点与第一类型训练节点之间的通信可以采用广播的方式实现,当然也可以是其他通信方式,此处不做任何限定。在本发明其他实施例中,区块生成节点将训练后的第一数据模型和第一模型集合存储在第一区块后,发送新的区块生成的通知消息至模型训练设备中的其他节点中,具体可以采用广播的方式发送区块生成的通知信息。
步骤204、基于训练后的第一数据模型和第一区块链中的第二数据模型,生成第三数据模型。
其中,第二数据模型用于对两种不同类型的数据进行处理,且第二数据模型与至少两个第一数据模型具有关联关系。
在本发明实施例中,步骤204可以是模型训练设备中的第二数据模型对应的第一融合模型训练节点来实现的。
步骤205、构建第二区块并添加至第一区块链中得到第二区块链,从第一区块链中获取除第二数据模型外的数据模型得到第二模型集合,并存储第二模型集合和第三数据模型至第二区块中。
在本发明实施例中国,步骤205可以是模型训练设备中的区块生成节点来实现的。
在本发明其他实施例中,模型训练设备中的第二数据模型对应的第一融合模型训练节点执行步骤204时,可以通过执行以下步骤c1至c2来实现:
步骤c1、从第一区块中获取与第二数据模型具有关联关系的数据模型,得到第三模型集合。
其中,第三模型集合中包括训练后的第一数据模型。
在本发明实施例中,步骤c1可以是模型训练设备中的第二数据模型对应的第一融合模型训练节点来实现的。第二数据模型可以是融合模型训练节点对至少两个第一数据模型进行模型融合得到的,对应的,当其中一个第一数据模型更新后即对应的训练后的第一数据模型时,第一融合模型训练节点从模型训练设备的区块链存储区域中获取更新后的预设区块链即第一区块链,并从第一区块链的最后一个区块即第一区块中获取用于生成第二数据模型的包括训练后的第一数据模型的第三模型集合。
步骤c2、对第三模型集合中的数据模型进行训练,生成第三数据模型。
在本发明实施例中,步骤c2可以是模型训练设备中的第二数据模型对应的第一融合模型训练节点来实现的。第一融合模型训练节点对第三模型集合中的数据模型进行融合模型训练,得到第三数据模型。第一融合模型训练节点发送第三数据模型至区块生成节点,可以采用广播的形式进行发送,并告知第三数据模型与第二数据模型之间的关系。
对应的,模型训练设备中的区块生成节点执行步骤205时,可以通过以下步骤d1至d2来实现:
步骤d1、构建第二区块,并链接第二区块至第一区块后得到第二区块链。
在本发明实施例中,步骤d1可以是模型训练设备中的区块生成节点来实现的。区块生成节点接收到第三数据模型后,构建第二区块并将第二区块链接至第一区块链的第一区块后得到第二区块链。
步骤d2、从第一区块中获取除第二数据模型外的数据模型,得到第二模型集合,并存储第二模型集合和第三数据模型至第二区块中。
在本发明实施例中,步骤d2可以是模型训练设备中的区块生成节点来实现的。区块生成节点确定第三数据模型与第二数据模型的关系,从第一区块链的第一区块中获取除第二数据模型外的第二模型集合,并将第二模型集合和第三数模模型存储至第二区块中,对具备第一区块的预设区块即第一区块再次进行更新得到第二区块链。
需说明的是,若模型训练设备中只有一种待训练的数据即第一数据,则模型训练设备执行步骤205后模型训练设备的操作执行结束。
若模型训练设备中有两种待训练的数据,即除第一数据外,还有第二数据时,模型训练设备选择执行步骤206-210;若模型训练设备中至少有两种待训练的数据,即除第一数据外,还有第二数据、第三数据等时,模型训练设备选择执行步骤211;
步骤206、确定待训练的第二数据的类型,得到第二类型。
在本发明实施例中,步骤206可以是模型训练设备中的第二类型训练节点实现的。第二类型训练节点中存储有可以对第二类型对应的第一数据模型进行模型训练的样本数据第二数据。第二类型训练节点可以是模型训练设备中本来就存在的节点,也可以是请求加入模型训练设备的节点。在第二类型训练节点请求加入模型训练设备时,模型训练设备对第二类型训练节点的身份进行认证,例如对第二类型训练节点的注册证书进行认证和授权,模型训练设备对第二类型训练节点的身份进行认证通过后,第二类型训练节点可以获取模型训练设备中的共享资源。
步骤207、基于第二数据、第二类型和第二区块中的第四数据模型,生成训练后的第四数据模型。
其中,第四数据模型与至少两个第一数据模型具有关联关系。
在本发明实施例中,步骤207可以是模型训练设备中的第二类型训练节点来实现的。第四数据模型为对一种类型的数据进行训练的人工智能模型。其中,一种应用场景可以是第二类型训练节点与第一类型训练节点是同一个单数据训练节点,第二类型与第一类型可以相同,也可以不同:在第一数据的第一类型与第二数据的第二类型相同时,此时对应的第二数据是另一批数据样本,与第一数据不同,即第二类型的第二数据对应的第四数据模型为训练后的第一数据模型;在第一数据的第一类型与第二数据的第二类型不同时,第二类型的第二数据对应的第四数据模型为其他第一数据模型。另一种应用场景为第二类型训练节点与第一类型训练节点不是同一个单数据训练节点,对应的数据的第一类型与第二类型可以相同,也可以不同:在第一数据的第一类型与第二数据的第二类型相同时,第二类型的第二数据对应的第四数据模型也为训练后的第一数据模型;在第一数据的第一类型与第二数据的第二类型不同时,第二类型的第二数据对应的第四数据模型为其他第一数据模型。
步骤208、构建第三区块并添加至第二区块链中得到第三区块链,从第二区块链中获取除第四数据模型外的数据模型得到第四模型集合,并存储第四模型集合和训练后的第四数据模型至第三区块中。
在本发明实施例中,步骤208可以是模型训练设备中的区块生成节点来实现的。
步骤209、基于训练后的第四数据模型和第五数据模型,生成第六数据模型。
其中,第五数据模型至少一个第二数据模型中的一个数据模型具有关联关系。
在本发明实施例中,步骤209可以是模型训练设备中的第五数据模型对应的第二融合模型训练节点来实现的。第五数据模型为融合模型。其中,一种应用场景可以是第二融合模型训练节点与第一融合模型训练节点是同一个融合模型训练节点,即第二类型的第二数据对应的第四数据模型为训练后的第一数据模型;另一种应用场景为第二融合模型训练节点与第一融合模型训练节点不是同一个融合模型训练节点。第二融合模型训练节点获取基于第四数据模型进行融合训练得到的第五数据模型,并获取融合训练得到第五数据模型的其他数据模型,对其他数据模型和训练后的第四数据模型进行融合训练得到第六数据模型。
步骤210、构建第四区块并添加至第三区块链中得到第四区块链,从第三区块链中获取除第五数据模型外的数据模型得到第五模型集合,并存储第五模型集合和第六数据模型至第四区块中。
在本发明实施例中,步骤210可以是模型训练设备中的区块生成节点实现的。
步骤211、确定待训练的第三数据的类型得到第三类型,并基于第三数据、第三类型和第四区块中的第七数据模型,生成训练后的第七数据模型直至待训练的数据均训练完成。
在本发明实施例中,步骤211是由模型训练设备来实现的。其中的具体操作可重复执行步骤201-205。
需要说明的是,本实施例中与其它实施例中相同步骤和相同内容的说明,可以参照其它实施例中的描述,此处不再赘述。
本发明实施例提供了一种模型训练方法,确定待训练的第一数据的类型,得到第一类型,基于第一数据、第一类型和预设区块链中的第一数据模型,生成训练后的第一数据模型后,构建第一区块并添加至预设区块链中得到第一区块链,从预设区块链中获取除第一数据模型外的数据模型得到第一模型集合,并存储第一模型集合和训练后的第一数据模型至第一区块中,然后基于训练后的第一数据模型和第一区块链中的第二数据模型,生成第三数据模型,构建第二区块并添加至第一区块链中得到第二区块链,从第一区块链中获取除第二数据模型外的数据模型得到第二模型集合,并存储第二模型集合和第三数据模型至第二区块中。这样,至少两个第一数据模型和至少一个第二数据模型存储在区块链的区块中,并经过不断的对第一数据模型和第二数据模型进行更新,生成新的区块,解决了现有技术中没有针对多种类型的数据进行分析以解决特定问题的方案,基于区块链采用融合模型的方式实现了基于区块链技术对多种类型的数据进行分析并解决特定问题的方案。
基于前述实施例,本发明的实施例提供一种模型训练方法,参照图3所示,方法应用于模型训练设备,该方法包括以下步骤:
步骤301、确定待训练的第一数据的类型,得到第一类型。
步骤302、从预设区块链的最后一个区块中获取与第一类型对应的第一数据模型。
其中,第一数据模型用于对一种类型的数据进行处理,预设区块链中包括至少两个第一数据模型。
步骤303、采用第一数据对第一数据模型进行模型训练,得到训练后的第一数据模型。
步骤304、对训练后的第一数据模型进行评估,得到第一评估值。
在本发明实施例中,步骤304可以是模型训练设备的验证节点来实现的。对训练后的第一数据模型进行评估,以判断训练后的第一数据模型的可靠性,若训练后的第一数据模型不满足第一预设评估值,则不执行后续操作。其中,需说明的是,此时的验证节点至少为1个,验证节点中存储有验证数据及对应的验证结果,验证节点采用验证数据对训练后的第一数据模型进行分析,得到分析结果,验证节点将分析结果与验证结果进行比较,得到第一评估值。第一评估值例如可以是基于验证结果对分析结果进行打分的分值。
步骤305、若第一评估值满足第一预设评估值,构建第一区块,并链接第一区块至最后一个区块后得到第一区块链。
在本发明实施例中,步骤305可以是模型训练设备的验证节点来实现的。在本发明其他实施例中,步骤305还可以是模型训练设备的区块生成节点来实现的,对应的,步骤304验证节点可以将第一评估值发送给区块生成节点,区块生成节点将第一评估值与第一预设评估值进行比较,在第一评估值满足第一预设评估值时,构建第一区块并连接在预设区块链的最后一个区块后得到第一区块链,还可以是验证节点执行步骤304后对第一评估值与第一预设评估值进行比较,得到比较结果并将比较结果发送至区块生成节点,然后区块生成节点基于比较结果执行后续操作的。在多个验证节点时,第一评估值可以是指多个验证节点的验证结果满足对应的验证条件时所占的比值,对应的第一预设评估值为一个阈值,例如有3个验证节点时,其中2个验证节点验证训练后的第一数据模型的验证结果为验证通过,则对应的第一评估值为三分之二,若预设的第一预设评估值为二分之一,则由于第一评估值三分之二大于第一预设评估值二分之一,所以第一评估值满足第一预设评估值,训练后的第一数据模型满足要求。
步骤306、从最后一个区块中获取除第一数据模型外的数据模型,得到第一模型集合,并存储第一模型集合和训练后的第一数据模型至第一区块中。
步骤307、从第一区块中获取与第二数据模型具有关联关系的数据模型,得到第三模型集合。
其中,第二数据模型用于对两种不同类型的数据进行处理,且第二数据模型与至少两个第一数据模型具有关联关系。
步骤308、从第一区块中获取训练后的第一数据模型。
步骤309、对第三模型集合和训练后的第一数据模型进行训练,生成第三数据模型。
步骤310、对第三数据模型进行评估,得到第二评估值。
步骤311、若第二评估值满足第二预设评估值,构建第二区块,并链接第二区块至第一区块后。
步骤312、从第一区块中获取除第二数据模型外的数据模型,得到第二模型集合,并存储第二模型集合和第三数据模型至第二区块中。
步骤313、确定待训练的第二数据的类型,得到第二类型。
步骤314、从第二区块中获取与第二类型对应的第四数据模型。
其中,第四数据模型与至少两个第一数据模型具有关联关系。
步骤315、采用第二数据对第四数据模型进行模型训练,得到训练后的第四数据模型。
步骤316、对训练后的第四数据模型进行评估,得到第三评估值。
步骤317、若第三评估值满足第三预设评估值,构建第三区块,并链接第三区块至第二区块后。
步骤318、从第二区块中获取除第四数据模型外的数据模型,得到第四模型集合,并存储第四模型集合和训练后的第四数据模型至第三区块中。
步骤319、从第三区块中获取与第五数据模型具有关联关系的数据模型,得到第六模型集合。
其中,第五数据模型至少一个第二数据模型中的一个数据模型具有关联关系。
步骤320、从第三区块中获取训练后的第四数据模型。
步骤321、对第六模型集合和训练后的第四数据模型进行训练,生成第六数据模型。
步骤322、对第六数据模型进行评估,得到第四评估值。
步骤323、若第四评估值满足第四预设评估值,构建第四区块,并链接第四区块至第三区块后。
步骤324、从第三区块中获取除第五数据模型外的数据模型得到第五模型集合,并存储第五模型集合和第六数据模型至第四区块中。
步骤325、确定待训练的第三数据的类型得到第三类型,并基于第三数据、第三类型和第四区块中的第七数据模型,生成训练后的第七数据模型直至待训练的数据均训练完成。
基于前述实施例,本发明的实施例提供一种模型训练方法,参照图4所示,模型训练设备执行步骤301之前还可以执行以下步骤:
步骤326、获取至少两个第八数据模型。
其中,第八数据模型用于对一种类型的数据进行处理,且第八数据模型与第一数据模型具有关联关系。
在本发明实施例中,步骤326可以是模型训练设备中的区块生成节点执行的。至少两个第八数据模型均为单数据模型。对应的第一数据模型可能是对第八数据模型进行一次或多次训练后得到的数据模型,也可能还是第八数据模型本身。
步骤327、获取至少一个第九数据模型。
其中,第九数据模型用于对两种不同类型的数据进行处理,且第九数据模型与至少两个第八数据模型具有关联关系,且第九数据模型与第二数据模型具有关联关系。
在本发明实施例中,步骤327可以是模型训练设备中的区块生成节点执行的。第九数据模型是指融合模型,第九数据模型是对至少两个第八数据模型进行融合训练得到的。
步骤328、构建预设区块链,并存储至少两个第八数据模型和至少一个第九数据模型至预设区块链的区块中。
在本发明实施例中,步骤328可以是模型训练设备中的区块生成节点执行的。区块链生成节点构建创始区块得到预设区块链,并存储至少两个第八数据模型和至少一个第九数据模型至预设区块链的创始区块中。
在本发明实施例中,提供一种系统结构示意图,参见图5所示,系统结构包括A区块链存储区域、B模型训练区域、C验证区域。其中,区块链存储区域A中存储有预设区块链,示意性的,预设区块链包括A1、A2、A3、A4和A5五个区块,其中A1为创始化区块,A5为最新区块;模型训练区域B包括3个模型训练节点,分别为B1文本数据训练节点、B2图像数据训练节点、B3融合模型训练节点,其中,文本数据训练节点B1对文本数据进行训练得到文本数据模型,图像数据训练节点B2对图像数据进行训练得到图像数据模型,融合模型训练节点B3是对文本数据训练节点B1对应的文本数据模型和图像数据训练节点B2对应的图像数据模型进行融合训练得到融合训练模型;验证区域C包括6个验证节点,具体可以是验证器Validator,分别为用于验证文本数据模型的Validator1 C1,验证图像数据模型的Validator2 C2,验证融合模型Validator3 C3,验证文本数据模型和图像数据模型的Validator4 C4,验证文本数据模型和融合模型的Validator5 C5,验证文本数据模型、图像数据模型和融合模型的Validator6 C6。以图5所示的系统结构应用于医学领域为例进行说明,则文本数据训练节点B1中存储的文本数据为病人病历,图像数据训练节点B2中存储的图像数据为病人的医学影像。文本数据训练节点B1从区块链存储区域A存储的区块链中获取最新区块A5;文本数据训练节点B1从区块A5中获取与文本数据对应的文本数据模型,并采用文本数据训练节点B1中存储的文本数据对文本数据模型进行模型训练,得到训练后的文本数据模型;文本数据训练节点B1将训练后的文本数据模型发送至能够验证文本数据模型的验证节点Validator1 C1、Validator4 C4、Validator5 C5和Validator6 C6,若节点Validator1 C1、Validator4 C4、Validator5 C5和Validator6 C6中有3个验证节点对训练后的文本数据模型验证通过,满足至少有3个验证节点对文本数据模型验证通过的要求,则C验证区域将验证通过的结果发送给区块链存储区域A;区块链存储区域A中的区块生成节点生成新的区块A6(图中未示出),并将区块A6链接在A5后,区块生成节点从区块A5中获取图像数据模型和融合模型,并将训练后的文本数据模型、图像数据模型和融合模型存储至区块A6中,并广播生成新的区块A6的广播信息;融合模型训练节点B3接收到广播消息后,从区块链存储区域A中获取区块A6,从中获取图像数据模型和训练后的文本数据模型,进行融合模型训练,得到第一融合模型,并将第一融合模型发送至能够验证融合模型的验证节点Validator3 C3、Validator5 C5和Validator6 C6,验证结果为只有一个验证节点对第一融合模型验证通过,则不满足至少两个验证节点对融合模型验证通过的要求,结束生成与第一融合模型相关的区块的后续操作;图像数据训练节点B2从区块链存储区域A存储的区块链中获取最新区块A6;图像数据训练节点B2从区块A6中获取与图像数据对应的图像数据模型,并采用图像数据训练节点B2中存储的图像数据对图像数据模型进行模型训练,得到训练后的图像数据模型;图像数据训练节点B2将训练后的图像数据模型发送至能够验证图像数据模型的验证节点Validator2 C2、Validator4 C4和Validator6 C6,若节点Validator2 C2、Validator4 C4和Validator6 C6中3个验证节点对训练后的图像数据模型验证通过,满足至少有2个验证节点对训练后的图像数据模型验证通过的要求,则验证区域C将验证通过的结果发送给区块链存储区域A;区块链存储区域A中的区块生成节点生成新的区块A7(图中未示出),并将区块A7链接在区块A6后,区块生成节点从区块A6中获取训练后的文本数据模型和融合模型,并将训练后的图像数据模型、训练后的文本数据模型和融合模型存储至区块A7中,并广播生成新的区块A7的广播信息;融合模型训练节点B3接收到广播消息后,从区块链存储区域A中获取区块A7,从中获取训练后的图像数据模型和训练后的文本数据模型,进行融合模型训练,得到第二融合模型,并将第二融合模型发送至能够验证融合模型的验证节点Validator3 C3、Validator5 C5和Validator6 C6,验证结果为两个验证节点对第二融合模型验证通过,则满足至少两个验证节点对融合模型验证通过的要求,则验证区域C将验证通过的结果发送给区块链存储区域A;区块链存储区域A中的区块生成节点生成新的区块A8(图中未示出),并将区块A8链接在区块A7后,区块生成节点从区块A7中获取训练后的文本数据模型和训练后的图像数据模型,并将训练后的图像数据模型、训练后的文本数据模型和第二融合模型存储至区块A8中,并广播生成新的区块A8的广播信息。
需要说明的是,本实施例中与其它实施例中相同步骤和相同内容的说明,可以参照其它实施例中的描述,此处不再赘述。
本发明实施例提供了一种模型训练方法,确定待训练的第一数据的类型,得到第一类型,基于第一数据、第一类型和预设区块链中的第一数据模型,生成训练后的第一数据模型后,构建第一区块并添加至预设区块链中得到第一区块链,从预设区块链中获取除第一数据模型外的数据模型得到第一模型集合,并存储第一模型集合和训练后的第一数据模型至第一区块中,然后基于训练后的第一数据模型和第一区块链中的第二数据模型,生成第三数据模型,构建第二区块并添加至第一区块链中得到第二区块链,从第一区块链中获取除第二数据模型外的数据模型得到第二模型集合,并存储第二模型集合和第三数据模型至第二区块中。这样,至少两个第一数据模型和至少一个第二数据模型存储在区块链的区块中,并经过不断的对第一数据模型和第二数据模型进行更新,生成新的区块,解决了现有技术中没有针对多种类型的数据进行分析以解决特定问题的方案,基于区块链采用融合模型的方式实现了基于区块链技术对多种类型的数据进行分析并解决特定问题的方案。
基于前述实施例,本发明的实施例提供一种模型训练设备,该模型训练设备可以应用于图1~4对应的实施例提供的模型训练方法中,参照图6所示,该模型训练设备4可以包括:处理器41、存储器42和通信总线43,其中:
通信总线43用于实现处理器41和存储器42之间的通信连接;
处理器41用于执行存储器42中存储的模型训练程序,以实现以下步骤:
确定待训练的第一数据的类型,得到第一类型;
基于第一数据、第一类型和预设区块链中的第一数据模型,生成训练后的第一数据模型;其中,第一数据模型用于对一种类型的数据进行处理,预设区块链中包括至少两个第一数据模型;
构建第一区块并添加至预设区块链中得到第一区块链,从预设区块链中获取除第一数据模型外的数据模型得到第一模型集合,并存储第一模型集合和训练后的第一数据模型至第一区块中;
基于训练后的第一数据模型和第一区块链中的第二数据模型,生成第三数据模型;其中,第二数据模型用于对两种不同类型的数据进行处理,且第二数据模型与至少两个第一数据模型具有关联关系;
构建第二区块并添加至第一区块链中得到第二区块链,从第一区块链中获取除第二数据模型外的数据模型得到第二模型集合,并存储第二模型集合和第三数据模型至第二区块中。
在本发明的其它实施例中,处理器还用于执行基于第一数据、第一类型和预设区块链的第一数据模型,生成训练后的第一数据模型,以实现以下步骤:
从预设区块链的最后一个区块中获取与第一类型对应的第一数据模型;
采用第一数据对第一数据模型进行模型训练,得到训练后的第一数据模型;
相应的,处理器还用于执行构建第一区块并添加至预设区块链中得到第一区块链,从预设区块链中获取除第一数据模型外的数据模型得到第一模型集合,并存储第一模型集合和训练后的第一数据模型至第一区块中,以实现以下步骤:
构建第一区块,并链接第一区块至最后一个区块后,得到第一区块链;
从最后一个区块中获取除第一数据模型外的数据模型,得到第一模型集合,并存储第一模型集合和训练后的第一数据模型至第一区块中。
在本发明的其它实施例中,处理器还用于执行构建第一区块并添加至预设区块链中得到第一区块链,从预设区块链中获取除第一数据模型外的数据模型得到第一模型集合,并存储第一模型集合和训练后的第一数据模型至第一区块中,以实现以下步骤:
对训练后的第一数据模型进行评估,得到第一评估值;
若第一评估值满足第一预设评估值,构建第一区块并添加至预设区块链中得到第一区块链,从预设区块链中获取除第一数据模型外的数据模型得到第一模型集合,并存储第一模型集合和训练后的第一数据模型至第一区块中。
在本发明的其它实施例中,处理器还用于执行基于训练后的第一数据模型和第二数据模型,生成第三数据模型,以实现以下步骤:
从第一区块中获取与第二数据模型具有关联关系的数据模型,得到第三模型集合;其中,第三模型集合中包括训练后的第一数据模型;
对第三模型集合中的数据模型进行训练,生成第三数据模型。
在本发明的其它实施例中,处理器还用于执行构建第二区块并添加至第一区块链中,从第一区块链中获取除第二数据模型外的数据模型得到第二模型集合,并存储第二模型集合和第三数据模型至第二区块中,以实现以下步骤:
对第三数据模型进行评估,得到第二评估值;
若第二评估值满足第二预设评估值,构建第二区块,并链接第二区块至第一区块后得到第二区块链;
从第一区块中获取除第二数据模型外的数据模型,得到第二模型集合,并存储第二模型集合和第三数据模型至第二区块中。
在本发明的其它实施例中,处理器还用于执行构建第二区块并添加至第一区块链中得到第二区块链,从第一区块链中获取除第二数据模型外的数据模型得到第二模型集合,并存储第二模型集合和第三数据模型至第二区块中之后,处理器还用于执行以下步骤:
确定待训练的第二数据的类型,得到第二类型;
基于第二数据、第二类型和第二区块中的第四数据模型,生成训练后的第四数据模型;其中,第四数据模型与至少两个第一数据模型具有关联关系;
构建第三区块并添加至第二区块链中得到第三区块链,从第二区块链中获取除第四数据模型外的数据模型得到第四模型集合,并存储第四模型集合和训练后的第四数据模型至第三区块中;
基于训练后的第四数据模型和第五数据模型,生成第六数据模型;其中,第五数据模型至少一个第二数据模型中的一个数据模型具有关联关系;
构建第四区块并添加至第三区块链中得到第四区块链,从第三区块链中获取除第五数据模型外的数据模型得到第五模型集合,并存储第五模型集合和第六数据模型至第四区块中;
确定待训练的第三数据的类型得到第三类型,并基于第三数据、第三类型和第四区块中的第七数据模型,生成训练后的第七数据模型直至待训练的数据均训练完成。
在本发明的其它实施例中,处理器还用于执行基于第二数据、第二类型和第二区块中的第四数据模型,生成训练后的第四数据模型,以实现以下步骤:
从第二区块中获取与第二类型对应的第四数据模型;
采用第二数据对第四数据模型进行模型训练,得到训练后的第四数据模型;
相应的,处理器还用于执行构建第三区块并添加至第一区块链中得到第二区块链,从第一区块链中获取除第四数据模型外的数据模型得到第四模型集合,并存储第四模型集合和训练后的第四数据模型至第三区块中,以实现以下步骤:
构建第三区块,并链接第三区块至第二区块后;
从第二区块中获取除第四数据模型外的数据模型,得到第四模型集合,并存储第四模型集合和训练后的第四数据模型至第三区块中。
在本发明的其它实施例中,处理器还用于执行基于训练后的第四数据模型和第五数据模型,生成第六数据模型,以实现以下步骤:
从第三区块中获取与第五数据模型具有关联关系的数据模型,得到第六模型集合;其中,第六模型集合中包括训练后的第四数据模型;
对第六模型集合中的数据模型进行训练,生成第六数据模型。
在本发明的其它实施例中,处理器还用于执行确定待训练的第一数据的类型,得到第一类型之前,处理器还用于执行以下步骤:
获取至少两个第八数据模型;其中,第八数据模型用于对一种类型的数据进行处理,且第八数据模型与第一数据模型具有关联关系;
获取至少一个第九数据模型;其中,第九数据模型用于对两种不同类型的数据进行处理,且第九数据模型与至少两个第八数据模型具有关联关系,且第九数据模型与第二数据模型具有关联关系;
构建预设区块链,并存储至少两个第八数据模型和至少一个第九数据模型至预设区块链的区块中。
需要说明的是,本实施例中处理器所执行的步骤的具体实现过程,可以参照图1~4对应的实施例提供的模型训练方法中的实现过程,此处不再赘述。
本发明实施例提供了一种模型训练设备,确定待训练的第一数据的类型,得到第一类型,基于第一数据、第一类型和预设区块链中的第一数据模型,生成训练后的第一数据模型后,构建第一区块并添加至预设区块链中得到第一区块链,从预设区块链中获取除第一数据模型外的数据模型得到第一模型集合,并存储第一模型集合和训练后的第一数据模型至第一区块中,然后基于训练后的第一数据模型和第一区块链中的第二数据模型,生成第三数据模型,构建第二区块并添加至第一区块链中得到第二区块链,从第一区块链中获取除第二数据模型外的数据模型得到第二模型集合,并存储第二模型集合和第三数据模型至第二区块中。这样,至少两个第一数据模型和至少一个第二数据模型存储在区块链的区块中,并经过不断的对第一数据模型和第二数据模型进行更新,生成新的区块,解决了现有技术中没有针对多种类型的数据进行分析以解决特定问题的方案,基于区块链采用融合模型的方式实现了基于区块链技术对多种类型的数据进行分析并解决特定问题的方案。
基于前述实施例,本发明的实施例提供一种计算机可读存储介质,该计算机可读存储介质可以应用于图1~4对应的实施例提供的方法中,该计算机可读存储介质存储有一个或者多个程序,该一个或者多个程序可被一个或者多个处理器执行,以实现如下步骤:
确定待训练的第一数据的类型,得到第一类型;
基于第一数据、第一类型和预设区块链中的第一数据模型,生成训练后的第一数据模型;其中,第一数据模型用于对一种类型的数据进行处理,预设区块链中包括至少两个第一数据模型;
构建第一区块并添加至预设区块链中得到第一区块链,从预设区块链中获取除第一数据模型外的数据模型得到第一模型集合,并存储第一模型集合和训练后的第一数据模型至第一区块中;
基于训练后的第一数据模型和第一区块链中的第二数据模型,生成第三数据模型;其中,第二数据模型用于对两种不同类型的数据进行处理,且第二数据模型与至少两个第一数据模型具有关联关系;
构建第二区块并添加至第一区块链中得到第二区块链,从第一区块链中获取除第二数据模型外的数据模型得到第二模型集合,并存储第二模型集合和第三数据模型至第二区块中。
在本发明的其它实施例中,处理器还用于执行基于第一数据、第一类型和预设区块链的第一数据模型,生成训练后的第一数据模型,以实现以下步骤:
从预设区块链的最后一个区块中获取与第一类型对应的第一数据模型;
采用第一数据对第一数据模型进行模型训练,得到训练后的第一数据模型;
相应的,处理器还用于执行构建第一区块并添加至预设区块链中得到第一区块链,从预设区块链中获取除第一数据模型外的数据模型得到第一模型集合,并存储第一模型集合和训练后的第一数据模型至第一区块中,以实现以下步骤:
构建第一区块,并链接第一区块至最后一个区块后,得到第一区块链;
从最后一个区块中获取除第一数据模型外的数据模型,得到第一模型集合,并存储第一模型集合和训练后的第一数据模型至第一区块中。
在本发明的其它实施例中,处理器还用于执行构建第一区块并添加至预设区块链中得到第一区块链,从预设区块链中获取除第一数据模型外的数据模型得到第一模型集合,并存储第一模型集合和训练后的第一数据模型至第一区块中,以实现以下步骤:
对训练后的第一数据模型进行评估,得到第一评估值;
若第一评估值满足第一预设评估值,构建第一区块并添加至预设区块链中得到第一区块链,从预设区块链中获取除第一数据模型外的数据模型得到第一模型集合,并存储第一模型集合和训练后的第一数据模型至第一区块中。
在本发明的其它实施例中,处理器还用于执行基于训练后的第一数据模型和第二数据模型,生成第三数据模型,以实现以下步骤:
从第一区块中获取与第二数据模型具有关联关系的数据模型,得到第三模型集合;其中,第三模型集合中包括训练后的第一数据模型;
对第三模型集合中的数据模型进行训练,生成第三数据模型。
在本发明的其它实施例中,处理器还用于执行构建第二区块并添加至第一区块链中,从第一区块链中获取除第二数据模型外的数据模型得到第二模型集合,并存储第二模型集合和第三数据模型至第二区块中,以实现以下步骤:
对第三数据模型进行评估,得到第二评估值;
若第二评估值满足第二预设评估值,构建第二区块,并链接第二区块至第一区块后得到第二区块链;
从第一区块中获取除第二数据模型外的数据模型,得到第二模型集合,并存储第二模型集合和第三数据模型至第二区块中。
在本发明的其它实施例中,处理器还用于执行构建第二区块并添加至第一区块链中得到第二区块链,从第一区块链中获取除第二数据模型外的数据模型得到第二模型集合,并存储第二模型集合和第三数据模型至第二区块中之后,处理器还用于执行以下步骤:
确定待训练的第二数据的类型,得到第二类型;
基于第二数据、第二类型和第二区块中的第四数据模型,生成训练后的第四数据模型;其中,第四数据模型与至少两个第一数据模型具有关联关系;
构建第三区块并添加至第二区块链中得到第三区块链,从第二区块链中获取除第四数据模型外的数据模型得到第四模型集合,并存储第四模型集合和训练后的第四数据模型至第三区块中;
基于训练后的第四数据模型和第五数据模型,生成第六数据模型;其中,第五数据模型至少一个第二数据模型中的一个数据模型具有关联关系;
构建第四区块并添加至第三区块链中得到第四区块链,从第三区块链中获取除第五数据模型外的数据模型得到第五模型集合,并存储第五模型集合和第六数据模型至第四区块中;
确定待训练的第三数据的类型得到第三类型,并基于第三数据、第三类型和第四区块中的第七数据模型,生成训练后的第七数据模型直至待训练的数据均训练完成。
在本发明的其它实施例中,处理器还用于执行基于第二数据、第二类型和第二区块中的第四数据模型,生成训练后的第四数据模型,以实现以下步骤:
从第二区块中获取与第二类型对应的第四数据模型;
采用第二数据对第四数据模型进行模型训练,得到训练后的第四数据模型;
相应的,处理器还用于执行构建第三区块并添加至第一区块链中得到第二区块链,从第一区块链中获取除第四数据模型外的数据模型得到第四模型集合,并存储第四模型集合和训练后的第四数据模型至第三区块中,以实现以下步骤:
构建第三区块,并链接第三区块至第二区块后;
从第二区块中获取除第四数据模型外的数据模型,得到第四模型集合,并存储第四模型集合和训练后的第四数据模型至第三区块中。
在本发明的其它实施例中,处理器还用于执行基于训练后的第四数据模型和第五数据模型,生成第六数据模型,以实现以下步骤:
从第三区块中获取与第五数据模型具有关联关系的数据模型,得到第六模型集合;其中,第六模型集合中包括训练后的第四数据模型;
对第六模型集合中的数据模型进行训练,生成第六数据模型。
在本发明的其它实施例中,处理器还用于执行确定待训练的第一数据的类型,得到第一类型之前,处理器还用于执行以下步骤:
获取至少两个第八数据模型;其中,第八数据模型用于对一种类型的数据进行处理,且第八数据模型与第一数据模型具有关联关系;
获取至少一个第九数据模型;其中,第九数据模型用于对两种不同类型的数据进行处理,且第九数据模型与至少两个第八数据模型具有关联关系,且第九数据模型与第二数据模型具有关联关系;
构建预设区块链,并存储至少两个第八数据模型和至少一个第九数据模型至预设区块链的区块中。
需要说明的是,本发明实施例中个或者多个程序可被一个或者多个处理器的步骤的解释说明,可以参照图1~4对应的实施例提供的模型训练方法中的实现过程,此处不再赘述。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。
Claims (11)
1.一种模型训练方法,所述方法包括:
确定待训练的第一数据的类型,得到第一类型;
基于所述第一数据、所述第一类型和预设区块链中的第一数据模型,生成训练后的第一数据模型;其中,所述第一数据模型用于对一种类型的数据进行处理,所述预设区块链中包括至少两个所述第一数据模型;
构建第一区块并添加至所述预设区块链中得到第一区块链,从所述预设区块链中获取除所述第一数据模型外的数据模型得到第一模型集合,并存储所述第一模型集合和所述训练后的第一数据模型至所述第一区块中;
基于所述训练后的第一数据模型和所述第一区块链中的第二数据模型,生成第三数据模型;其中,所述第二数据模型用于对两种不同类型的数据进行处理,且所述第二数据模型与所述至少两个第一数据模型具有关联关系;
构建第二区块并添加至所述第一区块链中得到第二区块链,从所述第一区块链中获取除所述第二数据模型外的数据模型得到第二模型集合,并存储所述第二模型集合和所述第三数据模型至所述第二区块中。
2.根据权利要求1所述的方法,其特征在于,所述基于所述第一数据、所述第一类型和所述预设区块链的第一数据模型,生成训练后的第一数据模型,包括:
从所述预设区块链的最后一个区块中获取与所述第一类型对应的所述第一数据模型;
采用所述第一数据对所述第一数据模型进行模型训练,得到所述训练后的第一数据模型;
相应的,所述构建第一区块并添加至所述预设区块链中得到第一区块链,从所述预设区块链中获取除所述第一数据模型外的数据模型得到第一模型集合,并存储所述第一模型集合和所述训练后的第一数据模型至所述第一区块中,包括:
构建所述第一区块,并链接所述第一区块至所述最后一个区块后,得到第一区块链;
从所述最后一个区块中获取除所述第一数据模型外的数据模型,得到所述第一模型集合,并存储所述第一模型集合和所述训练后的第一数据模型至所述第一区块中。
3.根据权利要求1或2所述的方法,其特征在于,所述构建第一区块并添加至所述预设区块链中得到第一区块链,从所述预设区块链中获取除所述第一数据模型外的数据模型得到第一模型集合,并存储所述第一模型集合和所述训练后的第一数据模型至所述第一区块中,包括:
对所述训练后的第一数据模型进行评估,得到第一评估值;
若所述第一评估值满足第一预设评估值,构建所述第一区块并添加至所述预设区块链中得到第一区块链,从所述预设区块链中获取除所述第一数据模型外的数据模型得到第一模型集合,并存储所述第一模型集合和所述训练后的第一数据模型至所述第一区块中。
4.根据权利要求1所述的方法,其特征在于,所述基于所述训练后的第一数据模型和第二数据模型,生成第三数据模型,包括:
从所述第一区块中获取与所述第二数据模型具有关联关系的数据模型,得到第三模型集合;其中,所述第三模型集合中包括所述训练后的第一数据模型;
对所述第三模型集合中的数据模型进行训练,生成所述第三数据模型。
5.根据权利要求1或4所述的方法,其特征在于,所述构建第二区块并添加至所述第一区块链中,从所述第一区块链中获取除所述第二数据模型外的数据模型得到第二模型集合,并存储所述第二模型集合和所述第三数据模型至所述第二区块中,包括:
对所述第三数据模型进行评估,得到第二评估值;
若所述第二评估值满足第二预设评估值,构建所述第二区块,并链接所述第二区块至所述第一区块后得到第二区块链;
从所述第一区块中获取除所述第二数据模型外的数据模型,得到所述第二模型集合,并存储所述第二模型集合和所述第三数据模型至所述第二区块中。
6.根据权利要求1-2、4任一所述的方法,其特征在于,所述构建第二区块并添加至所述第一区块链中得到第二区块链,从所述第一区块链中获取除所述第二数据模型外的数据模型得到第二模型集合,并存储所述第二模型集合和所述第三数据模型至所述第二区块中之后,还包括:
确定待训练的第二数据的类型,得到第二类型;
基于所述第二数据、所述第二类型和所述第二区块中的第四数据模型,生成训练后的第四数据模型;其中,所述第四数据模型与所述至少两个第一数据模型具有关联关系;
构建第三区块并添加至所述第二区块链中得到第三区块链,从所述第二区块链中获取除所述第四数据模型外的数据模型得到第四模型集合,并存储所述第四模型集合和所述训练后的第四数据模型至所述第三区块中;
基于所述训练后的第四数据模型和第五数据模型,生成第六数据模型;其中,所述第五数据模型所述至少一个第二数据模型中的一个数据模型具有关联关系;
构建第四区块并添加至所述第三区块链中得到第四区块链,从所述第三区块链中获取除所述第五数据模型外的数据模型得到第五模型集合,并存储所述第五模型集合和所述第六数据模型至所述第四区块中;
确定待训练的第三数据的类型得到第三类型,并基于所述第三数据、所述第三类型和所述第四区块中的第七数据模型,生成训练后的第七数据模型直至待训练的数据均训练完成。
7.根据权利要求6所述的方法,其特征在于,所述基于所述第二数据、所述第二类型和所述第二区块中的第四数据模型,生成训练后的第四数据模型,包括:
从所述第二区块中获取与所述第二类型对应的所述第四数据模型;
采用所述第二数据对所述第四数据模型进行模型训练,得到所述训练后的第四数据模型;
相应的,所述构建第三区块并添加至所述第一区块链中得到第二区块链,从所述第一区块链中获取除所述第四数据模型外的数据模型得到第四模型集合,并存储所述第四模型集合和所述训练后的第四数据模型至所述第三区块中,包括:
构建所述第三区块,并链接所述第三区块至所述第二区块后;
从所述第二区块中获取除所述第四数据模型外的数据模型,得到所述第四模型集合,并存储所述第四模型集合和所述训练后的第四数据模型至所述第三区块中。
8.根据权利要求6所述的方法,其特征在于,所述基于所述训练后的第四数据模型和第五数据模型,生成第六数据模型,包括:
从所述第三区块中获取与所述第五数据模型具有关联关系的数据模型,得到第六模型集合;其中,所述第六模型集合中包括所述训练后的第四数据模型;
对所述第六模型集合中的数据模型进行训练,生成所述第六数据模型。
9.根据权利要求1所述的方法,其特征在于,所述确定待训练的第一数据的类型,得到第一类型之前,还包括:
获取至少两个第八数据模型;其中,所述第八数据模型用于对一种类型的数据进行处理,且所述第八数据模型与所述第一数据模型具有关联关系;
获取至少一个第九数据模型;其中,所述第九数据模型用于对两种不同类型的数据进行处理,且所述第九数据模型与所述至少两个第八数据模型具有关联关系,且所述第九数据模型与所述第二数据模型具有关联关系;
构建所述预设区块链,并存储所述至少两个第八数据模型和所述至少一个第九数据模型至所述预设区块链的区块中。
10.一种模型训练设备,其特征在于,所述模型训练设备包括:处理器、存储器和通信总线,其中:
所述存储器,用于存储可执行指令;
所述通信总线,用于实现所述处理器和所述存储器之间的通信连接;
所述处理器,用于执行所述存储器中存储的模型训练程序,实现如权利要求1至9中任一项所述的模型训练方法。
11.一种计算机存储介质,其特征在于,所述存储介质上存储有模型训练程序,所述模型训练程序被处理器执行时实现如权利要求1至9中任一项所述的模型训练方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910818571.9A CN110610241B (zh) | 2019-08-30 | 2019-08-30 | 一种模型训练方法、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910818571.9A CN110610241B (zh) | 2019-08-30 | 2019-08-30 | 一种模型训练方法、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110610241A true CN110610241A (zh) | 2019-12-24 |
CN110610241B CN110610241B (zh) | 2022-05-31 |
Family
ID=68890813
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910818571.9A Active CN110610241B (zh) | 2019-08-30 | 2019-08-30 | 一种模型训练方法、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110610241B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112418433A (zh) * | 2020-10-30 | 2021-02-26 | 联想(北京)有限公司 | 一种模型训练方法、装置及设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108491266A (zh) * | 2018-03-09 | 2018-09-04 | 联想(北京)有限公司 | 基于区块链的数据处理方法、装置及电子设备 |
EP3382591A1 (en) * | 2017-03-30 | 2018-10-03 | British Telecommunications public limited company | Hierarchical temporal memory for expendable access control |
CN109194510A (zh) * | 2018-08-27 | 2019-01-11 | 联想(北京)有限公司 | 基于区块链的数据处理方法和装置 |
CN109190769A (zh) * | 2018-08-21 | 2019-01-11 | 甲骨文科技时代(深圳)有限公司 | 一种基于区块链的人工智能训练方法 |
CN109815344A (zh) * | 2019-01-29 | 2019-05-28 | 华南师范大学 | 基于参数共享的网络模型训练系统、方法、装置和介质 |
-
2019
- 2019-08-30 CN CN201910818571.9A patent/CN110610241B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3382591A1 (en) * | 2017-03-30 | 2018-10-03 | British Telecommunications public limited company | Hierarchical temporal memory for expendable access control |
CN108491266A (zh) * | 2018-03-09 | 2018-09-04 | 联想(北京)有限公司 | 基于区块链的数据处理方法、装置及电子设备 |
CN109190769A (zh) * | 2018-08-21 | 2019-01-11 | 甲骨文科技时代(深圳)有限公司 | 一种基于区块链的人工智能训练方法 |
CN109194510A (zh) * | 2018-08-27 | 2019-01-11 | 联想(北京)有限公司 | 基于区块链的数据处理方法和装置 |
CN109815344A (zh) * | 2019-01-29 | 2019-05-28 | 华南师范大学 | 基于参数共享的网络模型训练系统、方法、装置和介质 |
Non-Patent Citations (2)
Title |
---|
YONGLE CHEN ET AL.: "An improved P2P file system scheme based on IPFS and Blockchain", 《2017 IEEE INTERNATIONAL CONFERENCE ON BIG DATA (BIG DATA)》 * |
涂奔 等: "一种基于私有区块链的信息保护预测模型研究", 《情报理论与实践》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112418433A (zh) * | 2020-10-30 | 2021-02-26 | 联想(北京)有限公司 | 一种模型训练方法、装置及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN110610241B (zh) | 2022-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108683539B (zh) | 区块链网络的管理方法、装置、介质及电子设备 | |
CN110610242B (zh) | 一种联邦学习中参与者权重的设置方法及装置 | |
CN107783758B (zh) | 一种智能合约工程方法 | |
CN112765677B (zh) | 一种基于区块链的联邦学习方法、装置和系统 | |
WO2019043538A1 (en) | CONSTRAINTS ON OUTPUTS OF AN UNLOCK TRANSACTION IN A BLOCK CHAIN | |
CN110706106B (zh) | 一种信息处理方法及设备 | |
CN113268776A (zh) | 基于区块链的模型联合训练方法及装置 | |
CN110874648A (zh) | 联邦模型的训练方法、系统和电子设备 | |
CN109460405A (zh) | 用于区块链网络的区块生成方法、同步方法、存储介质、计算设备 | |
CN107203343B (zh) | 一种数据存储方法、系统及设备 | |
CN112989186B (zh) | 资讯信息推荐模型训练方法、装置、电子设备及存储介质 | |
CN109063049A (zh) | 一种区块链网络的账号处理方法、装置、设备及存储介质 | |
CN110610241B (zh) | 一种模型训练方法、设备及存储介质 | |
Huisman et al. | On the industrial application of critical software verification with vercors | |
CN113037505B (zh) | 一种可信Web应用的实现方法及系统 | |
CN112437022B (zh) | 网络流量识别方法、设备及计算机存储介质 | |
CN113890739A (zh) | 跨区块链的认证方法、装置、电子设备及介质 | |
CN110585730B (zh) | 游戏的节奏感测试方法、装置以及相关设备 | |
WO2022134001A1 (zh) | 基于容器化技术的机器学习模型框架的开发方法与系统 | |
CN111897725B (zh) | 中台服务自动化测试方法、介质、设备及系统 | |
CN113900933A (zh) | 一种测试方法和相关装置 | |
König et al. | Critically Assessing the State of the Art in CPU-based Local Robustness Verification | |
CN114692888A (zh) | 系统参数处理方法、装置、设备及存储介质 | |
CN114443970A (zh) | 基于人工智能和大数据的数字化内容推送方法及ai系统 | |
Bang et al. | Proactive detection of higher-order software design conflicts |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |