CN112884164A - 面向智能移动终端实现的联邦机器学习迁移方法与系统 - Google Patents

Abstract

本发明公开了一种包括分布在不同地址的多个设备(1)、智能移动终端(2)；每个设备(1)包括数据清理模块(3)、数据传感模块(6)和数据读取模块(11)；数据训练融合子模块(4)，所述数据训练融合子模块(4)设置于部分所述设备(1)上；数据训练联合模块(5)，所述数据训练联合模块(5)设置于所述智能移动终端(2)上；所有所述设备(1)都包括单机存储模块(7)，设置有所述数据训练融合子模块(4)的所述设备(1)上设置局域数据存储模块(8)，设置有所述数据训练联合模块(5)的所述设备(1)设置有全局数据存储模块(9)。本发明通过对设备和移动设备数据通信连接采用标准化接口模式，从而使得运算模块可以同时对接多个需要进行联邦机器学习的系统，使得数据训练成本更低，增加了系统的可移植性。

Description

面向智能移动终端实现的联邦机器学习迁移方法与系统

技术领域

本发明涉及在计算机算法技术领域，具体为一种面向智能移动终端实现的联邦机器学习迁移方法与系统。

背景技术

目前，随着科学技术的进步，科学技术制造和自动化控制，已经从从前的制动化进入到智能化的时代。而在智能化的时代，为了实现人工智能化的控制，通常需要预先获得足够的知识，即相应的参数输入和对应参数输出，形成映射关系，并基于该参数输入和对应的参数输出，通过数据训练方法和学习方法，从而得到更广泛的输入和输出映射关系，进而提供给控制设备，以便实现智能化控制，而为了获得这种映射关系，需要对大量的数据进行训练和学习，而该过程通常是一个多维度的大型计算过程，因此该智能化的操作通常需要计算机或者微型计算机去处理众多的逻辑关系，因此，其需要进行大量的数学计算和逻辑计算，这必然会提高对处理器的逻辑计算能力需求，而大规模集成电路或超大规模集成电路的运算处理能力，也直接影响到了其生产成本。而对有智能化的计算和人工智能的发展，其对处理器的运算处理能力需求进一步加强。但是大型计算能力的设备，通常体积大，或者固定式安装，这需要针对每个联合学习的系统专门设置联合计算系统或提供计算设备，因此这种专门设置导致建造或改造成本高，而在其中的设备特别是处于核心或重要地位的设备出现故障时会导致系统瘫痪，这显然不利于联邦机器学习的进行。而目前也存在对分布在各地的数据进行联合访问和处理的技术，其能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模，如：

如专利CN 111126609A公开了一种基于联邦学习的知识迁移方法、装置、设备和介质，其首先进行各不同训练任务的各强化学习训练模型的接收，进而进行对各所述预设强化学习训练模型的适配，获得强化学习适配模型，进而进行对各所述强化学习适配模型的联邦处理，获得联邦模型，进而进行对所述联邦模型的适配，获得联邦适配模型，进而将各所述联邦适配模型发送至各所述强化学习训练模型对应的训练设备，以对各所述强化学习训练模型进行迭代训练。也即，本申请通过首先进行对各所述强化学习训练模型的适配，实现了对不同训练任务的各强化学习训练模型的联邦处理，获得联邦模型，进而对所述联邦模型进行适配，获得联邦适配模型，进而实现了对不同训练任务的各强化学习训练模型的迭代训练，也即，实现了基于联邦学习的不同训练任务的各强化学习训练模型的知识的在线实时迁移，避免了进行知识迁移时花费训练时间过长的情况发生，进而提高了知识迁移的迁移效率，所以，解决了现有技术中知识迁移效率低的技术问题。

专利CN112232528A公开了一种联邦学习模型训练方法、装置及联邦学习系统，边缘计算服务器和端设备接收云端联邦学习子系统形成的全局机器学习模型信息；一个边缘计算服务器与一个以上的端设备利用网络局部性的优势形成区域，端设备依靠本地数据并采用截断的方式完成模型本地训练，边缘计算服务器负责所辖区域内端设备的多轮更新并向云端联邦学习子系统发送更新后的模型信息；边缘计算服务器也采用截断的方式完成模型本地训练，云端联邦学习子系统负责多个边缘计算服务器的梯度更新；在训练到达收敛期，分别对边缘计算服务器所辖区域内端设备和云端联邦学习子系统负责的多个边缘计算服务器实施截断节点的补偿，形成全局机器学习模型信息。

专利CN109299728A公开了一种联邦学习方法、系统及可读存储介质，其联邦学习方法包括以下步骤：数据终端基于梯度下降树GBDT算法对多方训练样本进行联邦训练，以构建梯度树模型，其中，所述数据终端为多个，所述梯度树模型包括多棵回归树，所述回归树包括多个分割点，所述训练样本包括多个特征，所述特征与所述分割点一一对应；所述数据终端基于所述梯度树模型，对待预测样本进行联合预测，以确定待预测样本的预测值。该发明通过GBDT算法对多方训练样本进行联邦训练，实现梯度树模型建立，通过梯度树模型，适用于数据量规模大的场景，可以很好地满足现实生产环境需要；对待预测样本进行联合预测，实现对待预测样本的预测。

专利CN112183765A公开了一种用于共享学习的多源多模态数据预处理方法及系统。包括步骤：跨服务器之间的数据通信；多源数据加密；隐私保护样本对齐；多源数据过滤，形成最后的统一数据。本发明将共享学习模型训练之前的预处理阶段抽象成系统，利用多个子系统分步骤完成预处理过程，实现跨服务器之间的数据通信、多源数据加密、隐私保护样本对齐和多源数据过滤，使得共享学习系统预处理阶段根具有系统性、更加具体完整。提供了多源数据通信、加密、对齐、过滤方法，执行效率更高，安全性更强能够保证数据隐私。该发明独立于具体的共享学习任务，可以作为单独模块集成在任何多源数据处理任务中。

专利CN111290381A公开了本发明公开了一种一种基于无人车的联邦学习实验系统，所述系统包括工作站、通信装置和至少两个无人车；无人车中安装无人车开发环境，工作站中安装工作站开发环境；通信装置用于建立系统中各个设备之间的通信连接；无人车用于运行开发人员通过无人车开发环境开发的无人车AI控制算法，并将无人车AI控制算法中的模型数据上发至工作站参与联邦学习以优化无人车AI控制算法；工作站，用于运行开发人员通过工作站开发环境开发的联邦学习框架，通过联邦学习框架对各所述无人车上发的模型数据进行联邦学习优化处理。该发明通过为开发人员提供一个进行联邦学习开发和应用试验的实验系统，降低了联邦学习应用落地过程的难度，也缩短了开发人员的开发周期。

专利CN112329940A公开了一种结合联邦学习与用户画像的个性化模型训练方法及系统，所述方法的具体实施包括：每个参与方将私有数据输入到模型中，在本地进行训练，获得本地模型，将模型中待聚合参数加密发送至中心服务器；中心服务器根据各个参与方发送的待聚合参数，计算每个参与方的贡献度，并根据结果更新聚合后的模型参数，下发至各个参与方；每个参与方根据服务器下发的参数及本地个性化参数更新本地模型。该方法涉及机器学习领域，结合联邦学习和用户画像，无需上传用户数据即可联合多方资源实现个性化的模型训练，解决现有技术中对用户隐私保护和个性化模型设置不能兼顾的问题。

可见，目前，市面上的基于联邦学习的知识迁移技术方面还存在以下缺陷：

1.在现有技术中，强化学习训练模型通常利用自身收集的数据进行学习、优化和控制，强化学习训练模型的知识也是可迁移的，但是，这些进行知识迁移学习的系统通常都是指定其中一个设备为控制设备，利用其他工作的设备作为训练模块提供者，但这些唯一确定的控制器，如果在其中起控制作用的设备出现故障时，则会导致强化学习训练模型的知识的迁移出现失败。

2.现有技术中，对数据学习和训练，主要是采用集中式计算，即对联合多个设备的数据进行联邦机器学习和训练时，采用其中的一个运算设备进行运算，那在数据量比较大，或者数据维度比较大时，完成数据训练所耗费的时间很长，或者对处理器要求很高，这会导致处理成本增加，而将运算处理设备设置于某一个设备上时，则又会对设备的各种需求加强，不利于对系统的改进和整合。

3.现有技术中，在进行数据记录的各训练时，对设备的数据获取模块和数据训练运算模块的对接接口各样，数据格式不统一标准化，即不存在标准化接口，因此系统的可移植性差。

4.未考虑数据量的大小和数量的多少，直接对所有的数据进行训练以便获得模型时，容易导致数据量太大，从而一方面数据运算量大，数据运算困难；同时数据量量大容易导致数据训练模型不准确。

面对上述技术问题，人们希望提供一种能够快速进行数据训练，同时降低对数据处理系统的能力的需求的联邦机器学习方法的技术手段，同时采用移动智能化终端的模式，可以模块化的方式，实现快速和方便组成训练系统，以便快速处理数据的得到数据模型的技术方案。但到目前为止，现有技术中并无有效办法解决上述技术难题。

面对上述技术问题，希望提供一种面向智能移动终端实现的联邦机器学习迁移方法与系统，以解决上述技术问题。

发明内容

针对上述技术问题，本发明的目的在于提供一种面向智能移动终端实现的联邦机器学习迁移方法与系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种面向智能移动终端实现的联邦机器学习迁移系统，包括分布在不同地址的多个设备、智能移动终端；每个设备包括数据清理模块、数据传感模块和数据读取模块；

数据训练融合子模块，所述数据训练融合子模块设置于部分所述设备上；数据训练联合模块，所述数据训练联合模块设置于所述智能移动终端上；所有所述设备都包括单机存储模块，设置有所述数据训练融合子模块的所述设备上设置局域数据存储模块，设置有所述数据训练联合模块的所述设备设置有全局数据存储模块；

联邦机器学习调度模块，所述联邦机器学习调度模块设置于所述智能移动终端上，用于对所有参与联邦机器学习的所述设备进行数据训练调度操作；所述联邦机器学习调度模块数据通信连接所述数据读取模块、所述数据训练融合子模块和所述数据训练联合模块；所述单机存储模块还分别和所述数据清理模块和数据读取模块数据通信连接；所述联邦机器学习调度模块和所述数据读取模块、所述数据训练融合子模块和所述数据训练联合模块进行数据通信时采用标准化数据接口，可以实现其中的设备标准化替换；

其特征在于：所述设备在运行时，安装在所述设备上的所述数据传感模块获取该设备上的运行数据和结果数据，形成数据记录，并将所述数据记录存储于所述设备的所述单机存储模块，所述数据清理模块读取存储于所述单机存储模块中的所述数据记录，并利用数理统计方法和设定的要求去分析每条所述数据记录，在发现某条数据记录出现明显不合理时，将该条数据记录删除；

所述联邦机器学习调度模块对所有的设备进行分组，将所有的所述设备按照一定的规则分成数个分组，并保证每个所述分组中的所述设备中存在至少一个所述数据训练融合子模块，并指定其中的一个所述数据训练融合子模块为该所述分组的数据训练融合子模块和对应于的所述局域数据存储模块用于存储该分组的数据和数据联邦子模型；

所述联邦机器学习调度模块还将所述分组的信息发送给所述数据读取模块、所述数据训练融合子模块和所述数据训练联合模块，并且修改所述数据读取模块、所述数据训练融合子模块和所述数据训练联合模块的所述数据记录的读取权限，以保证相应的数据能够实现数据记录的存取；

所述数据训练融合子模块依据所述联邦机器学习调度模块分配的读取权限，和其对应的分组的所述数据读取模块建立数据通信连接，从而所述数据训练融合子模块通过所述数据读取模块读取存储于所述单机存储模块中存储的数据记录进行数据学习训练，得出该分组的数据联邦子模型，并将该分组的数据联邦子模型和随机从获得该数据联邦子模型中应用的数据记录中抽取一定量的数据记录发送给对应的所述局域数据存储模块；

所述数据训练联合模块读取存储于所述局域数据存储模块中的所述数据联邦子模型和所述数据记录，对所有所述联邦子模型采取参数加权的模式得出总的所述数据联邦模型，并利用读取的抽取的数据记录进行数据训练，从而得出总的所述数据联邦模型，并发送给所述全局数据存储模块进行存储；

所述联邦机器学习调度模块从所有设备上的所述单机存储模块任意抽取一定数量的数据记录，用于对所述总的所述数据联邦模型进行校验，在所述数据记录利用该总的所述数据联邦模型进行校验中，数据输出和数据记录中的数据符合模型精度要求时，则该总的所述数据联邦模型建立完成，否则，在所述局域数据存储模块中储存的随机抽取的数据记录重新随机抽取，并再次利用所述数据训练联合模块进行建立总的所述数据联邦模型的过程。

优选的，在各分组利用所述数据训练融合子模块进行数据训练生成所述数据联邦子模型时，为了增加训练数据记录的维度，对所述分组，部分分组采用纵向数据联邦学习，剩余部分分组采用联邦迁移学习；或部分分组采用纵向联邦数据学习、部分分组采用横向联邦学习，剩余部分采用联邦迁移学习。

优选的，在利用所述联邦机器学习调度模块对所有的设备进行分组时，预先获取各所述设备的数据记录量的大小，并且分组时，将数据记录量大的在同一分组，而数据记录量小的为一个分组，以便防止数据记录量大的数据记录在进行数据训练时淹没了数量记录量小的数据，以便构建总的所述数据联邦模型准确性。

优选的，在利用所述联邦机器学习调度模块对所有的设备进行分组时，预先获取各所述设备的数据记录量的大小，并且分组时，对数据记录量大的分组的所述设备的数量少，而数据记录量小的分组，所述设备的数量多，以便保证每个分组的所述数据记录的数量适中，以便使得所有的所述数据训练融合子模块的计算量合适。

优选的，在再次利用所述数据训练联合模块进行建立总的所述数据联邦模型依然不符合模型精度要求时，所述联邦机器学习调度模块重新对所述设备进行分组。

优选的，还包括数据异常处理模块，在进行数据记录清理时，将剔除的不合理的数据记录发送给所述数据异常处理模块，从而通过数据异常处理模块对这些数据记录进行处理，并分析出现数据记录异常其中的原因。

优选的，所述智能移动终端还可以作为其中一个或几个分组的所述数据训练融合子模块，用于对该相应的分组的数据记录进行训练以便生成相应的数据联邦子模型。

优选的，所述智能移动终端的数据通信的接口采用模块化标准结构，通过所述智能移动终端能够自由交接个其他的智能移动终端，或接管其他智能移动终端的联邦机械学习的模型构建。

另外一方面，本申请还提供一种面向智能移动终端实现的联邦机器学习迁移方法，包括面向智能移动终端实现的联邦机器学习迁移系统，其特征在于，包括如下步骤：

步骤S1，所述智能移动终端预先获取各所述设备的数据记录量的大小，所述联邦机器学习调度模块在对所有的设备进行分组时，将数据记录量大的在同一分组，而数据记录量小的为一个分组；并保证每个所述分组中存在至少一个所述数据训练融合子模块，并指定其中的一个所述数据训练融合子模块为该所述分组的数据训练融合子模块和对应于的所述局域数据存储模块用于存储该分组的数据和数据联邦子模型；并将所述分组的信息发送给所述数据读取模块、所述数据训练融合子模块和所述数据训练联合模块，并且修改所述数据读取模块、所述数据训练融合子模块和所述数据训练联合模块的所述数据记录的读取权限；

步骤S2，所述设备在运行时，所述数据传感模块获取安装在该设备上的运行数据和状态数据，形成数据记录，并将所述数据记录存储于所述设备的所述单机存储模块；

步骤S3，所述数据清理模块读取存储于所述单机存储模块中的所述数据记录，并利用数理统计方法和设定的要求去分析每条所述数据记录，在发现某条数据记录出现明显不合理时，将该条数据记录删除；

步骤S4，所述数据训练融合子模块依据所述联邦机器学习调度模块分配的读取权限，和其对应的分组的所述数据读取模块建立数据通信连接，从而所述数据训练融合子模块通过所述数据读取模块读取存储于所述单机存储模块中存储的数据记录进行数据学习训练，得出数据联邦子模型；

步骤S5，将该数据联邦子模型和随机从获得该数据联邦子模型中应用的数据记录中抽取一定量的数据记录发送给所述局域数据存储模块；

步骤S6，所述数据训练联合模块读取存储于所述局域数据存储模块中的所述数据联邦子模型和所述数据记录，对所有所述联邦子模型采取参数加权的模式得出总的所述数据联邦模型，并利用读取的抽取的数据记录进行数据训练，从而得出总的所述数据联邦模型；

步骤S7，所述联邦机器学习调度模块从所有设备上的所述单机存储模块任意抽取一定数量的数据记录，用于对所述总的所述数据联邦模型进行校验，在所述数据记录利用该总的所述数据联邦模型进行校验中，数据输出和数据记录中的数据符合模型精度要求时，则该总的所述数据联邦模型建立完成；

步骤S8，否则，在所述局域数据存储模块中储存的随机抽取的数据记录重新随机抽取，并再次利用所述数据训练联合模块进行建立总的所述数据联邦模型的过程。

优选的，所述智能移动终端还可以作为其中一个或几个分组的所述数据训练融合子模块，用于对该相应的分组的数据记录进行训练以便生成相应的数据联邦子模型。

与现有技术相比，本发明的有益效果是：

1、本发明的面向智能移动终端实现的联邦机器学习迁移方法与系统，打破传统的全局整体的数据训练以便形成数据联邦模型，采用分布式的数据联邦训练方式，从而一方面可以提高数据样本规模，使得训练更加准确，另外一个可以减小数据整体成本。

2、本发明的面向智能移动终端实现的联邦机器学习迁移方法与系统，通过设置专门的移动式数据训练处理器，通过将数据收集模块和数据训练运算模块进行分类，从而可以使得设备只完成数据采集和执行相应的操作；而将数据训练的运算工作提交给移动式设备进行专门的运算，使得数据训练和运算工作更合理。

4、本发明的面向智能移动终端实现的联邦机器学习迁移方法与系统，对设备和移动设备数据通信连接采用标准化接口模式，从而使得运算模块可以同时对接多个需要进行联邦机器学习的系统，使得数据训练成本更低，增加了系统的可移植性。

附图说明

图1为本发明的整体结构示意图；

图2为本发明的设备中设置的各模块的数据流程结构示意图；

图3为本发明的数据处理中数据传递流程结构示意图。

图中：1、设备；2、智能移动终端；3、数据清理模块；4、数据融合子模块；5、数据训练联合模块；6、数据传感模块；7、单机存储模块；8、局域数据存储设备；9、全局数据存储模块；10、联合机器学习调度模块；11、数据读取模块；12、数据异常处理模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

具体实施例一：

一种面向智能移动终端实现的联邦机器学习迁移系统，包括分布在不同地址的多个设备1、智能移动终端2；每个设备1包括数据清理模块3、数据传感模块6和数据读取模块11；

数据训练融合子模块4，所述数据训练融合子模块4设置于部分所述设备1上；数据训练联合模块5，所述数据训练联合模块5设置于所述智能移动终端2上；所有所述设备1都包括单机存储模块7，设置有所述数据训练融合子模块4的所述设备1上设置局域数据存储模块8，设置有所述数据训练联合模块5的所述设备1设置有全局数据存储模块9；

联邦机器学习调度模块10，所述联邦机器学习调度模块10设置于所述智能移动终端2上，用于对所有参与联邦机器学习的所述设备1进行数据训练调度操作；所述联邦机器学习调度模块10数据通信连接所述数据读取模块11、所述数据训练融合子模块4和所述数据训练联合模块5；所述单机存储模块7还分别和所述数据清理模块3和数据读取模块11数据通信连接；所述联邦机器学习调度模块10和所述数据读取模块11、所述数据训练融合子模块4和所述数据训练联合模块5进行数据通信时采用标准化数据接口，可以实现其中的设备标准化替换；

所述设备1在运行时，安装在所述设备1上的所述数据传感模块6获取该设备1上的运行数据和结果数据，形成数据记录，并将所述数据记录存储于所述设备1的所述单机存储模块7，所述数据清理模块3读取存储于所述单机存储模块7中的所述数据记录，并利用数理统计方法和设定的要求去分析每条所述数据记录，在发现某条数据记录出现明显不合理时，将该条数据记录删除；

所述联邦机器学习调度模块10对所有的设备1进行分组，将所有的所述设备1按照一定的规则分成数个分组，并保证每个所述分组中的所述设备1中存在至少一个所述数据训练融合子模块4，并指定其中的一个所述数据训练融合子模块4为该所述分组的数据训练融合子模块和对应于的所述局域数据存储模块8用于存储该分组的数据和数据联邦子模型；

所述联邦机器学习调度模块10还将所述分组的信息发送给所述数据读取模块11、所述数据训练融合子模块4和所述数据训练联合模块5，并且修改所述数据读取模块11、所述数据训练融合子模块4和所述数据训练联合模块5的所述数据记录的读取权限，以保证相应的数据能够实现数据记录的存取；

所述数据训练融合子模块4依据所述联邦机器学习调度模块10分配的读取权限，和其对应的分组的所述数据读取模块11建立数据通信连接，从而所述数据训练融合子模块4通过所述数据读取模块11读取存储于所述单机存储模块7中存储的数据记录进行数据学习训练，得出该分组的数据联邦子模型，并将该分组的数据联邦子模型和随机从获得该数据联邦子模型中应用的数据记录中抽取一定量的数据记录发送给对应的所述局域数据存储模块8；

所述数据训练联合模块5读取存储于所述局域数据存储模块8中的所述数据联邦子模型和所述数据记录，对所有所述联邦子模型采取参数加权的模式得出总的所述数据联邦模型，并利用读取的抽取的数据记录进行数据训练，从而得出总的所述数据联邦模型，并发送给所述全局数据存储模块9进行存储；

所述联邦机器学习调度模块10从所有设备1上的所述单机存储模块7任意抽取一定数量的数据记录，用于对所述总的所述数据联邦模型进行校验，在所述数据记录利用该总的所述数据联邦模型进行校验中，数据输出和数据记录中的数据符合模型精度要求时，则该总的所述数据联邦模型建立完成，否则，在所述局域数据存储模块8中储存的随机抽取的数据记录重新随机抽取，并再次利用所述数据训练联合模块5进行建立总的所述数据联邦模型的过程。

优选的，在各分组利用所述数据训练融合子模块4进行数据训练生成所述数据联邦子模型时，为了增加训练数据记录的维度，对所述分组，部分分组采用纵向数据联邦学习，剩余部分分组采用联邦迁移学习；或部分分组采用纵向联邦数据学习、部分分组采用横向联邦学习，剩余部分采用联邦迁移学习。

优选的，在利用所述联邦机器学习调度模块10对所有的设备1进行分组时，预先获取各所述设备1的数据记录量的大小，并且分组时，将数据记录量大的在同一分组，而数据记录量小的为一个分组，以便防止数据记录量大的数据记录在进行数据训练时淹没了数量记录量小的数据，以便构建总的所述数据联邦模型准确性。

优选的，在利用所述联邦机器学习调度模块10对所有的设备1进行分组时，预先获取各所述设备1的数据记录量的大小，并且分组时，对数据记录量大的分组的所述设备1的数量少，而数据记录量小的分组，所述设备1的数量多，以便保证每个分组的所述数据记录的数量适中，以便使得所有的所述数据训练融合子模块4的计算量合适。

优选的，在再次利用所述数据训练联合模块5进行建立总的所述数据联邦模型依然不符合模型精度要求时，所述联邦机器学习调度模块10重新对所述设备进行分组。

优选的，还包括数据异常处理模块12，在进行数据记录清理时，将剔除的不合理的数据记录发送给所述数据异常处理模块12，从而通过数据异常处理模块12对这些数据记录进行处理，并分析出现数据记录异常其中的原因。

优选的，所述智能移动终端2还可以作为其中一个或几个分组的所述数据训练融合子模块4，用于对该相应的分组的数据记录进行训练以便生成相应的数据联邦子模型。

优选的，所述智能移动终端2的数据通信的接口采用模块化标准结构，通过所述智能移动终端2能够自由交接个其他的智能移动终端2，或接管其他智能移动终端的联邦机械学习的模型构建。

具体实施例二：

一种面向智能移动终端实现的联邦机器学习迁移方法，包括面向智能移动终端实现的联邦机器学习迁移系统，其特征在于，包括如下步骤：

步骤S1，所述智能移动终端2预先获取各所述设备1的数据记录量的大小，所述联邦机器学习调度模块10在对所有的设备1进行分组时，将数据记录量大的在同一分组，而数据记录量小的为一个分组；并保证每个所述分组中存在至少一个所述数据训练融合子模块4，并指定其中的一个所述数据训练融合子模块4为该所述分组的数据训练融合子模块和对应于的所述局域数据存储模块8用于存储该分组的数据和数据联邦子模型；并将所述分组的信息发送给所述数据读取模块11、所述数据训练融合子模块4和所述数据训练联合模块5，并且修改所述数据读取模块11、所述数据训练融合子模块4和所述数据训练联合模块5的所述数据记录的读取权限；

步骤S2，所述设备1在运行时，所述数据传感模块6获取安装在该设备1上的运行数据和状态数据，形成数据记录，并将所述数据记录存储于所述设备1的所述单机存储模块7；

步骤S3，所述数据清理模块3读取存储于所述单机存储模块7中的所述数据记录，并利用数理统计方法和设定的要求去分析每条所述数据记录，在发现某条数据记录出现明显不合理时，将该条数据记录删除；

步骤S4，所述数据训练融合子模块4依据所述联邦机器学习调度模块10分配的读取权限，和其对应的分组的所述数据读取模块11建立数据通信连接，从而所述数据训练融合子模块4通过所述数据读取模块11读取存储于所述单机存储模块7中存储的数据记录进行数据学习训练，得出数据联邦子模型；

步骤S5，将该数据联邦子模型和随机从获得该数据联邦子模型中应用的数据记录中抽取一定量的数据记录发送给所述局域数据存储模块8；

步骤S6，所述数据训练联合模块5读取存储于所述局域数据存储模块8中的所述数据联邦子模型和所述数据记录，对所有所述联邦子模型采取参数加权的模式得出总的所述数据联邦模型，并利用读取的抽取的数据记录进行数据训练，从而得出总的所述数据联邦模型；

步骤S7，所述联邦机器学习调度模块10从所有设备上的所述单机存储模块7任意抽取一定数量的数据记录，用于对所述总的所述数据联邦模型进行校验，在所述数据记录利用该总的所述数据联邦模型进行校验中，数据输出和数据记录中的数据符合模型精度要求时，则该总的所述数据联邦模型建立完成；

步骤S8，否则，在所述局域数据存储模块8中储存的随机抽取的数据记录重新随机抽取，并再次利用所述数据训练联合模块5进行建立总的所述数据联邦模型的过程。

优选的，所述智能移动终端2还可以作为其中一个或几个分组的所述数据训练融合子模块4，用于对该相应的分组的数据记录进行训练以便生成相应的数据联邦子模型。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种面向智能移动终端实现的联邦机器学习迁移系统，包括分布在不同地址的多个设备(1)、智能移动终端(2)；每个设备(1)包括数据清理模块(3)、数据传感模块(6)和数据读取模块(11)；

数据训练融合子模块(4)，所述数据训练融合子模块(4)设置于部分所述设备(1)上；数据训练联合模块(5)，所述数据训练联合模块(5)设置于所述智能移动终端(2)上；所有所述设备(1)都包括单机存储模块(7)，设置有所述数据训练融合子模块(4)的所述设备(1)上设置局域数据存储模块(8)，设置有所述数据训练联合模块(5)的所述设备(1)设置有全局数据存储模块(9)；

联邦机器学习调度模块(10)，所述联邦机器学习调度模块(10)设置于所述智能移动终端(2)上，用于对所有参与联邦机器学习的所述设备(1)进行数据训练调度操作；所述联邦机器学习调度模块(10)数据通信连接所述数据读取模块(11)、所述数据训练融合子模块(4)和所述数据训练联合模块(5)；所述单机存储模块(7)还分别和所述数据清理模块(3)和数据读取模块(11)数据通信连接；所述联邦机器学习调度模块(10)和所述数据读取模块(11)、所述数据训练融合子模块(4)和所述数据训练联合模块(5)进行数据通信时采用标准化数据接口，可以实现其中的设备标准化替换；

其特征在于：所述设备(1)在运行时，安装在所述设备(1)上的所述数据传感模块(6)获取该设备(1)上的运行数据和结果数据，形成数据记录，并将所述数据记录存储于所述设备(1)的所述单机存储模块(7)，所述数据清理模块(3)读取存储于所述单机存储模块(7)中的所述数据记录，并利用数理统计方法和设定的要求去分析每条所述数据记录，在发现某条数据记录出现明显不合理时，将该条数据记录删除；

所述联邦机器学习调度模块(10)对所有的设备(1)进行分组，将所有的所述设备(1)按照一定的规则分成数个分组，并保证每个所述分组中的所述设备(1)中存在至少一个所述数据训练融合子模块(4)，并指定其中的一个所述数据训练融合子模块(4)为该所述分组的数据训练融合子模块和对应于的所述局域数据存储模块(8)用于存储该分组的数据和数据联邦子模型；

所述联邦机器学习调度模块(10)还将所述分组的信息发送给所述数据读取模块(11)、所述数据训练融合子模块(4)和所述数据训练联合模块(5)，并且修改所述数据读取模块(11)、所述数据训练融合子模块(4)和所述数据训练联合模块(5)的所述数据记录的读取权限，以保证相应的数据能够实现数据记录的存取；

所述数据训练融合子模块(4)依据所述联邦机器学习调度模块(10)分配的读取权限，和其对应的分组的所述数据读取模块(11)建立数据通信连接，从而所述数据训练融合子模块(4)通过所述数据读取模块(11)读取存储于所述单机存储模块(7)中存储的数据记录进行数据学习训练，得出该分组的数据联邦子模型，并将该分组的数据联邦子模型和随机从获得该数据联邦子模型中应用的数据记录中抽取一定量的数据记录发送给对应的所述局域数据存储模块(8)；

所述数据训练联合模块(5)读取存储于所述局域数据存储模块(8)中的所述数据联邦子模型和所述数据记录，对所有所述联邦子模型采取参数加权的模式得出总的所述数据联邦模型，并利用读取的抽取的数据记录进行数据训练，从而得出总的所述数据联邦模型，并发送给所述全局数据存储模块(9)进行存储；

所述联邦机器学习调度模块(10)从所有设备(1)上的所述单机存储模块(7)任意抽取一定数量的数据记录，用于对所述总的所述数据联邦模型进行校验，在所述数据记录利用该总的所述数据联邦模型进行校验中，数据输出和数据记录中的数据符合模型精度要求时，则该总的所述数据联邦模型建立完成，否则，在所述局域数据存储模块(8)中储存的随机抽取的数据记录重新随机抽取，并再次利用所述数据训练联合模块(5)进行建立总的所述数据联邦模型的过程。

2.根据权利要求1所述的一种面向智能移动终端实现的联邦机器学习迁移系统，其特征在于：在各分组利用所述数据训练融合子模块(4)进行数据训练生成所述数据联邦子模型时，为了增加训练数据记录的维度，对所述分组，部分分组采用纵向数据联邦学习，剩余部分分组采用联邦迁移学习；或部分分组采用纵向联邦数据学习、部分分组采用横向联邦学习，剩余部分采用联邦迁移学习。

3.根据权利要求1所述的一种面向智能移动终端实现的联邦机器学习迁移系统，其特征在于：在利用所述联邦机器学习调度模块(10)对所有的设备(1)进行分组时，预先获取各所述设备(1)的数据记录量的大小，并且分组时，将数据记录量大的在同一分组，而数据记录量小的为一个分组，以便防止数据记录量大的数据记录在进行数据训练时淹没了数量记录量小的数据，以便构建总的所述数据联邦模型准确性。

4.根据权利要求1所述的一种面向智能移动终端实现的联邦机器学习迁移系统，其特征在于：在利用所述联邦机器学习调度模块(10)对所有的设备(1)进行分组时，预先获取各所述设备(1)的数据记录量的大小，并且分组时，对数据记录量大的分组的所述设备(1)的数量少，而数据记录量小的分组，所述设备(1)的数量多，以便保证每个分组的所述数据记录的数量适中，以便使得所有的所述数据训练融合子模块(4)的计算量合适。

5.根据权利要求4所述的一种面向智能移动终端实现的联邦机器学习迁移系统，其特征在于：在再次利用所述数据训练联合模块(5)进行建立总的所述数据联邦模型依然不符合模型精度要求时，所述联邦机器学习调度模块(10)重新对所述设备进行分组。

6.根据权利要求1所述的一种面向智能移动终端实现的联邦机器学习迁移系统，其特征在于：还包括数据异常处理模块(12)，在进行数据记录清理时，将剔除的不合理的数据记录发送给所述数据异常处理模块(12)，从而通过数据异常处理模块(12)对这些数据记录进行处理，并分析出现数据记录异常其中的原因。

7.根据权利要求6所述的一种面向智能移动终端实现的联邦机器学习迁移系统，其特征在于：所述智能移动终端(2)还可以作为其中一个或几个分组的所述数据训练融合子模块(4)，用于对该相应的分组的数据记录进行训练以便生成相应的数据联邦子模型。

8.根据权利要求1所述的一种面向智能移动终端实现的联邦机器学习迁移系统，其特征在于：所述智能移动终端(2)的数据通信的接口采用模块化标准结构，通过所述智能移动终端(2)能够自由交接个其他的智能移动终端(2)，或接管其他智能移动终端的联邦机械学习的模型构建。

9.一种面向智能移动终端实现的联邦机器学习迁移方法，包括如权利要求1-8中任意一项所述的面向智能移动终端实现的联邦机器学习迁移系统，其特征在于，包括如下步骤：

步骤S1，所述智能移动终端(2)预先获取各所述设备(1)的数据记录量的大小，所述联邦机器学习调度模块(10)在对所有的设备(1)进行分组时，将数据记录量大的在同一分组，而数据记录量小的为一个分组；并保证每个所述分组中存在至少一个所述数据训练融合子模块(4)，并指定其中的一个所述数据训练融合子模块(4)为该所述分组的数据训练融合子模块和对应于的所述局域数据存储模块(8)用于存储该分组的数据和数据联邦子模型；并将所述分组的信息发送给所述数据读取模块(11)、所述数据训练融合子模块(4)和所述数据训练联合模块(5)，并且修改所述数据读取模块(11)、所述数据训练融合子模块(4)和所述数据训练联合模块(5)的所述数据记录的读取权限；

步骤S2，所述设备(1)在运行时，所述数据传感模块(6)获取安装在该设备(1)上的运行数据和状态数据，形成数据记录，并将所述数据记录存储于所述设备(1)的所述单机存储模块(7)；

步骤S3，所述数据清理模块(3)读取存储于所述单机存储模块(7)中的所述数据记录，并利用数理统计方法和设定的要求去分析每条所述数据记录，在发现某条数据记录出现明显不合理时，将该条数据记录删除；

步骤S4，所述数据训练融合子模块(4)依据所述联邦机器学习调度模块(10)分配的读取权限，和其对应的分组的所述数据读取模块(11)建立数据通信连接，从而所述数据训练融合子模块(4)通过所述数据读取模块(11)读取存储于所述单机存储模块(7)中存储的数据记录进行数据学习训练，得出数据联邦子模型；

步骤S5，将该数据联邦子模型和随机从获得该数据联邦子模型中应用的数据记录中抽取一定量的数据记录发送给所述局域数据存储模块(8)；

步骤S6，所述数据训练联合模块(5)读取存储于所述局域数据存储模块(8)中的所述数据联邦子模型和所述数据记录，对所有所述联邦子模型采取参数加权的模式得出总的所述数据联邦模型，并利用读取的抽取的数据记录进行数据训练，从而得出总的所述数据联邦模型；

步骤S7，所述联邦机器学习调度模块(10)从所有设备上的所述单机存储模块(7)任意抽取一定数量的数据记录，用于对所述总的所述数据联邦模型进行校验，在所述数据记录利用该总的所述数据联邦模型进行校验中，数据输出和数据记录中的数据符合模型精度要求时，则该总的所述数据联邦模型建立完成；

步骤S8，否则，在所述局域数据存储模块(8)中储存的随机抽取的数据记录重新随机抽取，并再次利用所述数据训练联合模块(5)进行建立总的所述数据联邦模型的过程。

10.根据权利要求9所述的一种面向智能移动终端实现的联邦机器学习迁移方法，其特征在于：所述智能移动终端(2)还可以作为其中一个或几个分组的所述数据训练融合子模块(4)，用于对该相应的分组的数据记录进行训练以便生成相应的数据联邦子模型。

Images