CN111428881B - 识别模型的训练方法、装置、设备及可读存储介质 - Google Patents

Abstract

本发明公开了一种识别模型的训练方法、装置、设备及可读存储介质，涉及金融科技领域，该方法包括步骤：客户端获取本地的训练数据，根据训练数据训练得到第一识别模型；将第一识别模型的模型参数发送给服务端，以供服务端根据各客户端发送的模型参数进行联邦学习，得到联邦学习结果；根据服务端发送的联邦学习结果更新第一识别模型，得到对应的第二识别模型，并将第二识别模型发送给服务端，以供服务端根据各客户端发送的第二识别模型和预设的遗传算法得到目标识别模型。本发明通过迁移学习、联邦学习和遗传算法结合训练得到识别模型，保证了训练识别模型过程中训练数据不被泄露，且提高了所得识别模型的识别准确率。

Description

识别模型的训练方法、装置、设备及可读存储介质

技术领域

本发明涉及金融科技(Fintech)的数据处理技术领域，尤其涉及一种识别模型的训练方法、装置、设备及可读存储介质。

背景技术

随着计算机技术的发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，数据处理技术也不例外，但由于金融行业的安全性、实时性要求，也对数据处理技术提出的更高的要求。

机器学习技术在语音识别的使用非常广泛，这些技术往往极度依赖于海量的语音数据进行训练，容易泄露语音数据，从而不能有效保护语音数据对应用户的隐私。而且目前语音识别系统只能提供非常有限的定制化能力，从而导致所得的语音识别模型进行语音识别的准确率低下。由此可知，目前训练所得的识别模型识别准确率低下，且训练识别模型过程中容易泄露训练数据。

发明内容

本发明的主要目的在于提供一种识别模型的训练方法、装置、设备及可读存储介质，旨在解决现有的识别模型识别准确率低下，且训练识别模型过程中容易泄露训练数据的技术问题。

为实现上述目的，本发明提供一种识别模型的训练方法，应用于客户端，所述识别模型的训练方法包括步骤：

获取本地的训练数据，根据所述训练数据训练得到第一识别模型；

将所述第一识别模型的模型参数发送给服务端，以供所述服务端根据各客户端发送的模型参数进行联邦学习，得到联邦学习结果，并返回所述联邦学习结果；

接收所述服务端发送的联邦学习结果，根据所述联邦学习结果更新所述第一识别模型，得到对应的第二识别模型，并将所述第二识别模型发送给所述服务端，以供所述服务端根据各客户端发送的第二识别模型和预设的遗传算法得到目标识别模型。

可选地，所述获取本地的训练数据，根据所述训练数据训练得到第一识别模型的步骤包括：

获取本地的训练数据，基于迁移学习算法，根据所述训练数据训练得到第一识别模型。

可选地，所述接收所述服务端发送的联邦学习结果，根据所述联邦学习结果更新所述第一识别模型，得到对应的第二识别模型的步骤包括：

接收所述服务端发送的联邦学习结果，获取预设学习率和所述联邦学习结果中的模型参数改变量；

根据所述预设学习率和所述模型参数改变量计算得到更新后的模型参数，根据更新后的模型参数更新所述第一识别模型，得到对应的第二识别模型。

此外，为实现上述目的，本发明还提供一种识别模型的训练方法，所述识别模型的训练方法应用于服务端，所述识别模型的训练方法包括以下步骤：

接收各客户端发送的第一识别模型对应的模型参数，根据所述模型参数进行联邦学习，得到联邦学习结果；

将所述联邦学习结果发送给各客户端，以供各客户端根据所述联邦学习结果更新对应的第一识别模型，得到对应的第二识别模型；

接收各客户端发送的第二识别模型，根据各第二识别模型和预设的遗传算法得到目标识别模型。

可选地，所述接收各客户端发送的第二识别模型，根据各第二识别模型和预设的遗传算法得到目标识别模型的步骤包括：

接收各客户端发送的第二识别模型，在所接收的各第二识别模型中选择父代识别模型，并在预设的遗传算法中选择目标算子；

通过所述父代识别模型和所述目标算子得到所述父代识别模型对应的子代识别模型；

若检测到所述子代识别模型满足结束条件，则将满足结束条件中识别准确率最高的子代识别模型确定为目标识别模型。

可选地，所述通过所述父代识别模型和所述目标算子得到所述父代识别模型对应的子代识别模型的步骤包括：

获取所述父代识别模型对应的待处理模型参数，将所述待处理模型参数确定为参数编码；

通过所述目标算子对所述参数编码进行处理，得到新的参数编码；

根据所述新的参数编码对应更新所述父代识别模型，得到子代识别模型。

可选地，所述若检测到所述子代识别模型满足结束条件，则将满足结束条件中识别准确率最高的子代识别模型确定为目标识别模型的步骤包括：

若检测到所述子代识别模型对应的迭代次数大于预设次数，则确定所述子代识别模型满足结束条件，并采用预存测试数据获取满足结束条件的各子代识别模型的识别准确率；

选择识别准确率最高的子代识别模型确定为目标识别模型。

可选地，所述若检测到所述子代识别模型满足结束条件，则将满足结束条件中识别准确率最高的子代识别模型确定为目标识别模型的步骤包括：

若检测到所述子代识别模型对应的识别准确率大于或者等于预设准确率，则确定所述子代识别模型满足结束条件；

在所述子代识别模型中选择识别准确率最大的子代识别模型确定为目标识别模型。

此外，为实现上述目的，本发明还提供一种识别模型的训练装置，所述识别模型的训练装置应用于客户端中，所述识别模型的训练装置包括：

获取模块，用于获取本地的训练数据；

训练模块，用于根据所述训练数据训练得到第一识别模型；

发送模块，用于将所述第一识别模型的模型参数发送给服务端，以供所述服务端根据各客户端发送的模型参数进行联邦学习，得到联邦学习结果，并返回所述联邦学习结果；

接收模块，用于接收所述服务端发送的联邦学习结果；

更新模块，用于根据所述联邦学习结果更新所述第一识别模型，得到对应的第二识别模型；

所述发送模块还用于将所述第二识别模型发送给所述服务端，以供所述服务端根据各客户端发送的第二识别模型和预设的遗传算法得到目标识别模型。

此外，为实现上述目的，本发明还提供一种识别模型的训练装置，所述识别模型的训练装置应用于服务端，所述识别模型的训练装置包括：

接收模块，用于接收各客户端发送的第一识别模型对应的模型参数；

联邦学习模块，用于根据所述模型参数进行联邦学习，得到联邦学习结果；

发送模块，用于将所述联邦学习结果发送给各客户端，以供各客户端根据所述联邦学习结果更新对应的第一识别模型，得到对应的第二识别模型；

所述接收模块还用于接收各客户端发送的第二识别模型，根据各第二识别模型和预设的遗传算法得到目标识别模型。

此外，为实现上述目的，本发明还提供一种识别模型的训练设备，所述识别模型的训练设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的识别模型的训练程序，所述识别模型的训练程序被所述处理器执行时实现如联邦学习服务端对应的识别模型的训练方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有识别模型的训练程序，所述识别模型的训练程序被处理器执行时实现如上所述的识别模型的训练方法的步骤。

本发明通过客户端基于迁移学习算法，根据本地的训练数据训练得到第一识别模型，并将第一识别模型的模型参数发送给服务端，接收服务端发送的联邦学习结果，根据联邦学习结果更新第一识别模型，得到对应的第二识别模型，并将第二识别模型发送给所述服务端，以供服务端根据各客户端发送的第二识别模型和预设的遗传算法得到目标识别模型。通过各个客户端在迁移学习的场景下训练得到识别模型，提升了识别模型对各个用户相关信息识别的准确率，且本发明支持在联邦学习场景下进行多个客户端识别模型的结合，在有效保护各个客户端对应用户训练数据隐私的情况下，进一步提高识别模型识别数据的准确率；本发明支持通过遗传算法，在进化学习场景下进行多个客户端识别模型的整合和优化，充分利用各个客户端对应识别模型背后的数据价值，从而进一步地提高了所得识别模型的识别准确率。

附图说明

图1是本发明识别模型的训练方法第一实施例的流程示意图；

图2是本发明识别模型的训练方法第二实施例的流程示意图；

图3是本发明识别模型的训练装置第一实施例的功能示意图模块图；

图4是本发明识别模型的训练装置第二实施例的功能示意图模块图；

图5是本发明实施例方案涉及的硬件运行环境的结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种识别模型的训练方法，参照图1，图1为本发明识别模型的训练方法第一实施例的流程示意图。

本发明实施例提供了识别模型的训练方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本实施例中，至少存在两个客户端，识别模型的训练方法包括：

步骤S10，获取本地的训练数据，根据所述训练数据训练得到第一识别模型。

各客户端获取本地的训练数据，将训练数据输入至基础模型中，以根据本地训练数据得到第一识别模型。本实施例可采用决策树、随机森林、人工神经网络和贝叶斯学习等机器学习模型作为基础模型。客户端本地的训练数据是预先存储好的。本地的训练数据的类型由需要训练的识别模型决定，如当要训练的识别模型为语音识别模型时，本地的训练数据为客户端对应用户所生成的语音数据；当要训练的识别模型为人脸识别模型时，本地的训练数据为客户端对应用户所生成的人脸图像数据。具体地，客户端可通过预先设置好的定时任务触发获取指令，根据获取指令获取本地的训练数据；客户端也可在侦测到客户端对应用户触发的获取指令时，根据获取指令获取本地的训练数据。

进一步地，步骤S10包括：

步骤g，获取本地的训练数据，基于迁移学习算法，根据所述训练数据训练得到第一识别模型。

当客户端获取到本地的训练数据后，客户端基于迁移学习算法，根据所获取的本地的训练数据训练得到第一识别模型。迁移学习是一种机器学习的方法，指的是一个预训练的模型被重新用在另一个任务中。通过迁移学习，结合其他客户端的训练数据进行联合建模，在保证两方的训练数据隐私不被泄露的前提下，可以将训练的识别模型应用在特征和标注缺失的一方，从而极大程度的拓展了联合学习的应用范围，同时有效提高训练所得识别模型的预测能力。需要说明的是，在通过迁移学习算法得到第一识别模型过程中，将通过迁移学习得到的训练数据输入基础模型中，得到第一识别模型。在本实施例中，语音识别模型可为ASR(Speech Recognition Technology，语音识别技术)对应的模型。

需要说明的是，在客户端进行迁移学习过程中，客户端至少结合一个其它客户端的本地训练数据进行。当存在多个客户端时，各个客户端得到第一识别模型的原理一致，在此不再重复赘述。每一客户端中都存在迁移学习组件，通过该迁移学习组件来调用迁移学习算法得到第一识别模型。

步骤S20，将所述第一识别模型的模型参数发送给服务端，以供所述服务端根据各客户端发送的模型参数进行联邦学习，得到联邦学习结果，并返回所述联邦学习结果。

当各客户端得到第一识别模型后，客户端获取自己第一识别模型的模型参数，将所获取的模型参数发送给服务端。需要说明的是，各个客户端第一识别模型的模型参数可能相同，也可能不相同。当服务端接收到各个客户端发送的模型参数，服务器根据各个客户端发送的模型参数进行联邦学习，得到联邦学习结果，将联邦学习结果发送给各个客户端。在服务端中，存在联邦学习组件，通过联邦学习组件可对各客户端发送的模型参数进行联邦学习，得到联邦学习结果。

为了便于理解，本实施例对联邦学习进行解释。联邦学习(Federated Learning)是一种新兴的人工智能基础技术，其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人隐私数据、在合法合规的前提下，在多方参与或多计算节点之间开展高效率的机器学习。在联邦学习的系统构架中，本实施例以包含两个数据拥有方(即企业A和企业B)的场景为例介绍联邦学习的系统构架。该构架可扩展至包含多个数据拥有方的场景。假设企业A和企业B想联合训练一个机器学习模型，它们的业务系统分别拥有各自用户的相关数据。此外，企业B还拥有模型需要预测的标签数据。出于数据隐私保护和安全考虑，企业A和企业B无法直接进行数据交换，可使用联邦学习系统建立模型。

使用联邦学习建立模型包括两部分内容，第一部分为：加密样本对齐。由于两家企业的用户群体并非完全重合，系统利用基于加密的用户样本对齐技术，在企业A和企业B不公开各自数据的前提下确认双方的共有用户，并且不暴露不互相重叠的用户，以便联合这些用户的特征进行建模。第二部分为：加密模型训练。在确定共有用户群体后，就可以利用这些数据训练机器学习模型。为了保证训练过程中数据的保密性，需要借助第三方协作者C进行加密训练。以线性回归模型为例，训练过程可分为以下4步：

第①步：协作者C把公钥分发给企业A和企业B，用以对训练过程中需要交换的数据进行加密。

第②步：企业A和企业B之间以加密形式交互用于计算梯度的中间结果。

第③步：企业A和企业B分别基于加密的梯度值进行计算，同时企业B根据其标签数据计算损失，并把结果汇总给协作者C。协作者C通过汇总结果计算总梯度值并将其解密。

第④步：协作者C将解密后的梯度值分别回传给企业A和企业B，企业A和企业B根据梯度值更新各自模型的参数。

迭代上述步骤直至线性回归模型对应的损失函数收敛，损失函数为预先设置好的函数，这样就完成了整个训练过程。在样本对齐及模型训练过程中，企业A和企业B各自的数据均保留在本地，且训练中的数据交互也不会导致数据隐私泄露。因此，双方在联邦学习的帮助下得以实现合作训练模型。

针对不同数据集，联邦学习分为横向联邦学习(horizontal federatedlearning)、纵向联邦学习(vertical federated learning)与联邦迁移学习(FederatedTransfer Learning，FmL)。

横向联邦学习是在两个数据集的用户特征重叠较多，而用户重叠较少的情况下，把数据集按照横向(即用户维度)切分，并取出双方用户特征相同而用户不完全相同的那部分数据进行训练。比如有两家不同地区的银行，它们的用户群体分别来自各自所在的地区，相互的交集很小。但是，它们的业务很相似，因此，记录的用户特征是相同的。此时，就可以使用横向联邦学习来构建联合模型。

纵向联邦学习是在两个数据集的用户重叠较多而用户特征重叠较少的情况下，把数据集按照纵向(即特征维度)切分，并取出双方用户相同而用户特征不完全相同的那部分数据进行训练。比如有两个不同的机构，家是某地的银行，另一家是同一个地方的电商，它们的用户群体很有可能包含该地的大部分居民因此用户的交集较大。但是，由于银行记录的都是用户的收支行为与信用评级，而电商则保有用户的浏览与购买历史，因此它们的用户特征交集较小。纵向联邦学习就是将这些不同特征在加密的状态下加以聚合，以增强模型能力。目前，逻辑回归模型、树形结构模型和神经网络模型等众多机器学习模型已经逐渐被证实能够建立在此联邦体系上。

联邦迁移学习是在两个数据集的用户与用户特征重叠都较少的情况下，不对数据进行切分，而利用迁移学习来克服数据或标签不足的情况。比如有两个不同机构，一家是位于中国的银行，另一家是位于美国的电商。由于受地域限制，这两家机构的用户群体交集很小。同时，由于机构类型的不同，二者的数据特征也只有小部分重合。在这种情况下，要想进行有效的联邦学习，就必须引入迁移学习，来解决单边数据规模小和标签样本少的问题，从而提升模型的效果。

需要说明的是，在训练识别模型过程中，需要各个客户端用户的训练数据，这些训练数据是存储在各个用户所持客户端的本地，作为客户端对应用户的本地的训练数据。在本地的训练数据中，有部分训练数据属于用户的隐私数据，若没有用户的授权，无法获取到用户的隐私数据，即不可以将用户的隐私数据作为训练数据训练得到识别模型。目前，客户端中的部分应用通常会在用户协议中强制插入预先要求用户同意使用隐私数据的条款，或者用其它不知情的方式获取用户的隐私数据，这明显降低了用户隐私数据的私密性。而采用联邦学习，可以在不触及用户原始本地的训练数据的基础上，得到联邦学习结果，各客户端通过联邦学习结果来更新第一识别模型。

步骤S30，接收所述服务端发送的联邦学习结果，根据所述联邦学习结果更新所述第一识别模型，得到对应的第二识别模型，并将所述第二识别模型发送给所述服务端，以供所述服务端根据各客户端发送的第二识别模型和预设的遗传算法得到目标识别模型。

各客户端接收服务端发送的联邦学习结果，并根据联邦学习结果更新第一识别模型，得到对应的第二识别模型，即更新后的第一识别模型就是第二识别模型。当各客户端得到第二识别模型后，各客户端将第二识别模型发送给服务端。当服务端接收到各客户端发送的第二识别模型后，服务端根据各客户端发送的第二识别模型和预设的遗传算法得到目标识别模型。

遗传算法(Genetic Algorithm)是通过搜索解决优化问题的方法，其先随机生成一定量的种群，遗传算法可包括复制(reproduce)算子、交叉(Crossover)算子和变异(Mutation)算子等算子。其中交叉算子为将种群成员的染色体进行编码，将两两种群成员的染色体编码交叉的过程；突变算子为将交叉后的染色体编码以一定概率变异的过程。在服务端中，存在遗传算法组件，通过遗传算法组件可根据各客户端发送的第二识别模型得到目标识别模型。

进一步地，所述接收所述服务端发送的联邦学习结果，根据所述联邦学习结果更新所述第一识别模型，得到对应的第二识别模型的步骤包括：

步骤a，接收所述服务端发送的联邦学习结果，获取预设学习率和所述联邦学习结果中的模型参数改变量。

步骤b，根据所述预设学习率和所述模型参数改变量计算得到更新后的模型参数，根据更新后的模型参数更新所述第一识别模型，得到对应的第二识别模型。

进一步地，各客户端接收服务端发送的联邦学习结果，各客户端获取预设学习率和联邦学习结果中模型参数改变量，其中，预设学习率可根据具体需要而设置，本实施例对预设学习率的大小不做具体限制，不同客户端对应的预设学习率可以相同，也可以不相同。具体地，各客户端获取第一识别模型的模型参数，并计算预设学习率与模型参数改变量之间的乘积，将第一识别模型的模型参数减去计算所得的乘积，得到更新后的模型参数，并根据更新后的模型参数更新第一识别模型，即将更新后的模型参数作为识别模型的模型参数，从而得到第二识别模型。

本实施例通过客户端基于迁移学习算法，根据本地的训练数据训练得到第一识别模型，并将第一识别模型的模型参数发送给服务端，接收服务端发送的联邦学习结果，根据联邦学习结果更新第一识别模型，得到对应的第二识别模型，并将第二识别模型发送给所述服务端，以供服务端根据各客户端发送的第二识别模型和预设的遗传算法得到目标识别模型。通过各个客户端在迁移学习的场景下训练得到识别模型，提升了识别模型对各个用户相关信息识别的准确率，且本实施例支持在联邦学习场景下进行多个客户端识别模型的结合，在有效保护各个客户端对应用户训练数据隐私的情况下，进一步提高识别模型识别数据的准确率；本实施例支持通过遗传算法，在进化学习场景进行多个客户端识别模型的整合和优化，充分利用各个客户端对应识别模型背后的数据价值，从而进一步地提高了所得识别模型的识别准确率。

进一步地，提出本发明识别模型的训练方法第二实施例。所述识别模型的训练方法第二实施例与所述识别模型的训练方法第一实施例的区别在于，参照图2，所述识别模型的训练方法还包括：

步骤S40，接收各客户端发送的第一识别模型对应的模型参数，根据所述模型参数进行联邦学习，得到联邦学习结果。

服务端接收各客户端发送的第一识别模型对应的模型参数，并根据模型参数进行联邦学习，得到联邦学习结果。需要说明的是，联邦学习的过程已在上述实施例中详细阐述，在此不再重复赘述。在本实施例中，联邦学习结果可为模型参数改变量，具体地，模型参数改变量可为在进行联邦学习过程中，对应损失函数收敛时，根据损失函数计算得到的梯度值。

步骤S50，将所述联邦学习结果发送给各客户端，以供各客户端根据所述联邦学习结果更新对应的第一识别模型，得到对应的第二识别模型。

当服务端得到联邦学习结果后，服务端将联邦学习结果发送给各客户端，以供各客户端根据联邦学习结果更新各自对应的第一识别模型，得到对应的第二识别模型。各客户端根据联邦学习结果更新第一识别模型，得到第二识别模型的过程已在上述实施例中详细描述，在此不再重复赘述。

步骤S60，接收各客户端发送的第二识别模型，根据各第二识别模型和预设的遗传算法得到目标识别模型。

服务端接收各客户端发送的第二识别模型，根据各第二识别模型和预设的遗传算法得到目标识别模型。可以理解的是，该目标识别模型即为所需的最优识别模型。当服务端得到目标识别模型后，服务端可将目标识别模型发送给各客户端，以供各客户端在接收到识别请求后，根据目标识别模型进行相应的识别操作。当各客户端接收到目标识别模型后，各客户端存储所接收的目标识别模型。

进一步地，步骤S50包括：

步骤d，接收各客户端发送的第二识别模型，在所接收的各第二识别模型中选择父代识别模型，并在预设的遗传算法中选择目标算子。

步骤e，通过所述父代识别模型和所述目标算子得到所述父代识别模型对应的子代识别模型。

步骤f，若检测到所述子代识别模型满足结束条件，则将满足结束条件中识别准确率最高的子代识别模型确定为目标识别模型。

具体地，服务端接收各客户端发送的第二识别模型，在所接收的各第二识别模型中随机选择第二识别模型确定为父代识别模型，并在预设的遗传算法中随机选择算子确定为目标算子。当存在至少两个父代识别模型时，每一父代识别模型对应的目标算子可相同，也可不相同。当服务端确定父代识别模型，以及父代识别模型对应的目标算子后，服务端通过父代识别模型和该父代识别模型对应的目标算子，得到该父代识别模型对应的子代识别模型，并检测所得的子代识别模型是否满足结束条件。若检测到所得的子代识别模型满足结束条件，则获取满足结束条件中识别准确率最高的子代识别模型，将该准确率最高的子代识别模型确定为目标识别模型；若检测到所得的子代识别模型未满足结束条件，服务端则将所得的子代识别模型作为下一次迭代的父代识别模型，并确定下一次父代识别模型对应的目标算子，继续根据父代识别模型和目标算子得到父代识别模型对应的子代识别模型，在检测到子代识别模型满足结束条件时，将满足条件中识别准确率最高的子代识别模型确定为目标识别模型。

进一步地，步骤e包括：

步骤e1，获取所述父代识别模型对应的待处理模型参数，将所述待处理模型参数确定为参数编码。

步骤e2，通过所述目标算子对所述参数编码进行处理，得到新的参数编码。

步骤e3，根据所述新的参数编码对应更新所述父代识别模型，得到子代识别模型。

在本实施例中，服务端获取各第二识别模型中的模型参数，即获取第二识别模型中作为父代识别模型的模型参数，将所获取的模型参数确定为待处理模型参数，将待处理模型参数确定遗传算法的参数编码，通过遗传算法中的算子对参数编码进行处理，即通过父代识别模型对应的目标算子对待处理参数编码进行处理，得到新的参数编码，并根据新的参数编码更新对应父代识别模型，得到子代识别模型。可以理解的是，各客户端也可将第二识别模型中的模型参数发送给服务端。需要说明的是，在对参数编码进行处理过程中，具体采用何种处理手段，是由对应的目标算子决定的。如对于突变算子，子代识别模型可只继承父代识别模型的特定几个模型参数，此时遗传算法提取父代识别模型的特定参数编码，将所提取的特定参数编码作为新的参数编码。对于交叉算子，可将两个父代识别模型对应的参数编码进行整合，得到新的参数编码，整合的具体算法由遗传算法对应的算子决定，如可采用求取平均值的方法对参数编码进行整合。

进一步地，服务端在各第二识别模型中选择父代识别模型过程中，可根据服务端中当前的可利用资源来确定所选择父代识别模型的数量，当服务端中的可利用资源足够多时，可将所有第二识别模型都确定为父代识别模型。可以理解的是，随着服务端中可利用资源的增加，所选择的父代识别模型的数量也会对应增加。

进一步地，在检测子代识别模型是否满足结束条件时，可在所有子代识别模型都满足结束条件时，才确定子代识别模型满足结束条件，若有一个子代识别模型未满足结束条件，则确定子代识别模型不满足结束条件。也可在检测到子代识别模型中，有预设比例的子代识别模型满足结束条件时，确定子代识别模型满足结束条件，否则，确定子代识别模型未满足结束条件。此时，预设比例的大小可根据具体需要而设置，如可设置为60％，75％或者80％等。

进一步地，步骤f包括：

步骤f1，若检测到所述子代识别模型对应的迭代次数大于预设次数，则确定所述子代识别模型满足结束条件，并采用预存测试数据获取满足结束条件的各子代识别模型的识别准确率。

步骤f2，选择识别准确率最高的子代识别模型确定为目标识别模型。

进一步地，若服务端检测到子代识别模型对应迭代次数大于预设次数，则确定子代识别模型满足结束条件。其中，预设次数可根据具体需要而设置，本实施例不限制预设次数的大小。可以理解的是，当服务端第一次通过遗传算法得到子代识别模型时，对应的迭代次数为1；当服务端第二次通过遗传算法得到子代识别模型时，对应的迭代次数为2，即迭代次数等于通过遗传算法得到子代识别模型的次数。当确定子代识别模型满足结束条件时，服务端获取预先存储的测试数据，并将该测试数据输入至各子代识别模型中，以确定各个子代识别模型的识别准确率，并对比各个子代识别模型的识别准确率，选择识别准确率最高的子代识别模型确定为目标识别模型。进一步地，若检测到子代识别模型对应的迭代次数小于或者等于预设次数，服务端则确定子代识别模型未满足结束条件。

进一步地，步骤f还包括：

步骤f3，若检测到所述子代识别模型对应的识别准确率大于或者等于预设准确率，则确定所述子代识别模型满足结束条件。

步骤f4，在所述子代识别模型中选择识别准确率最大的子代识别模型确定为目标识别模型。

进一步地，服务端每得到一次子代识别模型时，服务端都获取预先存储的测试数据，将测试数据输入至子代识别模型中，得到子代识别模型对应的识别准确率，并检测各个子代识别模型对应的识别准确率是否大于或者等于预设准确率。其中，预设准确率的大小可根据具体需要而设置，本实施例对预设准确率的大小不做具体限制。当服务端检测到各个子代识别模型对应识别准确率都大于或者等于预设准确率后，服务端确定子代识别模型满足结束条件，在子代识别模型中选择识别准确率最大的子代识别模型确定为目标识别模型；当服务端检测到存在子代识别模型对应的识别准确率小于预设准确率时，服务端确定子代识别模型不满足结束条件。

进一步地，服务端也可在检测识别准确率大于或者等于预设准确率的子代识别模型占当前迭代过程中所有子代识别模型的比例大于特定比例时，确定子代识别模型满足结束条件，否则，确定子代识别模型未满足结束条件。其中，本实施例不限制特定比例的大小。

进一步地，服务端也可在确定子代识别模型满足结束条件中，按照识别准确率将各个子代识别模型从高到低排序，得到排序后的子代识别模型，然后在排序后的子代识别模型中从前到后获取预设数量的子代识别模型确定为目标子代识别模型，获取目标子代识别模型的模型参数，将各个目标子代识别模型的模型参数进行线性相加，得到目标模型参数，将目标模型参数对应的识别模型确定为目标模型。其中，预设数量的大小可根据具体需要而设置，如可将预设数量设置为2、3或者5。线性相加的具体过程可为计算各个目标子代识别模型对应模型参数的平均值，将该平均值对应确定为目标模型参数；线性相加的过程还可为确定各个目标子代识别模型对应的权重，将各个目标子代识别模型的模型参数乘以对应的权重，得到乘积，然后将各个目标子代识别模型中，同一模型参数对应的乘积相加，得到对应的目标模型参数，可以理解的是，识别准确率越高，对应目标子代识别模型的模型参数的权重越大。

本实施例通过服务端接收各客户端发送的第一识别模型对应的模型参数，根据模型参数进行联邦学习，将所得的联邦学习结果发送给各客户端，并接收各客户端发送的第二识别模型，根据各第二识别模型和预设的遗传算法得到目标识别模型。通过各个客户端在迁移学习的场景下训练得到识别模型，提升了识别模型对各个用户相关信息识别的准确率，且本实施例支持在联邦学习场景下进行多个客户端识别模型的结合，在有效保护各个客户端对应用户训练数据隐私的情况下，进一步提高识别模型识别数据的准确率；本实施例支持通过遗传算法，在进化学习场景进行多个客户端识别模型的整合和优化，充分利用各个客户端对应识别模型背后的数据价值，从而进一步地提高了所得识别模型的识别准确率。

此外，本发明还提供一种识别模型的训练装置，参照图3，所述识别模型的训练装置应用于客户端中，所述识别模型的训练装置包括：

获取模块10，用于获取本地的训练数据；

训练模块20，用于根据所述训练数据训练得到第一识别模型；

发送模块30，用于将所述第一识别模型的模型参数发送给服务端，以供所述服务端根据各客户端发送的模型参数进行联邦学习，得到联邦学习结果，并返回所述联邦学习结果；

接收模块40，用于接收所述服务端发送的联邦学习结果；

更新模块50，用于根据所述联邦学习结果更新所述第一识别模型，得到对应的第二识别模型；

所述发送模块30还用于将所述第二识别模型发送给所述服务端，以供所述服务端根据各客户端发送的第二识别模型和预设的遗传算法得到目标识别模型。

进一步地，所述训练模块20还用于获取本地的训练数据，基于迁移学习算法，根据所述训练数据训练得到第一识别模型。

进一步地，所述更新模块50包括：

获取单元，用于获取预设学习率和所述联邦学习结果中的模型参数改变量；

计算单元，用于根据所述预设学习率和所述模型参数改变量计算得到更新后的模型参数；

更新单元，根据更新后的模型参数更新所述第一识别模型，得到对应的第二识别模型。

本发明识别模型的训练装置具体实施方式与上述识别模型的训练方法第一实施例中各步骤基本相同，在此不再赘述。

此外，本发明还提供一种识别模型的训练装置，参照图4，所述识别模型的训练装置应用于服务端，所述识别模型的训练装置包括：

接收模块60，用于接收各客户端发送的第一识别模型对应的模型参数；

联邦学习模块70，用于根据所述模型参数进行联邦学习，得到联邦学习结果；

发送模块80，用于将所述联邦学习结果发送给各客户端，以供各客户端根据所述联邦学习结果更新对应的第一识别模型，得到对应的第二识别模型；

所述接收模块60还用于接收各客户端发送的第二识别模型，根据各第二识别模型和预设的遗传算法得到目标识别模型。

进一步地，所述接收模块60包括：

接收单元，用于接收各客户端发送的第二识别模型；

选择单元，用于在所接收的各第二识别模型中选择父代识别模型，并在预设的遗传算法中选择目标算子；

确定单元，用于通过所述父代识别模型和所述目标算子得到所述父代识别模型对应的子代识别模型；若检测到所述子代识别模型满足结束条件，则将满足结束条件中识别准确率最高的子代识别模型确定为目标识别模型。

进一步地，所述确定单元包括：

第一获取子单元，用于获取所述父代识别模型对应的待处理模型参数；

第一确定子单元，用于将所述待处理模型参数确定为参数编码；

处理子单元，用于通过所述目标算子对所述参数编码进行处理，得到新的参数编码；

更新子单元，用于根据所述新的参数编码对应更新所述父代识别模型，得到子代识别模型。

进一步地，所述确定单元包括：

第二确定子单元，用于若检测到所述子代识别模型对应的迭代次数大于预设次数，则确定所述子代识别模型满足结束条件；

第二获取子单元，用于采用预存测试数据获取满足结束条件的各子代识别模型的识别准确率；

所述第二确定子单元还用于选择识别准确率最高的子代识别模型确定为目标识别模型。

进一步地，所述确定单元还用于若检测到所述子代识别模型对应的识别准确率大于或者等于预设准确率，则确定所述子代识别模型满足结束条件；在所述子代识别模型中选择识别准确率最大的子代识别模型确定为目标识别模型。

本发明识别模型的训练装置具体实施方式与上述识别模型的训练方法第二实施例中各步骤基本相同，在此不再赘述。

此外，本发明还提供一种识别模型的训练设备。如图5所示，图5是本发明实施例方案涉及的硬件运行环境的结构示意图。

需要说明的是，图5即可为识别模型的训练设备的硬件运行环境的结构示意图，识别模型的训练设备可为客户端，也可为服务端。本发明实施例识别模型的训练设备可以是PC，便携计算机等终端设备。

如图5所示，该识别模型的训练设备可以包括：处理器1001，例如CPU，存储器1005，用户接口1003，网络接口1004，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图5中示出的识别模型的训练设备结构并不构成对识别模型的训练设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图5所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及识别模型的训练程序。其中，操作系统是管理和控制识别模型的训练设备硬件和软件资源的程序，支持识别模型的训练程序以及其它软件或程序的运行。

在图5所示的识别模型的训练设备中，当识别模型的训练设备为客户端时，用户接口1003主要用于连接服务端，与服务端进行数据通信；当识别模型的训练设备为服务端时，用户接口1003主要用于连接各客户端，与各客户端进行数据通信；网络接口1004主要用于后台服务端，与后台服务端进行数据通信；处理器1001可以用于调用存储器1005中存储的识别模型的训练程序，并执行如上所述的识别模型的训练方法的步骤。

本发明识别模型的训练设备具体实施方式与上述识别模型的训练方法各实施例基本相同，在此不再赘述。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有识别模型的训练程序，所述识别模型的训练程序被处理器执行时实现如上所述的识别模型的训练方法的步骤。

本发明计算机可读存储介质具体实施方式与上述识别模型的训练方法各实施例基本相同，在此不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务端，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种识别模型的训练方法，其特征在于，应用于客户端，所述识别模型的训练方法包括以下步骤：

获取本地的训练数据，基于迁移学习算法，将所述训练数据输入至基础模型中，根据所述训练数据训练得到第一识别模型；所述训练数据为语音数据或者人脸图像数据；

将所述第一识别模型的模型参数发送给服务端，以供所述服务端根据各客户端发送的模型参数进行联邦学习，得到联邦学习结果，并返回所述联邦学习结果；

接收所述服务端发送的联邦学习结果，根据所述联邦学习结果中的模型参数改变量、客户端的预设学习率和第一识别模型的模型参数更新所述第一识别模型，得到对应的第二识别模型，并将所述第二识别模型发送给所述服务端，以供所述服务端在各客户端发送的第二识别模型中选择父代识别模型，并在预设的遗传算法中选择目标算子；通过所述父代识别模型和所述目标算子得到所述父代识别模型对应的子代识别模型；若检测到所述子代识别模型满足结束条件，则将满足结束条件中识别准确率最高的子代识别模型确定为目标识别模型。

2.如权利要求1所述的识别模型的训练方法，其特征在于，所述接收所述服务端发送的联邦学习结果，根据所述联邦学习结果中的模型参数改变量、客户端的预设学习率和第一识别模型的模型参数更新所述第一识别模型，得到对应的第二识别模型的步骤包括：

接收所述服务端发送的联邦学习结果，获取预设学习率和所述联邦学习结果中的模型参数改变量；

根据所述第一识别模型的模型参数、预设学习率和所述模型参数改变量计算得到更新后的模型参数，根据更新后的模型参数更新所述第一识别模型，得到对应的第二识别模型。

3.一种识别模型的训练方法，其特征在于，所述识别模型的训练方法应用于服务端，所述识别模型的训练方法包括以下步骤：

接收各客户端发送的第一识别模型对应的模型参数，根据所述模型参数进行联邦学习，得到联邦学习结果；

将所述联邦学习结果发送给各客户端，以供各客户端根据所述联邦学习结果中的模型参数改变量、客户端的预设学习率和第一识别模型的模型参数更新对应的第一识别模型，得到对应的第二识别模型；

接收各客户端发送的第二识别模型，在所接收的各第二识别模型中选择父代识别模型，并在预设的遗传算法中选择目标算子；

通过所述父代识别模型和所述目标算子得到所述父代识别模型对应的子代识别模型；

若检测到所述子代识别模型满足结束条件，则将满足结束条件中识别准确率最高的子代识别模型确定为目标识别模型；

其中所述第一识别模型通过以下步骤得到：所述客户端获取本地的训练数据，基于迁移学习算法，将所述训练数据输入至基础模型中，根据所述训练数据训练得到第一识别模型；所述训练数据为语音数据或者人脸图像数据。

4.如权利要求3所述的识别模型的训练方法，其特征在于，所述通过所述父代识别模型和所述目标算子得到所述父代识别模型对应的子代识别模型的步骤包括：

获取所述父代识别模型对应的待处理模型参数，将所述待处理模型参数确定为参数编码；

通过所述目标算子对所述参数编码进行处理，得到新的参数编码；

根据所述新的参数编码对应更新所述父代识别模型，得到子代识别模型。

5.如权利要求3或4任一项所述的识别模型的训练方法，其特征在于，所述若检测到所述子代识别模型满足结束条件，则将满足结束条件中识别准确率最高的子代识别模型确定为目标识别模型的步骤包括：

若检测到所述子代识别模型对应的迭代次数大于预设次数，则确定所述子代识别模型满足结束条件，并采用预存测试数据获取满足结束条件的各子代识别模型的识别准确率；

选择识别准确率最高的子代识别模型确定为目标识别模型。

6.如权利要求3或4任一项所述的识别模型的训练方法，其特征在于，所述若检测到所述子代识别模型满足结束条件，则将满足结束条件中识别准确率最高的子代识别模型确定为目标识别模型的步骤包括：

若检测到所述子代识别模型对应的识别准确率大于或者等于预设准确率，则确定所述子代识别模型满足结束条件；

在所述子代识别模型中选择识别准确率最大的子代识别模型确定为目标识别模型。

7.一种识别模型的训练装置，其特征在于，所述识别模型的训练装置应用于客户端中，所述识别模型的训练装置包括：

获取模块，用于获取本地的训练数据；所述训练数据为语音数据或者人脸图像数据；

训练模块，用于基于迁移学习算法，将所述训练数据输入至基础模型中，根据所述训练数据训练得到第一识别模型；

发送模块，用于将所述第一识别模型的模型参数发送给服务端，以供所述服务端根据各客户端发送的模型参数进行联邦学习，得到联邦学习结果，并返回所述联邦学习结果；

接收模块，用于接收所述服务端发送的联邦学习结果；

更新模块，用于根据所述联邦学习结果中的模型参数改变量、客户端的预设学习率和第一识别模型的模型参数更新所述第一识别模型，得到对应的第二识别模型；

所述发送模块还用于将所述第二识别模型发送给所述服务端，以供所述服务端在各客户端发送的第二识别模型中选择父代识别模型，并在预设的遗传算法中选择目标算子；通过所述父代识别模型和所述目标算子得到所述父代识别模型对应的子代识别模型；若检测到所述子代识别模型满足结束条件，则将满足结束条件中识别准确率最高的子代识别模型确定为目标识别模型。

8.一种识别模型的训练装置，其特征在于，所述识别模型的训练装置应用于服务端，所述识别模型的训练装置包括：

接收模块，用于接收各客户端发送的第一识别模型对应的模型参数，其中所述第一识别模型通过所述客户端获取本地的训练数据，基于迁移学习算法，将所述训练数据输入至基础模型中，根据所述训练数据训练得到；所述训练数据为语音数据或者人脸图像数据；

联邦学习模块，用于根据所述模型参数进行联邦学习，得到联邦学习结果；

发送模块，用于将所述联邦学习结果发送给各客户端，以供各客户端根据所述联邦学习结果中的模型参数改变量、客户端的预设学习率和第一识别模型的模型参数更新对应的第一识别模型，得到对应的第二识别模型；

所述接收模块还用于接收各客户端发送的第二识别模型，在所接收的各第二识别模型中选择父代识别模型，并在预设的遗传算法中选择目标算子；通过所述父代识别模型和所述目标算子得到所述父代识别模型对应的子代识别模型；若检测到所述子代识别模型满足结束条件，则将满足结束条件中识别准确率最高的子代识别模型确定为目标识别模型。

9.一种识别模型的训练设备，其特征在于，所述识别模型的训练设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的识别模型的训练程序，所述识别模型的训练程序被所述处理器执行时实现如权利要求1至6任一项所述的识别模型的训练方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有识别模型的训练程序，所述识别模型的训练程序被处理器执行时实现如权利要求1至6任一项所述的识别模型的训练方法的步骤。

Images