CN110825853B - 数据训练方法和装置 - Google Patents

Abstract

本发明实施例提供一种数据训练方法和装置，在所述源领域的训练数据和所述新领域的训练数据中确定共享数据；根据确定的所述共享数据，在新领域的训练数据中确定新领域的独立数据；将所述新领域的独立数据和所述共享数据进行数据训练，输出新领域的训练结果。可以基于源领域和新领域的相似性，利用源领域的训练数据，减少构建新领域训练数据模型的成本，可以快速准确的满足新领域的检索需求。

Description

数据训练方法和装置

技术领域

本发明涉及大数据处理技术领域，尤其涉及一种数据训练方法和装置。

背景技术

在现有的自动问答技术中，最常见的是机器阅读理解技术，但是这种技术存在很多的限制，例如，需要人工进行知识提炼，让机器在事先准备好的问答对基础上进行检索。但是，这种基于深度学习的机器阅读理解技术往往非常复杂，需要大量的数据做训练，这些数据通常是针对特定领域所构建的，例如，淘宝活动规则问答场景，税务法规问答场景等。

当我们需要在一个新的领域应用上述机器阅读理解技术时，一种是使用现有的数据训练模型，由于应用领域变化将导致检索性能下降，无法满足新的业务的需求；另一种是在新领域直接训练数据训练模型，但是由于短时间内无法提供大量的训练数据，甚至面临无数据的情况，因此时间成本比较高，也会导致无法满足新业务的需求。

发明内容

本发明提供一种数据训练方法和装置,基于源领域和新领域的相似性，利用源领域的训练数据，减少构建新领域训练数据模型的成本，可以快速准确的满足新领域的检索需求。

本发明实施例提供一种数据训练方法，包括：

在源领域的训练数据和新领域的训练数据中确定共享数据；

根据确定的所述共享数据，在新领域的训练数据中确定新领域的独立数据；

将所述新领域的独立数据和所述共享数据进行数据训练，输出新领域的训练结果。

可选地，在所述源领域的训练数据和所述新领域的训练数据中确定共享数据包括：

根据共享参数，将所述源领域的训练数据和所述新领域的训练数据进行共享训练，将所述源领域的训练数据和所述新领域的训练数据中通用的数据确定为共享数据；

所述共享参数为共享训练时得到所述共享数据而设置的在所述源领域和所述新领域中相互完全共享的参数。

可选地，根据确定的所述共享数据，在新领域的训练数据中确定新领域的独立数据，包括：

根据所述共享数据中携带的领域标识，在所述共享数据中确定属于新领域的共享数据；

根据新领域的共享数据，在新领域的训练数据中确定新领域的独立数据。

可选地，将所述新领域的独立数据和所述共享数据进行数据训练，输出新领域的训练结果，包括：

根据新领域的独立参数，将所述新领域的独立数据和所述共享数据进行数据训练，输出新领域的训练结果；

所述新领域的独立参数包括新领域的独立训练目标而设置的参数。

可选地，所述的方法还包括：

根据确定的所述共享数据，在源领域的训练数据中确定源领域的独立数据；

根据源领域的独立参数，将所述源领域的独立数据和所述共享数据进行数据训练，输出源领域的训练结果。

可选地，所述的方法还包括：

比较所述源领域的训练结果和所述新领域的训练结果之间的差异性，若大于等于差异阈值，则停止训练；

若小于预设的差异阈值，则分别调整所述源领域的独立参数和所述新领域的独立参数，根据调整后的源领域的独立参数重新训练所述源领域的独立数据和所述共享数据，根据调整后的新领域的独立参数重新训练所述新领域的独立数据和所述共享数据。

本申请还提供一种数据训练方法，包括：

确定控制源领域模型和新领域模型交替训练的倍数K；

根据交替训练的倍数K，对源领域模型和新领域模型进行交替训练，即读取源领域的K个训练数据对源领域模型进行K次数据训练后，读取新领域的一个训练数据对新领域模型进行一次数据训练；

当达到预定的测试间隔，同时在源领域和新领域上评估当前的源领域模型和新领域模型的训练结果。

可选地，确定控制源领域模型和新领域模型交替训练的倍数K，包括：

根据所述源领域的训练数据和新领域的训练数据之间的比例，确定控制交替训练的倍数K。

可选地，对源领域模型进行数据训练包括源领域独立层、领域共享层和领域分类器的训练，其中，源领域模型的损失包括答案预测损失、领域分类损失和领域差异性损失。

可选地，对新领域模型进行数据训练包括新领域独立层、领域共享层和领域分类器的更新，其中，新领域模型的损失包括答案预测损失、领域分类损失和领域差异性损失。

可选地，在源领域和新领域上评估当前的源领域模型和新领域模型的训练结果，包括：

计算前N次评估源领域模型和新领域模型的训练结果的平均值；

若当前的源领域模型和新领域模型的训练结果和前N次评估的平均值一致，则中断训练，若不一致，则开始新一轮对源领域模型和新领域模型交替训练。

本申请还提供一种数据处理装置，包括：

第一确定模块，用于在源领域的训练数据和新领域的训练数据中确定共享数据；

第二确定模块，用于根据确定的所述共享数据，在新领域的训练数据中确定新领域的独立数据；

训练模块，用于将所述新领域的独立数据和所述共享数据进行数据训练，输出新领域的训练结果。

本申请还提供一种数据训练装置，包括：

确定模块，用于确定控制源领域模型和新领域模型交替训练的倍数K；

训练模块，用于根据交替训练的倍数K，对源领域模型和新领域模型进行交替训练，即读取源领域的K个训练数据对源领域模型进行K次数据训练后，读取新领域的一个训练数据对新领域模型进行一次数据训练；

评估模块，用于当达到预定的测试间隔，同时在源领域和新领域上评估当前的源领域模型和新领域模型的训练结果。

本申请通过在所述源领域的训练数据和所述新领域的训练数据中确定共享数据；根据确定的所述共享数据，在源领域的训练数据中确定源领域的独立数据，在新领域的训练数据中确定新领域的独立数据；将所述源领域的独立数据和所述共享数据进行数据训练，输出源领域的训练结果，将所述新领域的独立数据和所述共享数据进行数据训练，输出新领域的训练结果。可以基于源领域和新领域的相似性，利用源领域的训练数据，减少构建新领域训练数据模型的成本，可以快速准确的满足新领域的检索需求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的数据训练方法的流程示意图；

图2为传统的机器阅读理解训练模型结构图；

图3为本申请实施例所示的机器阅读理解训练模型结构图；

图4为本发明另一实施例提供的数据训练方法流程示意图

图5为本发明一实施例提供的数据训练装置的结构示意图；

图6为本发明另一实施例提供的数据训练装置的结构示意图

图7为本发明另一实施例提供的服务器的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。

为了满足新的业务机器问答检索的需求，如果针对新业务领域直接标注模型训练数据，由于短时间内无法提供大量的训练数据，甚至面临无数据的情况，因此训练成本比较高，也会导致无法满足新业务的需求。

本申请人在实现本发明的过程中发现：可以利用与新的领域相似的历史数据，例如，源领域(淘宝网活动规则问答)相对与新领域(商家店铺活动规则问答)，二者的数据虽然不同，但同属于电商领域，同样针对活动类问答场景，但是由于领域相似，有部分数据是可以通用的数据；如果只是少量标注新领域的数据，与源领域的数据混合后训练模型，虽然会兼具两个领域的能力，但是，由于两个领域间的数据量差异较大，新领域的数据会被淹没在源领域的数据中，使得模型仅仅学习到源领域的数据特点，影响新领域的检索能力。如果将新领域的数据扩充几倍来平衡数据，由于数据大量冗余导致模型过于拟合，虽然两个领域有共同点，但也存在差异，例如，答案的粒度(一句话回复还是一段话回复)，混合训练其实会模糊这种差异，导致对两者的效果都不佳。如果是少量标注新领域数据，将源领域训练好的模型再拿到这份新数据上做微调，由于模型微调受限于原始模型的词表大小，对于新领域中未出现在源领域的词语，在部分场景会对准确率有较大影响。

本发明的发明思想是：在现有的机器阅读理解模型的基础上，面向不同领域构建单独的训练模型，但是通过增加共享层又可以利用源领域的训练数据，实现领域之间的知识迁移和能力复用，减少构建新领域训练数据模型的成本，又可以快速准确的满足新领域的检索需求。

术语解释：

自动问答技术：自动问答是自然语言处理领域的一种重要方向，旨在让用户直接用自然语言提问并获得答案。

机器阅读理解：一种自然问答技术，旨在让机器阅读文本，在理解文本內在含义的基础上进行自动问答。

迁移学习：将在一个场景中学习到的知识迁移到另一个场景应用过程。

词向量：用向量的方式对自然语言中的词汇进行表示的方法。

Epoch：机器学习模型训练时，所有训练数据训练一次称之为一个epoch。

Batch：机器学习模型训练时更新的最小粒度。

LSTM：长短期记忆网络，是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。

RNN：(Recurrent neural Network,循环神经网络)神经网络是一种节点定向连接成环的人工神经网络，这种网络的内部状态可以展示动态时序行为。

CNN：卷积神经网络，是一种前馈神经网络，人工神经元可以响应周围单元，可以大型图像处理。

需要说明的是，下述源领域相当于源领域，新领域相当于新领域。

本图1为本发明一实施例提供的数据训练方法的流程示意图；如图1所示，包括：

101、在源领域的训练数据和新领域的训练数据中确定共享数据；

具体实现是，根据共享参数，将所述源领域的训练数据和所述新领域的训练数据进行共享训练，将所述源领域的训练数据和所述新领域的训练数据可以通用的数据确定为共享数据；

其中，所述共享参数是共享训练时为得到所述共享数据而设置的在所述源领域和所述新领域中相互可以共享的参数。

102、根据确定的所述共享数据，在新领域的训练数据中确定新领域的独立数据；

具体实现是，根据所述共享数据中携带的领域标识，在所述共享数据中确定属于源领域的共享数据和属于新领域的共享数据；例如，若某个共享数据中携带源领域的标识，在该共享数据是数据源领域的共享数据，若携带新领域的标识，在该共享数据是数据新领域的共享数据；根据新领域的共享数据，在新领域的训练数据中确定新领域的独立数据。

当确定了第二领域的共享数据之后，在第二领域中除了第二领域的共享数据的数据则可确定为第二领域的独立数据。

103、将所述新领域的独立数据和所述共享数据进行数据训练，输出新领域的训练结果。

具体实现是，根据新领域的独立参数，将所述新领域的独立数据和所述共享数据进行数据训练，输出新领域的训练结果；其中，所述新领域的独立参数包括新领域的独立训练目标而设置的参数。

在一种可选的实施方式中，本发明实施例还包括：

根据确定的所述共享数据，在源领域的训练数据中确定源领域的独立数据；具体实现是，根据所述共享数据中携带的领域标识，在所述共享数据中确定属于源领域的共享数据和属于新领域的共享数据；例如，若某个共享数据中携带源领域的标识，在该共享数据是数据源领域的共享数据，当确定了源领域的共享数据之后，在源领域中除了源领域的共享数据的数据则可确定为源领域的独立数据。

根据源领域的独立参数，将所述源领域的独立数据和所述共享数据进行数据训练，输出源领域的训练结果。具体实现是，根据源领域的独立参数，将所述源领域的独立数据和所述共享数据进行数据训练，输出源领域的训练结果；其中，所述源领域的独立参数包括源领域的独立训练目标而设置的参数。

在一种可选的实施方式中，本发明实施例还包括：

比较所述源领域的训练结果和所述新领域的训练结果之间的差异性，若大于等于预设的差异阈值，则停止训练；

若小于预设的差异阈值，则分别调整所述源领域的独立参数和所述新领域的独立参数，根据调整后的源领域的独立参数重新训练所述源领域的独立数据和所述共享数据，根据调整收的新领域的独立参数重新训练所述新领域的独立数据和所述共享数据。

本申请通过在所述源领域的训练数据和所述新领域的训练数据中确定共享数据；根据确定的所述共享数据，在源领域的训练数据中确定源领域的独立数据，在新领域的训练数据中确定新领域的独立数据；将所述源领域的独立数据和所述共享数据进行数据训练，输出源领域的训练结果，将所述新领域的独立数据和所述共享数据进行数据训练，输出新领域的训练结果。可以基于源领域和新领域的相似性，利用源领域的训练数据，减少构建新领域训练数据模型的成本，可以快速准确的满足新领域的检索需求。同时，还可以利用共享数据的训练进一步补充源领域的训练数据结果和提高源领域的检索需求。

本发明所示实施例所示方法可以利用机器阅读理解模型进行数据训练，下面对本发明实施例采用的机器阅读理解模型进行详细的介绍。

图2为传统的机器阅读理解训练模型结构图，如图2所示，传统的机器阅读理解训练模型是一个多层的深度神经网络模型，分为输入层(Input layer),编码层(Encodinglayer),词处理层(Attention layer),输出层(Output layer)四个层。其中，Input layer接受文章与问题的输入，包括字、词、语义特称，Encoding layer将这些特征进行编码，使得文章与问题变为基于向量的语义表示，Attention layer将两者的语义表示进行word byword(词与词)的处理，做语义对齐；Output layer是计算文章中每个次作为答案起始和结束位置的可能性，取最可能的起始结束作为最终答案。

图3为本申请实施例所示的机器阅读理解训练模型结构图，在传统的机器阅读理解训练模型基础上，本申请的机器阅读理解训练模型面向不同领域构建了单独的模型，通过增加共享层shared layer(shared layer共享层)来实现领域间的知识迁移与能力复用，如图3所示，左右分别表示源领域和新领域(的机器阅读模型，每个模型分为输入层(Inputlayer),编码层(Encoding layer),词处理层(Attention layer),对齐层(Match layer),输出层(Output layer)五个层，其中，Match layer是从Output layer中单独拆分出来的一层，在确定答案的起始、结束位置之前做了额外的对齐训练。

其中，本申请的机器阅读理解训练模型中，有箭头share的部分表示相互完全共享参数的部分，其余部分是各自领域独有的部分，源领域和新领域都有自己的独立参数。由此可知，Input layer和Encoding layer中两个领域可以完全共享参数，因为这部分通常只处理基本的语义表示，完全可以在领域间共享。在Attention layer和Match layer中，源领域和新领域各自的训练模型除了独立参数之外，二者还共享一个共享(share)层(如图3中虚线框所示部分)，这个共享层与独立层的结构可以完全一致，区分在于独立层用于建模领域特有的内容(Dormain/Task specific)，共享层用于建模领域通用的内容(Dormain/Taskshare)。最后二者的Output layer分别接收各自的独立层以及共享层的输入，来预测最终答案的起始中止位置。

需要说明的是，为了实现独立层与共享层各自的分工与预期一致，本实施中采用如下的约束到模型训练中：共享层是与领域无关，基于对抗的思想，如果将共享层中的数据内容作为输入进行领域分类，那么最终的分类器是无法区别出当前输入的数据是来自源领域还是新领域，这种不确定可以用信息熵来衡量(Dormain Independent Constraint)，例如，对于共享数据来说，属于某个领域的概率在0.5时不确定性最大，这时信息熵也是最大。

进一步地，除了针对共享层的辅助任务，本实施例增加了对领域独立层的约束，为了两个领域独立层之间的差异性尽可能的大，例如，两个领域的独立层分别输出的训练结果之间差距应该大于等于特定值(差异性阈值)，或者基于该输出的训练结果可以很容易区分当前处理的数据是来自源领域还是新领域。这种对领域独立性的约束的独立参数如图所示的Cross-Domain Correlation。

基于图3所示的机器阅读理解训练模型，图4为本发明另一实施例提供的一种数据训练方法流程示意图，如图4所示，包括：

201、确定控制源领域模型和新领域模型交替训练的倍数K；

202、根据交替训练的倍数K，对源领域模型和新领域模型进行交替训练，即读取源领域的K个训练数据对源领域模型进行K次数据训练后，读取新领域的一个训练数据对新领域模型进行一次数据训练；

203、当达到预定的测试间隔，同时在源领域和新领域上评估当前的源领域模型和新领域模型的训练结果。

在一种可选的实施方式中，确定控制源领域模型和新领域模型交替训练的倍数K，包括：

根据所述源领域的训练数据和新领域的训练数据之间的比例，确定控制交替训练的倍数K。

需要说明的是，本发明可以基于图3所示的机器阅读理解训练模型对源领域模型进行数据训练，其中包括对源领域独立层、领域共享层和领域分类器的训练，其中，在数据训练过程中的源领域模型损失包括答案预测损失、领域分类损失和领域差异性损失。由于图3所示的机器阅读理解训练模型可以是现有技术中任一可以实现机器阅读理解的训练模型，本发明对此不做任何限定，也不再赘述。

需要说明的是，本发明可以基于图3所示的机器阅读理解训练模型对新领域模型进行数据训练，其中包括对新领域独立层、领域共享层和领域分类器的数据训练更新，其中，在数据训练过程中的新领域模型损失包括答案预测损失、领域分类损失和领域差异性损失。由于图3所示的机器阅读理解训练模型可以是现有技术中任一可以实现机器阅读理解的训练模型，本发明对此不做任何限定，也不再赘述。

在一种可选的实施方式中，在源领域和新领域上评估当前的源领域模型和新领域模型的训练结果，包括：

计算前N次评估源领域模型和新领域模型的训练结果的平均值；

若当前的源领域模型和新领域模型的训练结果和前N次评估的平均值一致，则中断训练，若不一致，则开始新一轮对源领域模型和新领域模型交替训练。

利用图4所示的数据训练方法，基于源领域和新领域的相似性，利用源领域的训练数据，实现整体知识迁移学习模型的训练，即可以减少构建新领域训练数据模型的成本，可以快速准确的满足新领域的检索需求。

具体实现过程如下：

步骤1、读取源领域的一个训练数据进行源领域模型的一次数据训练，训练源领域模型包括源领域独立层、领域共享层和领域分类器，其中，源领域模型的损失包括答案预测损失、领域分类损失和领域差异性损失；

步骤2、重复K次步骤1的训练过程，K为源领域和新领域的训练数据比例，用于控制交替训练的倍数；

步骤3、读取新领域的一个训练数据进行新领域模型的一次数据训练，更新新领域模型包括新领域独立层、领域共享层和领域分类器，新领域模型的损失包括答案预测损失、领域分类损失和领域差异性损失；

步骤4、当达到预定的测试间隔，同时在源领域和新领域上评估当前的源领域模型和新领域模型的训练结果，若当前的训练结果和前N次评估的平均训练结果一致，则中断训练，否则返回步骤1继续新训练。

本发明实施例所示的机器阅读模型训练方法相比较大量的标注新领域的数据，本申请可以节省领域数据迁移成本，仅仅使用少量的新领域标注数据就可以构建较高准确率的模型；

相比较数据混合训练模型，本申请可以有效建模领域相似性和差异性，首先不存在新领域数据淹没在源领域大量的数据中，因为本申请的训练模型的中间层引入领域独立和领域共享部分，既能复用源领域的数据，同时可以避免被源领域影响，同时训练时通过引入训练比例来控制模型，防止模型的过拟合，其次两个领域输出的训练结果完全独立也可以保证两者对答案粒度建模的独立性；

相比较基于源领域训练模型做微调，本申请可以有效增加新领域单词扩充词表，由于采用两个领域共同训练，下层输入完全共享，所以词表同意为二者之和，避免了微调模型的限制。

图5为本发明一实施例提供的数据训练装置的结构示意图，如图5所示，包括：

第一确定模块，用于在源领域的训练数据和新领域的训练数据中确定共享数据；

第二确定模块，用于根据确定的所述共享数据，在新领域的训练数据中确定新领域的独立数据；

训练模块，用于将所述新领域的独立数据和所述共享数据进行数据训练，输出新领域的训练结果。

可选地，所述第一确定模块具体用于：

根据共享参数，将所述源领域的训练数据和所述新领域的训练数据进行共享训练，将所述源领域的训练数据和所述新领域的训练数据中通用的数据确定为共享数据；

所述共享训练参数是共享训练时得到所述共享数据而设置的在所述源领域和所述新领域中相互完全共享的参数。

可选地，所述第二确定模块具体用于：

根据所述共享数据中携带的领域标识，在所述共享数据中确定属于新领域的共享数据；

根据新领域的共享数据，在新领域的训练数据中确定新领域的独立数据。

可选地，所述训练模块具体用于：

根据新领域的独立参数，将所述新领域的独立数据和所述共享数据进行数据训练，输出新领域的训练结果；

所述新领域的独立参数包括新领域的独立训练目标而设置的参数。

可选地，所述第二确定模块具体还用于：根据确定的所述共享数据，在源领域的训练数据中确定源领域的独立数据；

可选地，所述训练模块具体还用于：根据源领域的独立参数，将所述源领域的独立数据和所述共享数据进行数据训练，输出源领域的训练结果。

可选地，所述的装置还包括：

比较模块，用于比较所述源领域的训练结果和所述新领域的训练结果之间的差异性，在所述差异性大于等于预设的差异阈值，则停止训练；

调整模块，用于在源领域的训练结果和所述新领域的训练结果之间的差异性小于预设的差异阈值，则分别调整所述源领域的独立参数和所述新领域的独立参数；

所述训练模块，用于根据所述调整模块调整后的源领域的独立参数重新训练所述源领域的独立数据和所述共享数据，根据调整后的新领域的独立参数重新训练所述新领域的独立数据和所述共享数据。

本实施例所示装置可以执行上述图1所示方法实施例，其实现原理和技术效果不再赘述。

图6为本发明另一实施例提供的数据训练装置的结构示意图，如图6所示，包括：

确定模块，用于确定控制源领域模型和新领域模型交替训练的倍数K；

训练模块，用于根据交替训练的倍数K，对源领域模型和新领域模型进行交替训练，即读取源领域的K个训练数据对源领域模型进行K次数据训练后，读取新领域的一个训练数据对新领域模型进行一次数据训练；

评估模块，用于当达到预定的测试间隔，同时在源领域和新领域上评估当前的源领域模型和新领域模型的训练结果。

可选地，所述确定模块用于：

根据所述源领域的训练数据和新领域的训练数据之间的比例，确定控制交替训练的倍数K。

可选地，所述训练模块具体用于包括对源领域独立层、领域共享层和领域分类器的训练，其中，源领域模型的损失包括答案预测损失、领域分类损失和领域差异性损失。

可选地，所述训练模块具体用于包括对新领域独立层、领域共享层和领域分类器的数据训练更新，其中，新领域模型的损失包括答案预测损失、领域分类损失和领域差异性损失。

可选地，所述评估模块具体用与：

计算前N次评估源领域模型和新领域模型的训练结果的平均值；

若当前的源领域模型和新领域模型的训练结果和前N次评估的平均值一致，则中断训练，若不一致，则返回所述训练模块开始新一轮对源领域模型和新领域模型交替训练。

本实施例所示装置可以执行上述图4所示方法实施例，其实现原理和技术效果不再赘述。

相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被计算机执行时能够实现上述方法实施例中与数据处理装置相关的步骤或操作，在此不再赘述。

图7为本发明另一实施例提供的服务器的结构示意图，如图7所示，包括：

存储器81、处理器82以及通信组件83；

通信组件83，用于在源领域和新领域中获取大量的训练数据；

存储器82，用于存储计算机程序；

处理器81，与存储器和通信组件耦合，用于执行计算机程序，以用于：

在源领域的训练数据和新领域的训练数据中确定共享数据；

根据确定的所述共享数据，在源领域的训练数据中确定源领域的独立数据，在新领域的训练数据中确定新领域的独立数据；

将所述源领域的独立数据和所述共享数据进行数据训练，输出源领域的训练结果，将所述新领域的独立数据和所述共享数据进行数据训练，输出新领域的训练结果。

进一步，如图7所示，终端设备还包括：显示器84、电源组件85、音频组件86等其它组件。图7中仅示意性给出部分组件，并不意味着服务器只包括图7所示组件。

本实施例所示服务器可以执行上述图1和图4所示方法实施例，其实现原理和技术效果不再赘述。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (11)

1.一种数据训练方法，其特征在于，包括：

在源领域的训练数据和新领域的训练数据中确定共享数据；任一领域的训练数据包括：文章和问题；

根据确定的所述共享数据，在新领域的训练数据中确定新领域的独立数据；

将所述新领域的独立数据和所述共享数据对新领域的机器阅读理解训练模型进行数据训练，输出新领域的训练结果；所述训练结果包括：文章中的词作为问题的答案的起始位置的可能性以及结束位置的可能性；

其中，将所述新领域的独立数据和所述共享数据进行数据训练，输出新领域的训练结果，包括：根据共享参数进行共享训练，将所述源领域的训练数据和所述新领域的训练数据中通用的数据确定为共享数据；所述共享参数为共享训练时得到所述共享数据而设置的在所述源领域和所述新领域中相互共享的参数；根据新领域的独立参数，将所述新领域的独立数据和所述共享数据进行数据训练，输出新领域的训练结果；根据确定的所述共享数据，在源领域的训练数据中确定源领域的独立数据；根据源领域的独立参数，将所述源领域的独立数据和所述共享数据进行数据训练，输出源领域的训练结果；比较所述源领域的训练结果和所述新领域的训练结果之间的差异性，若大于等于差异阈值，则停止训练；若小于预设的差异阈值，则分别调整所述源领域的独立参数和所述新领域的独立参数，重新训练。

2.根据权利要求1所述的方法，其特征在于，在所述源领域的训练数据和所述新领域的训练数据中确定共享数据包括：

根据共享参数，将所述源领域的训练数据和所述新领域的训练数据进行共享训练，将所述源领域的训练数据和所述新领域的训练数据中通用的数据确定为共享数据；

所述共享参数为共享训练时得到所述共享数据而设置的在所述源领域和所述新领域中相互共享的参数。

3.根据权利要求2所述的方法，其特征在于，根据确定的所述共享数据，在新领域的训练数据中确定新领域的独立数据，包括：

根据所述共享数据中携带的领域标识，在所述共享数据中确定属于新领域的共享数据；

根据新领域的共享数据，在新领域的训练数据中确定新领域的独立数据。

4.根据权利要求3所述的方法，其特征在于，将所述新领域的独立数据和所述共享数据进行数据训练，输出新领域的训练结果，包括：

根据新领域的独立参数，将所述新领域的独立数据和所述共享数据进行数据训练，输出新领域的训练结果；

所述新领域的独立参数包括新领域的独立训练目标而设置的参数。

5.根据权利要求1所述的方法，其特征在于，还包括：

根据确定的所述共享数据，在源领域的训练数据中确定源领域的独立数据；

根据源领域的独立参数，将所述源领域的独立数据和所述共享数据进行数据训练，输出源领域的训练结果。

6.根据权利要求4或5所述的方法，其特征在于，还包括：

比较所述源领域的训练结果和所述新领域的训练结果之间的差异性，若大于等于差异阈值，则停止训练；

若小于预设的差异阈值，则分别调整所述源领域的独立参数和所述新领域的独立参数，根据调整后的源领域的独立参数重新训练所述源领域的独立数据和所述共享数据，根据调整后的新领域的独立参数重新训练所述新领域的独立数据和所述共享数据。

7.一种数据训练方法，其特征在于，包括：

确定控制源领域模型和新领域模型交替训练的倍数K；

根据交替训练的倍数K，对源领域模型和新领域模型进行交替训练，即读取源领域的K个训练数据对源领域模型进行K次数据训练后，读取新领域的一个训练数据对新领域模型进行一次数据训练；任一领域的训练数据包括：文章和问题；所述源领域模型包括：源领域的机器阅读理解训练模型；所述新领域模型，包括：新领域的机器阅读理解训练模型；

当达到预定的测试间隔，同时在源领域和新领域上评估当前的源领域模型和新领域模型的训练结果；任一领域模型的训练结果包括：文章中的词作为问题的答案的起始位置的可能性以及结束位置的可能性；

其中，对源领域模型进行数据训练，包括：对源领域独立层、领域共享层和领域分类器的训练，其中，源领域模型的损失包括答案预测损失、领域分类损失和领域差异性损失；

其中，对新领域模型进行数据训练，包括：对新领域独立层、领域共享层和领域分类器的更新，其中，新领域模型的损失包括答案预测损失、领域分类损失和领域差异性损失；

其中，所述领域共享层用于建模源领域与新领域通用的内容。

8.根据权利要求7所述的方法，其特征在于，确定控制源领域模型和新领域模型交替训练的倍数K，包括：

根据所述源领域的训练数据和新领域的训练数据之间的比例，确定控制交替训练的倍数K。

9.根据权利要求8所述的方法，其特征在于，在源领域和新领域上评估当前的源领域模型和新领域模型的训练结果，包括：

计算前N次评估源领域模型和新领域模型的训练结果的平均值；

若当前的源领域模型和新领域模型的训练结果和前N次评估的平均值一致，则中断训练，若不一致，则开始新一轮对源领域模型和新领域模型交替训练。

10.一种数据训练装置，其特征在于，包括：

第一确定模块，用于在源领域的训练数据和新领域的训练数据中确定共享数据；任一领域的训练数据包括：文章和问题；

第二确定模块，用于根据确定的所述共享数据，在新领域的训练数据中确定新领域的独立数据；

训练模块，用于将所述新领域的独立数据和所述共享数据对新领域的机器阅读理解训练模型进行数据训练，输出新领域的训练结果；所述训练结果包括：文章中的词作为问题的答案的起始位置的可能性以及结束位置的可能性；

其中，所述训练模块具体用于：根据共享参数进行共享训练，将所述源领域的训练数据和所述新领域的训练数据中通用的数据确定为共享数据；所述共享参数为共享训练时得到所述共享数据而设置的在所述源领域和所述新领域中相互共享的参数；根据新领域的独立参数，将所述新领域的独立数据和所述共享数据进行数据训练，输出新领域的训练结果；根据确定的所述共享数据，在源领域的训练数据中确定源领域的独立数据；根据源领域的独立参数，将所述源领域的独立数据和所述共享数据进行数据训练，输出源领域的训练结果；比较所述源领域的训练结果和所述新领域的训练结果之间的差异性，若大于等于差异阈值，则停止训练；若小于预设的差异阈值，则分别调整所述源领域的独立参数和所述新领域的独立参数，重新训练。

11.一种数据训练装置，其特征在于，包括：

确定模块，用于确定控制源领域模型和新领域模型交替训练的倍数K；

训练模块，用于根据交替训练的倍数K，对源领域模型和新领域模型进行交替训练，即读取源领域的K个训练数据对源领域模型进行K次数据训练后，读取新领域的一个训练数据对新领域模型进行一次数据训练；任一领域的训练数据包括：文章和问题；所述源领域模型包括：源领域的机器阅读理解训练模型；所述新领域模型，包括：新领域的机器阅读理解训练模型；

评估模块，用于当达到预定的测试间隔，同时在源领域和新领域上评估当前的源领域模型和新领域模型的训练结果；任一领域模型的训练结果包括：文章中的词作为问题的答案的起始位置的可能性以及结束位置的可能性；

对源领域模型进行数据训练，包括：对源领域独立层、领域共享层和领域分类器的训练，其中，源领域模型的损失包括答案预测损失、领域分类损失和领域差异性损失；

对新领域模型进行数据训练，包括：对新领域独立层、领域共享层和领域分类器的更新，其中，新领域模型的损失包括答案预测损失、领域分类损失和领域差异性损失；

其中，所述领域共享层用于建模源领域与新领域通用的内容。

Images