CN111126072A

CN111126072A - 一种Seq2Seq模型训练方法、装置、介质和设备

Info

Publication number: CN111126072A
Application number: CN201911284649.XA
Authority: CN
Inventors: 周思丞; 苏少炜; 陈孝良; 常乐
Original assignee: Beijing SoundAI Technology Co Ltd
Current assignee: Beijing SoundAI Technology Co Ltd
Priority date: 2019-12-13
Filing date: 2019-12-13
Publication date: 2020-05-08
Anticipated expiration: 2039-12-13
Also published as: CN111126072B

Abstract

本发明涉及一种Seq2Seq模型训练方法、装置、介质和设备。本发明实施例提供的方案中提出，确定损失函数时，可以加大错误位置对应的误差的比重，设置错误文本中错误位置对应的误差的比重，大于错误文本中正确位置对应的误差的比重。这样，在通过损失函数调整Seq2Seq模型时，可以使得模型首先考虑降低错误位置对应的误差，更好地完成文本纠错，从而提高训练出的模型用于文本纠错时的准确性。

Description

一种Seq2Seq模型训练方法、装置、介质和设备

技术领域

本发明涉及人工智能技术领域，特别涉及一种Seq2Seq模型训练方法、装置、介质和设备。

背景技术

随着云计算、大数据等人工智能技术的发展与应用，自然语言算法在机器学习和深度学习的帮助下，在实时性、全面性、有效性和准确性等方面都得到了较大提升，与此同时，诸如情感分类算法，实体抽取算法，文本生成算法等自然语言算法得到了广泛应用。文本纠错算法作为常见的自然语言算法之一，已经较为成熟，且应用广泛。

现阶段的文本纠错算法通常通过以下两种方式实现：

一、通过词典进行文本纠错

通过词典进行文本纠错，即采用现有的词典与文本进行完全匹配，从句首至句尾逐字对照，挖掘出用字错误的词汇并进行标识。

通过词典进行文本纠错的优点是设计比较简单，但是缺点也比较突出。逐词遍历词典带来的时间开销是十分巨大的，同时其缺失对语义的理解，即只能判断词汇中的字是否正确，并不能对用词错误进行纠正，导致文本纠错的准确性较低。

二、通过神经网络进行文本纠错

利用神经网络进行文本纠错，则是采用句子到句子(Seq2Seq)模型，利用大量的文本纠错训练语料进行训练，利用神经网络强大的非线性拟合能力对文本的语义进行理解，并生成正确的句子。

Seq2Seq模型是一个有监督的编解码模型，已经广泛应用在文本生成领域中。如图1所示，Seq2Seq模型包括编码器(Encoder)和解码器(Decoder)部分，二者通过中间状态向量(如图1中C)连接。Encoder将一个可变长度的输入序列变为固定长度的向量，Decoder将固定长度的向量解码成可变长度的输出序列。例如，Seq2Seq模型的输入是一个Encoder序列(如图1中X₁，X₂……X_T)，输出是一个Decoder序列(如图1中y₁，y₂……y_T’)。

若采用Seq2Seq模型进行文本纠错，通过训练样本集(训练样本集包括多个纠错文本对，一个纠错文本对包括一个错误文本(包含错误字的文本)和一个对应的正确文本)训练Seq2Seq模型，将错误文本输入到Seq2Seq模型中，输出目标文本，训练目标为输出的目标文本为正确文本。

训练样本集中的错误文本和正确文本逐对输入到Seq2Seq模型中进行迭代训练，让Seq2Seq模型逐字生成正确的文本，使得训练出的Seq2Seq模型可以用于文本纠错任务。

通过现有技术训练出的Seq2Seq模型进行文本纠错，改善了通过词典进行文本纠错存在的缺点，但是文本纠错的准确性仍然有待提高。

发明内容

本发明实施例提供一种Seq2Seq模型训练方法、装置、介质和设备，用于解决利用现有技术训练出的Seq2Seq模型进行文本纠错，准确率较低的问题。

本发明提供了一种句子到句子Seq2Seq模型训练方法，所述方法包括：

接收输入的训练样本集，所述训练样本集中的每个纠错文本对包括一个正确文本和一个错误文本；

利用所述训练样本集对预先建立的Seq2Seq模型进行一轮迭代训练；

一轮迭代训练过程中，根据每次迭代训练过程中确定的损失函数调整预先建立的句子到句子模型，直至一轮迭代训练完成，其中，确定所述损失函数时，用于训练的错误文本中错误位置对应的误差的比重，大于该错误文本中正确位置对应的误差的比重，每个位置对应的误差，为针对该错误文本，句子到句子模型输出的目标文本相对于该错误文本对应的正确文本得到的每个位置的误差。

本发明还提供了一种句子到句子Seq2Seq模型训练装置，所述装置包括：

接收模块，用于接收输入的训练样本集，所述训练样本集中的每个纠错文本对包括一个正确文本和一个错误文本；

训练模块，用于利用所述训练样本集对预先建立的Seq2Seq模型进行一轮迭代训练；一轮迭代训练过程中，根据每次迭代训练过程中确定的损失函数调整预先建立的句子到句子模型，直至一轮迭代训练完成，其中，确定所述损失函数时，用于训练的错误文本中错误位置对应的误差的比重，大于该错误文本中正确位置对应的误差的比重，每个位置对应的误差，为针对该错误文本，句子到句子模型输出的目标文本相对于该错误文本对应的正确文本得到的每个位置的误差。

本发明还提供了一种非易失性计算机存储介质，所述计算机存储介质存储有可执行程序，该可执行程序被处理器执行实现如上所述的方法。

本发明还提供了一种Seq2Seq模型训练设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存储的程序时，实现如上所述的方法步骤。

现有技术在训练用于文本纠错的Seq2Seq模型的过程中，根据损失函数调整Seq2Seq模型。在确定损失函数时，将输出的目标文本每个位置对应的误差求和，再取平均值作为模型误差，每个位置对应的误差的比重是相同的。

本案发明人研究发现，由于错误文本中错误位置较少，例如，错误文本为“今天我想吃平果”，错误位置仅仅为一个(“平”字位置)，而正确位置为六个，因此错误位置对应的误差占全部误差的比重会较低，由此导致模型误差不能很好地反映错误位置对应的误差，即使错误位置对应的误差较大，模型误差可能也比较小，由此导致训练出的模型进行文本纠错时，准确性较低。

因此，本发明实施例提供的方案中提出，确定损失函数时，可以加大错误位置对应的误差的比重，设置错误文本中错误位置对应的误差的比重，大于错误文本中正确位置对应的误差的比重。这样，在通过损失函数调整Seq2Seq模型时，可以使得模型首先考虑降低错误位置对应的误差，更好地完成文本纠错，从而提高训练出的模型用于文本纠错时的准确性。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术提供的Seq2Seq模型示意图；

图2为本发明实施例一提供的Seq2Seq模型训练方法的流程示意图；

图3为现有技术提供的Seq2Seq模型编码器结构示意图；

图4为本发明实施例一提供的Seq2Seq模型编码器结构示意图；

图5为本发明实施例二提供的Seq2Seq模型训练方法的流程示意图；

图6为本发明实施例三提供的Seq2Seq模型训练装置的结构示意图；

图7为本发明实施例四提供的Seq2Seq模型训练设备的结构示意图。

具体实施方式

为了解决利用seq2seq处理文本纠错任务时，文本纠错的准确率较低的问题，本案发明人考虑对Seq2Seq模型训练过程进行改进，调整损失函数的确定方式，加大错误位置对应的误差的比重，以提高训练出的Seq2Seq模型进行文本纠错时的准确性。

另外，本案发明人研究发现，现有技术中对Seq2Seq模型进行完一轮迭代训练后，若训练出的Seq2Seq模型进行文本纠错的准确性不满足预期，则可以利用原有的训练样本集进行新一轮的迭代训练。

在每一轮迭代训练过程中存在的错误都是相同的，因此Seq2Seq模型不需要学习句法和词法结构，只需要记住每个错误文本中出错的位置和对应的正确的字即可。由于训练出的Seq2Seq模型没有学习到句法和词法结构，利用其进行文本纠错时的准确性无法得到有效提高。

因此，本发明实施例提出，在下一轮迭代训练过程中，可以动态更新至少一个错误文本的错误形式，通过随机设定错误文本的错误位置，对Seq2Seq模型进行训练。使得训练出的Seq2Seq模型可以有效学习到句法和词法结构，进一步提高利用其进行文本纠错时的准确性。

此外，本案发明人还发现，现有的Seq2Seq模型的编码器是采用单向的神经网络模型，仅通过前文信息对文本进行纠错，而忽略了后文信息。

因此，本发明实施例提出，Seq2Seq模型的编码器可以采用双向循环的神经网络模型，从而可以根据文本的上下文来学习句法结构，进行文本纠错。使得利用Seq2Seq模型进行文本纠错时，可以考虑全文信息，进一步提高文本纠错的稳定性和准确性。

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在本文中提及的“多个或者若干个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

本发明实施例一提供一种Seq2Seq模型训练方法，该方法的步骤流程可以如图2所示，包括：

步骤101、接收输入的训练样本集。

在本步骤中，可以接收输入的训练样本集，所述训练样本集中的每个纠错文本对包括一个正确文本和一个错误文本。

步骤102、进行一轮迭代训练。

在本步骤中，可以利用接收到的训练样本集对预先建立的Seq2Seq模型进行一轮迭代训练。

即在本实施例提供的方案中，可以加大错误文本中错误位置对应的误差的比重，使得确定出的损失函数可以更好地反映错误位置对应的误差，进而使得Seq2Seq模型在训练时优先考虑降低错误位置对应的误差，从而可以降低模型训练难度，解决模型难以收敛的问题，并可以提高训练出的Seq2Seq模型进行文本纠错时的准确性。

在一种可能的实现方式中，根据错误文本中错误位置对应的误差的比重，大于错误文本中正确位置对应的误差的比重，确定损失函数，可以包括：

对错误文本和对应的正确文本进行比对，确定错误文本中的错误位置；

根据错误文本中的错误位置，确定文本标识向量，所述文本标识向量中错误文本中的正确位置用0表示，错误文本中的错误位置用1表示；

确定文本标识向量与设定的误差系数的乘积，获得误差权重向量，其中，所述误差系数大于1；

确定误差权重向量与单位向量之和，获得修正权重向量，以解决误差权重向量稀疏的问题；

对修正权重向量以及Seq2Seq模型输出的目标文本每个位置对应的误差值进行矩阵乘法，确定目标文本每个位置对应的带权误差值；

确定目标文本每个位置对应的带权误差值的平均值，将确定出的该平均值作为确定出的损失函数。

需要说明的是，现有技术中Seq2Seq模型的编码器采用单向的神经网络模型，如图3所示。此时，在一轮迭代的每次迭代过程中，Seq2Seq模型的编码器可以采用单向的神经网络模型，通过前文信息进行文本纠错。

在一种可能的实现方式中，在本实施例中，Seq2Seq模型的编码器可以采用双向循环的神经网络模型，如图4所示，从而可以根据文本的上下文来学习句法结构，进行文本纠错。此时，在一轮迭代的每次迭代过程中，Seq2Seq模型的编码器可以采用双向循环的神经网络模型，通过上下文信息进行文本纠错。

需要说明的是，一轮迭代训练完成之后，若利用验证样本集确定训练出的Seq2Seq模型进行文本纠错的准确率低于设定值，那么本实施例还可以进一步包括步骤103：

步骤103、进行新一轮迭代训练。

一轮迭代训练完成之后，若利用验证样本集确定训练出的Seq2Seq模型进行文本纠错的准确率低于设定值，那么可以进行新一轮迭代训练，重复执行本步骤，直至利用验证样本集确定训练出的Seq2Seq模型进行文本纠错的准确率不低于设定值。

在一种可能的实现方式中，在本步骤中，可以利用至少部分错误文本不同的训练样本集进行新一轮的迭代训练。

那么，本步骤可以包括，更新步骤101中接收到的训练样本集中至少一个错误文本的错误形式，利用更新后的训练样本集对训练出的Seq2Seq模型进行下一轮迭代训练，重复执行本步骤，直至利用验证样本集确定训练出的Seq2Seq模型进行文本纠错的准确率不低于设定值。

更新错误文本的错误形式，可以但不限于包括以下方式中的至少一种：

改变错误文本的错误位置，例如，将错误文本“今天我想吃平果”更新为“今天我想池苹果”；

改变错误文本的错误数量，例如，将错误文本“今天我想吃平果”更新为“今天我想池平果”；

将错误字更新为其它错误字，例如，将错误文本“今天我想吃平果”更新为“今天我想吃萍果”等。

可以理解为，在现有技术中，可以利用同一个训练样本集进行多轮的迭代训练。而在本实施例提供的方案中，可以利用动态更新的训练样本集进行多轮的迭代训练。从而可以针对相同的正确文本，通过不同的错误文本对Seq2Seq模型进行训练。

例如，第一轮迭代训练对应的训练样本集中，包括5个纠错文本对，分别为：

正确文本：今天我想吃苹果；错误文本：今天我想吃平果；

正确文本：相声很好听；错误文本：响声很好听；

正确文本：电视很好看；错误文本：电石很好看；

正确文本：小鱼和小虾；错误文本：小雨和小虾；

正确文本：天气很凉快；错误文本：天气很亮快。

第二轮迭代训练过程中，动态更新后的训练样本集中包括的5个纠错文本对可以分别为：

正确文本：今天我想吃苹果；错误文本：今天我想池苹果；

正确文本：相声很好听；错误文本：相生很好听；

正确文本：电视很好看；错误文本：电视恨好看；

正确文本：小鱼和小虾；错误文本：小雨和小瞎；

正确文本：天气很凉快；错误文本：天气恨亮快。

第三轮迭代训练过程中，动态更新后的训练样本集中包括的5个纠错文本对可以分别为：

正确文本：今天我想吃苹果；错误文本：今天我想池平果；

正确文本：相声很好听；错误文本：相生很好听；

正确文本：电视很好看；错误文本：电视恨好看；

正确文本：小鱼和小虾；错误文本：小鱼和小瞎；

正确文本：天气很凉快；错误文本：天气恨亮快。

下面通过一个具体的实例对本发明实施例一提供的方案进行说明。

实施例二

本发明实施例一提供一种Seq2Seq模型训练方法，该方法的步骤流程可以如图5所示，包括：

步骤201、接收输入数据。

在本步骤中，可以接收输入的训练样本集。

在接收到的输入的训练样本集之后，可以针对每个纠错文本对，确定错误文本的错误位置，获得修正权重向量，可以理解为获得每个位置对应的误差权重。

步骤202、进行迭代训练。

在本步骤中，可以利用接收到的训练样本集对预先建立的Seq2Seq模型进行一轮迭代训练。在一轮迭代训练过程中，可以根据修正权重向量确定目标文本每个位置对应的带权误差值的平均值，从而确定损失函数，并根据损失函数调整预先建立的Seq2Seq模型，直至一轮迭代训练完成。

一轮迭代训练完成之后，若利用验证样本集确定训练出的Seq2Seq模型进行文本纠错的准确率低于设定值，则可以更新训练样本集中至少一个错误文本的错误形式，利用更新后的训练样本集对训练出的Seq2Seq模型进行下一轮迭代训练，直至利用验证样本集确定训练出的Seq2Seq模型进行文本纠错的准确率不低于设定值，模型收敛，模型训练完成。

需要说明的是，更新训练样本集中至少一个错误文本的错误形式时，可以针对更新后的纠错文本对，重新确定错误文本的错误位置，从而重新获得修正权重向量。

利用更新后的训练样本集对训练出的Seq2Seq模型进行下一轮迭代训练的过程中，可以根据重新获得的修正权重向量确定目标文本每个位置对应的带权误差值的平均值，从而确定损失函数，并根据损失函数调整预先建立的Seq2Seq模型，直至一轮迭代训练完成。

此外，需要说明的是，在本实施例中，Seq2Seq模型的编码器可以采用双向循环的神经网络模型。那么在一轮迭代的每次迭代过程中，Seq2Seq模型的编码器可以采用双向循环的神经网络模型，通过上下文信息进行文本纠错。

根据本发明实施例二提供的方案，Seq2Seq模型的编码器可以采用双向循环的神经网络模型，根据上下文语义信息进行文本纠错，使得Seq2Seq模型进行文本纠错的稳定性和准确性更高。同时，在每轮迭代训练过程中，可以进行每个位置对应的误差权重设置，使得Seq2Seq模型更好地收敛。此外，在不同轮次的迭代训练过程中，可以动态调整错误文本的错误形式，使得训练出的Seq2Seq模型进行文本纠错的准确性得到显著提高。

与实施例一提供的方法对应的，提供以下的装置。

实施例三

本发明实施例三提供一种Seq2Seq模型训练装置，该装置的结构可以如图6所示，包括：

接收模块11用于接收输入的训练样本集，所述训练样本集中的每个纠错文本对包括一个正确文本和一个错误文本；训练模块12用于利用所述训练样本集对预先建立的Seq2Seq模型进行一轮迭代训练；一轮迭代训练过程中，根据每次迭代训练过程中确定的损失函数调整预先建立的句子到句子模型，直至一轮迭代训练完成，其中，确定所述损失函数时，用于训练的错误文本中错误位置对应的误差的比重，大于该错误文本中正确位置对应的误差的比重，每个位置对应的误差，为针对该错误文本，句子到句子模型输出的目标文本相对于该错误文本对应的正确文本得到的每个位置的误差。

在一种可能的实现方式中，所述训练模块12确定所述损失函数，可以包括：

确定误差权重向量与单位向量之和，获得修正权重向量；

所述训练模块12还用于一轮迭代训练完成之后，若利用验证样本集确定训练出的Seq2Seq模型进行文本纠错的准确率低于设定值，更新所述训练样本集中至少一个错误文本的错误形式，利用更新后的训练样本集对训练出的Seq2Seq模型进行下一轮迭代训练，直至利用验证样本集确定训练出的Seq2Seq模型进行文本纠错的准确率不低于设定值。

所述训练模块12具体用于在一轮迭代训练的每次迭代训练过程中，Seq2Seq模型的编码器采用双向循环的神经网络模型，通过上下文信息进行文本纠错。

基于同一发明构思，本发明实施例提供以下的设备和介质。

实施例四

本发明实施例四提供一种Seq2Seq模型训练设备，该设备的结构可以如图7所示，包括处理器21、通信接口22、存储器23和通信总线24，其中，所述处理器21，所述通信接口22，所述存储器23通过所述通信总线24完成相互间的通信；

所述存储器23，用于存放计算机程序；

所述处理器21，用于执行所述存储器上所存储的程序时，实现本发明实施例一所述的方法步骤。

可选的，所述处理器21具体可以包括中央处理器(CPU)、特定应用集成电路(ASIC，application specific integrated circuit)，可以是一个或多个用于控制程序执行的集成电路，可以是使用现场可编程门阵列(FPGA，field programmable gate array)开发的硬件电路，可以是基带处理器。

可选的，所述处理器21可以包括至少一个处理核心。

可选的，所述存储器23可以包括只读存储器(ROM，read only memory)、随机存取存储器(RAM，random access memory)和磁盘存储器。存储器23用于存储至少一个处理器21运行时所需的数据。存储器23的数量可以为一个或多个。

本发明实施例五提供一种非易失性计算机存储介质，所述计算机存储介质存储有可执行程序，当可执行程序被处理器执行时，实现本发明实施例一提供的方法。

在具体的实施过程中，计算机存储介质可以包括：通用串行总线闪存盘(USB，Universal Serial Bus flash drive)、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的存储介质。

在本发明实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性或其它的形式。

在本发明实施例中的各功能单元可以集成在一个处理单元中，或者各个单元也可以均是独立的物理模块。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备，例如可以是个人计算机，服务器，或者网络设备等，或处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：通用串行总线闪存盘(universal serial bus flash drive)、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims

1.一种句子到句子模型训练方法，其特征在于，所述方法包括：

利用所述训练样本集对预先建立的句子到句子模型进行一轮迭代训练；

2.如权利要求1所述的方法，其特征在于，确定所述损失函数，包括：

确定误差权重向量与单位向量之和，获得修正权重向量；

对修正权重向量以及句子到句子模型输出的目标文本每个位置对应的误差值进行矩阵乘法，确定目标文本每个位置对应的带权误差值；

3.如权利要求1所述的方法，其特征在于，一轮迭代训练完成之后，若利用验证样本集确定训练出的句子到句子模型进行文本纠错的准确率低于设定值，所述方法还包括：

更新所述训练样本集中至少一个错误文本的错误形式，利用更新后的训练样本集对训练出的句子到句子模型进行下一轮迭代训练，直至利用验证样本集确定训练出的句子到句子模型进行文本纠错的准确率不低于设定值。

4.如权利要求1～3任一所述的方法，其特征在于，在一轮迭代训练的每次迭代训练过程中，句子到句子模型的编码器采用双向循环的神经网络模型，通过上下文信息进行文本纠错。

5.一种句子到句子模型训练装置，其特征在于，所述装置包括：

训练模块，用于利用所述训练样本集对预先建立的句子到句子模型进行一轮迭代训练；一轮迭代训练过程中，根据每次迭代训练过程中确定的损失函数调整预先建立的句子到句子模型，直至一轮迭代训练完成，其中，确定所述损失函数时，用于训练的错误文本中错误位置对应的误差的比重，大于该错误文本中正确位置对应的误差的比重，每个位置对应的误差，为针对该错误文本，句子到句子模型输出的目标文本相对于该错误文本对应的正确文本得到的每个位置的误差。

6.如权利要求5所述的装置，其特征在于，所述训练模块，确定所述损失函数，包括：

确定误差权重向量与单位向量之和，获得修正权重向量；

7.如权利要求5所述的装置，其特征在于，所述训练模块，还用于一轮迭代训练完成之后，若利用验证样本集确定训练出的句子到句子模型进行文本纠错的准确率低于设定值，更新所述训练样本集中至少一个错误文本的错误形式，利用更新后的训练样本集对训练出的句子到句子模型进行下一轮迭代训练，直至利用验证样本集确定训练出的句子到句子模型进行文本纠错的准确率不低于设定值。

8.如权利要求5～7任一所述的装置，其特征在于，所述训练模块，具体用于在一轮迭代训练的每次迭代训练过程中，句子到句子模型的编码器采用双向循环的神经网络模型，通过上下文信息进行文本纠错。

9.一种非易失性计算机存储介质，其特征在于，所述计算机存储介质存储有可执行程序，该可执行程序被处理器执行实现权利要求1～4任一所述的方法。

10.一种句子到句子模型训练设备，其特征在于，所述设备包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存储的程序时，实现权利要求1～4任一所述的方法步骤。