CN113822044A

CN113822044A - 语法纠错数据生成方法、装置、计算机设备及存储介质

Info

Publication number: CN113822044A
Application number: CN202111150061.2A
Authority: CN
Inventors: 张明; 黄元忠; 卢庆华
Original assignee: Shenzhen Muyu Technology Co ltd
Current assignee: Shenzhen Muyu Technology Co ltd
Priority date: 2021-09-29
Filing date: 2021-09-29
Publication date: 2021-12-21
Anticipated expiration: 2041-09-29
Also published as: CN113822044B

Abstract

本发明实施例公开了语法纠错数据生成方法、装置、计算机设备及存储介质。所述方法包括：获取待纠错的输入语句；对所述输入语句进行编辑，以得到合成语句；输出所述合成语句。通过实施本发明实施例的方法可生成与真实情况下相似的错误语料，类型多样，并可降低不同错误类型下生成的数据量偏差。

Description

语法纠错数据生成方法、装置、计算机设备及存储介质

技术领域

本发明涉及语法纠错方法，更具体地说是指语法纠错数据生成方法、装置、计算机设备及存储介质。

背景技术

语法纠错旨在自动检查和纠正语句中的语法错误，提高文本的语法性能和可读性，规范语句表达，在自然语言处理中具有广泛的应用场景，包括写作助手、搜索引擎、语音识别和语言翻译等。语法纠错的实现方法，不论是机器翻译、序列标注还是编码与解码，都要求大量的语料数据。

现有技术采用了直接噪声法和反译法生成语法纠错所需的数据，前者利用掩码、增减或反转等方法将噪声引入到原始语句中，能够产生多样化的纠错语料；后者将语料生成作为翻译任务，利用语言翻译模型，将干净数据翻译成噪声数据。直接噪声法实现简单方便，且生成的错误语料不仅多样化强，而且数据量大，但这种方法产生的语料往往不具备可读性，与人产生的真实数据相差甚远。还有现有技术将原始语料转化为图片，加噪声后进行文字识别，将其输出结果作为纠错语料，即采用了直接噪声法中的反转方法，反译法在实施时，很难生成训练数据集以外的错误数据，最大的缺点在于涵盖的语法错误类型不足。

因此，有必要设计一种新的方法，实现可生成与真实情况下相似的错误语料，类型多样，可降低不同错误类型下生成的数据量偏差。

发明内容

本发明的目的在于克服现有技术的缺陷，提供语法纠错数据生成方法、装置、计算机设备及存储介质。

为实现上述目的，本发明采用以下技术方案：语法纠错数据生成方法，包括：

获取待纠错的输入语句；

对所述输入语句进行编辑，以得到合成语句；

输出所述合成语句。

其进一步技术方案为：所述对所述输入语句进行编辑，以得到合成语句，包括：

对所述输入语句进行词牌、潜在表示以及错误标签中至少一个进行编辑，以得到合成语句。

对所述输入语句进行词牌的编辑，以得到第一语句；

对所述第一语句进行潜在表示的编辑，以得到第二语句；

对所述第二语句进行错误标签的编辑，以得到合成语句。

其进一步技术方案为：所述对所述输入语句进行词牌的编辑，以得到第一语句，包括：

采用自然语言处理工具对所述输入语句进行转化，以得到词牌序列；

对所述词牌序列进行编辑，以得到第一语句。

其进一步技术方案为：所述对所述第一语句进行潜在表示的编辑，以得到第二语句，包括：

将所述第一语句输入编码器内进行编码，以得到字符潜在表示向量；

对所述字符潜在表示向量添加扰动，以得到新向量；

将所述新向量输入解码器内进行解码，以得到第二语句。

其进一步技术方案为：所述对所述第二语句进行错误标签的编辑，以得到合成语句，包括：

对所述第二语句更换错误标签，以得到新标签；

根据所述新标签生成合成语句。

其进一步技术方案为：所述根据所述新标签生成合成语句，包括：

根据所述新标签在所述第二语句内变换词性、句式以及时态，以得到合成语句。

本发明还提供了语法纠错数据生成装置，包括：

获取单元，用于获取待纠错的输入语句；

编辑单元，用于对所述输入语句进行编辑，以得到合成语句；

输出单元，用于输出所述合成语句。

本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。

本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述的方法。

本发明与现有技术相比的有益效果是：本发明通过对待纠错的语句进行词牌编辑、潜在表示编辑以及错误标签编辑，以达到三重编辑，基于编码-解码结构和对抗性攻击方法，可生成与真实情况下相似的错误语料，类型多样，并可降低不同错误类型下生成的数据量偏差。

下面结合附图和具体实施例对本发明作进一步描述。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的语法纠错数据生成方法的应用场景示意图；

图2为本发明实施例提供的语法纠错数据生成方法的流程示意图；

图3为本发明实施例提供的语法纠错数据生成方法的子流程示意图；

图4为本发明实施例提供的语法纠错数据生成方法的子流程示意图；

图5为本发明实施例提供的语法纠错数据生成方法的子流程示意图；

图6为本发明实施例提供的语法纠错数据生成方法的子流程示意图；

图7为本发明实施例提供的语法纠错数据生成装置的示意性框图；

图8为本发明实施例提供的语法纠错数据生成装置的编辑单元的示意性框图；

图9为本发明实施例提供的语法纠错数据生成装置的词牌编辑子单元的示意性框图；

图10为本发明实施例提供的语法纠错数据生成装置的潜在表示编辑子单元的示意性框图；

图11为本发明实施例提供的语法纠错数据生成装置的错误标签编辑子单元的示意性框图；

图12为本发明实施例提供的计算机设备的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

请参阅图1和图2，图1为本发明实施例提供的语法纠错数据生成方法的应用场景示意图。图2为本发明实施例提供的语法纠错数据生成方法的示意性流程图。该语法纠错数据生成方法应用于服务器中。该服务器从终端获取待纠错的输入语句，对待纠错的输入语句进行词牌、潜在表示以及错误标签的编辑，以形成纠错后的语句，并输出至终端，基于编码-解码结构和对抗性攻击方法，首先进行错误标签处理，对原始语料的词牌、潜在表示和错误标签进行三重编辑，可以生成与真实情况下相似的错误语料，类型多样，并可降低不同错误类型下生成的数据量偏差。

图2是本发明实施例提供的语法纠错数据生成方法的流程示意图。如图2所示，该方法包括以下步骤S110至S130。

S110、获取待纠错的输入语句。

在本实施例中，待纠错的输入语句是指需要进行语料纠错的原料语句。

S120、对所述输入语句进行编辑，以得到合成语句。

在本实施例中，合成语句是指经过语法纠错后形成的语句。

在一实施例中，上述的步骤S120可包括：

在一实施例中，请参阅图3，上述的步骤S120可包括步骤S121～S123。

S121、对所述输入语句进行词牌的编辑，以得到第一语句。

在本实施例中，第一语句是指将词牌序列替换为特殊的未知的词牌形成的语句，该特殊的未知的词牌可以是原先词牌序列的同义词等。

在一实施例中，请参阅图4，上述的步骤S121可包括步骤S1211～S1212.

S1211、采用自然语言处理工具对所述输入语句进行转化，以得到词牌序列。

在本实施例中，词牌序列是指对输入语句进行标识化得到的序列。

具体地，标识化是将输入句子转化为词牌序列，也就是分词。根据语句的词性划分出来的一串字符序列。比如“I love deep learning”，分此后变为['I'，'love'，'deep'，'learning']。这是借助常规的机器学习工具如NTLK(自然语言处理工具包，NaturalLanguage Toolkit)、中文深度学习自然语言处理工具JIAGU实现的。

S1212、对所述词牌序列进行编辑，以得到第一语句。

具体地，利用自然语言处理工具得到输入语句的词牌序列后，对词牌序列进行编辑。编辑词牌序列时，单独使用典型的编码-解码结构的序列到序列模型计算词牌序列的位置分数。该模型输出层设置为softmax，经过softmax层后得到生成概率P_softmax，进而计算得到词牌序列的位置分数g。其中，计算公式为g＝log(P_softmax)。g越小，模型对该词牌序列的置信度越低，不确定性越大，最终提现到纠错效果就越差。

在本实施例中，是对低位置分数的词牌序列编辑，具体地，将该词牌序列替换为特殊的未知词牌序列，也就是unk。可选地，也可随机替换为同义词。

S122、对所述第一语句进行潜在表示的编辑，以得到第二语句。

在本实施例中，第二语句是指将第一语句的潜在表示增加扰动后形成新的潜在表示后进行解码得到的语句。

在一实施例中，请参阅图5，上述的步骤S122可包括步骤S1221～S1223。

S1221、将所述第一语句输入编码器内进行编码，以得到字符潜在表示向量。

在本实施例中，字符潜在表示向量是指对第一语句进行编码后形成的向量。

S1222、对所述字符潜在表示向量添加扰动，以得到新向量。

在本实施例中，新向量是指对于第一语句的字符潜在表示向量添加扰动后得到的向量。

S1223、将所述新向量输入解码器内进行解码，以得到第二语句。

在本实施例中，第二语句是指对新向量进行解码后形成的语句。

第一语句输入到transformer编码器ΦE中，ΦE输出字符的潜在表示向量h，对该向量添加扰动ε得到新向量

潜在表示向量的神经网络传递参数时，传递的形式可以看作向量，向量的内容是参数。这里的向量实际上就是神经网络计算得出的，是已有的、常规的计算方式。添加扰动后，字符的潜在表示向量h发生变化，体现到输出，就是合成的语句发生语法错误。这就是一种生成语法错误句子的方法。在本实施中，可以单独采用这一种方法，也可以结合其他两个一起采用。

对潜在表示进行编辑，主要是对其添加扰动。对于原输入语句x，期望生成的语法错误类型为z，利用自然语言处理工具ERRANT预测字符的潜在表示向量h得到的类型为z′。假设预测的损失为

由下式计算扰动：ε＝-λL(h,z,z′)/‖L(h,z,z′)‖₂，其中，λ是常数，控制扰动大小，‖L(h,z,z′)‖₂是2的范数。由此得到新的潜在表示

经过transformer解码器ΦD输出为第二语句x′。

S123、对所述第二语句进行错误标签的编辑，以得到合成语句。

在一实施例中，请参阅图6，上述的步骤S123可包括步骤S1231～S1232。

S1231、对所述第二语句更换错误标签，以得到新标签。

在本实施例中，新标签是指对第二语句的错误标签更换为其他标签后形成的结果。

S1232、根据所述新标签生成合成语句。

具体地，根据所述新标签在所述第二语句内变换词性、句式以及时态，以得到合成语句。

对第二语句x′编辑其错误标签t，原错误标签t变为新标签

输出对应新标签

的合成语句x″。合成语句x″即为最终生成的纠错语料。

具体地，错误标签编辑，是对输入语句的错误类型赋予新的错误标签。标签更改后，生成的第二语句x′对应于新标签

形成合成语句x″。新标签

的取值选自自然语言工具ERRANT，是25种语法错误之一，比如SPELL标签表示拼写错误，VERB标签表示动词错误。新标签

依次遍历这25个错误类型，得到25个新的句子。合成语句x″的数量与新标签

数量一致。新错误标签

的位置可以出现在第二语句x′的任意位置。根据新标签

变换第二语句x′时，采用映射方法，利用自然语言工具ERRANT和NLTK改变对应的词性、句式和时态。

S130、输出所述合成语句。

在本实施例中，将所述合成语句输出至终端。

上述的语法纠错数据生成方法，通过对待纠错的语句进行词牌编辑、潜在表示编辑以及错误标签编辑，以达到三重编辑，基于编码-解码结构和对抗性攻击方法，可生成与真实情况下相似的错误语料，类型多样，并可降低不同错误类型下生成的数据量偏差。

图7是本发明实施例提供的一种语法纠错数据生成装置300的示意性框图。如图7所示，对应于以上语法纠错数据生成方法，本发明还提供一种语法纠错数据生成装置300。该语法纠错数据生成装置300包括用于执行上述语法纠错数据生成方法的单元，该装置可以被配置于服务器中。具体地，请参阅图7，该语法纠错数据生成装置300包括获取单元301、编辑单元302以及输出单元303。

获取单元301，用于获取待纠错的输入语句；编辑单元302，用于对所述输入语句进行编辑，以得到合成语句；输出单元303，用于输出所述合成语句。

在一实施例中，所述编辑单元302用于对所述输入语句进行词牌、潜在表示以及错误标签中至少一个进行编辑，以得到合成语句。

在一实施例中，如图8所示，所述编辑单元302包括词牌编辑子单元3021、潜在表示编辑子单元3022以及错误标签编辑子单元3023。

词牌编辑子单元3021，用于对所述输入语句进行词牌的编辑，以得到第一语句；潜在表示编辑子单元3022，用于对所述第一语句进行潜在表示的编辑，以得到第二语句；错误标签编辑子单元3023，用于对所述第二语句进行错误标签的编辑，以得到合成语句。

在一实施例中，如图9所示，所述词牌编辑子单元3021包括转化模块30211以及序列编辑模块30212。

转化模块30211，用于采用自然语言处理工具对所述输入语句进行转化，以得到词牌序列；序列编辑模块30212，用于对所述词牌序列进行编辑，以得到第一语句。

在一实施例中，如图10所示，所述潜在表示编辑子单元3022包括编码模块30221、扰动添加模块30222以及解码模块30223。

编码模块30221，用于将所述第一语句输入编码器内进行编码，以得到字符潜在表示向量；扰动添加模块30222，用于对所述字符潜在表示向量添加扰动，以得到新向量；解码模块30223，用于将所述新向量输入解码器内进行解码，以得到第二语句。

在一实施例中，如图11所示，所述错误标签编辑子单元3023包括标签更换模块30231以及生成模块30232。

标签更换模块30231，用于对所述第二语句更换错误标签，以得到新标签；生成模块30232，用于根据所述新标签生成合成语句。

在一实施例中，生成模块30232，用于根据所述新标签在所述第二语句内变换词性、句式以及时态，以得到合成语句。

需要说明的是，所属领域的技术人员可以清楚地了解到，上述语法纠错数据生成装置300和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。

上述语法纠错数据生成装置300可以实现为一种计算机程序的形式，该计算机程序可以在如图12所示的计算机设备上运行。

请参阅图12，图12是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器，其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。

参阅图12，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。

该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种语法纠错数据生成方法。

该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。

该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种语法纠错数据生成方法。

该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：

获取待纠错的输入语句；对所述输入语句进行编辑，以得到合成语句；输出所述合成语句。

在一实施例中，处理器502在实现所述对所述输入语句进行编辑，以得到合成语句步骤时，具体实现如下步骤：

对所述输入语句进行词牌的编辑，以得到第一语句；对所述第一语句进行潜在表示的编辑，以得到第二语句；对所述第二语句进行错误标签的编辑，以得到合成语句。

在一实施例中，处理器502在实现所述对所述输入语句进行词牌的编辑，以得到第一语句步骤时，具体实现如下步骤：

采用自然语言处理工具对所述输入语句进行转化，以得到词牌序列；对所述词牌序列进行编辑，以得到第一语句。

在一实施例中，处理器502在实现所述对所述第一语句进行潜在表示的编辑，以得到第二语句步骤时，具体实现如下步骤：

将所述第一语句输入编码器内进行编码，以得到字符潜在表示向量；对所述字符潜在表示向量添加扰动，以得到新向量；将所述新向量输入解码器内进行解码，以得到第二语句。

在一实施例中，处理器502在实现所述对所述第二语句进行错误标签的编辑，以得到合成语句步骤时，具体实现如下步骤：

对所述第二语句更换错误标签，以得到新标签；根据所述新标签生成合成语句。

在一实施例中，处理器502在实现所述根据所述新标签生成合成语句步骤时，具体实现如下步骤：

应当理解，在本申请实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。

因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行如下步骤：

在一实施例中，所述处理器在执行所述计算机程序而实现所述对所述输入语句进行编辑，以得到合成语句步骤时，具体实现如下步骤：

在一实施例中，所述处理器在执行所述计算机程序而实现所述对所述输入语句进行词牌的编辑，以得到第一语句步骤时，具体实现如下步骤：

在一实施例中，所述处理器在执行所述计算机程序而实现所述对所述第一语句进行潜在表示的编辑，以得到第二语句步骤时，具体实现如下步骤：

在一实施例中，所述处理器在执行所述计算机程序而实现所述对所述第二语句进行错误标签的编辑，以得到合成语句步骤时，具体实现如下步骤：

在一实施例中，所述处理器在执行所述计算机程序而实现所述根据所述新标签生成合成语句步骤时，具体实现如下步骤：

所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。

该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims

1.语法纠错数据生成方法，其特征在于，包括：

获取待纠错的输入语句；

对所述输入语句进行编辑，以得到合成语句；

输出所述合成语句。

2.根据权利要求1所述的语法纠错数据生成方法，其特征在于，所述对所述输入语句进行编辑，以得到合成语句，包括：

3.根据权利要求1所述的语法纠错数据生成方法，其特征在于，所述对所述输入语句进行编辑，以得到合成语句，包括：

对所述输入语句进行词牌的编辑，以得到第一语句；

对所述第一语句进行潜在表示的编辑，以得到第二语句；

对所述第二语句进行错误标签的编辑，以得到合成语句。

4.根据权利要求3所述的语法纠错数据生成方法，其特征在于，所述对所述输入语句进行词牌的编辑，以得到第一语句，包括：

对所述词牌序列进行编辑，以得到第一语句。

5.根据权利要求3所述的语法纠错数据生成方法，其特征在于，所述对所述第一语句进行潜在表示的编辑，以得到第二语句，包括：

对所述字符潜在表示向量添加扰动，以得到新向量；

将所述新向量输入解码器内进行解码，以得到第二语句。

6.根据权利要求3所述的语法纠错数据生成方法，其特征在于，所述对所述第二语句进行错误标签的编辑，以得到合成语句，包括：

对所述第二语句更换错误标签，以得到新标签；

根据所述新标签生成合成语句。

7.根据权利要求6所述的语法纠错数据生成方法，其特征在于，所述根据所述新标签生成合成语句，包括：

8.语法纠错数据生成装置，其特征在于，包括：

获取单元，用于获取待纠错的输入语句；

输出单元，用于输出所述合成语句。

9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的方法。

10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现如权利要求1至7中任一项所述的方法。