CN113515931B - 文本纠错方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本申请实施例属于人工智能领域，涉及一种文本纠错方法，包括获取待处理文本和历史输出文本，根据预训练模型对待处理文本和历史输出文本进行编码，得到第一语义特征和第二语义特征；输入第一语义特征和第二语义特征至预设删除模型，计算得到目标删除字向量，得到第三语义特征；根据预设掩码模型对第三语义特征进行掩码预测，得到第四语义特征；输入第四语义特征至预设插入预测模型，得到第五语义特征，查找所述第五语义特征对应的词表，得到待处理文本对应的目标纠错文本。本申请还提供一种文本纠错装置、计算机设备及存储介质。此外，本申请还涉及区块链技术，目标纠错文本可存储于区块链中。本申请实现了对文本的高效纠错。

Description

文本纠错方法、装置、计算机设备及存储介质

技术领域

本申请涉及人工智能技术领域，尤其涉及一种文本纠错方法、装置、计算机设备及存储介质。

背景技术

随着人工智能的高速发展，人工智能被广泛的应用在人们的生活中。尤其在语义处理领域，通常采用各类语义识别模型，对语义进行识别，从而实现智能对话，而无需人为的帮助。

在语义识别的纠错模型中，基于seq2seq的纠错模型往往使用自回归方式，其性能较差；而基于bert的纠错模型不支持可变长的情况，且不能很好的引入拼音信息，往往是在训练过程中通过对抗训练来引入训练的拼音预研模型，该模型较生硬，扩展难度高。由此最终导致，基于模型的文本纠错效率低下的技术问题。

发明内容

本申请实施例的目的在于提出一种文本纠错方法、装置、计算机设备及存储介质，以解决文本纠错效率低下的技术问题。

为了解决上述技术问题，本申请实施例提供一种文本纠错方法，采用了如下所述的技术方案：

获取待处理文本和历史输出文本，根据预设的预训练模型分别对所述待处理文本和所述历史输出文本进行编码，得到第一语义特征和第二语义特征；

获取预设纠错模型，其中，所述预设纠错模型包括预设删除模型、预设掩码模型和预设插入预测模型，输入所述第一语义特征和所述第二语义特征至所述预设删除模型，计算得到目标删除字向量，将删除所述目标删除字向量后的第一语义特征作为第三语义特征；

根据所述预设掩码模型对所述第三语义特征进行掩码预测，得到目标掩码位置，在所述第三语义特征的目标掩码位置插入预设的目标掩码，得到第四语义特征；

输入所述第四语义特征至所述预设插入预测模型，计算得到目标插入向量，将所述目标插入向量替换所述第四语义特征中的目标掩码，得到第五语义特征，查找所述第五语义特征对应的词表，得到所述待处理文本对应的目标纠错文本。

进一步的，所述根据所述预设掩码模型对所述第三语义特征进行掩码预测，得到目标掩码位置的步骤包括：

所述预设掩码模型包括两个自注意力层和两个前向网络层，根据所述自注意力层和所述前向网络层对所述第三语义特征进行计算，得到所述第三语义特征的目标掩码位置。

进一步的，在所述获取预设纠错模型的步骤之前，还包括：

创建基础纠错模型，所述基础纠错模型包括基础删除模型、基础掩码模型和基础插入预测模型；

采集多组纠错前文本和纠错后文本作为测试文本，其中，所述纠错后文本包括标准删除文本、标准掩码文本和标准插入文本；

根据所述纠错前文本和所述纠错后文本对所述基础纠错模型进行训练，计算得到总损失函数；

在所述总损失函数收敛时，确定所述基础纠错模型训练完成，将训练完成的基础删除模型、训练完成的基础掩码模型和训练完成的基础插入预测模型分别作为所述预设纠错模型的预设删除模型、预设掩码模型和预设插入预测模型。

进一步的，所述根据所述纠错前文本和所述纠错后文本对所述基础纠错模型进行训练，计算得到总损失函数的步骤包括：

输入所述纠错前文本和所述纠错后文本至所述基础删除模型，经过所述基础掩码模型和所述基础插入预测模型，计算得到所述基础删除模型对应的第一损失函数、所述基础掩码模型对应的第二损失函数和所述基础插入预测模型对应的第三损失函数；

根据所述第一损失函数、所述第二损失函数和所述第三损失函数计算得到所述总损失函数。

进一步的，所述输入所述纠错前文本对应的语义特征至所述基础删除模型，经过所述基础掩码模型和所述基础插入预测模型，计算得到所述基础删除模型对应的第一损失函数、所述基础掩码模型对应的第二损失函数和所述基础插入预测模型对应的第三损失函数的步骤包括：

输入所述纠错前文本对应的语义特征至所述基础删除模型中，根据所述基础删除模型对所述纠错前文本进行目标删除字的预测，得到预测删除文本；

根据所述预测删除文本和所述标准删除文本计算所述基础删除模型的损失函数，并将所述基础删除模型的损失函数作为第一损失函数；

确定所述预测删除文本与所述标准删除文本是否一致，在所述目标删除文本与所述标准删除文本一致时，将所述预测删除文本输入至所述基础掩码模型，根据所述基础掩码模型对所述预测删除文本的掩码位置进行预测，得到预测掩码文本；

根据所述预测掩码文本和所述标准掩码文本计算所述基础掩码模型的损失函数，并将所述基础掩码模型的损失函数作为第二损失函数；

确定所述预测掩码文本与所述标准掩码文本是否一致，在所述预测掩码文本与所述标准掩码文本一致时，根据所述基础插入预测模型对所述预测掩码文本进行文本预测，得到预测插入文本；

根据所述预测插入文本和所述标准插入文本计算所述基础插入预测模型的损失函数，并将所述基础插入预测模型的损失函数作为第三损失函数。

进一步的，所述根据所述第一损失函数、所述第二损失函数和所述第三损失函数计算得到所述总损失函数的步骤包括：

分别获取所述第一损失函数、所述第二损失函数和所述第三损失函数的第一预设权重、第二预设权重和第三预设权重；

根据所述第一预设权重、所述第二预设权重和所述第三预设权重对所述第一损失函数、所述第二损失函数和所述第三损失函数进行加权求和，计算得到所述总损失函数。

进一步的，在所述根据预设的预训练模型分别对所述待处理文本和所述历史输出文本进行编码，得到第一语义特征和第二语义特征的步骤之后，还包括：

检测所述待处理文本的来源，在所述待处理文本的来源为语音数据时，获取所述待处理文本的拼音编码；

将所述第一语义特征和所述拼音编码进行拼接，得到第一拼接向量，将所述历史拼音编码和所述第二语义特征进行拼接，得到第二拼接向量；

获取预设纠错模型，其中，所述预设纠错模型包括预设删除模型、预设掩码模型和预设插入预测模型，输入所述第一拼接向量和所述第二拼接向量至所述预设删除模型，计算得到目标删除字向量，将删除所述目标删除字向量后的第一拼接向量作为第三拼接向量；

根据所述预设掩码模型对所述第三拼接向量进行掩码预测，得到目标掩码位置，在所述第三拼接向量的目标掩码位置插入预设的目标掩码，得到第四拼接向量；

输入所述第四拼接向量至所述预设插入预测模型，得到目标插入向量，将所述目标插入向量替换所述第四拼接向量中的目标掩码，得到第五拼接向量，查找所述第五拼接向量对应的词表，得到所述待处理文本对应的拼音纠错文本。

为了解决上述技术问题，本申请实施例还提供一种文本纠错装置，采用了如下所述的技术方案：

编码模块，用于获取待处理文本和历史输出文本，根据预设的预训练模型分别对所述待处理文本和所述历史输出文本进行编码，得到第一语义特征和第二语义特征；

第一预测模块，用于获取预设纠错模型，其中，所述预设纠错模型包括预设删除模型、预设掩码模型和预设插入预测模型，输入所述第一语义特征和所述第二语义特征至所述预设删除模型，计算得到目标删除字向量，将删除所述目标删除字向量后的第一语义特征作为第三语义特征；

第二预测模块，用于根据所述预设掩码模型对所述第三语义特征进行掩码预测，得到目标掩码位置，在所述第三语义特征的目标掩码位置插入预设的目标掩码，得到第四语义特征；

替换模块，用于输入所述第四语义特征至所述预设插入预测模型，计算得到目标插入向量，将所述目标插入向量替换所述第四语义特征中的目标掩码，得到第五语义特征，查找所述第五语义特征对应的词表，得到所述待处理文本对应的目标纠错文本。

为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：

获取待处理文本和历史输出文本，根据预设的预训练模型分别对所述待处理文本和所述历史输出文本进行编码，得到第一语义特征和第二语义特征；

获取预设纠错模型，其中，所述预设纠错模型包括预设删除模型、预设掩码模型和预设插入预测模型，输入所述第一语义特征和所述第二语义特征至所述预设删除模型，计算得到目标删除字向量，将删除所述目标删除字向量后的第一语义特征作为第三语义特征；

根据所述预设掩码模型对所述第三语义特征进行掩码预测，得到目标掩码位置，在所述第三语义特征的目标掩码位置插入预设的目标掩码，得到第四语义特征；

输入所述第四语义特征至所述预设插入预测模型，计算得到目标插入向量，将所述目标插入向量替换所述第四语义特征中的目标掩码，得到第五语义特征，查找所述第五语义特征对应的词表，得到所述待处理文本对应的目标纠错文本。

为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：

获取待处理文本和历史输出文本，根据预设的预训练模型分别对所述待处理文本和所述历史输出文本进行编码，得到第一语义特征和第二语义特征；

获取预设纠错模型，其中，所述预设纠错模型包括预设删除模型、预设掩码模型和预设插入预测模型，输入所述第一语义特征和所述第二语义特征至所述预设删除模型，计算得到目标删除字向量，将删除所述目标删除字向量后的第一语义特征作为第三语义特征；

根据所述预设掩码模型对所述第三语义特征进行掩码预测，得到目标掩码位置，在所述第三语义特征的目标掩码位置插入预设的目标掩码，得到第四语义特征；

输入所述第四语义特征至所述预设插入预测模型，计算得到目标插入向量，将所述目标插入向量替换所述第四语义特征中的目标掩码，得到第五语义特征，查找所述第五语义特征对应的词表，得到所述待处理文本对应的目标纠错文本。

本申请提出的文本纠错方法，通过获取待处理文本和历史输出文本，根据预设的预训练模型分别对所述待处理文本和所述历史输出文本进行编码，得到第一语义特征和第二语义特征，根据第一语义特征和第二语义特征可以提高文本纠错的准确率；之后，获取预设纠错模型，其中，所述预设纠错模型包括预设删除模型、预设掩码模型和预设插入预测模型，输入所述第一语义特征和所述第二语义特征至所述预设删除模型，计算得到目标删除字向量，将删除所述目标删除字向量后的第一语义特征作为第三语义特征，实现了对多余字或者错别字的删除；而后，根据所述预设掩码模型对所述第三语义特征进行掩码预测，得到目标掩码位置，在所述第三语义特征的目标掩码位置插入预设的目标掩码，得到第四语义特征，实现了对缺失字的插入位置预测；最后，输入所述第四语义特征至所述预设插入预测模型，计算得到目标插入向量，将所述目标插入向量替换所述第四语义特征中的目标掩码，得到第五语义特征，查找所述第五语义特征对应的词表，得到所述待处理文本对应的目标纠错文本，最终实现了对文本的非自回归纠错，使得通过模型对输入的文本能够进行整体文本的解码输出，而无需对文本的每个字依次进行解码输出，提高了文本纠错效率以及正确率。

附图说明

为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请可以应用于其中的示例性系统架构图；

图2根据本申请的文本纠错方法的一个实施例的流程图；

图3是根据本申请的文本纠错装置的一个实施例的结构示意图；

图4是根据本申请的计算机设备的一个实施例的结构示意图。

附图标记：文本纠错装置300、编码模块301、第一预测模块302、第二预测模块303以及替换模块304。

具体实施方式

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving PictureExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(MovingPictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。

需要说明的是，本申请实施例所提供的文本纠错方法一般由服务器/终端设备执行，相应地，文本纠错装置一般设置于服务器/终端设备中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

继续参考图2，示出了根据本申请的文本纠错的方法的一个实施例的流程图。所述的文本纠错方法，包括以下步骤：

步骤S201，获取待处理文本和历史输出文本，根据预设的预训练模型分别对所述待处理文本和所述历史输出文本进行编码，得到第一语义特征和第二语义特征；

在本实施例中，待处理文本为目标纠错的文本，预训练模型为预先设定的bert(Bidirectional Encoder Representations from Transformers)模型。获取待处理文本，根据预设的预训练模型对该待处理文本进行编码，其中，编码包括位置编码、嵌入编码和分类编码，根据预训练模型对待处理文本进行位置编码、嵌入编码和分类编码，之后将待处理文本分别经过位置编码、嵌入编码和分类编码得到的向量对应相加，即得到待处理文本对应的第一语义特征。

历史输出文本为预设纠错模型上一轮输出得到的纠错文本，其中，在对待处理文本进行第一轮纠错时，该历史输出文本则为原始输入文本，即待处理文本。获取历史输出文本，根据预训练模型对该历史输出文本进行编码，得到第二语义特征。

步骤S202，获取预设纠错模型，其中，所述预设纠错模型包括预设删除模型、预设掩码模型和预设插入预测模型，输入所述第一语义特征和所述第二语义特征至所述预设删除模型，计算得到目标删除字向量，将删除所述目标删除字向量后的第一语义特征作为第三语义特征；

在本实施例中，预设纠错模型为预先设定的纠错模型，该预设纠错模型包括预设删除模型、预设掩码模型和预设插入预测模型。该预设删除模型、预设掩码模型和预设插入预测模型均采用预先训练完成的transformer模型结构，根据不同的训练数据对分别对对应的基础transformer模型进行训练可以得到对应的预设模型。在得到预设纠错模型时，根据该预设纠错模型中的预设删除模型对第一语义特征的目标删除字向量进行预测并删除，得到删除该目标删除字向量之后的第一语义特征，即第三语义特征。

步骤S203，根据所述预设掩码模型对所述第三语义特征进行掩码预测，得到目标掩码位置，在所述第三语义特征的目标掩码位置插入预设的目标掩码，得到第四语义特征；

在本实施例中，预设掩码模型为预先设定的transformer预测模型，采用transformer模型解码器的结构，包括自注意力层和前向网络层。根据该预设掩码模型可以对第三语义特征的目标掩码位置进行预测。具体地，在得到第三语义特征时，根据该预设掩码模型的自注意力层对该第三语义特征进行计算，而后，将该自注意力层计算得到结果作为前向网络层的输入，根据该前向网络层输出得到目标掩码位置。获取预设的目标掩码，在该第三语义特征的目标掩码位置插入该目标掩码，插入目标掩码后的第三语义特征即为第四语义特征。其中，该目标掩码为预先设定的掩码标识，如mask。

步骤S204，输入所述第四语义特征至所述预设插入预测模型，计算得到目标插入向量，将所述目标插入向量替换所述第四语义特征中的目标掩码，得到第五语义特征，查找所述第五语义特征对应的词表，得到所述待处理文本对应的目标纠错文本。

在本实施例中，在得到第四语义特征时，输入该第四语义特征至预设插入预测模型，该预设插入预测模型同样为预先设定的transformer预测模型。根据该预设插入预测模型可以对目标插入向量进行预测，使得得到的句子完整。具体地，在得到第四语义特征时，输入该第四语义特征至预设插入预测模型中，经过预设插入预测模型预测得到目标插入向量；之后，将该目标插入向量替换第四语义特征中的目标掩码，得到替换后的第五语义特征。获取预设的词表，根据该词表查找得到该第五语义特征对应的文本，即得到该待处理文本对应的目标纠错文本。

需要强调的是，为进一步保证上述目标纠错文本的私密和安全性，上述目标纠错文本还可以存储于一区块链的节点中。

本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

本申请实现了对文本的非自回归纠错，使得通过模型对输入的文本能够进行整体文本的解码输出，而无需对文本的每个字依次进行解码输出，提高了文本纠错效率以及正确率。

在本实施例的一些可选的实现方式中，上述所述根据所述预设掩码模型对所述第三语义特征进行掩码预测，得到目标掩码位置的步骤包括：

所述预设掩码模型包括两个自注意力层和两个前向网络层，根据所述自注意力层和所述前向网络层对所述第三语义特征进行计算，得到所述第三语义特征的目标掩码位置。

在本实施例中，预设掩码模型采用transformer模型解码器的结构，该解码器包括两个自注意力层和两个前向网络层。在得到第三语义特征时，根据第一个自注意力层对该第三语义特征进行计算，得到第一向量；之后，输入该第一向量至第一个自注意力层，得到第二向量。而后，将该第二向量作为第二个自注意力层的输入，经过该第二个注意力层计算得到对应的输出结果；输入该输出结果至第二个前向网络层，根据该第二个前向网络层得到目标掩码位置。

本实施例通过预设掩码模型对目标掩码位置进行预测，使得通过该预设掩码模型能够对目标掩码位置进行精确预测，进一步提高了掩码预测的准确性。

在本实施例的一些可选的实现方式中，在上述获取预设纠错模型的步骤之前，还包括：

创建基础纠错模型，所述基础纠错模型包括基础删除模型、基础掩码模型和基础插入预测模型；

采集多组纠错前文本和纠错后文本作为测试文本，其中，所述纠错后文本包括标准删除文本、标准掩码文本和标准插入文本；

根据所述纠错前文本和所述纠错后文本对所述基础纠错模型进行训练，计算得到总损失函数；

在所述总损失函数收敛时，确定所述基础纠错模型训练完成，将训练完成的基础删除模型、训练完成的基础掩码模型和训练完成的基础插入预测模型分别作为所述预设纠错模型的预设删除模型、预设掩码模型和预设插入预测模型。

在本实施例中，在根据预设纠错模型对文本进行纠错之前，需要创建基础纠错模型，根据训练数据对该基础纠错模型进行训练，从而使得训练完成的基础纠错模型能够对文本进行纠错。具体地，基础纠错模型包括基础删除模型、基础掩码模型和基础插入预测模型。采集多组纠错前文本和纠错后文本作为测试文本，其中，纠错后文本包括标准删除文本、标准掩码文本和标准插入文本。在本实施例中，可以根据该测试文本对基础删除模型、基础掩码模型和基础插入预测模型分别进行预测，即根据测试文本中的纠错前文本和标准删除文本对基础删除模型单独进行训练，计算得到第一损失函数；根据测试文本中的纠错前文本和标准掩码文本对基础掩码模型进行单独训练，计算得到第二损失函数；根据测试文本中的纠错前文本和标准插入文本对基础插入预测模型进行单独训练，计算得到第三损失函数。最后，根据该第一损失函数、第二损失函数和第三损失函数计算得到总损失函数，该总损失函数收敛时，确定基础删除模型、基础掩码模型和基础插入预测模型训练完成，得到预设删除模型、预设掩码模型和预设插入预测模型。除此之外，亦可根据测试文本对基础纠错模型整体进行训练，得到最终的总损失函数，根据该总损失函数对基础纠错模型的参数进行调整。

本实施例通过对基础纠错模型进行训练，使得通过训练完成的纠错模型能够对待处理文本进行精确纠错，提高了文本纠错的准确率和纠错效率。

在本实施例的一些可选的实现方式中，上述根据所述纠错前文本和所述纠错后文本对所述基础纠错模型进行训练，计算得到总损失函数的步骤包括：

输入所述纠错前文本和所述纠错后文本至所述基础删除模型，经过所述基础掩码模型和所述基础插入预测模型，计算得到所述基础删除模型对应的第一损失函数、所述基础掩码模型对应的第二损失函数和所述基础插入预测模型对应的第三损失函数；

根据所述第一损失函数、所述第二损失函数和所述第三损失函数计算得到所述总损失函数。

在本实施例中，在得到纠错前文本时，计算该纠错前文本的语义特征，将该语义特征输入至该基础纠错模型的基础删除模型，之后经过基础掩码模型和基础插入预测模型，最终得到预测纠错文本。具体地，将该语义特征输入至基础删除模型，输出得到预测删除文本，根据该预测删除文本和纠错后文本中的标准删除文本，可以计算得到该基础删除模型的第一损失函数；之后将该预测删除文本输入至基础掩码模型中，得到预测掩码文本，根据该预测掩码文本和纠错后文本中的标准掩码文本，计算得到该基础掩码模型的第二损失函数；最后，将该预测掩码文本输入至基础插入预测模型中，输出得到预测插入文本，根据该预测插入文本和纠错后文本中的标准插入文本，计算得到该基础插入预测模型的第三损失函数。根据该第一损失函数、第二损失函数和第三损失函数即可计算得到该基础纠错模型的总损失函数。

本实施例通过纠错前文本和纠错后文本对基础纠错模型中的模型进行训练，使得通过训练后的基础纠错模型能够对文本进行精确纠错，提高了模型训练效率和文本纠错效率。

在本实施例的一些可选的实现方式中，上述输入所述纠错前文本对应的语义特征至所述基础删除模型，经过所述基础掩码模型和所述基础插入预测模型，计算得到所述基础删除模型对应的第一损失函数、所述基础掩码模型对应的第二损失函数和所述基础插入预测模型对应的第三损失函数的步骤包括：

输入所述纠错前文本对应的语义特征至所述基础删除模型中，根据所述基础删除模型对所述纠错前文本进行目标删除字的预测，得到预测删除文本；

根据所述预测删除文本和所述标准删除文本计算所述基础删除模型的损失函数，并将所述基础删除模型的损失函数作为第一损失函数；

确定所述预测删除文本与所述标准删除文本是否一致；在所述目标删除文本与所述标准删除文本一致时，将所述预测删除文本输入至基础掩码模型，根据所述基础掩码模型对所述预测删除文本的掩码位置进行预测，得到预测掩码文本；

根据所述预测掩码文本和所述标准掩码文本计算所述基础掩码模型的损失函数，并将所述基础掩码模型的损失函数作为第二损失函数；

确定所述预测掩码文本与所述标准掩码文本是否一致，在所述预测掩码文本与所述标准掩码文本一致时，根据所述基础插入预测模型对所述预测掩码文本进行文本预测，得到预测插入文本；

根据所述预测插入文本和所述标准插入文本计算所述基础插入预测模型的损失函数，并将所述基础插入预测模型的损失函数作为第三损失函数。

在本实施例中，将该测试文本中的纠错前文本经过预训练模型计算后得到的语义特征输入至基础删除模型中，得到预测删除文本，根据该预测删除文本和该纠错前文本对应的标准删除文本，计算得到该基础删除模型的第一损失函数。之后，确定该预测删除文本和标准删除文本是否一致，在该预测删除文本与标准删除文本一致时，将该预测删除文本输入至基础掩码模型中，根据该基础掩码模型对该预测删除文本的掩码位置进行预测，得到预测掩码文本；根据该预测掩码文本和该纠错前文本对应的标准掩码文本计算得到该基础掩码模型的第二损失函数。而后，确定该预测掩码文本与标准掩码文本是否一致，在该预测掩码文本与标准掩码文本一致时，将该预测掩码文本输入至基础插入预测模型中，根据该基础插入预测模型对该预测掩码文本进行预测，得到预测插入文本；根据该预测插入文本和标准插入文本进行计算得到该基础插入预测模型的第三损失函数。最后，对该第一损失函数、第二损失函数和第三损失函数进行求和，计算得到基础纠错模型的总损失函数。

本实施例通过纠错前文本和纠错后文本对基础纠错模型中的模型进行统一训练，进一步提高了模型训练效率。

在本实施例的一些可选的实现方式中，上述根据所述第一损失函数、所述第二损失函数和所述第三损失函数计算得到所述总损失函数的步骤包括：

分别获取所述第一损失函数、所述第二损失函数和所述第三损失函数的第一预设权重、第二预设权重和第三预设权重；

根据所述第一预设权重、所述第二预设权重和所述第三预设权重对所述第一损失函数、所述第二损失函数和所述第三损失函数进行加权求和，计算得到所述总损失函数。

在本实施例中，第一损失函数为根据基础删除模型计算得到损失，第二损失函数为根据基础掩码模型计算得到的损失，第三损失函数为根据基础插入预测模型计算得到的损失。该第一损失函数、第二损失函数和第三损失函数分别对应不同的权重值，第一损失函数对应第一预设权重，第二损失函数对应第二预设权重，第三损失函数对应第三预设权重。获取该第一预设权重、第二预设权重和第三预设权重，根据该第一预设权重、第二预设权重和第三预设权重对第一损失函数、第二损失函数和第三损失函数进行加权求和，计算得到总损失函数。

本实施例通过对总损失函数进行计算，使得根据该总损失函数能够对模型进行精确训练，进一步提高了模型对文本的纠错准确率，降低了模型纠错的误差。

在本实施例的一些可选的实现方式中，在上述根据预设的预训练模型分别对所述待处理文本和所述历史输出文本进行编码，得到第一语义特征和第二语义特征的步骤之后，还包括：

检测所述待处理文本的来源，在所述待处理文本的来源为语音数据时，获取所述待处理文本的拼音编码；

将所述第一语义特征和所述拼音编码进行拼接，得到第一拼接向量，将所述历史拼音编码和所述第二语义特征进行拼接，得到第二拼接向量；

获取预设纠错模型，其中，所述预设纠错模型包括预设删除模型、预设掩码模型和预设插入预测模型，输入所述第一拼接向量和所述第二拼接向量至所述预设删除模型，计算得到目标删除字向量，将删除所述目标删除字向量后的第一拼接向量作为第三拼接向量；

根据所述预设掩码模型对所述第三拼接向量进行掩码预测，得到目标掩码位置，在所述第三拼接向量的目标掩码位置插入预设的目标掩码，得到第四拼接向量；

输入所述第四拼接向量至所述预设插入预测模型，得到目标插入向量，将所述目标插入向量替换所述第四拼接向量中的目标掩码，得到第五拼接向量，查找所述第五拼接向量对应的词表，得到所述待处理文本对应的拼音纠错文本。

在本实施例中，为了避免由于语音识别或发音问题等导致的文本纠错不准确的问题，在文本纠错的过程中可以进一步地结合待处理文本的拼音特征，实现对待处理文本的精确纠错。具体地，在得到待处理文本对应的第一语义特征和历史输出文本的第二语义特征之后，确定该待处理文本的来源是否为语音数据，若该待处理文本的来源为语音数据，获取该待处理文本的拼音编码。将该第一语义特征和拼音编码进行拼接，得到第一拼接向量；将该第二语义特征和拼音编码进行拼接，得到第二拼接向量。

而后，获取预设纠错模型，该预设纠错模型包括预设删除模型、预设掩码模型和预设插入预测模型，根据预设删除模型对该第一拼接向量的目标删除字向量进行预测，得到删除目标删除字向量后的第三拼接向量。输入该第三拼接向量至预设掩码模型，根据该预设掩码模型对第三拼接向量进行掩码预测，得到目标掩码位置，在第三拼接向量的目标掩码位置插入目标掩码，得到第四拼接向量。最后，输入该第四拼接向量至预设插入预测模型，得到目标插入向量，将该目标插入向量替换该第四拼接向量中的目标掩码，得到替换后的第五拼接向量，查找该第五拼接向量对应的词表，即得到该待处理文本对应的拼音纠错文本。

本实施例通过在文本纠错过程中，加入文本的拼音特征，实现了对文本更精确地纠错，避免了由于语音识别或者其他情况导致的文本纠错不准确的问题，进一步提高了文本纠错的准确率。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，该计算机可读指令可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

进一步参考图3，作为对上述图2所示方法的实现，本申请提供了一种文本纠错装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图3所示，本实施例所述的文本纠错装置300包括：编码模块301、第一预测模块302、第二预测模块303以及替换模块304。其中：

编码模块301，用于获取待处理文本和历史输出文本，根据预设的预训练模型分别对所述待处理文本和所述历史输出文本进行编码，得到第一语义特征和第二语义特征；

在本实施例中，待处理文本为目标纠错的文本，预训练模型为预先设定的bert(Bidirectional Encoder Representations from Transformers)模型。获取待处理文本，根据预设的预训练模型对该待处理文本进行编码，其中，编码包括位置编码、嵌入编码和分类编码，根据预训练模型对待处理文本进行位置编码、嵌入编码和分类编码，之后将待处理文本分别经过位置编码、嵌入编码和分类编码得到的向量对应相加，即得到待处理文本对应的第一语义特征。

历史输出文本为预设纠错模型上一轮输出得到的纠错文本，其中，在对待处理文本进行第一轮纠错时，该历史输出文本则为原始输入文本，即待处理文本。获取历史输出文本，根据预训练模型对该历史输出文本进行编码，得到第二语义特征。

第一预测模块302，用于获取预设纠错模型，其中，所述预设纠错模型包括预设删除模型、预设掩码模型和预设插入预测模型，输入所述第一语义特征和所述第二语义特征至所述预设删除模型，计算得到目标删除字向量，将删除所述目标删除字向量后的第一语义特征作为第三语义特征；

在本实施例中，预设纠错模型为预先设定的纠错模型，该预设纠错模型包括预设删除模型、预设掩码模型和预设插入预测模型。该预设删除模型、预设掩码模型和预设插入预测模型均采用预先训练完成的transformer模型结构，根据不同的训练数据对分别对对应的基础transformer模型进行训练可以得到对应的预设模型。在得到预设纠错模型时，根据该预设纠错模型中的预设删除模型对第一语义特征的目标删除字向量进行预测并删除，得到删除该目标删除字向量之后的第一语义特征，即第三语义特征。

第二预测模块303，用于根据所述预设掩码模型对所述第三语义特征进行掩码预测，得到目标掩码位置，在所述第三语义特征的目标掩码位置插入预设的目标掩码，得到第四语义特征；

在本实施例的一些可选的实现方式中，第二预测模块303包括：

掩码预测单元，用于所述预设掩码模型包括两个自注意力层和两个前向网络层，根据所述自注意力层和所述前向网络层对所述第三语义特征进行计算，得到所述第三语义特征的目标掩码位置。

在本实施例中，预设掩码模型为预先设定的transformer预测模型，采用transformer模型解码器的结构，包括自注意力层和前向网络层。根据该预设掩码模型可以对第三语义特征的目标掩码位置进行预测。具体地，在得到第三语义特征时，根据该预设掩码模型的自注意力层对该第三语义特征进行计算，而后，将该自注意力层计算得到结果作为前向网络层的输入，根据该前向网络层输出得到目标掩码位置。获取预设的目标掩码，在该第三语义特征的目标掩码位置插入该目标掩码，插入目标掩码后的第三语义特征即为第四语义特征。其中，该目标掩码为预先设定的掩码标识，如mask。

替换模块304，用于输入所述第四语义特征至所述预设插入预测模型，计算得到目标插入向量，将所述目标插入向量替换所述第四语义特征中的目标掩码，得到第五语义特征，查找所述第五语义特征对应的词表，得到所述待处理文本对应的目标纠错文本。

在本实施例中，在得到第四语义特征时，输入该第四语义特征至预设插入预测模型，该预设插入预测模型同样为预先设定的transformer预测模型。根据该预设插入预测模型可以对目标插入向量进行预测，使得得到的句子完整。具体地，在得到第四语义特征时，输入该第四语义特征至预设插入预测模型中，经过预设插入预测模型预测得到目标插入向量；之后，将该目标插入向量替换第四语义特征中的目标掩码，得到替换后的第五语义特征。获取预设的词表，根据该词表查找得到该第五语义特征对应的文本，即得到该待处理文本对应的目标纠错文本。

需要强调的是，为进一步保证上述目标纠错文本的私密和安全性，上述目标纠错文本还可以存储于一区块链的节点中。

本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

在本实施例的一些可选的实现方式中，上述文本纠错装置300还包括：

创建模块，用于创建基础纠错模型，所述基础纠错模型包括基础删除模型、基础掩码模型和基础插入预测模型；

采集模块，用于采集多组纠错前文本和纠错后文本作为测试文本，其中，所述纠错后文本包括标准删除文本、标准掩码文本和标准插入文本；

训练模块，用于根据所述纠错前文本和所述纠错后文本对所述基础纠错模型进行训练，计算得到总损失函数；

确认模块，用于在所述总损失函数收敛时，确定所述基础纠错模型训练完成，将训练完成的基础删除模型、训练完成的基础掩码模型和训练完成的基础插入预测模型分别作为所述预设纠错模型的预设删除模型、预设掩码模型和预设插入预测模型。

在本实施例中，在根据预设纠错模型对文本进行纠错之前，需要创建基础纠错模型，根据训练数据对该基础纠错模型进行训练，从而使得训练完成的基础纠错模型能够对文本进行纠错。具体地，基础纠错模型包括基础删除模型、基础掩码模型和基础插入预测模型。采集多组纠错前文本和纠错后文本作为测试文本，其中，纠错后文本包括标准删除文本、标准掩码文本和标准插入文本。在本实施例中，可以根据该测试文本对基础删除模型、基础掩码模型和基础插入预测模型分别进行预测，即根据测试文本中的纠错前文本和标准删除文本对基础删除模型单独进行训练，计算得到第一损失函数；根据测试文本中的纠错前文本和标准掩码文本对基础掩码模型进行单独训练，计算得到第二损失函数；根据测试文本中的纠错前文本和标准插入文本对基础插入预测模型进行单独训练，计算得到第三损失函数。最后，根据该第一损失函数、第二损失函数和第三损失函数计算得到总损失函数，该总损失函数收敛时，确定基础删除模型、基础掩码模型和基础插入预测模型训练完成，得到预设删除模型、预设掩码模型和预设插入预测模型。除此之外，亦可根据测试文本对基础纠错模型整体进行训练，得到最终的总损失函数，根据该总损失函数对基础纠错模型的参数进行调整。

在本实施例的一些可选的实现方式中，训练模块包括：

训练单元，用于输入所述纠错前文本和所述纠错后文本至所述基础删除模型，经过所述基础掩码模型和所述基础插入预测模型，计算得到所述基础删除模型对应的第一损失函数、所述基础掩码模型对应的第二损失函数和所述基础插入预测模型对应的第三损失函数；

第一计算单元，用于根据所述第一损失函数、所述第二损失函数和所述第三损失函数计算得到所述总损失函数。

在本实施例的一些可选的实现方式中，训练单元包括：

预测子单元，用于输入所述纠错前文本对应的语义特征至所述基础删除模型中，根据所述基础删除模型对所述纠错前文本进行目标删除字的预测，得到预测删除文本；

第二计算单元，用于根据所述预测删除文本和所述标准删除文本计算所述基础删除模型的损失函数，并将所述基础删除模型的损失函数作为第一损失函数；

第一确认单元，用于确定所述预测删除文本与所述标准删除文本是否一致，在所述目标删除文本与所述标准删除文本一致时，将所述预测删除文本输入至所述基础掩码模型，根据所述基础掩码模型对所述预测删除文本的掩码位置进行预测，得到预测掩码文本；

第三计算单元，用于根据所述预测掩码文本和所述标准掩码文本计算所述基础掩码模型的损失函数，并将所述基础掩码模型的损失函数作为第二损失函数；

第二确认单元，用于确定所述预测掩码文本与所述标准掩码文本是否一致，在所述预测掩码文本与所述标准掩码文本一致时，根据所述基础插入预测模型对所述预测掩码文本进行文本预测，得到预测插入文本；

第四计算单元，用于根据所述预测插入文本和所述标准插入文本计算所述基础插入预测模型的损失函数，并将所述基础插入预测模型的损失函数作为第三损失函数。

在本实施例的一些可选的实现方式中，第一计算单元包括：

获取子单元，用于分别获取所述第一损失函数、所述第二损失函数和所述第三损失函数的第一预设权重、第二预设权重和第三预设权重；

第五计算单元，用于根据所述第一预设权重、所述第二预设权重和所述第三预设权重对所述第一损失函数、所述第二损失函数和所述第三损失函数进行加权求和，计算得到所述总损失函数。

在本实施例的一些可选的实现方式中，上述文本纠错装置300还包括：

检查模块，用于检测所述待处理文本的来源，在所述待处理文本的来源为语音数据时，获取所述待处理文本的拼音编码；

拼接模块，用于将所述第一语义特征和所述拼音编码进行拼接，得到第一拼接向量，将所述历史拼音编码和所述第二语义特征进行拼接，得到第二拼接向量；

获取模块，用于获取预设纠错模型，其中，所述预设纠错模型包括预设删除模型、预设掩码模型和预设插入预测模型，输入所述第一拼接向量和所述第二拼接向量至所述预设删除模型，计算得到目标删除字向量，将删除所述目标删除字向量后的第一拼接向量作为第三拼接向量；

第三预测模块，用于根据所述预设掩码模型对所述第三拼接向量进行掩码预测，得到目标掩码位置，在所述第三拼接向量的目标掩码位置插入预设的目标掩码，得到第四拼接向量；

第四预测模块，用于输入所述第四拼接向量至所述预设插入预测模型，得到目标插入向量，将所述目标插入向量替换所述第四拼接向量中的目标掩码，得到第五拼接向量，查找所述第五拼接向量对应的词表，得到所述待处理文本对应的拼音纠错文本。

在本实施例中，为了避免由于语音识别或发音问题等导致的文本纠错不准确的问题，在文本纠错的过程中可以进一步地结合待处理文本的拼音特征，实现对待处理文本的精确纠错。具体地，在得到待处理文本对应的第一语义特征和历史输出文本的第二语义特征之后，确定该待处理文本的来源是否为语音数据，若该待处理文本的来源为语音数据，获取该待处理文本的拼音编码。将该第一语义特征和拼音编码进行拼接，得到第一拼接向量；将该第二语义特征和拼音编码进行拼接，得到第二拼接向量。

而后，获取预设纠错模型，该预设纠错模型包括预设删除模型、预设掩码模型和预设插入预测模型，根据预设删除模型对该第一拼接向量的目标删除字向量进行预测，得到删除目标删除字向量后的第三拼接向量。输入该第三拼接向量至预设掩码模型，根据该预设掩码模型对第三拼接向量进行掩码预测，得到目标掩码位置，在第三拼接向量的目标掩码位置插入目标掩码，得到第四拼接向量。最后，输入该第四拼接向量至预设插入预测模型，得到目标插入向量，将该目标插入向量替换该第四拼接向量中的目标掩码，得到替换后的第五拼接向量，查找该第五拼接向量对应的词表，即得到该待处理文本对应的拼音纠错文本。

本实施例提出的文本纠错装置，实现了对文本的非自回归纠错，使得通过模型对输入的文本能够进行整体文本的解码输出，而无需对文本的每个字依次进行解码输出，提高了文本纠错效率以及正确率。

为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。

所述计算机设备6包括通过系统总线相互通信连接存储器61、处理器62、网络接口63。需要指出的是，图中仅示出了具有组件61-63的计算机设备6，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。

所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

所述存储器61至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器61可以是所述计算机设备6的内部存储单元，例如该计算机设备6的硬盘或内存。在另一些实施例中，所述存储器61也可以是所述计算机设备6的外部存储设备，例如该计算机设备6上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器61还可以既包括所述计算机设备6的内部存储单元也包括其外部存储设备。本实施例中，所述存储器61通常用于存储安装于所述计算机设备6的操作系统和各类应用软件，例如文本纠错方法的计算机可读指令等。此外，所述存储器61还可以用于暂时地存储已经输出或者将要输出的各类数据。

所述处理器62在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器62通常用于控制所述计算机设备6的总体操作。本实施例中，所述处理器62用于运行所述存储器61中存储的计算机可读指令或者处理数据，例如运行所述文本纠错方法的计算机可读指令。

所述网络接口63可包括无线网络接口或有线网络接口，该网络接口63通常用于在所述计算机设备6与其他电子设备之间建立通信连接。

本实施例提出的计算机设备，实现了对文本的非自回归纠错，使得通过模型对输入的文本能够进行整体文本的解码输出，而无需对文本的每个字依次进行解码输出，提高了文本纠错效率以及正确率。

本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的文本纠错方法的步骤。

本实施例提出的计算机可读存储介质，实现了对文本的非自回归纠错，使得通过模型对输入的文本能够进行整体文本的解码输出，而无需对文本的每个字依次进行解码输出，提高了文本纠错效率以及正确率。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (6)

1.一种文本纠错方法，其特征在于，包括下述步骤：

获取待处理文本和历史输出文本，根据预设的预训练模型分别对所述待处理文本和所述历史输出文本进行编码，得到第一语义特征和第二语义特征；

获取预设纠错模型，其中，所述预设纠错模型包括预设删除模型、预设掩码模型和预设插入预测模型，输入所述第一语义特征和所述第二语义特征至所述预设删除模型，计算得到目标删除字向量，将删除所述目标删除字向量后的第一语义特征作为第三语义特征；

根据所述预设掩码模型对所述第三语义特征进行掩码预测，得到目标掩码位置，在所述第三语义特征的目标掩码位置插入预设的目标掩码，得到第四语义特征；

输入所述第四语义特征至所述预设插入预测模型，计算得到目标插入向量，将所述目标插入向量替换所述第四语义特征中的目标掩码，得到第五语义特征，查找所述第五语义特征对应的词表，得到所述待处理文本对应的目标纠错文本；

在所述获取预设纠错模型的步骤之前，还包括：

创建基础纠错模型，所述基础纠错模型包括基础删除模型、基础掩码模型和基础插入预测模型；

采集多组纠错前文本和纠错后文本作为测试文本，其中，所述纠错后文本包括标准删除文本、标准掩码文本和标准插入文本；

根据所述纠错前文本和所述纠错后文本对所述基础纠错模型进行训练，计算得到总损失函数；

在所述总损失函数收敛时，确定所述基础纠错模型训练完成，将训练完成的基础删除模型、训练完成的基础掩码模型和训练完成的基础插入预测模型分别作为所述预设纠错模型的预设删除模型、预设掩码模型和预设插入预测模型；

所述根据所述纠错前文本和所述纠错后文本对所述基础纠错模型进行训练，计算得到总损失函数的步骤包括：

输入所述纠错前文本和所述纠错后文本至所述基础删除模型，经过所述基础掩码模型和所述基础插入预测模型，计算得到所述基础删除模型对应的第一损失函数、所述基础掩码模型对应的第二损失函数和所述基础插入预测模型对应的第三损失函数；

根据所述第一损失函数、所述第二损失函数和所述第三损失函数计算得到所述总损失函数；

所述输入所述纠错前文本对应的语义特征至所述基础删除模型，经过所述基础掩码模型和所述基础插入预测模型，计算得到所述基础删除模型对应的第一损失函数、所述基础掩码模型对应的第二损失函数和所述基础插入预测模型对应的第三损失函数的步骤包括：

输入所述纠错前文本对应的语义特征至所述基础删除模型中，根据所述基础删除模型对所述纠错前文本进行目标删除字的预测，得到预测删除文本；

根据所述预测删除文本和所述标准删除文本计算所述基础删除模型的损失函数，并将所述基础删除模型的损失函数作为第一损失函数；

确定所述预测删除文本与所述标准删除文本是否一致，在所述预测删除文本与所述标准删除文本一致时，将所述预测删除文本输入至所述基础掩码模型，根据所述基础掩码模型对所述预测删除文本的掩码位置进行预测，得到预测掩码文本；

根据所述预测掩码文本和所述标准掩码文本计算所述基础掩码模型的损失函数，并将所述基础掩码模型的损失函数作为第二损失函数；

确定所述预测掩码文本与所述标准掩码文本是否一致，在所述预测掩码文本与所述标准掩码文本一致时，根据所述基础插入预测模型对所述预测掩码文本进行文本预测，得到预测插入文本；

根据所述预测插入文本和所述标准插入文本计算所述基础插入预测模型的损失函数，并将所述基础插入预测模型的损失函数作为第三损失函数；

所述根据所述第一损失函数、所述第二损失函数和所述第三损失函数计算得到所述总损失函数的步骤包括：

分别获取所述第一损失函数、所述第二损失函数和所述第三损失函数的第一预设权重、第二预设权重和第三预设权重；

根据所述第一预设权重、所述第二预设权重和所述第三预设权重对所述第一损失函数、所述第二损失函数和所述第三损失函数进行加权求和，计算得到所述总损失函数。

2.根据权利要求1所述的文本纠错方法，其特征在于，所述根据所述预设掩码模型对所述第三语义特征进行掩码预测，得到目标掩码位置的步骤包括：

所述预设掩码模型包括两个自注意力层和两个前向网络层，根据所述自注意力层和所述前向网络层对所述第三语义特征进行计算，得到所述第三语义特征的目标掩码位置。

3.根据权利要求1所述的文本纠错方法，其特征在于，在所述根据预设的预训练模型分别对所述待处理文本和所述历史输出文本进行编码，得到第一语义特征和第二语义特征的步骤之后，还包括：

检测所述待处理文本的来源，在所述待处理文本的来源为语音数据时，获取所述待处理文本的拼音编码；

将所述第一语义特征和所述拼音编码进行拼接，得到第一拼接向量，将历史拼音编码和所述第二语义特征进行拼接，得到第二拼接向量；

获取预设纠错模型，其中，所述预设纠错模型包括预设删除模型、预设掩码模型和预设插入预测模型，输入所述第一拼接向量和所述第二拼接向量至所述预设删除模型，计算得到目标删除字向量，将删除所述目标删除字向量后的第一拼接向量作为第三拼接向量；

根据所述预设掩码模型对所述第三拼接向量进行掩码预测，得到目标掩码位置，在所述第三拼接向量的目标掩码位置插入预设的目标掩码，得到第四拼接向量；

输入所述第四拼接向量至所述预设插入预测模型，得到目标插入向量，将所述目标插入向量替换所述第四拼接向量中的目标掩码，得到第五拼接向量，查找所述第五拼接向量对应的词表，得到所述待处理文本对应的拼音纠错文本。

4.一种文本纠错装置，其特征在于，包括：

编码模块，用于获取待处理文本和历史输出文本，根据预设的预训练模型分别对所述待处理文本和所述历史输出文本进行编码，得到第一语义特征和第二语义特征；

第一预测模块，用于获取预设纠错模型，其中，所述预设纠错模型包括预设删除模型、预设掩码模型和预设插入预测模型，输入所述第一语义特征和所述第二语义特征至所述预设删除模型，计算得到目标删除字向量，将删除所述目标删除字向量后的第一语义特征作为第三语义特征；

第二预测模块，用于根据所述预设掩码模型对所述第三语义特征进行掩码预测，得到目标掩码位置，在所述第三语义特征的目标掩码位置插入预设的目标掩码，得到第四语义特征；

替换模块，用于输入所述第四语义特征至所述预设插入预测模型，计算得到目标插入向量，将所述目标插入向量替换所述第四语义特征中的目标掩码，得到第五语义特征，查找所述第五语义特征对应的词表，得到所述待处理文本对应的目标纠错文本；

所述文本纠错装置还包括：

创建模块，用于创建基础纠错模型，所述基础纠错模型包括基础删除模型、基础掩码模型和基础插入预测模型；

采集模块，用于采集多组纠错前文本和纠错后文本作为测试文本，其中，所述纠错后文本包括标准删除文本、标准掩码文本和标准插入文本；

训练模块，用于根据所述纠错前文本和所述纠错后文本对所述基础纠错模型进行训练，计算得到总损失函数；

确认模块，用于在所述总损失函数收敛时，确定所述基础纠错模型训练完成，将训练完成的基础删除模型、训练完成的基础掩码模型和训练完成的基础插入预测模型分别作为所述预设纠错模型的预设删除模型、预设掩码模型和预设插入预测模型；

所述训练模块包括：

训练单元，用于输入所述纠错前文本和所述纠错后文本至所述基础删除模型，经过所述基础掩码模型和所述基础插入预测模型，计算得到所述基础删除模型对应的第一损失函数、所述基础掩码模型对应的第二损失函数和所述基础插入预测模型对应的第三损失函数；

第一计算单元，用于根据所述第一损失函数、所述第二损失函数和所述第三损失函数计算得到所述总损失函数；

所述训练单元包括：

预测子单元，用于输入所述纠错前文本对应的语义特征至所述基础删除模型中，根据所述基础删除模型对所述纠错前文本进行目标删除字的预测，得到预测删除文本；

第二计算单元，用于根据所述预测删除文本和所述标准删除文本计算所述基础删除模型的损失函数，并将所述基础删除模型的损失函数作为第一损失函数；

第一确认单元，用于确定所述预测删除文本与所述标准删除文本是否一致，在所述预测删除文本与所述标准删除文本一致时，将所述预测删除文本输入至所述基础掩码模型，根据所述基础掩码模型对所述预测删除文本的掩码位置进行预测，得到预测掩码文本；

第三计算单元，用于根据所述预测掩码文本和所述标准掩码文本计算所述基础掩码模型的损失函数，并将所述基础掩码模型的损失函数作为第二损失函数；

第二确认单元，用于确定所述预测掩码文本与所述标准掩码文本是否一致，在所述预测掩码文本与所述标准掩码文本一致时，根据所述基础插入预测模型对所述预测掩码文本进行文本预测，得到预测插入文本；

第四计算单元，用于根据所述预测插入文本和所述标准插入文本计算所述基础插入预测模型的损失函数，并将所述基础插入预测模型的损失函数作为第三损失函数；

所述第一计算单元包括：

获取子单元，用于分别获取所述第一损失函数、所述第二损失函数和所述第三损失函数的第一预设权重、第二预设权重和第三预设权重；

第五计算单元，用于根据所述第一预设权重、所述第二预设权重和所述第三预设权重对所述第一损失函数、所述第二损失函数和所述第三损失函数进行加权求和，计算得到所述总损失函数。

5.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至3中任一项所述的文本纠错方法的步骤。

6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至3中任一项所述的文本纠错方法的步骤。