CN110688822A - 标点符号的添加方法及设备、介质 - Google Patents

Abstract

标点符号的添加方法及设备、介质，所述方法包括：获取待添加标点符号的文本；将所述待添加标点符号的文本输入完成迁移学习训练的标点符号标注模型，采用所述标点符号标注模型预测所述待添加标点符号的文本中的标点符号待添加位置及对应标点符号类型，并在所述标点符号待添加位置的前后分词单元处，采用所述标点符号类型对应的标签组合进行标注，输出对应的标点符号标注结果；根据所述标点符号标注结果，对所述待添加标点符号的文本添加相应的标点符号；其中，所述标点符号标注模型包括预训练的语言子模型，所述语言子模型为具有时间序列的神经网络模型。上述方案可以提高标点符号预测的准确率，满足标点符号添加的需求。

Description

标点符号的添加方法及设备、介质

技术领域

本发明实施例涉及计算机自然语言处理技术领域，尤其涉及一种标点符号的添加方法及设备、介质。

背景技术

现有的标点符号恢复的方案通常采用序列标注的方式，主要应用于恢复语音识别得到的文本的标点符号，一般只能增加简单的标点符号，如：逗号、句号。使用这种方式添加的标点，一方面准确度较低、泛化能力差；另一方面标注的标点符号丰富性差，给人造成很差的阅读体验。

随着深度学习技术的不断发展，可以采用经过训练学习的神经网络模型预测语音识别得到的文本的标点符号，提高准确度。然而，现有训练方法获得的神经网络模型的召回率较低、泛化能力弱以及通用性差，无法满足多变的标点符号预测需求。

发明内容

有鉴于此，本发明实施例的一个方面，提供了一种标点符号的添加方法及设备、介质，提高标点符号预测的准确率，满足标点符号添加的需求。

本发明实施例提供了一种标点符号的添加方法，所述方法包括：

获取待添加标点符号的文本；将所述待添加标点符号的文本输入完成迁移学习训练的标点符号标注模型，采用所述标点符号标注模型预测所述待添加标点符号的文本中的标点符号待添加位置及对应标点符号类型，并在所述标点符号待添加位置的前后分词单元处，采用所述标点符号类型对应的标签组合进行标注，输出对应的标点符号标注结果；根据所述标点符号标注结果，对所述待添加标点符号的文本添加相应的标点符号；其中，所述标点符号标注模型包括预训练的语言子模型，所述语言子模型为具有时间序列的神经网络模型。

可选地，所述在所述标点符号待添加位置的前后分词单元处，采用所述标点符号类型对应的标签组合进行标注，包括：根据预设的第一标点符号集合，识别所述标点符号类型对应的标点符号；根据预设的标点符号位置标签集合，对所述标点符号待添加位置的前后分词单元处采用所述标点符号对应的标签组合进行标注。

可选地，所述待添加标点符号的文本包括空位补齐符号；所述根据预设的标点符号位置标签集合，对所述标点符号待添加位置的前后分词单元处采用所述标点符号对应的标签组合进行标注，包括以下至少一种：当所述标点符号待添加位置的前后均有分词单元时，根据所述标点符号位置标签集合，对所述标点符号待添加位置的前后分词单元处，采用所述标点符号对应的标签组合进行标注；当所述标点符号待添加位置之前或之后有一处为空位补齐符号时，根据所述标点符号位置标签集合，对所述标点符号待添加位置之后或之前的分词单元处及之前或之后的空位补齐符号，采用所述标点符号对应的标签组合进行标注。

可选地，所述根据所述标点符号标注结果，对所述待添加标点符号的文本添加相应的标点符号，包括以下至少一种：当所述待添加标点符号的文本中的前后两个分词单元处分别标注相同标点符号对应的标签组合时，在这两个分词单元中间添加所述标点符号；当所述待添加标点符号的文本中的空位补齐符号和其相邻的分词单元处分别标注相同标点符号对应的标签组合时，在所述空位补齐符号和其相邻的分词单元中间添加对应的标点符号。

可选地，所述标点符号位置标签集合包括：设置在各个标点符号待添加位置之前的分词单元处的起始位置标签、设置在各个标点符号待添加位置之后的分词单元处的结束位置标签；所述待添加标点符号的文本包括在每个分词单元之后的间隔符号；所述根据预设的标点符号位置标签集合，对所述标点符号待添加位置的前后分词单元处采用所述标点符号对应的标签组合进行标注，包括以下至少一种：当连续多个标点符号待添加位置对应标点符号类型相同，且所述标点符号待添加位置之间仅有一个分词单元时，除最后一个所述标点符号待添加位置外，在其他所述标点符号待添加位置之前的分词单元处均仅标注标点符号对应的起始位置标签；当连续两个标点符号待添加位置之间不存在分词单元时，在前一个标点符号待添加位置之前的分词单元处，标注前一个标点符号对应的起始位置标签，并在后一个标点符号待添加位置之前的间隔符号和后一个标点符号待添加位置之后的分词单元处，分别标注后一个标点符号对应的起始位置标签和结束位置标签。

可选地，所述根据所述标点符号标注结果，对所述待添加标点符号的文本添加相应的标点符号，包括以下至少一种：当所述待添加标点符号的文本中有连续多个分词单元处均仅标注对应的起始位置标签时，在所述分词单元之后添加相应的标点符号；当所述待添加标点符号的文本中前一个分词单元标注处对应的起始位置标签，后一个分词单元之前的间隔符号及后一个分词单元处分别标注相同标点符号对应的起始位置标签和结束位置标签时，在所述前一个分词单元和所述间隔符号之后分别添加相应的标点符号。

可选地，所述标点符号位置标签集合还包括：无标点符号对应的空白位置标签；所述根据预设的标点符号位置标签集合，对所述标点符号待添加位置的前后分词单元处采用所述标点符号对应的标签组合进行标注，包括：当分词单元前后均无所述标点符号待添加位置时，在所述分词单元处标注所述空白位置标签。

可选地，采用以下至少一种方式获得所述预训练的语言子模型：

从训练语料中获取随机的第一训练文本，并输入所述神经网络模型，所述神经网络模型在给定上文的条件下预测所述第一训练文本的下一个分词单元，当预测准确的概率达到预设的第一阈值时，获得所述预训练的语言子模型；

从训练语料中获取随机掩盖预设比例部分的第二训练文本，并输入所述神经网络模型，所述神经网络模型在给定上下文的条件下预测被掩盖的预设比例部分，当预测准确的概率达到预设的第二阈值时，获得所述预训练的语言子模型。

本发明实施例还提供了一种数据处理设备，包括存储器和处理器；其中，所述存储器适于存储一条或多条计算机指令，所述处理器运行所述计算机指令时执行上述任一实施例所述标点符号的添加方法的步骤。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令运行时执行上述任一实施例所述标点符号的添加方法的步骤。

采用本发明实施例的标点符号的添加方案，可以将获取的待添加标点符号的文本输入完成迁移学习训练的标点符号标注模型，采用所述标点符号标注模型预测所述待添加标点符号的文本中的标点符号待添加位置及对应标点符号类型，并在所述标点符号待添加位置的前后分词单元处，采用所述标点符号类型对应的标签组合进行标注，输出对应的标点符号标注结果，进而可以根据所述标点符号标注结果，对所述待添加标点符号的文本添加相应的标点符号。

由上可知，本发明实施例的标点符号的添加方案采用的神经网络模型包括语言子模型，所述语言子模型为具有时间序列的神经网络模型，经过预训练的语言子模型，能够充分考虑到标点符号前后分词单元的信息，并且，由于标点符号标注模型包括预训练的语言子模型，因此，进行迁移学习训练能够减少训练数据的数量，实现快速收敛，获得的神经网络模型具有较好泛化能力和通用性，进而更加精确地预测标点符号类型，提高标点符号预测的召回率；然后，采用标签组合进行标注使标注的标签分布更加均衡，可以避免标签分布不均衡的问题和标注的无效标签过多的情况，提高标点符号预测的准确率，从而可以满足标点符号添加的需求。

进一步地，当所述标点符号待添加位置的前后均有分词单元时，可以根据所述标点符号位置标签集合，对所述标点符号待添加位置的前后分词单元处，采用所述标点符号对应的标签组合进行标注；当所述标点符号待添加位置之前或之后有一处为空位补齐符号时，可以根据所述标点符号位置标签集合，对所述标点符号待添加位置之后或之前的分词单元处及之前或之后的空位补齐符号，采用所述标点符号对应的标签组合进行标注。采用上述方案，可以确保标点符号对应的标点符号位置标签能够一直成对出现。

进一步地，所述标点符号位置标签集合包括：设置在各个标点符号待添加位置之前的分词单元处的起始位置标签、设置在各个标点符号待添加位置之后的分词单元处的结束位置标签；当连续多个标点符号待添加位置对应标点符号类型相同，且所述标点符号待添加位置之间仅有一个分词单元时，除最后一个所述标点符号待添加位置外，可以在其他所述标点符号待添加位置之前的分词单元处均仅标注对应的起始位置标签；当连续两个标点符号待添加位置之间不存在分词单元时，可以在前一个标点符号待添加位置之前的分词单元处，标注前一个标点符号对应的起始位置标签，并在所述后一个标点符号待添加位置之前的间隔符号和后一个标点符号待添加位置之后的分词单元处，分别标注后一个标点符号对应的起始位置标签和结束位置标签。采用上述方案，可以优化标签标注的方式，对于与分词单元间隔较短、容易连续出现的标点符号的标注更加准确。

进一步地，所述标点符号位置标签集合还包括：无标点符号对应的空白位置标签，当分词单元前后均无所述标点符号待添加位置时，可以在所述分词单元处标注所述空白位置标签。通过空白位置标签可以使待添加标点符号的文本中每个分词单元处均有相应的标点符号位置标签，可以进一步提高标签分布的均衡性，便于后续添加标点符号。

进一步地，通过选取训练语料并输入所述神经网络模型中，在给定上文情况下预测下一个分词单元，或在给定上下文的条件下预测被掩盖的预设比例部分，可以增强预训练的语言子模型对文本语料中上下文句子特征的表征能力。

附图说明

图1为本发明实施例中一种标点符号标注模型的训练方法的流程图。

图2为本发明实施例中一种获取第三训练语料的示意图。

图3为本发明实施例中另一种获取第三训练语料的示意图。

图4为本发明实施例中一种标点符号标注模型进行迁移学习训练的流程图。

图5为本发明实施例中一种标点符号标注模型的结构示意图。

图6为本发明实施例中一种标点符号的添加方法的流程图。

具体实施方式

如前所述，虽然标点符号添加方法的准确度已经在神经网络使用下得到了大大的提升，然而，标点符号添加方法需要事先准备大量的训练数据进行神经网络模型训练，这些训练数据往往是通过自动语言识别(Automatic Speech Recognition，ASR)所产生的无标点的语料，需要费时费力进行人工标注之后才能开展训练，然后利用训练好的神经网络模型对语音识别得到的无标点符号的文本进行标点符号预测，得到的标点符号预测结果往往召回率较低。另外，当前神经网络模型的训练数据往往只考虑到了标点符号前一个字的信息，导致训练数据的标签分布很不均衡，以此训练的神经网络模型泛化能力差、不通用，并且由于训练时只考虑了标点符号前一个字的信息，以此训练的神经网络模型预测的标点符号往往会出现多标和漏标的问题，用户体验较差。

针对上述问题，本说明书实施例提供了一种标点符号添加方法，通过将获取的待添加标点符号的文本输入完成迁移学习训练的标点符号标注模型，采用所述标点符号标注模型预测所述待添加标点符号的文本中的标点符号待添加位置及对应标点符号类型，并在所述标点符号待添加位置的前后分词单元处，采用所述标点符号类型对应的标签组合进行标注，输出对应的标点符号标注结果，进而可以根据所述标点符号标注结果，对所述待添加标点符号的文本添加相应的标点符号。其中，所述标点符号标注模型包括预训练的语言子模型，所述语言子模型为具有时间序列的神经网络模型。

为使本领域技术人员更加清楚地了解及实施本说明书实施例，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本说明书的一部分实施例，而不是全部实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本说明书保护的范围。

在添加标点符号之前，可以先对标点符号标注模型进行迁移学习。参照图1所示的一种标点符号标注模型的训练方法的流程图，在本发明实施例中，标点符号标注模型可以采用如下步骤：

S101，获取包含标点符号的第一训练语料。

在具体实施中，包含标点符号的第一训练语料的来源越广泛、标点符号标注越规范，对后续进行神经网络模型的预训练越有利，可以增加预训练的语言字模型的通用性和准确性。因此，一方面，为了使第一训练语料的来源更加广泛，尽可能在不同领域获取语料，另一方面，为了使第一训练语料中标点符号的使用较为规范，可以获取经过校对的语料。

例如，所述第一训练语料可以包括：偏向于书面用语的新闻语料、百度百科语料和论文语料等；偏向于口语化的聊天语料、微博语料、评论语料等。

S102，将所述第一训练语料输入预设的具有时间序列的神经网络模型进行预训练，获得预训练的语言子模型。

在具体实施中，具有时间序列的神经网络模型包括：具有自注意力机制(self-attention)的转换器(Transformer)网络模型、双向长短时记忆(Bi-directional LongShort-Term Memory，BiLstm)网络模型、门控循环单元(Gated Recurrent Unit，GRU)网络模型等，利用所述第一训练语料对预设的具有时间序列的神经网络模型进行预训练，得到的预训练的语言子模型能够深度捕获文本上下文的信息，为之后的标点符号标注模型的迁移学习训练做准备。

S103，获取包含标点符号的第二训练语料，将所述第二训练语料去除标点符号，并在已去除的标点符号的前后分词单元处标注相应的标签组合，得到第三训练语料。

其中，所述第三训练语料可以包括：无标点文本集合和标签序列集合，所述标签序列集合可以包括所述标签组合。

在具体实施中，包含标点符号的第二训练语料可以同上述获取第一训练语料一样，可以在多个不同领域获取语料或者获取经过校对的语料，从而可以增加标点符号标注模型的通用性和准确性。为了节约语料获取的时间，也可以直接从所述第一训练语料中抓取，获得第二训练语料。例如，所述第二训练语料可以包括：偏向于书面用语的新闻语料、百度百科语料和论文语料等；偏向于口语化的聊天语料、微博语料、评论语料等。因此第二训练语料的来源可以比较广泛。

在具体实施中，为了能够准确预测一个或几个特定领域的无标点文本的标点符号，也可以对特定的一个或几个领域获取语料，获得第二训练语料。例如，为了能够预测金融领域的无标点文本的标点符号，第二训练语料可以包括从金融领域获取包含标点符号的语料。

在本发明实施例中，对所述第二训练语料进行去除标点符号和标注标签组合，获得的第三训练语料中无标点文本集合和所述标签序列集合可以进行关联，使得在获取无标点文本集合中部分或全部的无文本合集时，能够获得相应的部分或者全部的标签序列。

在本发明实施例中，标签序列集合中可以包含所有用于在已去除的标点符号的前后分词单元处进行标注的标签组合，采用标签组合进行标注能够充分考虑到第二训练语料的标点符号前后分词单元的信息，使得第三训练语料的标签分布更加均衡，可以避免只标注已去除的标点符号前面分词单元处的标签而导致的标签分布不均衡的问题，以及可以避免标注的无效标签过多的情况，提升标点符号标注模型预测标点符号的准确率。

S104，将所述第三训练语料输入初始的标点符号标注模型进行迁移学习训练，得到训练好的标点符号标注模型；

其中，所述标点符号标注模型可以包括：所述预训练的语言子模型。

可以理解的是，第一训练语料、第二训练语料和第三训练语料所对应的语言种类可以包含但不仅限于中文，可以根据实际标点符号标注模型所需标注的文本语言种类进行调整。在具体实施中，可以根据后续需要标注或者处理的文本的语言种类，选取相应语言种类的训练语料。

还可以理解的是，获取第一训练语料和第二训练语料的时机可以不限于上述步骤顺序的限制，在预设的具有时间序列的神经网络模型进行预训练之前，可以获取到第一训练语料，以及，在将第三训练语料输入初始的标点符号标注模型进行迁移学习训练之前，可以获取到第二训练语料即可。例如，第一训练语料和第二训练语料可以同时获取。

在具体实施中，由于标点符号标注模型可以包括预训练的语言子模型，因此，标点符号标注模型需要的第三训练语料的数量大大缩小，进而可以减少第二训练语料的数量，节约人工成本和标注时间，减少标点符号标注模型的训练时间。同时，迁移学习训练能够使得整个标点符号标注模型在减少第三训练语料的数量的前提下可以快速收敛，提高召回率。

在具体实施中，为了能够实现自动获取第三训练语料，可以提前预设一个标点符号集合和一个预设的标点符号位置标签集合。在获取包含标点符号的第二训练语料后，可以将用第二训练语料中的各分词单元和标点符号转换为字节型格式的标记(token)，这样可以避免分词带来的误差，同时也避免了因为词典过大带来学习成本太高和词向量(wordvector)表示稀疏等问题。

根据预设的标点符号集合，可以识别所述第二训练语料的标点符号，然后，去除所述第二训练语料中的标点符号，获得相应的无标点文本集合，并根据预设的标点符号位置标签集合，对已去除的各个标点符号的前后分词单元处标注相应位置关系的标签组合，获得相应的标签序列集合，由此获得第三训练语料的无标点文本集合和相应的标签序列集合，用于后续训练标点符号标注模型。

其中，可以根据第一训练语料、第二训练语料和第三训练语料所对应的语言种类，使标点符号集合包括相应常用的标点符号，并且，标点符号位置标签集合可以包括标点符号集合对应的标签组合。例如，如果第一训练语料、第二训练语料和第三训练语料对应的语言种类为中文，则标点符号集合可以包括逗号、句号和顿号等常用的标点符号，标点符号位置标签集合可以包括逗号对应的标签组合、句号对应的标签组合和顿号对应的标签组合等。这些标签组合成对出现，用于标注在已去除的标点符号的前后分词单元处，使得第三训练语料的标签分布更加均衡。标点符号集合和标点符号位置标签集合可以根据具体的应用场景做设定，本说明书的实施例对此不作任何限定。

在具体实施中，在进行语言子模型的预训练和标点符号标注模型的训练之前，可以对获取的第一训练语料和第二训练语料进行数据清洗，主要是剔除明显使用不规范的标点符号，例如，句首有不可用于句首的标点符号，句中有不应该连续出现的标点符号，句尾有非句子结尾标点等使用不规范的标点符号的情况，则可以将这些使用不规范的标点符号删除。由此可以避免语言子模型和标点符号标注模型学习到不规范的标点符号使用方式。

在具体实施中，当已去除的标点符号前后均有分词单元时，可以根据所述标点符号位置标签集合对已去除的各个标点符号的前后分词单元处标注相应位置关系的标签组合，使得标点符号对应的标点符号位置标签成对出现。例如，第二训练语料为S：{t₁t₂t₃...t_n}，n为一确定的正整数，表示集合S中包含标记(token)的个数，若文本中包含m个标点符号，m＜n，则第三文本语料为集合R：{t₁t₂...t_n-m}并在已去除的标点符号前后t_i处打上标签组合，获得对应的标签序列集合L为{L₁L₂L₃...L_n-m}。

但是，当已去除的标点符号之前或之后有一处无分词单元时，标签组合无法成对标注，因此，可以在已去除的标点符号之前或之后添加空位补齐符号填补空缺的分词单元的位置，再根据所述标点符号位置标签集合对所述标点符号之后或之前的分词单元处及空位补齐符号标注相应位置关系的标签组合，可以将空位补齐符号视为分词单元，使得标签组合能够成对标注。

在本发明实施例中，以下几种情况可以使用空位补齐符号：

第一种，标点符号位于句尾。例如，第二训练语料为：{今天是星期三。}，其中，第二训练语料的分词单元为中文的一个字，句尾出现一个句号，则在去除标点符号时，可以在已去除的句号后面添加用于句尾的空位补齐符号EOS，得到无标点文本集合{今天是星期三EOS}，然后就可以在已去除的句号之前的文字“三”处和已去除的句号之后的空位补齐符号“EOS”处标注句号的标签组合。

可以理解的是，本文中“{}”仅用于限定举例的内容范围，并不是在表示训练语料的内容时必不可少的一部分，本领域技术人员可以用其他不容易混淆的符号来限定训练语料的内容范围，而“{}”中的分词单元与标点符号可以是转换为字节型格式的标记(token)，也可以转换为其他格式的标记(token)，以下“{}”均同上所述。

第二种，标点符号位于句首。例如，第二训练语料为：{《读者》是一本好杂志。}，其中，第二训练语料的分词单元为中文的一个字，句首出现左书名号，则在去除标点符号时，可以在已去除的左书名号前面添加用于句首的空位补齐符号BOS，得到无标点文本集合{BOS读者是一本好杂志EOS}，然后就可以在已去除的左书名号之前的空位补齐符号“BOS”处和左书名号之后的文字“读”处标注上左书名号的标签组合。

可以理解的是，上述实施例仅为举例说明，并非对具体实施方式的限制，在具体实施过程中，由第二训练语料获得的无标点文本集合和标签序列集合往往是海量的。

采用上述方案，根据所述标点符号位置标签集合对所述标点符号的前后分词单元处标注相应位置关系的标签组合，使得标点符号对应的标点符号位置标签成对出现；在已去除的标点符号之前或之后有一处无分词单元时，根据具体情况添加相应的空位补齐符号填补空缺分词单元的位置，可以避免标点符号没有分词单元可以给予标注的问题，保证标点符号对应的标点符号位置标签能够一直成对出现。

在具体实施中，标点符号位置标签集合可以包括：设置在各个标点符号之前的分词单元处的起始位置标签、设置在各个标点符号之后的分词单元处的结束位置标签。所述标点符号位置标签集合可以与所述标点符号集合对应。

在本发明的实施例中，预设一个标点符号集合P和一个标点符号位置标签集合Q，其中，P＝{。？！，；：、《》“”}时，Q＝{B-period I-period B-questionmark I-questionmarkB-exclamation I-exclamation B-comma I-comma B-semicolon I-semicolon B-colonI-colon B-caesura I-caesura B-openingchevron I-openingchevron B-closingchevron I-closingchevron B-upperquotationmark I-upperquotationmark B-lowerquotationmark I-lowerquotationmark}，标点符号集合P和标点符号位置标签集合Q相关联，由标点符号位置标签集合Q表示标点符号集合P中各个标点符号与其前后分词单元的相应位置关系。当通过标点符号集合P识别出第二训练语料中的标点符号时，能够通过标点符号集合P与标点符号位置标签集合Q之间的关联获得识别出的标点符号相应的标点符号位置标签，进而可以在去除识别出的标点符号后，在其前后分词单元处标注相应的标签组合。

可以理解的是，此处实施例中标点符号位置标签集合用的是“B-标点符号的英文全称”和“I-标点符号的英文全称”的表示形式，但是，也可以采用其他表示方式，例如，考虑到有写标点符号的英文全称过长，标点符号的英文全称可以使用缩写进行代替，又例如，标点符号的英文全称可以直接使用标点符号进行替代，本发明实施例对此不做限制。

标点符号、标点符号集合与标点符号位置标签集合的对照表如表1所示。

继续以上述示例说明，可以在无标点文本集合{今天是星期三EOS}中句号前一个文字“三”处标注句号的起始位置标签“B-per”，在句号后一个空位补齐符号“EOS”处标注句号的结束位置标签“I-per”。同理可得，也可以在无标点文本集合{BOS读者是一本好杂志EOS}中左书名号前一个空位补齐符号“BOS”处标注左书名号的起始位置标签“B-ope”，在左书名号后一个文字“读”处标注左书名号的结束位置标签“I-ope”。

表1

在具体实施中，所述标点符号位置标签集合还可以包括：无标点符号对应的空白位置标签，当一个分词单元前后均无标点符号时，在所述分词单元处标注所述空白位置标签。通过空白位置标签可以使文本语料中每个分词单元均有相应的标点符号位置标签，可以进一步提高标签分布的均衡性，便于后面的标点符号标注模型训练时候进行微调。

发明人在研究中发现，由于语言使用规则，可能会出现以下几种特殊情况：

第一种，连续多个已去除的标点符号为同一标点符号且标点符号之间仅有一个分词单元。例如，中文的标点符号“、”的使用，按照上述标签组合的标注方法，虽然顿号前后均有文字，但是在顿号之间仅有一个文字时，添加顿号的标签组合会出现重叠问题，为了能够避免这类问题，在研究过程中，发明人观察到其标点符号为同一种，具有同一性，因此，可以除最后一个所述标点符号外，在其他所述标点符号之前的分词单元处均仅标注对应的起始位置标签，这种标注方法对与分词单元间隔较短的相同标点符号是有效的。例如，第二训练语料为：{牛、羊、马都吃草。}，连续多个顿号之间只有一个字，则在文字“牛”和“羊”处标注顿号的起始位置标签“B-cae”，在文字“马”处标注顿号的结束位置标签“I-cae”。

在本发明一实施例中，如图2所示，为本发明的获取第三训练语料的示意图，在本发明实施例中，获取的第二训练语料21为：

{日、月、天三方大对决，准备开始！咱们不可能赢了，对吗？}

然后，根据预设的标点符号集合P，识别并去除第二训练语料中的标点符号，由于句尾问号后面缺少文字，因此在问号后面添加用于句尾的空位补齐符号EOS，获得无标点文本集合221{日月天三方大对决准备开始咱们不可能赢了对吗EOS}。并且，根据预设的标点符号位置标签集合Q在已去除的各标点符号的前后文字处标注相应位置关系的标签组合。由于在“日”、“月”和“天”中间出现连续的顿号，且顿号中间仅有一个文字，因此，在“日”、“月”处标注“B-cae”，在“天”处标注“B-cae”，在第一个逗号前后文字“决”和“准”处分别标注“B-com”和“I-com”，在感叹号前后文字“始”和“咱”处分别标注“B-exc”和“I-exc”，在第二个逗号前后文字“了”和“对”处分别标注“B-com”和“I-com”，在问号之前文字“吗”和之后空位补齐符号“EOS”处分别标注“B-que”和“I-que”。对于前后均无标点符号的文字，在所述文字处标注所述空白位置标签O，最终得到对应的标签序列集合222{B-cae B-cae I-cae OO O O B-com I-com O O B-exc I-exc O O O O O B-com I-com B-que I-que}。将获得的无标点文本集合221和标签序列集合222进行关联，由此获得第三训练语料22。

第二种，已去除的标点符号为两个连续的标点符号，且标点符号之间不存在分词单元。按照上述标签组合的标注方法，同样也会出现标点符号组合标签重叠问题，为了能够避免这类问题，在研究过程中，发明人观察到这类情况是由于标点符号使用规则导致的，具有普遍规律，因此，可以在每个分词单元后添加间隔符号SEP(separate)，并在已去除的前一个标点符号之前的分词单元处标注所述前一个标点符号对应的起始位置标签，在已去除的后一个标点符号之前的间隔符号和之后的分词单元处分别标注所述后一个标点符号对应的起始位置标签和结束位置标签，将间隔符号可以视为分词单元，使得标签组合能够成对标注，这种标注方法对与连续两个标点符号是有效的。

例如，第二训练语料为：{我喜欢看《读者》。}，其中，文中出现两个连续的符号“》。”，则在每个文字后添加间隔符号SEP，并且，由于句尾有标点符号句号，因此还需要添加用于句尾的空位补齐符号EOS补齐缺少的文字，得到无标点文本集合{我SEP1喜SEP2欢SEP3看SEP4读SEP5者SEP6EOS}，然后就可以在“者”处标注右书名号的起始位置标签“B-clo”，在“SEP6”处标注句号的起始位置标签“B-per”，在“EOS”处标注句号的结束位置标签“I-per”，对于前后均无标点符号的分词单元，在所述分词单元处标注所述空白位置标签O；对于前后均无标点符号的间隔符号，在所述间隔符号处标注所述间隔标签S。可以理解的是，此处的“SEP”后方加上数字序列仅用于描述时以作区分，在具体实施过程中可以不再“SEP”后方加上数字序列。

在本发明一实施例中，如图3所示，为本发明的获取第三训练语料的示意图，获取的第二训练语料31为：

{领导说：“实现盈利才是根本目标”。}

然后，根据预设的标点符号集合P，识别并去除第二训练语料中的标点符号，其中，冒号和上引号、句号和下引号均为两个标点符号连续出现的情况，在每个文字后添加间隔符号SEP，由于句尾句号后面缺少文字，因此在句号后面添加用于句尾的空位补齐符号EOS。此外为了方便标点符号标注模型后续训练，还可以在句首添加空位补齐符号BOS，使得无标点文本集合中的符号齐全，得到无标点文本集合321{BOS领SEP1导SEP2说SEP3实SEP4现SEP5盈SEP6利SEP7才SEP8是SEP9根SEP10本SEP11目SEP12标SEP13EOS}，在文字“说”处标注冒号的起始位置标签“B-col”，在间隔符号“SEP3”处标注上引号的起始位置标签“B-upp”，在文字“实”处标注上引号的结束位置标签“I-upp”。同理可得对于句号和下引号的处理方式，在前后均没有标点符号的间隔符号处标注间隔标签S，最终得到对应的标签序列集合322{O O S O S B-col B-upp I-upp S O S O S O S O S O S O S O S O S B-low B-perI-per}，将获得的无标点文本集合321和标签序列集合322进行关联，由此获得第三训练语料32。

采用上述方案，可以优化标签标注的方式，使之后模型训练时对于与分词单元间隔较短、容易连续出现的标点符号的预测更加准确。可以理解的是，上述实施例仅为举例说明，并非对具体实施方式的限制，在具体实施过程中，由第二训练语料获得的无标点文本集合和标签序列集合往往是海量的。

为使本领域技术人员更好地理解和实现本发明实施例，以下给出一种通过迁移学习，得到训练好的标点符号标注模型的具体示例。

在本发明一实施例中，所述标点符号标注模型可以包括预训练的语言子模型和预设的条件随机场子模型，预训练的语言子模型可以与预设的条件随机场模型连接，参照图4所示的标点符号标注模型进行迁移学习训练的流程图，可以采用如下步骤进行迁移学习训练：

S1041，从所述无标点文本集合获取一段无标点文本。

在具体实施中，整个第三训练语料可以分成多批次输入标点符号标注模型中进行迭代训练，每一次处理一批，每一批次包含一段无标点文本，即一个句子列表，列表的大小由实际情况决定。其中，获取的无标点文本根据上述第二训练语料去除标点符号并标注标签组合时采用的标注方法，可以包括用于句尾的空位补齐符号EOS、用于句首的空位补齐符号BOS和间隔符号SEP中的至少一种。

S1042，从所述标签序列集合中获取所述无标点文本相应的第一标签序列。

在具体实施中，由于无标点文本集合与标签序列集合相关联，因此，可以根据每一批次包含的一段无标点文本获得相应的标签序列作为第一标签序列。

S1043，将所述无标点文本和所述第一标签序列输入所述标点符号标注模型，由所述预训练的语言子模型获取所述无标点文本相应的句子特征信息，并将所述句子特征信息输入所述条件随机场子模型中，预测所述无标点文本对应的第二标签序列。

在具体实施中，获取的一段无标点文本，所以先将无标点文本中的每个分词单元转换为字节型格式的标记(token)，用

表示，x_i是字典中的索引值。

根据字典的索引值对每个分词单元进行词向量嵌入(word embedding)，一个分词单元对应一个词向量，用

e_i是k维的稠密向量。所述字典根据分词单元的语言种类进行调整，其中，词向量矩阵的获取方式是随机初始化或者使用预训练的词向量，并且作为学习参数存在于整个神经网络中，词向量e_i的维度依照具体情况设定。

然后，向量化后的无标点文本通过预训练的语言子模型，把静态词向量表示的

转为动态的句子表征，记为l_i是l维的稠密向量，l的大小依照具体情况设定，由此可以深层次加强句子的表征。

为条件随机场(Conditional Random Field，CRF)子模型的输入，条件随机场子模型预设有一个状态转换矩阵[A]_i，j和分数矩阵

[A]_i，j表示两个时间步长从第i个状态到第j个状态的状态转换转移概率，分数矩阵

表示

输入后第t个位置输出为[y]t的概率，其中θ包含了整个预训练的语言子模型的所有需要迁移学习的参数。此时可以用到条件随机场子模型中预设的特征函数：

其表示为输入

预测输出的标签序列为

的评分。这个特征函数

可以避免不符合标注规则的标签序列的出现，为方便表述后续公式，将

简化为s(l，y)。当s(l，y)的评分最大时，得到第二标签序列

在本发明的一实施例中，可以采用维特比(Viterbi)方法计算得出s(l，y)分数最大的路径，即y′＝argmaxs(l，y)。

S1044，将所述第二标签序列与所述第一标签序列进行比较，确定二者之间的误差。

在具体实施中，假设第一标签序列为

通过比较

和

可以得到两者之间的误差。

S1045，确定所述误差是否大于预设的误差阈值，在确定所述误差大于所述误差阈值时，对所述标点符号标注模型的参数进行微调；在确定所述误差不大于所述误差阈值时，得到训练好的标点符号标注模型。

在具体实施中，在经过第三训练语料的迭代训练后，可以获得所有第二标签序列

和对应的第一标签序列

之间的误差。当至少有一组

和之间的误差大于预设的误差阈值时，可以对标点符号标注模型的参数进行微调，然后，再次进行标点符号标注模型的迁移学习训练，直至和

之间的误差均不大于预设的误差阈值，得到迁移学习训练好的标点符号标注模型。

在本发明一实施例中，先求出

对应所有可能的标注序列的得分∑s(l，y)和第一标签序列为对应的得分其次，对其进行归一化处理，得到第一标签序列的概率

然后，对第一标签序列的概率取log得到损失函数：

当损失函数的值越小时，表示准确率越高，因此需要求得损失函数的最小值对应的符号标注模型的参数。可以利用梯度下降方法或反向传播方法对所述标点符号标注模型的参数进行微调，范围包括预训练的语言子模型的参数和条件随机场子模型的参数，从而减小损失函数的值。采用梯度下降方法或反向传播方法，可以使标点符号标注模型可以快速收敛，缩短训练时间，提升标点符号标注模型的准确度。

在更优的具体实施中，所述标点符号标注模型还包括预设的双向长短时记忆子模型，所述预设的双向长短时记忆(BiLstm)子模型位于所述预训练的语言子模型和条件随机场子模型之间。

在使用预训的语言子模型生成文本信息之后，再输入到双向长短时记忆(BiLstm)子模型进一步增强句子特征信息的表征能力。用了两层带有时间序列的神经网络去获取的句子特征信息输入所述条件随机场子模型后，会让最终预测结果变化幅度更小，达到更好的预测效果，此外，在数据量较大的情况下，能增加模型的准确度与泛化能力。

在具体实施中，对预设的具有时间序列的神经网络模型进行预训练的方式，可以有多种方式，以下通过以下三种方法示例说明：

方法一、从所述第一训练语料中获取随机的第一训练文本，并输入所述神经网络模型，所述神经网络模型在给定上文的条件下预测所述第一训练文本的下一个分词单元，当预测准确的概率达到预设的第一阈值时，确定已训练好，通过语言模型(LanguageModel，LM)训练方式获得预训练的语言子模型。

预训练的语言子模型可以在后续输入无标点文本时，估计所述无标点文本为句子可能性。假设后续输入的无标点文本为：{ω₁ω₂ω₃，...ω_n}，n为无标点文本中分词单元的数量，则预训练的语言子模型表述所述无标点文本为句子的概率为

其中i＝1，2…n。P(S)概率越大，说明无标点文本为句子的可能性越高。预训练的语言子模型可以增强预训练的语言子模型对文本语料中上下文句子特征的表征能力。

其中，分词单元对应于输入的第一训练语料的语言种类的最小语句组成单元，例如，中文的最小语句组成单元是“字”，英文的最小语句组成单元是“单词(word)”，因此，分词单元的具体表述由第一训练语料的语言种类所决定。

在具体实施中，当第一训练文本为空集时，所述神经网络模型进行首字预测，根据已知的先验概率，将作为首字概率最大的分词单元作为预测结果，例如“今”作为首字概率最大，则取“今”作为首字。

当已经存在前文内容，例如，已经存在上文“今”，根据“今”预测下一个字的概率P(ω₂|ω₁)，当P(ω₂|ω₁)最大时，两个字表示的一个句子的可能性P(ω₁ω₂)＝P(ω₁)P(ω₂|ω₁)最大，假设“天”的概率最大，则获得“今天”。

又例如，已经存在上文“今天天气很”，根据“今天天气很”预测下一个字的概率P(ω₆|ω₁ω₂ω₃ω₄ω₅)，当P(ω₆|ω₁ω₂ω₃ω₄ω₅)最大时，这6个字表示一个句子的可能性

最大，假设“好”的概率最大，则获得“今天天气很好”。

方法二、从所述第一训练语料中获取随机掩盖预设比例部分的第二训练文本，并输入所述神经网络模型，所述神经网络模型在给定上下文的条件下预测被掩盖的预设比例部分，当预测准确的概率达到预设的第二阈值时，确定已训练好，通过屏蔽语言模型(MaskLanguage Model，MLM)训练方式获得预训练的语言子模型。

在具体实施中，先随机掩盖所述包含标点符号的第一训练语料一定百分比的内容，然后通过归一化指数函数(softmax)函数预测那些被掩盖的内容，因为随机掩盖的内容可以包括分词单元和标点符号，所以使用MLM方式预训练得到的语言子模型对句子上下文的句子特征信息表征更强。

方法三、从所述第一训练语料中获取随机掩盖一条语句的第三训练文本，并输入所述神经网络模型，所述神经网络模型在给定上文的条件下预测被掩盖的一条语句，当预测准确的概率达到预设的第三阈值时，确定已训练好，通过下句预测(next sentenceprediction，NSP)训练方式获得预训练的语言子模型。使用NSP方式预训练得到的语言子模型对于理解上下段落之间关系的能力更强。

在本发明一实施例中，NSP方式采用二分类方法，可以从第一训练语料中获取一段文本A，随机掩盖文本A其中一条语句，然后再从第一训练语料中获取一段语句B，预测语句B是否为文本A中被掩盖的语句，如果预测语句B是文本A中被掩盖的语句，则输出“1”或者“TRUE”，否则输出“0”或者“FLASE”，根据输出结果判断预测是否准确并统计预测准确的概率，当预测准确的概率达到预设的第三阈值时，确定已训练好。其中，可以设定获取语句B是被掩盖的语句的时间所占一个训练周期的百分比，例如，在一个训练周期内，50％的时间，获取到的语句B是文本A的实际被掩盖的句子，其余50％的时间，获取到的语句B是随机从第一训练语料中抽取的语句。

在具体实施时，可以分别采用以上三种方法中任意一种训练获得预训练的语言子模型，也可以通过采用方法一和方法三结合、方法二和方法三的结合的方式训练获得预训练的语言子模型。

在具体实施中，可以通过多种方式获取第一训练语料，例如，可以采用如下一种或多种方式来获取所述第一训练语料：

1、在互联网中抓取包含标点符号的文本数据。

2、在互联网中抓取语言数据，并将所述语言数据经过语音识别和标注得到相应的文本数据。

3、人工录入包含标点符号的文本数据。

还可以通过多种方式获取第二训练语料，例如，可以采用如下一种或多种方式来获取所述第二训练语料：

1、抓取所述第一训练语料中的文本数据。

2、在互联网中抓取预设领域的包含标点符号的文本数据。

3、人工录入预设领域的包含标点符号的文本数据。

本发明实施例还提供了采用上述标点符号标注模型的训练方法获得的标点符号标注模型，为使本领域技术人员更好地理解和实现本发明实施例，以下参照附图，通过具体实施例进行详细介绍。

参照图5所示的标点符号标注模型的结构示意图，在本发明实施例中，如图5所示，标点符号标注模型50可以包括输入层51、编码层52、条件随机场网络层54和输出层55，其中：

输入层51，适于对待添加标点符号的文本提取相应的分词单元特征信息。

在具体实施中，根据字典对每个分词单元进行词向量嵌入(wordembedding)，一个分词单元对应一个词向量(即图5中输入层51的一个方格)，用

e_i是k维的稠密向量。所述字典根据分词单元的语言种类进行调整，其中的词向量矩阵的获取方式是随机初始化或者使用预训练的词向量，并且作为学习参数存在于整个神经网络中，词向量的维度依照具体情况设定。其中，待添加标点符号的文本可以包括用于句尾的空位补齐符号EOS、用于句首的空位补齐符号BOS和间隔符号SEP中的至少一种，具体由标点符号标注模型训练时采用的第三训练语料的标注方式决定。

编码层52，适于通过预训练的语言子模型捕获所述分词单元特征信息相应的句子特征信息，其中，所述预训练的语言子模型为具有时间序列的神经网络模型，预训练的语言子模型的具体训练过程可参照前文关于LM、MLM和NSP训练方式的描述。

在具体实施中，向量化后的无标点文本通过预训练的语言子模型，把静态词向量表示的

转为动态的句子表征，记为

l_i是l维的稠密向量，l的大小依照具体情况设定，由此可以深层次加强句子的表征，

为条件随机场(Conditional Random Field，CRF)网络层53的输入。

条件随机场网络层54，适于基于所述句子特征信息，预测所述无标点文本中的标点符号待添加位置及对应标点符号类型，并在所述标点符号待添加位置的前后分词单元处，采用所述标点符号类型对应的标签组合进行标注。

在具体实施中，条件随机场网络层54预设有一个状态转换矩阵[A]_i，j和分数矩阵

[A]_i，j表示两个时间步长从第i个状态到第j个状态的状态转换转移概率，分数矩阵表示

输入后第t个位置输出为[y]t的概率，其中θ包含了整个预训练的语言子模型的所有需要迁移学习的参数。此时可以用到条件随机场子模型中预设的特征函数：

其表示为输入

预测输出的标签序列为

的评分。这个特征函数

可以避免不符合标注规则的标签序列的出现，为方便表述后续公式，将

简化为s(l，y)。当s(l，y)的评分最大时，输出标签序列其中，标签序列

包含了标点符号待添加位置的信息及对应标点符号类型的信息。

输出层55，适于输出对应的标点符号标注结果。

在具体实施中，将标注标签序列

作为待添加标点符号的文本相应的标点符号标注结果输出。

在本发明实施例中，可以采用维特比(Viterbi)方法计算得出s(l，y)分数最大的路径，即y^*＝argmaxs(l，y)。

在具体实施中，如图5所示，所述标点符号标注模型还可以包括双向长短时记忆网络层53，所述双向长短时记忆网络层53设置于所述编码层52和所述条件随机场网络层54之间，将

中的l_i按顺序分别对应图5中双向长短时记忆网络层53中上下相邻的两个方框内，例如l₁对应531和531。通过双向运算增强所述句子特征信息，并输出至所述条件随机场网络层。

在本发明一实施例中，假设词向量的维度设为100，输入待添加标点符号的文本为：{BOS你好世界EOS}，标点符号标注模型50的输入层51得到初始化句子词向量的表征{12 3 4 5 6}，其与{BOS你好世界EOS}一一对应，具体为R^6×100的矩阵表示。编码层52通过MLM+NSP方式获得的预训练的语言子模型捕获所述文本中上下文的句子特征信息。条件随机场网络层54，根据句子特征信息进行标签序列预测，假设预设的标点符号位置标签集合Q有15类，则条件随机场网络层54预测得到R^6×15的矩阵值与标点符号位置标签集合Q的对应关系，如下所示：

从而到得到如下预测的标注标签序列：

{O O B-COM I-COM B-EXC I-EXC}

然后，可以根据标点符号标注模型输出的标点符号标注结果，分别在待添加标点符号的文本对应待添加位置处添加标点符号类型对应的标点符号，从而得到添加标点符号的文本：{你好，世界！}。

采用本发明实施例的标点符号标注模型，通过预训练的语言子模型能够充分考虑到标点符号前后分词单元的信息，进而条件随机场网络层可以更加精确地预测标点符号类型，然后，采用标签组合进行标注使标注的标签分布更加均衡，可以避免标签分布不均衡的问题和标注的无效标签过多的情况，提高标点符号标注的准确率；并且，采用上述训练方法获得的标点符号标注模型可以用于对待加标点符号的文本进行标点符号添加，精确度高，通用性强，应用范围更加广泛。

所述标点符号标注模型完成迁移学习训练后，可以对待添加标点符号的文本进行标点符号的添加，为使本领域技术人员更加清楚地了解及实施本说明书实施例，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述。

参照图6所示的一种标点符号的添加方法的流程图，在本发明实施例中，具体可以包括如下步骤：

S601，获取待添加标点符号的文本。

在具体实施中，所述待添加标点符号的文本可以是通过ASR所产生的无标点符号的文本，也可以是人工录入的无标点符号的文本。

S602，将所述待添加标点符号的文本输入完成迁移学习训练的标点符号标注模型，采用所述标点符号标注模型预测所述待添加标点符号的文本中的标点符号待添加位置及对应标点符号类型，并在所述标点符号待添加位置的前后分词单元处，采用所述标点符号类型对应的标签组合进行标注，输出对应的标点符号标注结果。其中，所述标点符号标注模型包括预训练的语言子模型，所述语言子模型为具有时间序列的神经网络模型。

在具体实施中，标点符号待添加位置及标点符号类型根据待添加标点符号的文本的语言种类所决定。例如，待添加标点符号的文本的语言种类为中文，则标点符号待添加位置根据中文的标点符号使用规则进行预测，标点符号类型为中文标点符号类型；待添加标点符号的文本的语言种类为英文，则标点符号待添加位置根据英文的标点符号使用规则进行预测，标点符号类型为英文标点符号类型。

S603，根据所述标点符号标注结果，对所述待添加标点符号的文本添加相应的标点符号。

在具体实施时，根据所述标点符号标注结果，对所述待添加标点符号的文本进行反向编译，在标注标签组合对应的位置处添加相应的标点符号。

采用本发明实施例的标点符号的添加方法，神经网络模型可以包括语言子模型，所述语言子模型为具有时间序列的神经网络模型，经过预训练的语言子模型，能够充分考虑到标点符号前后文字的信息，并且，由于标点符号标注模型包括预训练的语言子模型，因此，进行迁移学习训练能够减少训练数据的数量，实现快速收敛，获得的神经网络模型具有较好泛化能力和通用性，进而更加精确地预测标点符号类型，提高标点符号预测的召回率；然后，采用标签组合进行标注使标注的标签分布更加均衡，可以避免标签分布不均衡的问题和标注的无效标签过多的情况，提高标点符号预测的准确率，从而可以满足标点符号添加的需求。

在具体实施中，为了能够实现自动在所述标点符号待添加位置的前后文字处标注所述标点符号类型对应的标签组合，可以采用上述预设的标点符号集合P和预设的标点符号位置标签集合Q，其中，标点符号集合P和标点符号位置标签集合Q相关联，由标点符号位置标签集合Q表示标点符号集合P中各个标点符号待添加位置的标点符号与其前后文字的相应位置关系。

根据预设的标点符号集合P，可以识别所述标点符号类型对应的标点符号，然后，根据预设的标点符号位置标签集合Q，可以获得识别出的标点符号对应的标点符号位置标签，对所述标点符号待添加位置的前后分词单元处采用所述标点符号对应的标签组合进行标注。

在具体实施中，所述标点符号位置标签集合可以包括：设置在各个标点符号待添加位置之前的分词单元处的起始位置标签、设置在各个标点符号待添加位置之后的分词单元处的结束位置标签。

当所述标点符号待添加位置的前后均有分词单元时，根据所述标点符号位置标签集合，对所述标点符号待添加位置的前后分词单元处，采用所述标点符号对应的标签组合进行标注，即采用所述标点符号对应的起始位置标签和结束位置标签，在所述标点符号待添加位置的前后分词单元处分别进行标注。

此外，标点符号位置标签集合还可以包括无标点符号对应的空白位置标签，因此，当分词单元前后均无所述标点符号待添加位置时，可以在所述分词单元处标注所述空白位置标签。

通过空白位置标签可以使待添加标点符号的文本中每个分词单元处均有相应的标点符号位置标签，可以进一步提高标签分布的均衡性，便于后续添加标点符号。

在具体实施中，所述待添加标点符号的文本可以与上述标点符号标注模型训练时采用的第三训练语料的标注方法相一致，从而可以确保标点符号对应的标点符号位置标签能够一直成对出现。

例如，在所述第三训练语料可以包括空位补齐符号时，所述待添加标点符号的文本也可以包括空位补齐符号，所述空位补齐符号可以视为分词单元。

当所述标点符号待添加位置之前或之后有一处为空位补齐符号时，根据所述标点符号位置标签集合，对所述标点符号待添加位置之后或之前的分词单元处及之前或之后的空位补齐符号，采用所述标点符号对应的标签组合进行标注。

在本发明一实施例中，所述第三训练语料包括用于句尾的空位补齐符号EOS，假设，获取的无标点符号的文本为{今天是星期三}，其中，分词单元为中文的一个字，则在句尾添加空位补齐符号“EOS”，得到待添加标点符号的文本{今天是星期三EOS}，然后输入完成迁移学习训练的标点符号标注模型，所述标点符号标注模型可以预测所述待添加标点符号的文本中的标点符号待添加位置及对应标点符号类型，例如，标点符号标注模型可以预测出文字“三”和空位补齐符号“EOS”之间有标点符号待添加位置，并且对应的标点符号类型为句号，则根据标点符号集合P，识别句号对应的标点符号“。”，以及，根据标点符号位置标签集合Q，在文字“三”处标注句号的起始位置标签“B-per”，在空位补齐符号“EOS”处标注句号的结束位置标签“I-per”，并在前后均无标点符号待添加位置的文字处添加空白位置标签“O”。然后，可以输出对应的标点符号标注结果，即预测的标注标签序列{O O O O O B-perI-per}。

在本发明另一实施例中，所述第三训练语料还包括用于句首的空位补齐符号BOS，假设，获取的无标点符号的文本为{读者是一本好杂志}，其中，分词单元为中文的一个字。可以在句首添加空位补齐符号“BOS”，然后，作为待添加标点符号的文本输入完成迁移学习训练的标点符号标注模型，所述标点符号标注模型可以预测所述待添加标点符号的文本中的标点符号待添加位置及对应标点符号类型。

除此之外，还可以和其他标注方法一起使用，例如，还可以在句尾添加空位补齐符号“EOS”，得到待添加标点符号的文本{BOS读者是一本好杂志EOS}，然后输入完成迁移学习训练的标点符号标注模型，所述标点符号标注模型可以预测所述待添加标点符号的文本中的标点符号待添加位置及对应标点符号类型，例如，标点符号标注模型可以预测出文字“读”和空位补齐符号“BOS”之间有标点符号待添加位置，并且对应的标点符号类型为左书名号，则根据标点符号集合P，识别左书名号对应的标点符号“《”，以及，根据标点符号位置标签集合Q，在空位补齐符号“BOS”处标注左书名号的起始位置标签“B-ope”，在文字“读”处标注左书名号的结束位置标签“I-ope”。以此类推，添加其他标点符号待添加位置处的标点符号。，并在前后均无标点符号待添加位置的文字处添加空白位置标签“O”。然后，输出对应的标点符号标注结果，即预测的标注标签序列{B-opeI-opeB-cloI-clo O O O O B-perI-per}。

又例如，在所述第三训练语料还可以包括连续的多个相同标点符号对应的起始位置标签和一个所述标点符号的结束位置标签时，所述待添加标点符号的文本也可以采用上述标注方法。

当连续多个标点符号待添加位置对应标点符号类型相同，且所述标点符号待添加位置之间仅有一个分词单元时，除最后一个所述标点符号待添加位置外，在其他所述标点符号待添加位置之前的分词单元处均仅标注标点符号对应的起始位置标签。

在本发明实施例中，获取的无标点符号的文本为{日月天三方大对决准备开始咱们不可能赢了对吗}，其中，分词单元为中文的一个字，则可以直接作为待添加标点符号的文本输入完成迁移学习训练的标点符号标注模型，所述标点符号标注模型可以预测所述待添加标点符号的文本中的标点符号待添加位置及对应标点符号类型。

除此之外，还可以和其他标注方法一起使用，例如，还可以在句首添加空位补齐符号“BOS”，在句尾添加空位补齐符号“EOS”，得到待添加标点符号的文本{BOS日月天三方大对决准备开始咱们不可能赢了对吗EOS}，然后输入完成迁移学习训练的标点符号标注模型，所述标点符号标注模型可以预测所述待添加标点符号的文本中的标点符号待添加位置及对应标点符号类型，例如，标点符号标注模型可以预测出“日”和“月”之间，以及“月”和“天”之间有标点符号待添加位置，且两者对应的标点符号类型相同，均为顿号，则根据标点符号集合P，识别顿号对应的标点符号“、”，以及据标点符号位置标签集合Q，在“日”、“月”处标注“B-cae”，在“天”处标注“B-cae”，以此类推，添加其他标点符号待添加位置处的标点符号，并在前后均无标点符号待添加位置的文字处添加空白位置标签“O”。然后，输出对应的标点符号标注结果，即预测的标注标签序列{O B-cae B-cae I-cae O O O O B-com I-comO O B-exc I-exc O O O O O B-com I-com B-que I-que}。

还例如，在所述第三训练语料还可以包括每个分词单元之后的间隔符号时，所述待添加标点符号的文本也可以包括在每个分词单元之后的间隔符号，所述间隔符号可以视为分词单元。

当连续两个标点符号待添加位置之间不存在分词单元时，在前一个标点符号待添加位置之前的分词单元处，标注前一个标点符号对应的起始位置标签，并在所述后一个标点符号待添加位置之前的间隔符号和后一个标点符号待添加位置之后的分词单元处，分别标注后一个标点符号对应的起始位置标签和结束位置标签。

在本发明实施例中，获取的无标点符号的文本为{领导说实现盈利才是根本目标}，其中，分词单元为中文的一个字，则可以在每个文字之后添加间隔符号SEP，然后，作为待添加标点符号的文本输入完成迁移学习训练的标点符号标注模型，所述标点符号标注模型可以预测所述待添加标点符号的文本中的标点符号待添加位置及对应标点符号类型。

除此之外，还可以和其他标注方法一起使用，例如，还可以在句首添加空位补齐符号“BOS”，在句尾添加空位补齐符号“EOS”，得到待添加标点符号的文本{BOS领SEP1导SEP2说SEP3实SEP4现SEP5盈SEP6利SEP7才SEP8是SEP9根SEP10本SEP11目SEP12标SEP13EOS}，然后输入完成迁移学习训练的标点符号标注模型，所述标点符号标注模型可以预测所述待添加标点符号的文本中的标点符号待添加位置及对应标点符号类型，例如，标点符号标注模型可以预测出文字“说”和文字“实”之间存在两个标点符号待添加位置，并且对应的标点符号类型分别为冒号和上引号，则根据标点符号集合P，识别冒号对应的标点符号“：”和上引号对应的标点符号““”，以及，根据标点符号位置标签集合Q，在文字“说”处标注冒号的起始位置标签“B-col”，在间隔符号“SEP3”处标注上引号的起始位置标签“B-upp”，在文字“实”处标注上引号的结束位置标签“I-upp”。以此类推，添加其他标点符号待添加位置处的标点符号，并且，在前后均无标点符号待添加位置的文字处添加空白位置标签“O”，在前后均没有标点符号待添加位置的间隔符号处标注间隔标签S。然后，输出对应的标点符号标注结果，即预测的标注标签序列{O O S O S B-colB-uppI-uppS O S O S O S O S O S O S OS O S B-low B-per I-per}。

可以理解的是，此处的“SEP”后方加上数字序列仅用于描述时以作区分，在具体实施过程中可以不再“SEP”后方加上数字序列。上述实施例仅为举例说明，并非对具体实施方式的限制，

还可以理解的是，在具体实施过程中，上述标注方法可以根据实际情况随机组合使用。

采用上述方案，可以优化标签标注的方式，对于与分词单元间隔较短、容易连续出现的标点符号的标注更加准确。

由上可知，所述待添加标点符号的文本可以与上述标点符号标注模型训练时采用的第三训练语料的标注方法相一致，因此，在标点符号标注模型输出对应的标点符号标注结果后，根据待添加标点符号的文本采用的标注方法，对所述待添加标点符号的文本进行反向编译，在标注标签组合对应的位置处添加相应的标点符号，以下通过具体实施例进行详细描述。

在具体实施中，根据所述标点符号标注结果，可以对所述待添加标点符号的文本添加相应的标点符号，可以包括以下至少一种：

当所述待添加标点符号的文本中的前后两个分词单元处分别标注相同标点符号对应的标签组合时，可以在这两个分词单元中间添加所述标点符号；

当所述待添加标点符号的文本中的空位补齐符号和其相邻的分词单元处分别标注相同标点符号对应的标签组合时，可以在所述空位补齐符号和其相邻的分词单元中间添加对应的标点符号。

例如，输入标点符号标注模型的待添加标点符号的文本为{BOS读者是一本好杂志EOS}，标点符号标注模型输出的标点符号标注结果为{B-opeI-opeB-cloI-clo O O O O B-perI-per}，因为待添加标点符号的文本和输出的标注标签序列可以一一对应，因此，可以根据标点符号集合P及标点符号位置标签集合Q，识别各标签组合对应的标点符号分别为“《”、“》”和“。”，然后，根据各标签组合对应的位置，在待添加标点符号的文本的相应位置处添加标点符号，并将待添加标点符号的文本中的空位补齐符号“BOS”和“EOS”删除，获得已添加标点符号的文本，即{《读者》是一本好杂志。}。

在具体实施中，根据所述标点符号标注结果，对所述待添加标点符号的文本添加相应的标点符号，可以采用如下方法：

当所述待添加标点符号的文本中有连续多个分词单元处均仅标注对应的起始位置标签时，在所述分词单元后方添加相应的标点符号。

例如，输入标点符号标注模型的待添加标点符号的文本为{BOS日月天三方大对决准备开始咱们不可能赢了对吗EOS}，标点符号标注模型输出的标点符号标注结果为{O B-cae B-cae I-cae O O O O B-com I-com O O B-exc I-exc O O O O O B-com I-com B-que I-que}，因为待添加标点符号的文本和输出的标注标签序列可以一一对应，因此，可以根据标点符号集合P及标点符号位置标签集合Q，识别各标签组合对应的标点符号分别为“、”、“、”、“，”、“！”、“，”和“？”，然后，根据各标签组合对应的位置，在待添加标点符号的文本的相应位置处添加标点符号，并将待添加标点符号的文本中的空位补齐符号“BOS”和“EOS”删除，获得已添加标点符号的文本，即{日、月、天三方大对决，准备开始！咱们不可能赢了，对吗？}。

在具体实施中，根据所述标点符号标注结果，对所述待添加标点符号的文本添加相应的标点符号，可以包括：

当所述待添加标点符号的文本中前一个分词单元标注处对应的起始位置标签，后一个分词单元之前的间隔符号及后一个分词单元处分别标注相同标点符号对应的起始位置标签和结束位置标签时，在所述前一个分词单元和所述间隔符号后分别添加相应的标点符号。

例如，输入标点符号标注模型的待添加标点符号的文本为{BOS领SEP1导SEP2说SEP3实SEP4现SEP5盈SEP6利SEP7才SEP8是SEP9根SEP10本SEP11目SEP12标SEP13EOS}，标点符号标注模型输出的标点符号标注结果为{O O S O S B-colB-uppI-uppS O S O S O S OS O S O S O S O S B-low B-per I-per}，因为待添加标点符号的文本和输出的标注标签序列可以一一对应，因此，可以根据标点符号集合P及标点符号位置标签集合Q，识别各标签组合对应的标点符号分别为“：”、““”、“””和“。”然后，根据各标签组合对应的位置，在待添加标点符号的文本的相应位置处添加标点符号，并将待添加标点符号的文本中的空位补齐符号“BOS”、“EOS”和13个间隔符号“SEP”删除，获得已添加标点符号的文本，即{领导说：“实现盈利才是根本目标”。}。

可以理解的是，此处的“SEP”后方加上数字序列仅用于描述时以作区分，在具体实施过程中可以不再“SEP”后方加上数字序列。

还可以理解的是，上述实施例仅为举例说明，并非对具体实施方式的限制，在具体实施过程中，上述标注方法可以根据实际情况随机组合使用。

可以说明的是，本文中的“第一”、“第二”、“第三”和“第四”等名词前缀仅用于区分不同作用的名词，并不代表顺序、大小或重要性等。

本发明实施例还提供了一种数据处理设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时可以执行本发明上述任一实施例所述的方法的步骤。其中，所述数据处理设备可以为手机等手持终端、平板电脑、个人台式电脑等。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令运行时可以执行本发明上述任一实施例方法的步骤。其中，所述计算机可读存储介质可以是光盘、机械硬盘、固态硬盘等各种适当的可读存储介质。

以上实施例中计算机指令执行上述任一实施例所述的方法，具体可参照上述实施例，不再赘述。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (10)

1.一种标点符号的添加方法，其特征在于，包括：

获取待添加标点符号的文本；

将所述待添加标点符号的文本输入完成迁移学习训练的标点符号标注模型，采用所述标点符号标注模型预测所述待添加标点符号的文本中的标点符号待添加位置及对应标点符号类型，并在所述标点符号待添加位置的前后分词单元处，采用所述标点符号类型对应的标签组合进行标注，输出对应的标点符号标注结果；

根据所述标点符号标注结果，对所述待添加标点符号的文本添加相应的标点符号；

其中，所述标点符号标注模型包括预训练的语言子模型，所述语言子模型为具有时间序列的神经网络模型。

2.根据权利要求1所述的标点符号的添加方法，其特征在于，所述在所述标点符号待添加位置的前后分词单元处，采用所述标点符号类型对应的标签组合进行标注，包括：

根据预设的第一标点符号集合，识别所述标点符号类型对应的标点符号；

根据预设的标点符号位置标签集合，对所述标点符号待添加位置的前后分词单元处采用所述标点符号对应的标签组合进行标注。

3.根据权利要求2所述的标点符号的添加方法，其特征在于，所述待添加标点符号的文本包括空位补齐符号；

所述根据预设的标点符号位置标签集合，对所述标点符号待添加位置的前后分词单元处采用所述标点符号对应的标签组合进行标注，包括以下至少一种：

当所述标点符号待添加位置的前后均有分词单元时，根据所述标点符号位置标签集合，对所述标点符号待添加位置的前后分词单元处，采用所述标点符号对应的标签组合进行标注；

当所述标点符号待添加位置之前或之后有一处为空位补齐符号时，根据所述标点符号位置标签集合，对所述标点符号待添加位置之后或之前的分词单元处及之前或之后的空位补齐符号，采用所述标点符号对应的标签组合进行标注。

4.根据权利要求3所述的标点符号的添加方法，其特征在于，所述根据所述标点符号标注结果，对所述待添加标点符号的文本添加相应的标点符号，包括以下至少一种：

当所述待添加标点符号的文本中的前后两个分词单元处分别标注相同标点符号对应的标签组合时，在这两个分词单元中间添加所述标点符号；

当所述待添加标点符号的文本中的空位补齐符号和其相邻的分词单元处分别标注相同标点符号对应的标签组合时，在所述空位补齐符号和其相邻的分词单元中间添加对应的标点符号。

5.根据权利要求2至4中任一项所述的标点符号的添加方法，其特征在于，所述标点符号位置标签集合包括：设置在各个标点符号待添加位置之前的分词单元处的起始位置标签、设置在各个标点符号待添加位置之后的分词单元处的结束位置标签；所述待添加标点符号的文本包括在每个分词单元之后的间隔符号；

所述根据预设的标点符号位置标签集合，对所述标点符号待添加位置的前后分词单元处采用所述标点符号对应的标签组合进行标注，包括以下至少一种：

当连续多个标点符号待添加位置对应标点符号类型相同，且所述标点符号待添加位置之间仅有一个分词单元时，除最后一个所述标点符号待添加位置外，在其他所述标点符号待添加位置之前的分词单元处均仅标注标点符号对应的起始位置标签；

当连续两个标点符号待添加位置之间不存在分词单元时，在前一个标点符号待添加位置之前的分词单元处，标注前一个标点符号对应的起始位置标签，并在后一个标点符号待添加位置之前的间隔符号和后一个标点符号待添加位置之后的分词单元处，分别标注后一个标点符号对应的起始位置标签和结束位置标签。

6.根据权利要求5所述的标点符号的添加方法，其特征在于，所述根据所述标点符号标注结果，对所述待添加标点符号的文本添加相应的标点符号，包括以下至少一种：

当所述待添加标点符号的文本中有连续多个分词单元处均仅标注对应的起始位置标签时，在所述分词单元之后添加相应的标点符号；

当所述待添加标点符号的文本中前一个分词单元标注处对应的起始位置标签，后一个分词单元之前的间隔符号及后一个分词单元处分别标注相同标点符号对应的起始位置标签和结束位置标签时，在所述前一个分词单元和所述间隔符号之后分别添加相应的标点符号。

7.根据权利要求2所述的标点符号的添加方法，其特征在于，所述标点符号位置标签集合还包括：无标点符号对应的空白位置标签；

所述根据预设的标点符号位置标签集合，对所述标点符号待添加位置的前后分词单元处采用所述标点符号对应的标签组合进行标注，包括：

当分词单元前后均无所述标点符号待添加位置时，在所述分词单元处标注所述空白位置标签。

8.根据权利要求1所述的标点符号的添加方法，其特征在于，采用以下任意一种方式获得所述预训练的语言子模型：

从训练语料中获取随机的第一训练文本，并输入所述神经网络模型，所述神经网络模型在给定上文的条件下预测所述第一训练文本的下一个分词单元，当预测准确的概率达到预设的第一阈值时，获得所述预训练的语言子模型；

从训练语料中获取随机掩盖预设比例部分的第二训练文本，并输入所述神经网络模型，所述神经网络模型在给定上下文的条件下预测被掩盖的预设比例部分，当预测准确的概率达到预设的第二阈值时，获得所述预训练的语言子模型。

9.一种数据处理设备，包括存储器和处理器；其中，所述存储器适于存储一条或多条计算机指令，其特征在于，所述处理器运行所述计算机指令时执行权利要求1至8任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令运行时执行权利要求1至8任一项所述方法的步骤。

Images