CN110705212B - 文本序列的处理方法、处理装置、电子终端和介质 - Google Patents

Abstract

本发明公开了一种确定文本序列的处理方法、电子终端和介质。文本序列的处理方法，用于第一处理器，第一处理器用于并行计算，处理方法包括：获取待预测文本；利用文本序列预测模型处理待预测文本，以得到待预测文本的预测结果，文本序列预测模型包括串行模型，串行模型用于提取待预测文本的句子特征，第一处理器用于对串行模型进行并行化处理。如此，用于并行计算的第一处理器对文本序列预测模型的串行模型进行并行化处理，可以提高第一处理器处理待预测文本的速度，降低处理的时延，有利于提高用户体验。

Description

文本序列的处理方法、处理装置、电子终端和介质

技术领域

本发明涉及数据处理技术领域，特别涉及一种文本序列的处理方法、处理装置、电子终端和介质。

背景技术

相关技术通常通过文本序列标注的方式对给定的文本预测出需要做出标注的标签，从而实现多种应用。例如，分词、命名实体识别（Named Entity Recognition，NER）等应用。然而，相关技术的文本序列标注方式的预测速度较低，导致用户体验较差。

发明内容

本发明提供一种文本序列的处理方法、处理装置、电子终端和介质。

本发明实施方式的文本序列的处理方法，用于第一处理器，所述第一处理器用于并行计算，所述处理方法包括：

获取待预测文本；

利用文本序列预测模型处理所述待预测文本，以得到所述待预测文本的预测结果，所述文本序列预测模型包括串行模型，所述串行模型用于提取所述待预测文本的句子特征，所述第一处理器用于对所述串行模型进行并行化处理。

在某些实施方式中，利用文本序列预测模型处理所述待预测文本，包括：

根据对所述第一处理器预先设置的占用配置信息处理所述待预测文本，所述占用配置信息包括最大占用阈值。

在某些实施方式中，所述第一处理器连接第二处理器，所述第二处理器用于串行计算，所述处理方法包括：

根据所述占用配置信息和对所述第二处理器预先设置的预设配置信息处理所述待预测文本。

在某些实施方式中，所述预设配置信息包括核心配置信息，根据所述占用配置信息和对所述第二处理器预先设置的预设配置信息处理所述待预测文本，包括：

根据所述占用配置信息和所述核心配置信息处理所述待预测文本。

在某些实施方式中，所述预设配置信息包括线程配置信息，根据所述占用配置信息和所述核心配置信息处理所述待预测文本，包括：

根据所述占用配置信息、所述核心配置信息和所述线程配置信息处理所述待预测文本。

在某些实施方式中，所述处理方法包括：

获取文本训练数据和参数配置信息；

根据所述参数配置信息配置所述文本序列预测模型；

利用所述文本训练数据训练所述文本序列预测模型。

在某些实施方式中，所述文本序列预测模型包括第一层、第二层和第三层，所述第一层用于根据输入的所述待预测文本输出所述待预测文本的文本向量，所述第二层用于根据输入的所述文本向量输出所述待预测文本的隐状态序列，所述第三层用于根据输入的所述隐状态序列输出所述预测结果。

在某些实施方式中，所述第一层为BERT模型，所述第二层为Cuddn-Bi-LSTM模型，所述第三层为CRF模型，所述BERT模型的输出作为所述Cuddn-Bi-LSTM模型的输入，所述Cuddn-Bi-LSTM模型的输出作为所述CRF模型的输入。

本发明实施方式的文本序列的处理装置，用于第一处理器，所述第一处理器用于并行计算，所述处理装置包括获取模块和第一处理模块，所述获取模块用于获取待预测文本；所述第一处理模块用于利用文本序列预测模型处理所述待预测文本，以得到所述待预测文本的预测结果，所述文本序列预测模型包括串行模型，所述串行模型用于提取所述待预测文本的句子特征，所述第一处理器用于对所述串行模型进行并行化处理。

本发明实施方式的电子终端包括存储器和第一处理器，所述存储器存储有计算机程序，所述第一处理器用于执行所述程序以上述任一实施方式的文本序列的处理方法。

本发明实施方式的包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行上述任一实施方式的预测方法。

本发明实施方式的文本序列的处理方法、处理装置、电子终端和介质中，用于并行计算的第一处理器对文本序列预测模型的串行模型进行并行化处理，可以提高第一处理器处理待预测文本的速度，降低处理的时延，有利于提高用户体验。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明实施方式的预测方法的流程示意图；

图2是本发明实施方式的电子终端的模块示意图；

图3是本发明实施方式的处理装置的模块示意图；

图4是本发明实施方式的预测方法的预测过程示意图；

图5是本发明又一实施方式的预测方法的流程示意图；

图6是本发明实施方式的预测方法的训练过程示意图；

图7是本发明又一实施方式的处理装置的模块示意图；

图8是本发明再一实施方式的预测方法的流程示意图；

图9是本发明另一实施方式的预测方法的流程示意图；

图10是本发明另一实施方式的处理装置的模块示意图；

图11是本发明又一实施方式的预测方法的流程示意图；

图12是本发明再一实施方式的预测方法的流程示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

请参阅图1、图2和图3，本发明实施方式提供一种文本序列的处理方法、处理装置10和电子终端100。

本发明实施方式的文本序列的处理方法用于第一处理器101，第一处理器101用于并行计算，处理方法包括：

步骤S14：获取待预测文本；

步骤S16：利用文本序列预测模型处理待预测文本，以得到待预测文本的预测结果，文本序列预测模型包括串行模型，串行模型用于提取待预测文本的句子特征，第一处理器101用于对串行模型进行并行化处理。

本发明实施方式的电子终端100包括存储器102和第一处理器101，存储器102存储有计算机程序，第一处理器101用于执行程序以实现文本序列的处理方法。

例如执行：步骤S14：获取待预测文本；步骤S16：利用文本序列预测模型处理待预测文本，以得到待预测文本的预测结果，文本序列预测模型包括串行模型，串行模型用于提取待预测文本的句子特征，第一处理器101用于对串行模型进行并行化处理。

请参阅图3，本发明实施方式的文本序列的处理装置10，用于第一处理器101，第一处理器101用于并行计算，处理装置10包括获取模块14和第一处理模块16，获取模块14用于获取待预测文本；第一处理模块16用于利用文本序列预测模型处理待预测文本，以得到待预测文本的预测结果，文本序列预测模型包括串行模型，串行模型用于提取待预测文本的句子特征，第一处理器101用于对串行模型进行并行化处理。

本发明实施方式的文本序列的处理方法、处理装置10和电子终端100中，用于并行计算的第一处理器101对文本序列预测模型的串行模型进行并行化处理，可以提高第一处理器101处理待预测文本的速度，降低处理的时延，有利于提高用户体验。

具体地，电子终端10包括但不限于服务器、车载终端、手机、平板电脑、笔记本电脑、可穿戴设备等。在本实施方式中，电子终端100为服务器。

本发明实施方式的处理方法可完成自然语言处理（Natural LanguageProcessing，NLP）领域在句子层面中的主要任务，序列标注任务。也即是说，本发明实施方式的处理方法可预测待预测文本中需要做出标注的标签，从而实现分词、命名实体识别（Named Entity Recognition，NER）或其他应用场景。

分词是指将句子中的字拆分为词。在一个例子中，待预测文本为：“南京市长江大桥”，经过本发明实施方式的处理方法处理后，得到的预测结果为：“南京市”、“长江”、“大桥”。

命名实体识别是指识别文本中具有特定意义的实体，例如人名、地名、机构名、专有名词等。在一个例子中，待预测文本为：“导航去北京大学”，经过本发明实施方式的处理方法处理后，得到的预测结果为地名：“北京大学”。

为方便说明，接下来以本发明实施方式的处理方法应用于命名实体识别为例进行解释和说明。可以理解，这并不代表对本发明实施方式的处理方法的限制。

本发明实施方式中，第一处理器101为图形处理器（Graphics Processing Unit，GPU）。可以理解，第一处理器101也可为其他可进行并行计算的处理器。

第一处理器101可为一台GPU机器上的一个或多个GPU核心，也可为多个GPU机器上的核心。在第一处理器101为多个GPU机器上的核心的情况下，GPU机器之间可通过通信机制进行通信。例如，通过超文本传输协议（HyperText Transfer Protocol，HTTP）进行通信。在此不对通信的具体方式进行限定。

在本实施方式中，文本序列预测模型包括第一层、第二层和第三层，第一层用于根据输入的待预测文本输出待预测文本的文本向量，第二层用于根据输入的文本向量输出待预测文本的隐状态序列，第三层用于根据输入的隐状态序列输出预测结果。

进一步地，第一层为来自Transformer的双向编码器表征（BidirectionalEncoder Representations from Transformers，BERT）模型，第二层为cuddn双向长短期记忆网络（Cuddn bidirectional Long Short-Term Memory，Cuddn-Bi-LSTM）模型，第三层为条件随机场（Conditional Random Field，CRF）模型。也即是说，在本实施方式中，对待预测文本的处理是通过三层的文本序列预测模型进行，三层依次为：BERT模型、Cuddn-Bi-LSTM模型和CRF模型。BERT模型的输出作为Cuddn-Bi-LSTM模型的输入，Cuddn-Bi-LSTM模型的输出作为CRF模型的输入。

在步骤S16中，文本序列预测模型包括的串行模型可为Cuddn-Bi-LSTM模型。第一处理器101可对Cuddn-Bi-LSTM模型进行并行化处理。

请注意，Cudnn是应用在GPU上的一种并行加速技术。Cuddn-Bi-LSTM模型是Bi-LSTM模型的加速版本。Bi-LSTM模型是串行计算形式，但Bi-LSTM模型内部包括可以并行计算的子模块。Cudnn通过对模型的子模块进行分析，对能够并行化的地方进行并行化处理。也即是说，Cuddn-Bi-LSTM模型不改变Bi-LSTM整体架构，只是对计算过程进行重构与优化，从而实现了加速。因此，在相同准确率指标下，利用Cuddn-Bi-LSTM模型对待预测文本进行处理，可以实现处理速度的提升。

可以理解，往BERT模型输入待预测文本，BERT模型可作为语言模型，输出文本向量。BERT模型输出的文本向量作为Cuddn-Bi-LSTM模型的输入。

Cuddn-Bi-LSTM模型可根据文本向量自动提取待预测文本的句子特征。具体地，Cuddn-Bi-LSTM模型通过两个LSTM，使得Cuddn-Bi-LSTM模型能够同时考虑过去的特征（通过前向过程提取）和未来的特征（通过后向过程提取），从而得到正向序列和反向序列。然后，将正向序列和反向序列拼接，即可得到待预测文本的隐状态序列。

具体地，Cuddn-Bi-LSTM模型可将待预测文本的文本向量作为双向LSTM各个时间步的输入，再将正向LSTM输出的正向序列和反向LSTM输出的反向序列按位置进行拼接，从而得到完整的隐状态序列。

Cuddn-Bi-LSTM模型输出的隐状态序列可作为CRF模型的输入。CRF模型可根据隐状态序列预测待预测文本的序列标注。这样，就得到了待预测文本的预测结果。

当然，对待预测文本的处理也可以通过其他的模型进行。在其他的一些实施方式中，对待预测文本的处理通过Bi-LSTM模型和CRF模型构成的模型进行。在其他的另一些实施方式中，对待预测文本的处理通过BERT模型、Bi-LSTM模型和CRF模型构成的模型进行。在其他的又一些实施方式中，对待预测文本的处理通过BERT模型和CRF模型构成的模型进行。在此不对处理模型的具体形式进行限定。

下表1是待预测文本的各模型的性能对比表。

表1

从表1可以看出，BERT模型在CPU的预测速度要低于GPU，Bi-LSTM模型在CPU的预测速度要高于GPU。Cuddn-Bi-LSTM模型与Bi-LSTM模型在准确率相同的情况下，Cuddn-Bi-LSTM模型的时延更低，预测速度更快。具体地，使用Cuddn-Bi-LSTM模型可使得时延由210ms降低到100ms左右。再配合内存控制和参数调优，可将时延最终降低到40ms-50ms。

请参阅图5和图6，在某些实施方式中，处理方法包括：

步骤S11：获取文本训练数据和参数配置信息；

步骤S12：根据参数配置信息配置文本序列预测模型；

步骤S13：利用文本训练数据训练文本序列预测模型。

请参阅图7，对应地，处理装置10包括训练模块11，训练模块11用于获取文本训练数据和参数配置信息；及用于根据参数配置信息配置文本序列预测模型；以及用于利用文本训练数据训练文本序列预测模型。

如此，实现对文本序列预测模型的训练，以使文本序列预测模型具备处理待预测文本的能力。另外，根据参数配置信息配置文本序列预测模型，可以使得文本序列模型兼顾预测效果和预测速度。

文本训练数据可根据语音数据得到。语音数据可来自于用户的语音输入。用户的语音输入包括但不限于控制命令、导航命令等。在一个例子中，电子终端100为车载终端，第一处理器101设置在车载终端。用户在车辆内说：“我想听周xx的xx歌。”，第一处理器101通过声电元件获取到语音数据，并将语音数据转化为文本训练数据，从而利用文本训练数据对文本序列预测模型进行训练。

另外，车载终端可为多个，并分布在不同的车辆上，多个车载终端可将获取到的语音数据发送至服务器保存，在需要对文本序列预测模型进行训练时，第一处理器101可从服务器获取语音数据，并将语音数据转化为文本训练数据。

当然，服务器也可保存由语音数据转化而来的文本训练数据。这样，在需要对文本序列预测模型进行训练时，第一处理器101可从服务器直接获取文本训练数据。

可以理解，除通过语音数据外，文本训练数据还可以从其他途径获得。例如，可采集用户在浏览器搜索的句子，可采集用户浏览的文本，可采集网络中的高频语句，还可导入书籍。在此不对获取文本训练数据的具体方式进行限定。

另外，文本训练数据可包括训练文本和训练标注，训练文本包括标注数据，获取文本训练数据可包括：获取训练文本的标注数据；处理标注数据以得到训练标注。

如此，实现对文本训练数据的获取。具体地，标注数据可由人工通过标注工具对训练文本进行标注得到。在文本序列预测模型的训练和预测的过程中，可将标注数据进行形式转换以得到训练标注。

在一个例子中，标注数据由人工在网页上直接对训练文本标注标签，标注数据例如：

导航到<D:district>佛山</D:district><D:poi_generic>富丰新城</D:poi_generic>；

导航去<D:hotel>和平酒店</D:hotel>；

导航去<D:district>荔湾区</D:district><D:road>宝业路</D:road><D:poi_generic>大河里</D:poi_generic>。

在文本序列预测模型的训练和预测的过程中，可将上述标注数据转换为BIO形式以得到训练标注。

在本实施方式中，标注数据的形式为“开始、中间、其他”，即BIO（Begin、Intermedia、Other）。其中，“B”表示此元素在此片段的开头，“I”表示此元素在此片段的中间位置，“O”表示此元素不属于任何类型。

在一个例子中，对于训练文本“导航到番禺去正源中学”，训练标注如下表2所示。

表2

可以理解，在其他的实施方式中，标注数据的形式也可为“开始、中间、其他、结尾、单个字符”，即BIOES（Begin、Intermedia、Other、End、Single）。在此不对标注数据的具体形式进行限定。

此外，可对文本训练数据进行增强处理。可以理解，文本序列预测模型包括大量的参数，要想训练出符合预设需求的文本序列预测模型，一般需要大量的数据进行训练。因此，可将待增强的文本训练数据进行数据增强处理，从而使得文本训练数据的数据量更多。这样，不仅可以增加训练的数据量，提高文本序列预测模型的泛化能力，还可以增加噪声数据，提高文本序列预测模型的鲁棒性。

具体地，可通过回译、同义词替换、句子扩充、句子缩写等方式对待增强的文本训练数据进行数据增强处理。

在一个例子中，可根据用户输入的句式，利用程序自动泛化出训练集。例如，可归纳出用户一般说“导航去xxx”、“我想去xxx”，利用搜集到的地理位置信息，可以泛化出“导航去xx大学”、“我想去xx汽车产业园”等语料。

本实施方式中，参数配置信息包括语句长度的配置信息和训练轮次的配置信息。

可以理解，在其他的实施方式中，参数配置信息还可包括对每一批句子数（batchsize）、文本向量维度、网络层数，学习率、优化方法等参数的配置信息。在此不对参数配置信息的具体形式进行限定。

表3是不同最大语句长度和训练轮次的文本序列预测模型的性能对比表。

表3

在本实施方式中，语句长度的配置信息为：最大语句长度在30-60的范围内。优选地，语句长度的配置信息为：max_query_length=50。也即是说，最大语句长度为50。可以理解，在其他的实施方式中，最大语句长度可为30、40、45、55、60或其他数值。

可以理解，由于LSTM的自身结构，Cuddn-Bi-LSTM模型对每个单字进行一次词嵌入计算，语句越长，词嵌入越多。如果语句不够最大长度，也要补0对齐。而且，补0部分也要计算。因此，需要调节合理长度才能在保证最高的准确率和召回率下的情况下，使得预测速度最快。

目前线上语句的平均长度为7-8，语句最长不超过30。因此，最大语句长度为50，能够满足线上语义理解的需求。如果线上语句的长度超过50，则可在语音识别的过程中进行截断处理，以保证最大语句长度为50。

在本实施方式中，训练轮次的配置信息为：训练轮次在20-40的范围内。优选地，训练轮次的配置信息为：epoch=30。也即是说，训练轮次为30。可以理解，在其他的实施方式中，训练轮次也可为20、25、27、32、35、40或其他数值。

可以理解，训练轮次越多，文本序列预测模型的拟合程度越好。但是，训练轮次太多会使得文本序列预测模型过拟合，导致文本序列模型的适用性降低。训练轮次太少会使得文本序列预测模型欠拟合。而训练轮次在20-40的范围内，可以使得文本序列预测模型的拟合程度较好，保证模型学习能力足够，得到接近真实情况的理想模型，既能够保证适用性，也能保证文本序列预测模型对待预测文本的处理能力。

在图6的示例中，可先根据参数配置信息对文本序列预测模型的参数进行配置，再根据文本训练数据将BERT模型、Cuddn-Bi-LSTM模型和CRF模型在GPU上训练。

具体地，往BERT模型输入文本训练数据，BERT模型可输出训练文本向量。Cuddn-Bi-LSTM模型可根据训练文本向量自动提取文本训练数据的句子特征并输出训练隐状态序列。CRF模型可以通过训练隐状态序列学习到文本训练数据中各个序列标签的特征和规律。

进一步地，可通过循环进行预测，从而使得误差和准确率满足预设需求。

进一步地，文本训练数据包括训练文本和训练标注，可利用训练标注对文本序列预测模型的损失函数进行最小化优化来拟合预测结果与标注结果，并更新文本序列预测模型的参数。

请参阅图8，在某些实施方式中，步骤S16包括：

步骤S162：根据对第一处理器101预先设置的占用配置信息处理待预测文本，占用配置信息包括最大占用阈值。

对应地，第一处理模块16用于根据对第一处理器101预先设置的占用配置信息处理待预测文本，占用配置信息包括最大占用阈值。

如此，可以提高处理待预测文本的速度。具体地，占用配置信息可由用户输入，也可根据相关数据确定。在此不对占用配置信息的具体来源进行限定。进一步地，在本实施方式中，占用配置信息包括显存占用配置信息。

另外，可在首次处理待预测文本前，根据占用配置信息对第一处理器101设置一次。也可在每次处理待预测文本前，均根据占用配置信息对第一处理器101进行设置。在此不对根据占用配置信息对第一处理器101进行设置的具体方式进行限定。

可以理解，在根据占用配置信息进行设置后，在处理待预测文本的过程中，即可根据占用配置信息处理待预测文本。

在本实施方式中，占用配置信息包括显存占用配置信息，可根据显存占用配置信息在14%-20%的范围设置显存占用率。优选地，可根据显存占用配置信息将显存占用率设为15%。也即是说，最大占用阈值为15%。

在一个例子中，显存占用配置信息为：

config.gpu_options.per_process_gpu_memory_fraction = 0.15；

如此，第一处理器101在接收到显存占用配置信息后，可根据显存占用配置信息将显存占用率设为15%。

可以理解，在预测过程中，GPU的显存占用率一般在15%以下，但是，GPU的显存占用率不太稳定，可能会出现波动。例如，GPU的显存占用率可能超过15%，甚至可能导致对待预测文本的处理需要占用CPU的资源。这样导致预测速度较慢。

而本实施方式中，通过对GPU的显存占用率进行设置，可以限制显存占用率，避免GPU的显存占用率超过预设值，从而提高预测速度。

请参阅图9，在某些实施方式中，第一处理器101连接第二处理器103，第二处理器103用于串行计算，处理方法包括：

步骤S18：根据占用配置信息和对第二处理器103预先设置的预设配置信息处理待预测文本。

请参阅图10，对应地，处理装置10包括第二处理模块18，第二处理模块18用于根据占用配置信息和对第二处理器103预先设置的预设配置信息处理待预测文本。

如此，可进一步提高处理待预测文本的速度。具体地，预设配置信息可由用户输入，也可根据相关数据确定。在此不对预设配置信息的具体来源进行限定。在本实施方式中，第二处理器103为中央处理器（Central processing unit，CPU）。

可以理解，第二处理器103还可为其他的可进行串行计算的处理器。

请注意，第二处理器103与第一处理器101可为同一个GPU机器的不同核心，也可分别为不同机器的核心。例如，第一处理器101为一个GPU机器的核心，第二处理器103为一个CPU机器的核心。在第二处理器103与第一处理器101为不同机器的核心的情况下，GPU机器之间可通过通信机制进行通信。例如，通过超文本传输协议（HyperText TransferProtocol，HTTP）进行通信。在此不对通信的具体方式进行限定。

另外，可在首次处理待预测文本前，根据占用配置信息对第一处理器101设置一次，并根据预设配置信息对第二处理器103设置一次。也可在每次处理待预测文本前，均根据占用配置信息对第一处理器101进行设置，并根据预设配置信息信息对第二处理器103进行设置。在此不对根据占用配置信息对第一处理器101进行设置和根据预设配置信息对第二处理器103进行设置的具体方式进行限定。

可以理解，在根据占用配置信息和预设配置信息进行设置后，在处理待预测文本的过程中，即可根据占用配置信息和预设配置信息处理待预测文本。

请注意，在图9的示例中，在步骤S14获取待预测文本后，可进入步骤S162，根据对第一处理器101预先设置的占用配置信息处理待预测文本，以得到待预测文本的预测结果，也可进入步骤S18，根据对第一处理器101预先设置的占用配置信息和对第二处理器103预先设置的预设配置信息处理待预测文本。

也即是说，可以仅根据占用配置信息处理待预测文本，也可根据占用配置信息和预设配置信息处理待预测文本。这两种方式都可以加快处理待预测文本的速度。

进一步地，可以在仅需要利用第一处理器101的情况下，进入步骤S162；可以在需要利用第一处理器101和第二处理器103的情况下，进入步骤S18。

可以理解，在其他的例子中，也可以在需要利用第一处理器101和第二处理器103的情况下，进入步骤S162。当然，在需要利用第一处理器101和第二处理器103的情况下，进入步骤S18比进入步骤S162更佳，可以进一步保证预测速度，使得对待预测文本的处理更快。

请参阅图11，在某些实施方式中，预设配置信息包括核心配置信息，步骤S18包括：

步骤S182：根据占用配置信息和核心配置信息处理待预测文本。

对应地，第二处理模块18用于根据占用配置信息和核心配置信息处理待预测文本。

如此，通过占用配置信息和核心配置信息提高处理待预测文本的速度。具体地，核心配置信息可由用户输入，也可根据相关数据确定。在此不对核心配置信息的具体来源进行限定。

可以理解，CPU的核心越多，CPU的处理能力越强。但同时，随着核心数量的增加，预测时延也会增加。在本实施方式中，可根据核心配置信息在0-4的范围内设置第二处理器103的核心的数量。优选地，可根据核心配置信息将第二处理器103的核心数量设置为1。当然，也可根据核心配置信息将第二处理器103的核心数量设置为2、3、4。在此不对根据核心配置信息设置的具体核心的数量进行限定。

在一个例子中，核心配置信息为：allow_soft_placement=1, device_count={'CPU': 1})；这样，CPU在接收到核心配置信息后，可根据核心配置信息将CPU的核心数量设置为1。

可以理解，除GPU外，通常还会需要用到CPU，例如通过CPU处理Cuddn-Bi-LSTM模型中不能够并行化的部分。因此，将第二处理器103的核心数量设置为1，既可以保证CPU的利用，也避免了CPU的核心数量过多而导致预测时延的增加。

请参阅图12，在某些实施方式中，预设配置信息包括线程配置信息，步骤S182包括：

步骤S1822：根据占用配置信息、核心配置信息和线程配置信息处理待预测文本。

对应地，第二处理模块18用于根据占用配置信息、核心配置信息和线程配置信息处理待预测文本。

如此，通过占用配置信息、核心配置信息和线程配置信息提高处理待预测文本的速度。具体地，线程配置信息可由用户输入，也可根据相关数据确定。在此不对线程配置信息的具体来源进行限定。

可以理解，CPU的线程越多，CPU的处理能力越强。但同时，随着线程的数量的增加，预测时延也会增加。例如，若CPU的核心的数量从1增加到4，线程也从1增加到4，预测时延的增加范围在0ms-40ms之间。

在本实施方式中，可根据线程配置信息在0-4的范围内设置第二处理器103的线程的数量。优选地，可根据线程配置信息将第二处理器103的线程的数量设置为1。当然，也可根据线程配置信息将第二处理器103的线程的数量设置为2、3、4。在此不对根据线程配置信息设置的具体线程的数量进行限定。

在一个例子中，线程配置信息为：

config = tf.ConfigProto(intra_op_parallelism_threads=1；

这样，CPU在接收到线程配置信息后，可根据线程配置信息将CPU的线程设置为1，使得外部操作只使用单一线程。

在另一个例子中，线程配置信息为：inter_op_parallelism_threads=1；这样，CPU在接收到线程配置信息后，可根据线程配置信息将CPU的线程设置为1，使得内部操作只使用单一线程。

在又一个例子中，线程配置信息为：

config = tf.ConfigProto(intra_op_parallelism_threads=1；

inter_op_parallelism_threads=1；

这样，CPU在接收到线程配置信息后，可根据线程配置信息将CPU的线程设置为1，使得外部操作和内部操作均只使用单一线程。

可以理解，除GPU外，通常还会需要用到CPU，因此，将第二处理器103的线程设置为1，既可以保证CPU的利用，也避免了CPU的线程过多而导致预测时延的增加。

请注意，可根据线程配置信息和核心配置信息设置第二处理器，从而压制CPU，保障计算能力以GPU为主导，从而保证预测时延较低。

本发明实施方式的包含计算机可执行指令的非易失性计算机可读存储介质，当计算机可执行指令被一个或多个处理器101执行时，使得处理器101上述任一实施方式的文本序列的处理方法。

本发明实施方式的包含计算机可执行指令的非易失性计算机可读存储介质，用于并行计算的第一处理器对文本序列预测模型的串行模型进行并行化处理，可以提高第一处理器处理待预测文本的速度，降低处理的时延，有利于提高用户体验。

在本发明中，计算机程序包括计算机程序代码。计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart MediaCard，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。处理器101可以是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器101、数字信号处理器101(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field- Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器101可以是微处理器101或者该处理器101也可以是任何常规的处理器101等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.一种文本序列的处理方法，用于第一处理器，其特征在于，所述第一处理器用于并行计算，所述处理方法包括：

获取待预测文本；

利用文本序列预测模型处理所述待预测文本，以得到所述待预测文本的预测结果，所述文本序列预测模型包括串行模型，所述串行模型用于提取所述待预测文本的句子特征，所述第一处理器用于应用Cudnn并行加速技术对所述串行模型进行并行化处理，其中，所述文本序列预测模型包括BERT模型、Cuddn-Bi-LSTM模型和CRF模型，所述BERT模型的输出作为所述Cuddn-Bi-LSTM模型的输入，所述Cuddn-Bi-LSTM模型的输出作为所述CRF模型的输入，所述BERT模型用于根据输入的所述待预测文本输出所述待预测文本的文本向量，所述Cuddn-Bi-LSTM模型用于根据输入的所述文本向量输出所述待预测文本的隐状态序列，所述CRF模型用于根据输入的所述隐状态序列输出所述预测结果。

2.根据权利要求1所述的处理方法，其特征在于，利用文本序列预测模型处理所述待预测文本，包括：

根据对所述第一处理器预先设置的占用配置信息处理所述待预测文本，所述占用配置信息包括最大占用阈值。

3.根据权利要求2所述的处理方法，其特征在于，所述第一处理器连接第二处理器，所述第二处理器用于串行计算，所述处理方法包括：

根据所述占用配置信息和对所述第二处理器预先设置的预设配置信息处理所述待预测文本。

4.根据权利要求3所述的处理方法，其特征在于，所述预设配置信息包括核心配置信息，根据所述占用配置信息和对所述第二处理器预先设置的预设配置信息处理所述待预测文本，包括：

根据所述占用配置信息和所述核心配置信息处理所述待预测文本。

5.根据权利要求4所述的处理方法，其特征在于，所述预设配置信息包括线程配置信息，根据所述占用配置信息和所述核心配置信息处理所述待预测文本，包括：

根据所述占用配置信息、所述核心配置信息和所述线程配置信息处理所述待预测文本。

6.根据权利要求1所述的处理方法，其特征在于，所述处理方法包括：

获取文本训练数据和参数配置信息；

根据所述参数配置信息配置所述文本序列预测模型；

利用所述文本训练数据训练所述文本序列预测模型。

7.一种文本序列的处理装置，用于第一处理器，其特征在于，所述第一处理器用于并行计算，所述处理装置包括获取模块和第一处理模块，所述获取模块用于获取待预测文本；所述第一处理模块用于利用文本序列预测模型处理所述待预测文本，以得到所述待预测文本的预测结果，所述文本序列预测模型包括串行模型，所述串行模型用于提取所述待预测文本的句子特征，所述第一处理器用于应用Cudnn并行加速技术对所述串行模型进行并行化处理，其中，所述文本序列预测模型包括BERT模型、Cuddn-Bi-LSTM模型和CRF模型，所述BERT模型的输出作为所述Cuddn-Bi-LSTM模型的输入，所述Cuddn-Bi-LSTM模型的输出作为所述CRF模型的输入，所述BERT模型用于根据输入的所述待预测文本输出所述待预测文本的文本向量，所述Cuddn-Bi-LSTM模型用于根据输入的所述文本向量输出所述待预测文本的隐状态序列，所述CRF模型用于根据输入的所述隐状态序列输出所述预测结果。

8.一种电子终端，其特征在于，包括存储器和第一处理器，所述存储器存储有计算机程序，所述第一处理器用于执行所述程序以实现权利要求1-6任一项所述的文本序列的处理方法。

9.一种包含计算机可执行指令的非易失性计算机可读存储介质，其特征在于，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行权利要求1-6中任一项所述的文本序列的处理方法。