CN113971218A - 位置编码方法、装置及存储介质 - Google Patents

Abstract

本公开是关于一种位置编码方法、装置及存储介质。该方法包括：确定待处理文本中各个文本单元的位置信息，按照第一编码方式对所述位置信息进行编码，得到第一位置编码结果，按照第二编码方式对所述位置信息进行编码，得到第二位置编码结果，基于所述第一位置编码结果和所述第二位置编码结果，得到目标位置编码结果，其中，所述第一位置编码方式与所述第二位置编码方式不同。本公开能够在没有明显增加参数量以及计算量的前提下，简单准确地增强待处理文本中各个文本单元对应的的相对位置编码信息，有效的提高后续生成模型结果预测的准确性。

Description

位置编码方法、装置及存储介质

技术领域

本公开涉及计算机技术领域，尤其涉及一种位置编码方法、装置及存储介质。

背景技术

随着神经网络的不断发展，研究人员综合分析了现有的基于卷积神经网络(Convolutional Neural Network，CNN)的可并行处理模型和基于循环神经网络(Recurrent Neural Networks，RNN)的长短期记忆网络(Long Short Term Memorynetworks，LSTM)门控长短期记忆时序翻译模型，总结了两个模型的优缺点并在此基础上提出了基于自注意力(self-Attention)机制的翻译模型(Transformer)。Transformer模型没有使用CNN模型和RNN模型的方法和模块，而是开创新的将注意力机制作为编解码器的核心构建执行翻译机制，为自然语言处理(Natural Language Processing，NLP)的其他领域贡献了全新的解决方案。

发明内容

为克服相关技术中存在的问题，本公开提供一种位置编码方法、装置及存储介质。

根据本公开实施例的第一方面，提供一种位置编码方法，包括：

确定待处理文本中各个文本单元的位置信息；

按照第一编码方式对所述位置信息进行编码，得到第一位置编码结果；

按照第二编码方式对所述位置信息进行编码，得到第二位置编码结果；

基于所述第一位置编码结果和所述第二位置编码结果，得到目标位置编码结果；

其中，所述第一位置编码方式与所述第二位置编码方式不同。

在一些实施例中，所述确定待处理文本中各个文本单元的位置信息，包括：

对所述待处理文本进行分词处理，得到各个所述文本单元；其中，所述文本单元至少包括：字和词语；

确定各个所述文本单元所对应的分词顺序；

根据所述分词顺序，确定所述位置信息。

在一些实施例中，所述按照第一编码方式对所述位置信息进行编码，得到第一位置编码结果，包括：

根据预设编码模型对所述位置信息进行编码处理，得到预设格式的编码结果；

对所述预设格式的编码结果与自定义特征进行相乘处理，得到所述第一位置编码结果；

其中，所述自定义特征的维度由所述待处理文本中文本单元的数量和所述预设格式的位置编码结果的维度确定。

在一些实施例中，所述按照第二编码方式对所述位置信息进行编码，得到第二位置编码结果，包括：

确定所述待处理文本中各个所述文本单元的位置信息之间的差值；

根据所述差值，分别得到各个所述文本单元对应的位置差异信息；

根据至少两种转换策略，分别对各个所述位置差异信息进行函数转换，得到所述第二位置编码结果。

在一些实施例中，所述根据至少两种转换策略，分别对各个所述位置差异信息进行函数转换，得到所述第二位置编码结果，包括：

对待插入至预设序列中偶数位置的元素，采用第一转换策略对所述位置差异信息进行处理，得到偶数位置的元素对应的值；

对待插入至所述预设序列中奇数位置的元素，采用第二转换策略对所述位置差异信息进行处理，得到奇数位置的元素对应的值；

将所述偶数位置的元素对应的值和所述奇数位置的元素对应的值插入所述预设序列，得到所述第二位置编码结果。

在一些实施例中，所述第一转换策略包括：正弦转换策略；

所述第二转换策略包括：余弦转换策略。

在一些实施例中，所述基于所述第一位置编码结果和所述第二位置编码结果，得到目标编码结果，包括：

对所述第一位置编码结果与所述第二位置编码结果进行相加处理，得到所述目标位置编码结果。

在一些实施例中，所述方法还包括：

获取所述待处理文本中各个所述文本单元对应的文本编码结果；

对所述文本编码结果与所述目标位置编码结果进行相加处理，得到所述待处理文本中各个所述文本单元对应的时序编码结果；

将所述待处理文本中各个所述文本单元对应的时序编码结果输入生成模型，得到所述待处理文本对应的回复文本。

根据本公开实施例的第二方面，提供一种位置编码装置，包括：

第一确定模块，配置为确定待处理文本中各个文本单元的位置信息；

第一编码模块，配置为按照第一编码方式对所述位置信息进行编码，得到第一位置编码结果；

第二编码模块，配置为按照第二编码方式对所述位置信息进行编码，得到第二位置编码结果；

第二确定模块，配置为基于所述第一位置编码结果和所述第二位置编码结果，得到目标位置编码结果；

其中，所述第一位置编码方式与所述第二位置编码方式不同。

在一些实施例中，所述第一确定模块，配置为：

对所述待处理文本进行分词处理，得到各个所述文本单元；其中，所述文本单元至少包括：字和词语；

确定各个所述文本单元所对应的分词顺序；

根据所述分词顺序，确定所述位置信息。

在一些实施例中，所述第一编码模块，配置为：

根据预设编码模型对所述位置信息进行编码处理，得到预设格式的编码结果；

对所述预设格式的编码结果与自定义特征进行相乘处理，得到所述第一位置编码结果；

其中，所述自定义特征的维度由所述待处理文本中文本单元的数量和所述预设格式的位置编码结果的维度确定。

在一些实施例中，所述第二编码模块，配置为：

确定所述待处理文本中各个所述文本单元的位置信息之间的差值；

根据所述差值，分别得到各个所述文本单元对应的位置差异信息；

根据至少两种转换策略，分别对各个所述位置差异信息进行函数转换，得到所述第二位置编码结果。

在一些实施例中，所述第二编码模块，配置为：

对待插入至预设序列中偶数位置的元素，采用第一转换策略对所述位置差异信息进行处理，得到偶数位置的元素对应的值；

对待插入至所述预设序列中奇数位置的元素，采用第二转换策略对所述位置差异信息进行处理，得到奇数位置的元素对应的值；

将所述偶数位置的元素对应的值和所述奇数位置的元素对应的值插入所述预设序列，得到所述第二位置编码结果。

在一些实施例中，所述第一转换策略包括：正弦转换策略；

所述第二转换策略包括：余弦转换策略。

在一些实施例中，所述第二确定模块，配置为：

对所述第一位置编码结果与所述第二位置编码结果进行相加处理，得到所述目标位置编码结果。

在一些实施例中，所述装置还包括：

获取模块，配置为获取所述待处理文本中各个所述文本单元对应的文本编码结果；

相加模块，配置为对所述文本编码结果与所述目标位置编码结果进行相加处理，得到所述待处理文本中各个所述文本单元对应的时序编码结果；

输入模块，配置为将所述待处理文本中各个所述文本单元对应的时序编码结果输入生成模型，得到所述待处理文本对应的回复文本。

根据本公开实施例的第三方面，提供一种位置编码装置，包括：

处理器；

配置为存储处理器可执行指令的存储器；

其中，所述处理器配置为：执行时实现上述第一方面中任一种位置编码方法中的步骤。

根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由位置编码装置的处理器执行时，使得所述装置能够执行上述第一方面中任一种位置编码方法中的步骤。

本公开的实施例提供的技术方案可以包括以下有益效果：

本公开实施例中，能够基于确定的待处理文本中各个文本单元的位置信息，按照第一编码方式对位置信息进行编码，得到第一位置编码结果，按照不同于第一编码方式的第二编码方式对位置信息进行编码，得到第二位置编码结果，然后基于第一位置编码结果和第二位置编码结果，得到待处理文本对应的目标位置编码结果。

本公开通过获取待处理文本对应的多个不同的位置编码结果，来得到包含待处理文本中各个文本单元的绝对位置信息和相对位置信息的目标位置编码结果，在没有明显增加参数量以及计算量的前提下，在生成模型的预测过程中能够简单准确地增强待处理文本中各个文本单元的相对位置编码信息，相较于相关技术中只运用绝对位置信息来确定目标位置编码结果，有效的提高了生成模型结果预测的准确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据本公开一示例性实施例示出的一种位置编码方法的流程图。

图2是根据本公开一示例性实施例示出的一种位置编码应用场景示意图。

图3是根据本公开一示例性实施例示出的一种位置编码装置框图。

图4是根据本公开一示例性实施例示出的一种位置编码装置的硬件结构框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的位置编码方法的流程图，如图1所示，该方法应用于电子设备，主要包括以下步骤：

在步骤101中，确定待处理文本中各个文本单元的位置信息；

在步骤102中，按照第一编码方式对所述位置信息进行编码，得到第一位置编码结果；

在步骤103中，按照第二编码方式对所述位置信息进行编码，得到第二位置编码结果；

在步骤104中，基于所述第一位置编码结果和所述第二位置编码结果，得到目标位置编码结果。

这里，电子设备可以包括：终端设备，例如，移动终端或固定终端。其中，移动终端可以包括：手机、平板电脑、笔记本电脑或者穿戴式设备等设备，还可以包括智能家居设备，例如，智能音箱等。固定终端可以包括：台式电脑或智能电视等。

需要说明的是，自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。自然语言处理是一门与语言学的研究有着密切的联系，融语言学、计算机科学、数学于一体的科学，其主要研究通过自然语言进行有效的人机交互的方法和相关理论。也就是说，通过自然语言处理方面的相关技术，电子设备可以直接识别用户通过语音或文本的形式提供的自然语言，并作出对应的响应，例如：执行特定操作，根据用户的意图给出自然语言形式的应答等。

自然语言处理包括对用户日常使用的语言，例如：汉语、英语、俄语等，进行机器翻译、舆情监测、自动摘要、观点提取、文本分类、问题回答、知识图谱、情感分析、文本语义对比、语音识别等处理。为了实现上述这些自然语言处理相关的技术，一个必不可少的环节就是将用户提供的自然语言形式的待处理文本分解成多个文本单元，然后将每一个文本单元转换为对应的词向量，从而将用户输入的待处理文本转换成一个由若干个词向量组成的词向量序列。然后电子设备才能对所述词向量序列来进行相应处理。

本公开实施例中，待处理文本可以是指当前需要处理的文本，文本可以是具有完整、系统含义的一个句子或多个句子的组合，一个文本可以是一个句子、一个段落或者一个篇章，如短句、谚语、格言、标题等短文本，或者文章、文档文本等长文本。待处理文本可以通过向量序列等形式来表示(例如但不限于[I do not like the story of the movie])，本公开实施例对此不作具体限定。文本单元可以是指待处理文本中单个的字或词，例如：待处理文本为一个语句“张三乘高铁前往A市”，则所述待处理文本中包含的文本单元依次为“张三”、“乘”、“高铁”、“前往”和“A市”。所述位置信息可以是指所述文本单元相对于所述待处理文本的顺序属性等信息，若改变某一文本单元在待处理文本中的位置信息，可能会导致待处理文本的语义完全发生变化，因此在自然语言处理过程中，首先可以确定各个文本单元的位置信息，例如：“张三”对应的位置信息可以为1，“乘”对应的位置信息可以为2，“A市”对应的位置信息可以为5等。

在一种可能的实施例中，电子设备可以直接接收来自用户人工标记的位置信息。例如：电子设备可以通过显示屏等设备显示待处理文本“The animal did not cross thestreet because it was too tired”，然后用户可以通过鼠标、触控显示屏等部件直接标记出各个文本单元对应的位置信息(例如但不限于“The”标记数值1，“animal”标记数值2等)。

在一种可能的实施例中，电子设备还可以通过识别待处理文本中各个文本单元的键入顺序来确定位置信息，键入顺序可以是指各个文本单元的输入到电子设备中的先后顺序，由于用户的使用习惯，通常用户会按照先后顺序，分别输入各个文本单元来组成完整的待处理文本。例如：电子设备可以通过鼠标键盘或可触控显示屏等部件中的“Enter”按钮来键入第一个文本单元“The”，然后键入第二个文本单元“animal”，则电子设备通过对应的键入顺序，文本单元“The”对应的位置信息可以确定为1，文本单元“animal”对应的位置信息可以确定为2等。通过上述方式确定各个文本单元的位置信息，有助于电子设备简单准确地确定待处理文本中各个文本单元的位置信息，减少运算量，提高电子设备的运行效率。

在一些实施例中，位置信息对应的表现形式多种多样，可以使用数值，也可使用向量来表示，本公开实施例不作具体限定。在一种可能的实施例中，电子设备可以先确定待处理文本对应的文本单元的个数，然后设置对应大小的序列来进行位置信息。例如：电子设备确定待处理文本中文本单元的数量为5，那么电子设备确定位置信息可以用序列[0,1,2,3,4]来表示，电子设备可以线性分配一个数值给每个文本单元，用来表示不同文本单元对应排列顺序之间的联系，也即0分配给待处理文本中的第一个文本单元，1分配给待处理文本中的第二个文本单元等。电子设备可以预先设置最大的文本单元数量(例如但不限于为192等)来设置位置信息对应的序列，以防止出现序列超范围的情况。

本公开实施例中，电子设备确定待处理文本中各个文本单元的位置信息后，可以按照不同编码方式对所述位置信息进行编码，得到不同的位置编码结果，也即所述第一位置编码方式与所述第二位置编码方式是不同的。编码方式可以是指通过设定的转换技术，将某个表现形式的位置信息转换成另一种满足预设条件或者格式的数据，所述预设条件可以包括特征提取、滤波增强、拟合、时域-频域变换等操作。位置编码结果可以是指对位置信息按照对应的编码方式进行处理后的二次表示结果，不同编码方式与不同位置编码结果之间存在对应的映射关系。

编码方式多种多样，本公开实施例不作具体限定。例如：电子设备可以预先设置一个神经网络模型，然后将位置信息作为神经网络模型的输入，确定神经网络模型输出的最大长度为512，维度为768，那么就可以得到一个512*768的矩阵作为位置编码结果，所述位置编码结果可以随着训练过程进行更新。再例如，电子设备也可以通过三角函数处理、递归处理、相乘处理、负数处理或正余弦处理等编码方式来确定对应的位置编码结果。所述位置编码结果可以用矩阵形式来表示，对于单个文本单元对应的位置编码结果可以是一维矩阵，多个文本单元可以组合成的待处理文本对应的位置编码结果可以是多维矩阵，组合成多维矩阵形式后，有助于电子设备进行并行计算，提高运算效率。

在一种可能的实施例中，第一位置编码结果可以是指绝对位置编码结果(也可以称为参数式绝对位置编码等)，第二位置编码结果可以是指相对位置编码结果(也可以称为函数式位置编码等)。绝对位置编码结果可以用来确定各个文本单元相对于待处理文本的绝对信息，相对位置编码结果可以用来确定不同文本单元之间的相对信息。例如：待处理文本“张三乘高铁前往A市”中的文本单元“张三”对应的绝对位置编码结果可以为1，文本单元“张三”与文本单元“高铁”之间的相对位置编码结果可以为2等。由于一个文本单元在待处理文本中的位置或排列顺序不同，可能整个待处理文本的意思就发生了偏差，电子设备通过确定多个不同的位置编码结果可以更加精确地对待处理文本进行对应的自然语言处理。

本公开实施例中，电子设备按照不同编码方式对所述位置信息进行编码，得到不同的位置编码结果后，可以根据得到的不同的位置编码结果确定目标位置编码结果。这里，目标位置编码结果可以是指文本单元基于位置信息确定的，包含多种位置编码结果特征的综合位置编码结果，本公开实施例中确定目标位置编码结果的方式不具体限定。例如：电子设备确定第一位置编码结果为[1,2,3]，第二位置编码结果为[4,5,6]，那么电子设备可以对不同位置编码结果进行卷积处理，得到对应的目标位置编码结果为32等。

本公开实施例中，所述位置编码方法可以应用于各种实际场景，例如：可以应用于智能机器人中的智能问答系统。如图2所示，可以表示位置编码在自然语言处理中的应用场景示意图。用户在与智能机器人进行语音交互的过程中，智能机器人首先可以将接收到的语音信号转换为对应的待处理文本，然后可以根据待处理文本确定出语音交互对应的交互类型(例如但不限于语音控制类型、语音闲聊类型等)。在确定当前语音交互属于语音闲聊类型时，智能机器人可以先确定出待处理文本中对应的问题实体201(Query)，然后可以在检索库202中进行检索，得到问题实体201对应的多个候选实体203(Candidates)，根据问题实体201和候选实体203可以生成多个<问题实体(Query)，属性(Post)，候选实体(Candidates)>形式的三元组。

然后智能机器人可以通过排序模型204(BertRank)对所有的根据问题实体201和候选实体203生成的三元组进行排序处理，得到多个候选序列，再通过检索模型205(Selector)对多个候选序列进行处理，通过得到准确率最高的候选序列来确定问题实体201对应的答案实体207(Reply)。若检索模型205没有确定出问题实体201对应的答案实体207，那么智能机器人可以选择通过生成模型206(Generator)来确定出准确的答案实体207，生成模型206可以为基于本公开实施例中的所述位置编码方法训练好的Transformer模型。研究人员在研究中发现，由于Transformer模型中不包括递归和卷积处理机制，为了使Transformer模型能够利用输入序列的顺序信息进一步提高模型预测的准确性，Transformer模型中需要导入一些关于输入序列中标记的相对位置或绝对位置的信息。在实际使用过程中发现，通过相关技术中的技术方案构建的位置特征，容易导致Transformer模型中自注意力层在计算过程中损失相对位置特征信息，进而影响Transformer模型结果预测的准确性。

本公开实施例中，能够基于确定的待处理文本中各个文本单元的位置信息，按照第一编码方式对位置信息进行编码，得到第一位置编码结果，按照不同于第一编码方式的第二编码方式对位置信息进行编码，得到第二位置编码结果，然后基于第一位置编码结果和第二位置编码结果，得到待处理文本对应的目标位置编码结果。本公开通过获取待处理文本对应的多个不同的位置编码结果，来得到包含待处理文本中各个文本单元的绝对位置信息和相对位置信息的目标位置编码结果，在没有明显增加参数量以及计算量的前提下，在生成模型的预测过程中能够简单准确地增强待处理文本中各个文本单元的相对位置编码信息，有效的提高了生成模型结果预测的准确性。

在一些实施例中，所述确定待处理文本中各个文本单元的位置信息，包括：

对所述待处理文本进行分词处理，得到各个所述文本单元；其中，所述文本单元至少包括：字和词语；

确定各个所述文本单元所对应的分词顺序；

根据所述分词顺序，确定所述位置信息。

本公开实施例中，分词处理是自然语言处理的基础，分词准确度直接决定了后面的词性标注、句法分析、词向量以及文本分析的质量。英文语句使用空格将单词进行分隔，除了某些特定词，如“how many”、“New York”等外，大部分情况下不需要考虑分词问题。但中文不同，由于缺少分隔符(例如空格符号)，需要预先自行分词和断句，故电子设备在进行中文自然语言处理时，可以先进行分词处理。本公开实施例中电子设备可以通过基于词典的规则匹配方法，或基于统计的机器学习等方法对所述待处理文本进行分词处理，有助于电子设备准确快速地确定位置信息。

电子设备对所述待处理文本进行分词处理，得到各个所述文本单元后，可以确定各个所述文本单元所对应的分词顺序，根据所述分词顺序，确定所述位置信息，分词顺序可以是指确定出各个文本单元的先后顺序。例如：电子设备可以通过基于词典的规则匹配方法对待处理文本“结婚和尚未结婚的同事”进行分词处理，依次得到文本单元为“结婚”、“和”、“尚未”、“结婚”、“的”、“同事”，那么电子设备就可以确定文本单元“结婚”对应的分词顺序为1，文本单元“和”对应的分词顺序为2等，从而可以确定文本单元“结婚”对应的位置信息为1，文本单元“和”对应的位置信息为2等。

本公开实施例中，可以先对所述待处理文本进行分词处理，得到各个所述文本单元，其中，所述文本单元至少包括：字和词语，然后确定各个所述文本单元所对应的分词顺序，最后可以根据所述分词顺序，确定所述位置信息。本公开能够通过对待处理文本进行分词处理，简单准确地确定位置信息，以及提高运行效率。

在一些实施例中，所述按照第一编码方式对所述位置信息进行编码，得到第一位置编码结果，包括：

根据预设编码模型对所述位置信息进行编码处理，得到预设格式的编码结果；

对所述预设格式的编码结果与自定义特征进行相乘处理，得到所述第一位置编码结果；

其中，所述自定义特征的维度由所述待处理文本中文本单元的数量和所述预设格式的位置编码结果的维度确定。

本公开实施例中，电子设备确定所述位置信息后，可以基于所述位置信息得到第一编码结果。预设编码模型可以是指对所述位置信息进行格式转换的模型，如独热编码(One-Hot)模型，独热编码即One-Hot编码，又称一位有效编码。预设格式可以包括编码结果对应的维度大小或者表现形式等，如电子设备可以将位置信息从数值格式转换为向量格式等，有助于降低后续计算的复杂度。例如：电子设备确定待处理文本“张三乘高铁前往A市”对应的位置信息可以为[0,1,2,3,4]，那么待处理文本对应的预设格式的编码结果可以为[1,0,0,0,0；0,1,0,0,0；0,0,1,0,0；0,0,0,1,0；0,0,0,0,1]。也即位置信息可以为1的文本单元“张三”对应的预设格式的编码结果为[1,0,0,0,0]。其中矩阵的维度1*5可以由文本单元的数量5个来确定，也可以预先设置默认长度，然后将所有文本单元对应的预设格式的编码结果组合成待处理文本对应的预设格式的编码结果，有助于电子设备并行计算，减少运算时长。

在一些实施例中，电子设备可以对所述预设格式的编码结果与自定义特征进行相乘处理，得到所述第一位置编码结果。所述自定义特征矩阵可以是指随机初始化各元素值的矩阵，其中所述自定义特征的维度由所述待处理文本中文本单元的数量和所述预设格式的位置编码结果的维度确定。例如：所述待处理文本中文本单元的数量为10，文本单元对应的所述预设格式的位置编码结果的维度为1*3，那么所述自定义特征的维度可以为10*3等。所述预设格式的编码结果与自定义特征进行相乘的作用可以理解为特征提取，例如：待处理文本对应的预设格式的编码结果的维度为10*5，所述自定义特征的维度为5*3，那么得到待处理文本对应的所述第一位置编码结果的维度为10*3。电子设备可以将预设格式的编码结果从稀疏态变成密集态的第一位置编码结果，并且让相互独立向量变成了有内在联系的关系向量，在表征各文本单元对应的绝对位置信息的同时也提高了后续计算效率等。

本公开实施例中，可以先根据预设编码模型对所述位置信息进行编码处理，得到预设格式的编码结果，然后对所述预设格式的编码结果与自定义特征进行相乘处理，得到所述第一位置编码结果，其中，所述自定义特征的维度由所述待处理文本中文本单元的数量和所述预设格式的位置编码结果的维度确定。本公开能够简单快速地得到携带绝对位置信息的第一位置编码结果，以及减少运算复杂程度。

在一些实施例中，所述按照第二编码方式对所述位置信息进行编码，得到第二位置编码结果，包括：

确定所述待处理文本中各个所述文本单元的位置信息之间的差值；

根据所述差值，分别得到各个所述文本单元对应的位置差异信息；

根据至少两种转换策略，分别对各个所述位置差异信息进行函数转换，得到所述第二位置编码结果。

本公开实施例中，电子设备得到所述第一位置编码结果后，电子设备可以先确定所述待处理文本中各个所述文本单元的位置信息之间的差值，例如：“张三”与“乘”之间的差值为1，“张三”与“高铁”之间的差值为2等。然后电子设备可以根据所述差值，分别得到各个所述文本单元对应的位置差异信息，所述位置差异信息可以是指某个文本单元对应其它文本单元之间绝对位置信息的差异信息。例如：“乘”对应的位置差异信息分别可以为-1,0,1,2,3等。然后电子设备可以根据至少两种转换策略，分别对各个所述位置差异信息进行函数转换，得到所述第二位置编码结果，转换策略可以是指用来变换所述位置差异信息表现形式的函数方式。例如：绝对值转换策略，即对所述位置差异信息进行绝对值计算处理；倒数转换策略，即对所述位置差异信息进行倒数计算处理；二进制转换策略，即对所述位置差异信息进行二进制计算处理等。电子设备可以采用两种转换策略，也可以采用三种或四种转换策略等，可以分别采用两种转换策略，也可以先后采用两种转换策略等，本实施例不作具体限定。

在一种可能的实施例中，若待处理文本对应5个文本单元，那么电子设备可以对1、3、5奇数位置的文本单元采用第一种转换策略进行计算得到各文本单元对应的第二位置编码结果，可以对2、4偶数位置的文本单元采用第二种转换策略进行计算得到各文本单元对应的第二位置编码结果，最后进行组合处理得到所有文本单元对应的第二位置编码结果。电子设备也可以对所有文本单元采用第一种转换策略进行计算得到各文本单元对应的结果A，对所有文本单元采用第二种转换策略进行计算得到各文本单元对应的结果B，最后可以进行相加、相减等组合处理得到第二位置编码结果。本实施例中对应采用至少两种转换策略得函数变换方式不作具体限定，可以根据用户实际需求自定义设置。

本公开实施例中，可以先确定所述待处理文本中各个所述文本单元的位置信息之间的差值，然后根据所述差值，分别得到各个所述文本单元对应的位置差异信息，最后可以根据至少两种转换策略，分别对各个所述位置差异信息进行函数转换，得到所述第二位置编码结果。本公开能够简单准确地得到携带相对位置信息的第二位置编码结果，增加各个文本单元对应位置信息的丰富度。

在一些实施例中，所述根据至少两种转换策略，分别对各个所述位置差异信息进行函数转换，得到所述第二位置编码结果，包括：

对待插入至预设序列中偶数位置的元素，采用第一转换策略对所述位置差异信息进行处理，得到偶数位置的元素对应的值；

对待插入至所述预设序列中奇数位置的元素，采用第二转换策略对所述位置差异信息进行处理，得到奇数位置的元素对应的值；

将所述偶数位置的元素对应的值和所述奇数位置的元素对应的值插入所述预设序列，得到所述第二位置编码结果。

本公开实施例中，电子设备可以先对待插入至预设序列中偶数位置的元素，采用第一转换策略对所述位置差异信息进行处理，得到偶数位置的元素对应的值。预设序列可以是指用来进行保存中间计算结果的容器，如预设序列可以为一维矩阵1*N，有N各元素1至N，其中1,3,5...为奇数位置，2,4,6...为偶数位置。那么电子设备可以采用第一转换策略对所述位置差异信息进行处理，得到偶数位置2,4,6...的元素对应的值。然后采用第二转换策略对所述位置差异信息进行处理，得到奇数位置1,3,5...的元素对应的值。最后电子设备可以将奇数位置的元素和偶数位置的元素各自对应的值进行组合，就可以得到预设序列1*N中1,2,3...N所有位置的元素对应的值，所述插值后的预设序列就可以作为所述第二位置编码结果，也即电子设备可以将所述偶数位置的元素对应的值和所述奇数位置的元素对应的值插入所述预设序列，得到所述第二位置编码结果。

在一种可能的实施例中，电子设备对待插入至预设序列中A位置的元素，采用第一转换策略对所述位置差异信息进行处理，得到A位置的元素对应的值。对待插入至所述预设序列中B位置的元素，采用第二转换策略对所述位置差异信息进行处理，得到B位置的元素对应的值。对待插入至所述预设序列中C位置的元素，采用第三转换策略对所述位置差异信息进行处理，得到C位置的元素对应的值。然后将所述A位置的元素对应的值、所述B位置的元素对应的值和所述C位置的元素对应的值插入所述预设序列，得到所述第二位置编码结果。这里采用转换策略的个数以及对应的预设序列中各元素的指定位置不作具体限定，可以根据用户需求自定义设置。

本公开实施例中，可以先对待插入至预设序列中偶数位置的元素，采用第一转换策略对所述位置差异信息进行处理，得到偶数位置的元素对应的值，然后对待插入至所述预设序列中奇数位置的元素，采用第二转换策略对所述位置差异信息进行处理，得到奇数位置的元素对应的值，最后将所述偶数位置的元素对应的值和所述奇数位置的元素对应的值插入所述预设序列，得到所述第二位置编码结果。本公开能够通过不同转换策略来得到第二位置编码结果，准确有效地提取出了位置差异信息的特征，增加了第二位置编码结果中携带的相对位置信息的丰富度。

在一些实施例中，所述第一转换策略包括：正弦转换策略；

所述第二转换策略包括：余弦转换策略。

本公开实施例中，所述正弦转换策略可以是指基于正弦函数的转换策略，所述余弦转换策略可以是指基于余弦函数的转换策略，所述正弦转换策略的计算公式如下：

所述余弦转换策略的计算公式如下：

公式(1)和(2)中，a_ij表示所述预设序列中的元素对应的值，a_ij[2k]表示所述预设序列中偶数位置的元素对应的值，a_ij[2k+1]表示所述预设序列中奇数位置的元素对应的值，k表示所述预设序列中各元素对应的维度编号，i和j表示所述待处理文本中不同文本单元对应的位置信息，(j-i)表示所述位置差异信息，T为正整数(例如但不限于10000)，d_z表示所述第二位置编码结果对应的维度，sin()表示正弦转换，cos()表示余弦转换。

本公开实施例中，通过将第一转换策略设置为正弦转换策略，通过将第二转换策略设置为余弦转换策略，能够有效地保证在第二位置编码结果对应的序列或向量过长的情况下，也能准确地进行转换。

在一些实施例中，所述基于所述第一位置编码结果和所述第二位置编码结果，得到目标编码结果，包括：

对所述第一位置编码结果与所述第二位置编码结果进行相加处理，得到所述目标位置编码结果。

本公开实施例中，电子设备得到所述第一位置编码结果和所述第二位置编码结果后，可以得到目标编码结果，例如：电子设备可以对所述第一位置编码结果与所述第二位置编码结果进行相加处理，得到所述目标位置编码结果，例如：电子设备得到文本单元对应的所述第一位置编码结果为[1,2,3,4,5]，所述第二位置编码结果为[6,7,8,9,10]，那么所述目标位置编码结果可以为[7,9,11,13,15]等。

本公开实施例中，可以对所述第一位置编码结果与所述第二位置编码结果进行相加处理，能够简单快速地确定目标位置编码结果。

在一些实施例中，所述方法还包括：

获取所述待处理文本中各个所述文本单元对应的文本编码结果；

对所述文本编码结果与所述目标位置编码结果进行相加处理，得到所述待处理文本中各个所述文本单元对应的时序编码结果；

将所述待处理文本中各个所述文本单元对应的时序编码结果输入生成模型，得到所述待处理文本对应的回复文本。

本公开实施例中，文本编码结果可以是指来自词汇表的单词或短语形式的文本单元被映射到实数的向量，也可以成为词向量结果。电子设备可以采用连续跳元和连续词袋的方法、奇异值分解的方法、布劳恩聚类的方法等方法获取所述待处理文本中各个所述文本单元对应的文本编码结果。然后电子设备可以对所述文本编码结果与所述目标位置编码结果进行相加处理，得到所述待处理文本中各个所述文本单元对应的时序编码结果。所述时序编码结果可以是指包含待处理文本对应的词向量特征信息和位置信息的综合特征信息，可以用矩阵形式来表示。例如：电子设备确定文本单元对应的文本编码结果为[9,8,7,6,5]，对应的目标位置编码为[0.5,0.2,0.7,0.1,0.6]，那么对应的时序编码结果可以为[9.5,8.2,7.7,6.1,5.6]等。

然后电子设备可以将所述待处理文本中各个所述文本单元对应的时序编码结果输入生成模型，得到所述待处理文本对应的回复文本。生成模型可以是指通过历史时序编码结果以及人工标记的历史回复文本训练好的Transformer模型，所述Transformer模型常应用于自然语言处理领域，自然语言处理多涉及的技术包括但不限于语义理解、机器翻译、机器问答、知识图谱、情感分析等技术。回复文本可以是指生成模型对待处理文本处理后的输出文本，例如：所述生成模型用于机器翻译，待处理文本为“我是一名学生”，那么对应的回复文本可以为“I am a student”等；所述生成模型用于知识图谱，待处理文本为“姚明多高”，那么对应的回复文本可以为“2.26m”等。

本公开实施例中，可以先获取所述待处理文本中各个所述文本单元对应的文本编码结果，然后对所述文本编码结果与所述目标位置编码结果进行相加处理，得到所述待处理文本中各个所述文本单元对应的时序编码结果，最后将所述待处理文本中各个所述文本单元对应的时序编码结果输入生成模型，得到所述待处理文本对应的回复文本。本公开通过将文本编码结果和目标位置编码结果进行组合，然后输入生成模型，能够准确有效地提高生成模型的预测结果。

通过本公开的技术方案，能够基于确定的待处理文本中各个文本单元的位置信息，按照第一编码方式对位置信息进行编码，得到第一位置编码结果，按照不同于第一编码方式的第二编码方式对位置信息进行编码，得到第二位置编码结果，然后基于第一位置编码结果和第二位置编码结果，得到待处理文本对应的目标位置编码结果。本公开通过获取待处理文本对应的多个不同的位置编码结果，来得到包含待处理文本中各个文本单元的绝对位置信息和相对位置信息的目标位置编码结果，在没有明显增加参数量以及计算量的前提下，在生成模型的预测过程中能够简单准确地增强待处理文本中各个文本单元的相对位置编码信息，有效的提高了生成模型结果预测的准确性。

图3是根据一示例性实施例示出的一种位置编码装置框图。如图3所示，所述装置应用于电子设备，该位置编码装置300主要包括：

第一确定模块301，配置为确定待处理文本中各个文本单元的位置信息；

第一编码模块302，配置为按照第一编码方式对所述位置信息进行编码，得到第一位置编码结果；

第二编码模块303，配置为按照第二编码方式对所述位置信息进行编码，得到第二位置编码结果；

第二确定模块304，配置为基于所述第一位置编码结果和所述第二位置编码结果，得到目标位置编码结果；

其中，所述第一位置编码方式与所述第二位置编码方式不同。

在一些实施例中，所述第一确定模块301，配置为：

对所述待处理文本进行分词处理，得到各个所述文本单元；其中，所述文本单元至少包括：字和词语；

确定各个所述文本单元所对应的分词顺序；

根据所述分词顺序，确定所述位置信息。

在一些实施例中，所述第一编码模块302，配置为：

根据预设编码模型对所述位置信息进行编码处理，得到预设格式的编码结果；

对所述预设格式的编码结果与自定义特征进行相乘处理，得到所述第一位置编码结果；

其中，所述自定义特征的维度由所述待处理文本中文本单元的数量和所述预设格式的位置编码结果的维度确定。

在一些实施例中，所述第二编码模块303，配置为：

确定所述待处理文本中各个所述文本单元的位置信息之间的差值；

根据所述差值，分别得到各个所述文本单元对应的位置差异信息；

根据至少两种转换策略，分别对各个所述位置差异信息进行函数转换，得到所述第二位置编码结果。

在一些实施例中，所述第二编码模块303，配置为：

对待插入至预设序列中偶数位置的元素，采用第一转换策略对所述位置差异信息进行处理，得到偶数位置的元素对应的值；

对待插入至所述预设序列中奇数位置的元素，采用第二转换策略对所述位置差异信息进行处理，得到奇数位置的元素对应的值；

将所述偶数位置的元素对应的值和所述奇数位置的元素对应的值插入所述预设序列，得到所述第二位置编码结果。

在一些实施例中，所述第一转换策略包括：正弦转换策略；

所述第二转换策略包括：余弦转换策略。

在一些实施例中，所述第二确定模块304，配置为：

对所述第一位置编码结果与所述第二位置编码结果进行相加处理，得到所述目标位置编码结果。

在一些实施例中，所述装置300还包括：

获取模块，配置为获取所述待处理文本中各个所述文本单元对应的文本编码结果；

相加模块，配置为对所述文本编码结果与所述目标位置编码结果进行相加处理，得到所述待处理文本中各个所述文本单元对应的时序编码结果；

输入模块，配置为将所述待处理文本中各个所述文本单元对应的时序编码结果输入生成模型，得到所述待处理文本对应的回复文本。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图4是根据一示例性实施例示出的一种位置编码装置的硬件结构框图。例如，装置400可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图4，装置400可以包括以下一个或多个组件：处理组件402，存储器404，电力组件406，多媒体组件408，音频组件410，输入/输出(I/O)的接口412，传感器组件414，以及通信组件416。

处理组件402通常控制装置400的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件402可以包括一个或多个处理器420来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件402可以包括一个或多个模块，便于处理组件402和其他组件之间的交互。例如，处理组件402可以包括多媒体模块，以方便多媒体组件408和处理组件402之间的交互。

存储器404被配置为存储各种类型的数据以支持在装置400的操作。这些数据的示例包括用于在装置400上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器404可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电力组件406为装置400的各种组件提供电力。电力组件406可以包括电源管理系统，一个或多个电源，及其他与为装置400生成、管理和分配电力相关联的组件。

多媒体组件408包括在所述装置400和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件408包括一个前置摄像头和/或后置摄像头。当装置400处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件410被配置为输出和/或输入音频信号。例如，音频组件410包括一个麦克风(MIC)，当装置400处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器404或经由通信组件416发送。在一些实施例中，音频组件410还包括一个扬声器，用于输出音频信号。

I/O接口412为处理组件402和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件414包括一个或多个传感器，用于为装置400提供各个方面的状态评估。例如，传感器组件414可以检测到装置400的打开/关闭状态，组件的相对定位，例如所述组件为装置400的显示器和小键盘，传感器组件414还可以检测装置400或装置400一个组件的位置改变，用户与装置400接触的存在或不存在，装置400方位或加速/减速和装置400的温度变化。传感器组件414可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件414还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件414还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件416被配置为便于装置400和其他设备之间有线或无线方式的通信。装置400可以接入基于通信标准的无线网络，如WI-FI，4G或5G，或它们的组合。在一个示例性实施例中，通信组件416经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件416还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置400可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器404，上述指令可由装置400的处理器420执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

一种非临时性计算机可读存储介质，当所述存储介质中的指令由位置编码装置的处理器执行时，使得位置编码装置能够执行一种位置编码方法，所述方法应用于电子设备，包括：

确定待处理文本中各个文本单元的位置信息；

按照第一编码方式对所述位置信息进行编码，得到第一位置编码结果；

按照第二编码方式对所述位置信息进行编码，得到第二位置编码结果；

基于所述第一位置编码结果和所述第二位置编码结果，得到目标位置编码结果；

其中，所述第一位置编码方式与所述第二位置编码方式不同。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (11)

1.一种位置编码方法，其特征在于，所述方法包括：

确定待处理文本中各个文本单元的位置信息；

按照第一编码方式对所述位置信息进行编码，得到第一位置编码结果；

按照第二编码方式对所述位置信息进行编码，得到第二位置编码结果；

基于所述第一位置编码结果和所述第二位置编码结果，得到目标位置编码结果；

其中，所述第一位置编码方式与所述第二位置编码方式不同。

2.根据权利要求1所述的方法，其特征在于，所述确定待处理文本中各个文本单元的位置信息，包括：

对所述待处理文本进行分词处理，得到各个所述文本单元；其中，所述文本单元至少包括：字和词语；

确定各个所述文本单元所对应的分词顺序；

根据所述分词顺序，确定所述位置信息。

3.根据权利要求1所述的方法，其特征在于，所述按照第一编码方式对所述位置信息进行编码，得到第一位置编码结果，包括：

根据预设编码模型对所述位置信息进行编码处理，得到预设格式的编码结果；

对所述预设格式的编码结果与自定义特征进行相乘处理，得到所述第一位置编码结果；

其中，所述自定义特征的维度由所述待处理文本中文本单元的数量和所述预设格式的位置编码结果的维度确定。

4.根据权利要求1所述的方法，其特征在于，所述按照第二编码方式对所述位置信息进行编码，得到第二位置编码结果，包括：

确定所述待处理文本中各个所述文本单元的位置信息之间的差值；

根据所述差值，分别得到各个所述文本单元对应的位置差异信息；

根据至少两种转换策略，分别对各个所述位置差异信息进行函数转换，得到所述第二位置编码结果。

5.根据权利要求4所述的方法，其特征在于，所述根据至少两种转换策略，分别对各个所述位置差异信息进行函数转换，得到所述第二位置编码结果，包括：

对待插入至预设序列中偶数位置的元素，采用第一转换策略对所述位置差异信息进行处理，得到偶数位置的元素对应的值；

对待插入至所述预设序列中奇数位置的元素，采用第二转换策略对所述位置差异信息进行处理，得到奇数位置的元素对应的值；

将所述偶数位置的元素对应的值和所述奇数位置的元素对应的值插入所述预设序列，得到所述第二位置编码结果。

6.根据权利要求5所述的方法，其特征在于，所述第一转换策略包括：正弦转换策略；

所述第二转换策略包括：余弦转换策略。

7.根据权利要求1所述的方法，其特征在于，所述基于所述第一位置编码结果和所述第二位置编码结果，得到目标编码结果，包括：

对所述第一位置编码结果与所述第二位置编码结果进行相加处理，得到所述目标位置编码结果。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述待处理文本中各个所述文本单元对应的文本编码结果；

对所述文本编码结果与所述目标位置编码结果进行相加处理，得到所述待处理文本中各个所述文本单元对应的时序编码结果；

将所述待处理文本中各个所述文本单元对应的时序编码结果输入生成模型，得到所述待处理文本对应的回复文本。

9.一种位置编码装置，其特征在于，包括：

第一确定模块，配置为确定待处理文本中各个文本单元的位置信息；

第一编码模块，配置为按照第一编码方式对所述位置信息进行编码，得到第一位置编码结果；

第二编码模块，配置为按照第二编码方式对所述位置信息进行编码，得到第二位置编码结果；

第二确定模块，配置为基于所述第一位置编码结果和所述第二位置编码结果，得到目标位置编码结果；

其中，所述第一位置编码方式与所述第二位置编码方式不同。

10.一种位置编码装置，其特征在于，包括：

处理器；

配置为存储处理器可执行指令的存储器；

其中，所述处理器配置为：执行时实现上述权利要求1至8中任一种位置编码方法中的步骤。

11.一种非临时性计算机可读存储介质，当所述存储介质中的指令由位置编码装置的处理器执行时，使得所述装置能够执行上述权利要求1至8中任一种位置编码方法中的步骤。

Images