CN115796127A - 位置编码方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明提供一种位置编码方法、装置、电子设备及存储介质，涉及自然语言处理技术领域，该方法包括：获取目标结构化数据，目标结构化数据为Json格式；获取目标结构化数据的层级关系表示；基于层级关系表示，获取目标结构化数据的位置编码结果。本发明提供的位置编码方法、装置、电子设备及存储介质，通过获取Josn格式的目标结构化数据的层级关系表示之后，基于上述层级关系表示，获取目标结构化数据的位置编码结果，能更准确、更直观地表示目标结构化数据，能更准确地获得目标结构化数据的位置编码结果，能实现目标结构化数据的位置编码结果的平移不变性。

Description

位置编码方法、装置、电子设备及存储介质

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种位置编码方法、装置、电子设备及存储介质。

背景技术

近年来，在深度学习技术领域，尤其是自然语言处理技术领域，诸如Bert、Ernie以及CPM模型等预训练模型的使用，已成为主流趋势。

现有技术中，基于预训练模型的位置编码方法，主要包括绝对位置编码和相对位置编码。

但是，由于结构化数据特有的数据特点，使得基于上述两种现有的位置编码方法难以对结构化数据进行准确地位置编码。因此，如何对结构化数据进行更准确地位置编码，是本领域亟待解决的技术问题。

发明内容

本发明提供一种位置编码方法、装置、电子设备及存储介质，用以解决现有技术中难以对结构化数据进行准确地位置编码的缺陷，实现对结构化数据进行更准确地位置编码。

本发明提供一种位置编码方法，包括：

获取目标结构化数据，所述目标结构化数据为Json格式；

获取所述目标结构化数据的层级关系表示；

基于所述层级关系表示，获取所述目标结构化数据的位置编码结果。

根据本发明提供的一种位置编码方法，所述获取所述目标结构化数据的层级关系表示，包括：

将所述目标结构化数据中的每一实体数据，确定为一级根节点下的每一二级根节点；

基于所述每一实体数据中的数据层级关系，将所述每一实体数据中嵌套的各级数据，分别确定为所述每一实体数据对应的二级根节点下级联的各级子节点，获得每一所述二级根节点的树形层级关系表示，进而获得所述目标结构化数据的层级关系表示；

其中，所述一级根节点是预先设置的。

根据本发明提供的一种位置编码方法，所述基于所述层级关系表示，获取所述目标结构化数据的位置编码结果，包括：

基于所述层级关系表示，获取所述层级关系表示中目标节点的结构化属性信息；其中，所述目标节点包括所述层级关系表示中除所述一级根节点之外的所有节点；隶属于所述目标结构化数据中同一实体数据的任意两个目标节点的结构化属性信息相同；

对于所述层级关系表示中的任意两个目标节点，基于所述任意两个目标节点的结构化属性信息，判断所述任意两个目标节点是否隶属于所述目标结构化数据中的同一实体数据；

在确定所述任意两个目标节点分别隶属于所述目标结构化数据中的不同实体数据的情况下，基于所述任意两个目标节点的结构化属性信息以及预设距离阈值，获取所述任意两个目标节点在所述目标结构化数据中对应的数据之间的位置编码结果，作为所述目标结构化数据的位置编码结果。

根据本发明提供的一种位置编码方法，所述基于所述任意两个目标节点的结构化属性信息以及预设距离阈值，获取所述任意两个目标节点在所述目标结构化数据中对应的数据之间的位置编码结果，包括：

基于所述任意两个目标节点的结构化属性信息，获取所述任意两个目标节点之间的相对位置关系；

基于所述相对位置关系和所述预设距离阈值，获取所述任意两个目标节点在所述目标结构化数据中对应的数据之间的位置编码结果。

根据本发明提供的一种位置编码方法，还包括：

在所述目标结构化数据的起始位置添加第一位置编码，在所述目标结构化数据的终止位置添加第二位置编码；

将所述第一位置编码确定为所述目标结构化数据中每一实体数据的起始位置编码，并基于所述每一实体数据的长度，确定所述每一实体数据与所述每一实体数据的起始位置编码之间的位置编码结果，作为所述目标结构化数据的位置编码结果，

将所述第二位置编码确定为所述每一实体数据的终止位置编码，并基于所述每一实体数据的长度，确定所述每一实体数据与所述每一实体数据的终止位置编码之间的位置编码结果，作为所述目标结构化数据的位置编码结果。

根据本发明提供的一种位置编码方法，所述对于所述层级关系表示中的任意两个目标节点，基于所述任意两个目标节点的结构化属性信息，判断所述任意两个目标节点是否隶属于所述目标结构化数据中的同一实体数据之后，所述方法还包括：

在确定所述任意两个目标节点隶属于所述目标结构化数据中的同一实体数据的情况下，基于T5模型，获取所述任意两个目标节点在所述目标结构化数据中对应的数据之间的位置编码结果，作为所述目标结构化数据的位置编码结果。

根据本发明提供的一种位置编码方法，所述获取目标结构化数据，包括：

获取原始结构化数据；

在所述原始结构化数据为Json格式的情况下，将所述原始结构化数据确定为所述目标结构化数据，在所述原始结构化数据不为Json格式的情况下，通过对所述原始结构化数据进行建模，将所述原始结构化数据的转换为Json格式，进而将Json格式的原始结构化数据确定为所述目标结构化数据。

本发明还提供一种位置编码装置，包括：

数据获取模块，用于获取目标结构化数据，所述目标结构化数据为Json格式；

关系构建模块，用于获取所述目标结构化数据的层级关系表示；

位置编码模块，用于基于所述层级关系表示，获取所述目标结构化数据的位置编码结果。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述位置编码方法。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述位置编码方法。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述位置编码方法。

本发明提供的位置编码方法、装置、电子设备及存储介质，通过获取Josn格式的目标结构化数据的层级关系表示之后，基于上述层级关系表示，获取目标结构化数据的位置编码结果，能更准确、更直观地表示目标结构化数据，能更准确地获得目标结构化数据的位置编码结果，能实现目标结构化数据的位置编码结果的平移不变性。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的位置编码方法的流程示意图；

图2为本发明提供的位置编码方法中目标结构化数据的层级关系表示的示例图；

图3为图2所示的目标结构化数据的层级关系表示中每一节点的结构化属性信息的示例图；

图4是本发明提供的位置编码装置的结构示意图；

图5是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

需要说明的是，几乎所有的预训练模型都是基于Transformer架构实现的。Transformer本质上属于有序模型的范畴，即对于输入文本，Transformer能够区分每个token的顺序，而Transformer这种可以区分token顺序的能力是通过位置编码来进行实现的。

通常情况下，基于预训练模型的传统位置编码方法主要可以分为两类，分别为绝对位置编码和相对位置编码。

绝对位置编码通常又可以分为三角函数式绝对位置编码和可学习参数式绝对位置编码。由于绝对位置编码是在embedding部分，增加了一个position embedding，所以绝对位置编码是将token和位置绑定在一起的一种方式。

但是，由于绝对位置编码是与token的位置绑定在一起的，因此绝对位置编码难以实现位置编码结果的平移不变性。例如：短语“好看的玻璃杯”，经过分词后可以得到“好看的”和“玻璃杯”两个token，但是在上述短语位于句子中不同位置的情况下，例如上述短语分别位于句首和位于句尾的情况下，“好看的”和“玻璃杯”两个token之间的位置编码结果会不一致，基于绝对位置编码未能实现上述两个token之间位置编码结果的平移不变性。

因此，后续有研究提出了相对位置编码，相对位置编码摒弃了在embedding部分增加position embedding的方式，而是在attention score后加上一个attention bias，使得一个bias即可表示这两个token之间的位置关系，并且这两个token间的位置编码可以表示它们之间的相对位置关系，即后一个token的位置减去前一个token的位置。因此对于短语“好看的玻璃杯”，无论该短语位于句首、句中还是句尾，t“好看的”和“玻璃杯”两个token之差始终为1，因此基于相对位置编码能很好地实现上述两个token之间位置编码结果的平移不变性。

但是，无论是绝对位置编码还是相对位置编码，传统的位置编码方法都是基于一维的位置索引来进行计算的，因此对于结构化数据而言，基于传统的位置编码方法获得的位置编码结果均存在偏置，具体原因包括：第一，对于结构化数据而言，结构化数据并非连续的句子或者连续的段落，因此结构化数据内部的不同实体之间本质上没有前后关系，但是基于传统的位置编码方法都会将结构化数据编码成连续的，这明显是不合理的；

第二，传统的位置编码方法难以在结构化数据上实现平移不变性，例如在双句相似度计算任务中的结构化数据包括A句和B句，基于传统的位置编码方法对上述结构化数据进行位置编码时可以发现A句拼接B句，与B句拼接A句的位置编码结果并不一致，但是对于结构化数据而言，无论A句拼接B句，或B句拼接A句，A句与B句之间的位置编码结果应当是一致的，因此传统的位置编码方法难以实现结构化数据的位置编码结果的平移不变性。

因此，本发明所要解决的技术问题包括在对结构化数据进行位置编码的情况下，如何更好地表示结构化数据，如何更准确地获取结构化数据的位置编码结果，以及如何实现结构化数据的位置编码结果的平移不变性。

基于上述技术问题，本发明提供一种位置编码方法，通过对结构化数据本身的结构信息进行建模，获得结构化数据的层级关系表示之后，基于结构化数据的层级关系表示，对结构化数据进行位置编码，可以更准确、更直观地表示结构化数据，还可以更准确地获得结构化数据的位置编码结果，并可以实现结构化数据的位置编码结果的平移不变性。

图1是本发明提供的位置编码方法的流程示意图。下面结合图1描述本发明的位置编码方法。如图1所示，该方法包括：步骤101、获取目标结构化数据，目标结构化数据为Json格式。

需要说明的是，本发明实施例的执行主体为位置编码装置。

具体地，目标结构化数据为本发明提供的位置编码方法的编码对象。基于本发明提供的位置编码方法可以对目标结构化数据进行位置编码，获得目标结构化数据的位置编码结果。

需要说明的是，本发明实施例中的目标结构化数据为Json格式。其中，Json是JavaScript Object Notation，JS对象简谱的简称，Json格式是一种轻量级的数据交换格式。由于Json格式本质上是一个字典，其中可以包含一个或多个嵌套或不嵌套的实体，因此Json格式可以很好的表示数据内部的结构。

本发明实施例中可以通过多种方式获取目标结构化数据，例如：可以基于用户的输入，获取目标结构化数据；或者，可以接收其他电子设备发送的目标结构化数据;又或者，可以获取原始结构化数据，在上述原始结构化数据为Json格式的情况下，将上述原始结构化数据确定为目标结构化数据，在上述原始结构化数据不为Json格式的情况下，将上述原始结构化数据转换为Json格式，并将Json格式的原始结构化数据确定为目标结构化数据。本发明实施例中对获取目标结构化数据的具体方式不作限定。

可选地，本发明提供的位置编码方法亦可对Json格式的非结构化数据进行位置编码，获取上述非结构化数据的位置编码结果。

作为一个可选地实施例，获取目标结构化数据，包括：获取原始结构化数据。

具体地，本发明实施例中可以通过多种方式获取原始结构化数据，例如：可以基于用户的输入获取原始结构化数据；或者，还可以接收其他电子设备发送的原始结构化数据。本发明实施例中的获取原始结构化数据的具体方式不作限定。

在原始结构化数据为Json格式的情况下，将原始结构化数据确定为目标结构化数据，在原始结构化数据不为Json格式的情况下，通过对原始结构化数据进行建模，将原始结构化数据的转换为Json格式，进而将Json格式的原始结构化数据确定为目标结构化数据。

具体地，获取原始结构化数据之后，可以判断原始结构化数据是否为Json格式。

若确定原始结构化数据为Json格式，则可以将上述原始结构化数据确定为目标结构化数据。

若确定原始结构化数据不为Json格式，则可以根据上述原始结构化数据本身的数据结构特点，对上述原始结构化数据进行建模，将上述原始结构化数据的格式转换为Json格式，进而可以将Json格式的原始结构化数据确定为目标结构化数据。

需要说明的是，在对上述原始结构化数据进行建模时，上述原始结构化数据中同级的实体数据可以位于同一级，上述原始结构化数据中不同级的实体数据可以通过嵌套的形式进行表示。

需要说明的是，Json格式的目标结构化数据可以分为“键（key）”和“值（value）”两部分，且“键”和“值”具有一一对应关系，“键”和对应的“值”可以构成“键值对”。Json格式的目标结构化数据中的实体数据可以作为“值”，上述实体数据的类型或统称，可以作为与上述“值”相对应的“键”。对于双句相似度计算任务原始结构化数据中的句子A和句子B，通过对上述原始结构化数据进行建模，得到Json格式的句子A和句子B如下：

{句子A：“今天天气真好。”，句子B：“今天天气真不错。”}。

步骤102、获取目标结构化数据的层级关系表示。

具体地，获取目标结构化数据之后，可以基于目标结构化数据本身的数据结构，提取目标结构化数据的层级关系表示。其中，目标结构化数据的层级关系表示，可以用于表示目标结构化数据中的每一实体数据，以及每一实体数据中嵌套的各级数据之间的层级关系。对于目标结构化数据中的任一实体数据，该实体数据中嵌套的各级数据中，层级最低的子数据为token数据。

需要说明的是，Json格式的目标结构化数据本身就可以表示为一颗唯一且确定的多叉树，因此本发明实施例中可以基于目标结构化数据本身的数据结构，构建目标结构化数据的层级关系表示。其中，目标结构化数据的层级关系表示可以为树形结构。

作为一个可选地实施例，获取目标结构化数据的层级关系表示，包括：将目标结构化数据中的每一实体数据，确定为一级根节点下的每一二级根节点；其中，一级根节点是预先设置的。

具体地，在获取目标结构化数据中的层级关系表示之前，可以首先预先设置一个一级根节点root，作为dummy节点。

需要说明的是，上述一级根节点root本身不包含任何具体信息，仅作为目标结构化数据的层级关系表示的根节点。

获取目标结构化数据之后，可以将目标结构化数据中的每一实体数据，确定为上述一级根节点root下的每一二级根节点。例如：可以将目标结构化数据中的第一个实体，确定为上述一级根节点root的第一个二级根节点，将目标结构化数据中的第二个实体，确定为上述一级根节点root下的第二个二级根节点，以此类推。

基于每一实体数据中的数据层级关系，将每一实体数据中嵌套的各级数据，分别确定为每一实体数据对应的二级根节点下级联的各级子节点，获得每一二级根节点的树形层级关系表示，进而获得目标结构化数据的层级关系表示。

具体地，将目标结构化数据中的每一实体数据，确定为一级根节点root下的每一二级根节点之后，对于目标结构化数据中的任一实体数据，可以基于上述实体数据中嵌套数据的数据层级关系，将上述实体数据中嵌套的各级数据，确定为上述实体数据对应的二级根节点下级联的各级子节点，从而可以获得上述实体数据对应的二级根节点的树形层级关系表示。

例如，在目标结构化数据包括一个实体数据，上述实体数据中包括一个子实体数据，上述子实体数据包括五个token数据的情况下，可以将上述实体数据确定为一级根节点root下的二级根节点，将上述子实体数据确定为上述二级根节点下的一级子节点，将上述五个token数据，分别确定为上述一级子节点下的五个二级子节点；

又例如，若目标结构化数据包括两个实体数据，上述两个实体数据分别为双句相似度计算任务中的“句子A”和“句子B”，“句子A”中包括token数据“今天天气真好。”，“句子B”中包括token数据“今天天气真不错。”，则可以将上述“句子A”和“句子B”，分别作为一级根节点的两个二级根节点，将token数据“今天天气真好。”作为“句子A”对应的二级根节点下的一级子节点，将token数据“今天天气真不错。”作为“句子B”对应的二级根节点下的一级子节点。图2为本发明提供的位置编码方法中目标结构化数据的层级关系表示的示例图。上述目标结构化数据的层级关系表示如图2所示。

获取每一二级根节点的树形层级关系表示之后，可以获得目标结构化数据的层级关系表示。

本发明实施例通过将目标结构化数据中每一实体数据，确定为预先设置的一级根节点下的每一二级根节点之后，基于上述每一实体数据中嵌套数据的数据层级关系，将每一实体数据中嵌套的各级数据，分别确定为上述每一实体数据对应的二级根节点下级联的各级子节点，获得每一二级根节点的树形层级关系表示，进而获得目标结构化数据的层级关系表示，能更准确、更直观地表示目标结构化数据，能为目标结构化数据的位置编码提供数据支撑。

步骤103、基于层级关系表示，获取目标结构化数据的位置编码结果。

具体地，获取目标结构数据的树形层级关系表示之后，可以基于上述树形层级关系表示，通过数值计算的方式，获取目标结构化数据的位置编码结果。

需要说明的是，目标结构化数据的位置编码结果，可以包括目标结构化数据中任意两个token数据之间的位置编码结果，上述任意两个token数据可以隶属于同一实体数据，亦可以隶属于不同的实体数据；目标结构化数据的位置编码结果，还可以包括目标结构化数据中不同层级的数据之间的位置编码结果。本发明实施例中对目标结构化数据的位置编码结果不作具体限定。

本发明实施例通过获取Josn格式的目标结构化数据的层级关系表示之后，基于上述层级关系表示，获取目标结构化数据的位置编码结果，能更准确、更直观地表示目标结构化数据，能更准确地获得目标结构化数据的位置编码结果，能实现目标结构化数据的位置编码结果的平移不变性。

基于上述各实施例的内容，基于层级关系表示，获取目标结构化数据的位置编码结果，包括：基于层级关系表示，获取层级关系表示中目标节点的结构化属性信息；其中，目标节点包括层级关系表示中除一级根节点之外的所有节点；隶属于目标结构化数据中同一实体数据的任意两个节点的结构化属性信息相同。

具体地，获取目标结构化数据的层级关系表示之后，可以基于上述树形层级关系表示，可以获取上述树形层级关系表示中除一级根节点root之外每一节点的结构化属性信息。本发明实施例中将述树形层级关系表示中除一级根节点root之外所有节点均称为目标节点。

可以理解的是，本发明实施例中的结构化属性信息可以理解为一个数字字符串。

对于上述树形层级关系表示中任一目标节点，上述目标节点的结构化属性信息的长度，为上述树形层级关系表示中由一级根节点root起始，至每一最底层的子节点为止的路径上，节点的数量的最大值。其中，上述路径不包括上述一级根节点root。

例如，在上述树形层级关系表示包括二级根节点A和二级根节点B，二级根节点A包括一级子节点C，一级子节点C包括二级子节点D，二级根节点B包括一级子节点E的情况下，上述树形层级关系表示中由一级根节点root起始，至二级子节点D的子节点位置的路径上节点的数量为3，上述树形层级关系表示中由一级根节点root起始，至一级子节点E的路径上节点的数量为2，则上述树形层级关系表中任一节点的结构化属性信息的长度为3。

对于上述树形层级关系表示中任一节点，上述节点的结构化属性信息中顺次的每一位，可以依次表示上述树形层级关系表示中自二级根节点起始的每一层节点的信息。例如，上述节点的结构化属性信息中顺次的第一位，可以表示上述属性层级关系表示中二级根节点的信息，上述节点的结构化属性信息中顺次的第二位，可以表示上述属性层级关系表示中二级根节点下一级子节点的信息，以此类推。

上述目标节点的结构化属性信息中顺次每一位的值，可以表示上述目标节点在该层的序号。其中上述序号从1开始，对于长度不足的用0补齐。

例如：在任一目标节点的结构化属性信息为230的情况下，表示上述树形层级关系表示由一级根节点root起始至每一最底层的子节点为止的路径上节点的数量的最大值为3个，该目标节点为序号为2的二级根节点下序号为3的一级子节点。

需要说明的是，由于结构化数据中不同的实体数据之间才称为不同的结构，而同一实体数据内部本身就是一个sequence，同一实体数据中的各token数据均属于同结构。因此，对于目标结构化数据中的任一实体数据，该实体数据中每一token数据的结构化属性信息全部相同，即该实体数据中每一token数据的attention bias完全一致。

例如，若目标结构化数据中的某一实体数据包括10个token数据，则上述10个token数据的结构化属性信息均相同；

又例如，若目标结构化数据包括两个实体数据，上述两个实体数据分别为双句相似度计算任务中的“句子A”和“句子B”，“句子A”中包括token数据“今天天气真好。”，“句子B”中包括token数据“今天天气真不错。”，则“句子A”对应的二级根节点的结构化属性信息为“10”，“句子B”对应的二级根节点的结构化属性信息为“20”，token“今天天气真好。”对应的一级子节点的结构化属性信息为“11”，token数据“今天天气真不错。”对应的一级子节点的结构化属性信息为“21”。图3为图2所示的目标结构化数据的层级关系表示中每一节点的结构化属性信息的示例图。上述目标结构化数据的层级关系表示中每一节点的结构化属性信息如图3所示。

对于层级关系表示中的任意两个目标节点，基于任意两个目标节点的结构化属性信息，判断任意两个目标节点是否隶属于目标结构化数据中的同一实体数据。

具体地，对于目标结构化数据中的任意两个目标节点，通过判断上述任意两个目标节点中每一目标节点的结构化属性信息是否相同，可以确定上述任意两个目标节点是否隶属于同一实体数据。

需要说明的是，在上述任意两个目标节点中包括一个二级根节点和该二级根节点下任一层级的子节点的情况下，同样可以认为上述任意两个目标节点隶属于同一实体数据；而在上述任意两个目标节点中包括一个二级根节点和另一二级根节点下任一层级的子节点的情况下，则可以认为上述任意两个目标节点分别隶属于不同实体数据。

在确定任意两个目标节点分别隶属于目标结构化数据中的不同实体数据的情况下，基于任意两个目标节点的结构化属性信息以及预设距离阈值，获取任意两个目标节点在目标结构化数据中对应的数据，作为目标结构化数据的位置编码结果。

具体地，在目标结构化数据中任意两个目标节点的结构化属性信息不同的情况下，可以确定上述任意两个目标节点分别隶属于不同实体数据。

在确定上述任意两个目标节点隶属于不同实体数据的情况下，基于上述任意两个目标节点中每一目标节点的结构化属性信息以及预设距离阈值，通过数值计算的方式，可以获取上述任意两个目标节点在目标结构化数据中对应的数据之间的位置编码结果，作为目标结构化数据的位置编码结果。

需要说明的是，上述预设距离阈值可以是基于先验知识和/或实际情况确定的，可以用于确保分别隶属于不同实体数据的任意目标节点数据之间的位置编码结果，大于隶属于同一实体数据的任意两个目标节点之间的位置编码结果。本发明实施例中对上述预设距离阈值的具体取值不作限定。

可选地，上述预设距离阈值可以为32。

作为一个可选地实施例，基于任意两个目标节点的结构化属性信息以及预设距离阈值，获取任意两个目标节点在目标结构化数据中对应的数据之间的位置编码结果，包括：基于任意两个目标节点的结构化属性信息，获取任意两个目标节点之间的相对位置关系。

可以理解的是，结构化数据中的不同实体数据通常代表了不同的信息，因此结构化数据中隶属于同一实体数据的任意两个目标节点之间的位置编码结果相同，而隶属于不同实体数据的任意两个目标节点之间的位置编码结果并不需要完全一致。

例如，如图3所示，token数据“今天天气真好。”相对于token数据“今天天气真不错。”的位置编码结果，以及token数据“今天天气真不错。”相对于token数据“今天天气真好。”的位置编码结果需要完全一致，才能实现平移不变性。

但是，实体数据“句子A”中的任一token数据对应的子节点，相对于token数据“今天天气真不错。”对应的子节点之间的位置编码结果，或者，token数据“今天天气真不错。”对应的子节点，相对于实体数据“句子A”中的任一token数据对应的子节点之间的位置编码结果并不需要完全一致，因为实体数据“句子A”与token数据“今天天气真不错。”并不隶属于同一实体数据，实体数据“句子A”与token数据“今天天气真不错。”之间的位置编码结果并不需要平移不变性，并且实体数据“句子A”与token数据“今天天气真不错。”之间的注意力本就应该有所不同。

对于目标结构化数据中分别隶属于不同实体数据的第一目标节点和第二目标节点，本发明实施例中可以基于上述第一目标节点的结构化属性信息和上述第二目标节点的结构化属性信息，获取上述第一目标节点要与上述第二目标节点进行交互，所要经过的边数二元组(X,Y)，上述边组二元组(X,Y)可以用于表示上述第一目标节点相对于上述第二目标节点的相对位置关系。

其中，X代表从上述的第一目标节点出发，与上述第二目标节点进行交互，需要向上走几条边；Y代表从上述的第一目标节点出发，与上述第二目标节点进行交互，需要向下走几条边。

例如，如图3所示，基于目标节点“今天天气真好。”的结构化属性信息和目标节点“今天天气真不错。”的结构化属性信息，可以确定从目标节点“今天天气真好。”出发，与目标节点“今天天气真不错。”进行交互，或者，从目标节点“今天天气真不错。”出发，与目标节点“今天天气真好。”进行交互，都是需要向上走两条边，再向下走两条边，因此，目标节点“今天天气真好。”相对于目标节点“今天天气真不错。”，以及目标节点“今天天气真不错。”相对于目标节点“今天天气真好。”的二元组均为(2,2)；

又例如，如图3所示，基于目标节点“句子A”的结构化属性信息和目标节点“今天天气真不错。”的结构化属性信息，可以确定目标节点“句子A”相对于目标节点“今天天气真不错。”的二元组为(1,2)，目标节点“今天天气真不错。”相对于目标节点“句子A”的二元组为(2,1)。

基于相对位置关系和预设距离阈值，获取任意两个目标节点在目标结构化数据中对应的数据之间的位置编码结果。

具体地，本发明实施例中可以将上述第一目标节点相对于上述第二目标节点的位置编码表达式定义为L+X+αY。

其中，L表示上述预设距离阈值；α表示用来保证单一映射所需要的参数。例如，图3中单方向的边数不会大于3，因此α的取值为3，从而可以使得上述第一目标节点相对于上述第二目标节点的位置编码表达式既可以保证单映射性，又可以实现同层级或不同层级间独立的位置编码。

基于上述第一目标节点相对于上述第二目标节点的边组二元组(X,Y)，以及上述第一目标节点相对于上述第二目标节点的位置编码表达式L+X+αY，可以通过数值计算的方式，计算得到上述第一目标节点和上述第二目标节点在目标结构化数据中对应的数据之间的位置编码结果。

本发明实施例通过基于目标结构化数据的层级关系表示，获取目标结构化数据中每一目标节点的结构化属性信息之后，在基于任意两个目标节点的结构化属性信息，确定上述任意两个目标节点分别隶属于不同实体数据的情况下，基于上述任意两个目标节点的结构化属性信息以及预设距离阈值，获取上述任意两个目标节点在目标结构化数据中对应的数据的位置编码结果，作为目标结构化数据的位置编码结果，能更准确地获取目标结构化数据中隶属不同实体数据的各层级数据之间的位置编码结果。

基于上述各实施例的内容，本发明提供的位置编码方法，还包括：在目标结构化数据的起始位置添加第一位置编码，在目标结构化数据的终止位置添加第二位置编码。

将第一位置编码确定为目标结构化数据中每一实体数据的起始位置编码，并基于每一实体数据的长度，确定每一实体数据与每一实体数据的起始位置编码之间的位置编码结果，作为目标结构化数据的位置编码结果，将第二位置编码确定为每一实体数据的终止位置编码，并基于每一实体数据的长度，确定每一实体数据与每一实体数据的终止位置编码之间的位置编码结果，作为目标结构化数据的位置编码结果。

可以理解的是，对于结构化数据而言，结构化数据中的实体内部为一个sequence，因此在NLP任务中通常都需要一个为结构化数据中的每一实体数据设置bos token和eostoken，用于表示每一实体数据的起始位置。

但是，在结构化数据中实体数据的数量较多的情况下，若为结构化数据中的每一实体数据设置bos token和eos token，则需要设置多组bos token和eos token，会造成很大的冗余定义。

因此，本发明实施例中在目标结构化数据的起始位置添加第一位置编码bostoken，在目标结构化数据的终止位置添加第二位置编码eos token，并将第一位置编码bostoken确定为目标结构化数据中每一实体数据的起始位置编码，将第二位置编码eos token确定为目标结构化数据中每一实体数据的终止位置编码，从而可以实现目标结构化数据中所有实体数据共享起始位置编码和终止位置编码。

将第一位置编码bos token确定为目标结构化数据中每一实体数据的起始位置编码之后，对于目标结构化数据中的任一实体数据，可以基于上述实体数据的长度，确定上述实体数据的起始位置编码与上述实体数据之间的位置编码结果，例如：若实体数据A的长度为x、实体数据B的长度为y以及实体数据C的长度为z，则实体数据A的起始位置相对于实体数据A的位置编码结果分别为1-x，实体数据B的起始位置相对于实体数据B的位置编码结果分别为1-y，实体数据C的起始位置相对于实体数据C的位置编码结果分别为1-z。

将第二位置编码eos token确定为目标结构化数据中每一实体数据的终止位置编码之后，对于目标结构化数据中的任一实体数据，可以基于上述实体数据的长度，确定上述实体数据的终止位置编码与上述实体数据之间的位置编码结果，例如：对于上述实体数据A、实体数据B和实体数据C，实体数据A的终止位置相对于实体数据A的位置编码结果分别为-x--1，实体数据B的终止位置相对于实体数据B的位置编码结果分别为-y--1，实体数据C的终止位置相对于实体数据C的位置编码结果分别为-z--1。

本发明实施例通过在目标结构化数据的起始位置设置第一位置编码，在目标结构化数据的终止位置设置第二位置编码，并将目标结构化数据中每一实体数据的起始位置编码确定为上述第一位置编码，将上述每一实体数据的终止位置编码确定为上述第二位置编码，能实现目标结构化数据中的所有实体数据共享起始位置编码和共享终止位置编码，能显著减少目标结构化数据的冗余定义，能降低对目标结构化数据进行位置编码所需的计算资源，能提高对目标结构化数据进行位置编码的计算效率。

基于上述各实施例的内容，对于层级关系表示中的任意两个目标节点，基于任意两个目标节点的结构化属性信息，判断任意两个目标节点是否隶属于目标结构化数据中的同一实体数据之后，上述方法还包括：在确定任意两个目标节点隶属于目标结构化数据中的同一实体数据的情况下，基于T5模型，获取任意两个目标节点在目标结构化数据中对应的数据之间的位置编码结果，作为目标结构化数据的位置编码结果。

具体地，在目标结构化数据中第一目标节点的结构化属性信息与第二目标节点的结构化属性信息相同的情况下，可以确定上述第一目标节点和上述第二目标节点隶属于同一实体数据。

需要说明的是，由于目标结构化数据中同一实体数据内部本身就是一个sequence，因此采用传统的绝对位置编码和相对位置编码获取上述第一目标节点和上述第二目标节点之间的位置编码结果都是比较合理的。

本发明实施例中可以基于T5模型，采用相对位置编码方式，获取上述第一目标节点和上述第二目标节点在目标结构化数据中对应的数据之间的位置编码结果。

需要说明的是，由于T5模型具有远距离不敏感的特性，因此T5模型对于之间距离较远的两个数据之间的关注度比较小，上述距离较远的两个数据通常带来的影响比较小，因此距离较远的两个数据之间详细的位置关系就显得没那么重要。

其中，远距离不敏感，指对于结构化数据中某个目标数据而言，所有与上述目标数据之间距离大于预设距离阈值的数据，与上述目标数据的位置关系均为同一个值。例如，在预设距离阈值为500的情况下，上述目标数据与上述距离不超过500的数据之间的位置关系在1至500之间，而上述目标数据与上述距离超过500的数据之间的位置关系，则均为某一个统一的值，如501。

需要说明的是，T5模型是Transfer Text-to-Text Transformer模型的简称，T5的基本思想是将每个 NLP 问题都视为“text-to-text”问题，即将文本作为输入并生成新的文本作为输出，这允许将相同的模型、目标、训练步骤和解码过程，直接应用于每个任务。

本发明实施例通过在确定目标结构化数据的层级关系表示中任意两个目标节点隶属于同一实体数据的情况下，基于T5模型，采用远距离不敏感的相对位置编码方式，获取任意两个目标节点在目标结构化数据中对应的数据之间的位置编码结果，作为目标结构化数据的位置编码结果，能更简单、更高效且更准确地获取隶属于同一实体数据的任意两个目标节点之间的位置编码结果。

图4是本发明提供的位置编码装置的结构示意图。下面结合图4对本发明提供的位置编码装置进行描述，下文描述的位置编码装置与上文描述的本发明提供的位置编码方法可相互对应参照。如图4所示，数据获取模块401、关系构建模块402和位置编码模块403电连接。

数据获取模块401，用于获取目标结构化数据，目标结构化数据为Json格式；

关系构建模块402，用于获取目标结构化数据的层级关系表示；

位置编码模块403，用于基于层级关系表示，获取目标结构化数据的位置编码结果。

具体地，数据获取模块401、关系构建模块402和位置编码模块403电连接。

可选地，数据获取模块401可以具体用于获取原始结构化数据；在原始结构化数据为Json格式的情况下，将原始结构化数据确定为目标结构化数据，在原始结构化数据不为Json格式的情况下，通过对原始结构化数据进行建模，将原始结构化数据的转换为Json格式，进而将Json格式的原始结构化数据确定为目标结构化数据。

可选地，关系构建模块402可以具体用于将目标结构化数据中的每一实体数据，确定为一级根节点下的每一二级根节点；基于每一实体数据中的数据层级关系，将每一实体数据中嵌套的各级数据，分别确定为每一实体数据对应的二级根节点下级联的各级子节点，获得每一二级根节点的树形层级关系表示，进而获得目标结构化数据的层级关系表示；其中，一级根节点是预先设置的。

可选地，位置编码模块403可以具体用于基于层级关系表示，获取层级关系表示中目标节点的结构化属性信息；其中，目标节点包括层级关系表示中除一级根节点之外的所有节点；隶属于目标结构化数据中同一实体数据的任意两个目标节点的结构化属性信息相同；对于层级关系表示中的任意两个目标节点，基于任意两个目标节点的结构化属性信息，判断任意两个目标节点是否隶属于目标结构化数据中的同一实体数据；在确定任意两个目标节点分别隶属于目标结构化数据中的不同实体数据的情况下，基于任意两个目标节点的结构化属性信息以及预设距离阈值，获取任意两个目标节点在目标结构化数据中对应的数据之间的位置编码结果，作为目标结构化数据的位置编码结果。

可选地，位置编码模块403还可以具体用于基于任意两个目标节点的结构化属性信息，获取任意两个目标节点之间的相对位置关系；基于相对位置关系和预设距离阈值，获取任意两个目标节点在目标结构化数据中对应的数据之间的位置编码结果。

可选地，位置编码模块403还可以具体用于在确定任意两个目标节点隶属于目标结构化数据中的同一实体数据的情况下，基于T5模型，获取任意两个目标节点在目标结构化数据中对应的数据之间的位置编码结果，作为目标结构化数据的位置编码结果。

可选地，位置编码装置还可以包括编码共享模块。

编码共享模块可以用于在目标结构化数据的起始位置添加第一位置编码，在目标结构化数据的终止位置添加第二位置编码；将第一位置编码确定为目标结构化数据中每一实体数据的起始位置编码，并基于每一实体数据的长度，确定每一实体数据与每一实体数据的起始位置编码之间的位置编码结果，作为目标结构化数据的位置编码结果，将第二位置编码确定为每一实体数据的终止位置编码，并基于每一实体数据的长度，确定每一实体数据与每一实体数据的终止位置编码之间的位置编码结果，作为目标结构化数据的位置编码结果。

本发明实施例中的位置编码装置，通过获取Josn格式的目标结构化数据的层级关系表示之后，基于上述层级关系表示，获取目标结构化数据的位置编码结果，能更准确、更直观地表示目标结构化数据，能更准确地获得目标结构化数据的位置编码结果，能实现目标结构化数据的位置编码结果的平移不变性。

图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器（processor）510、通信接口（Communications Interface）520、存储器（memory）530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行位置编码方法，该方法包括：获取目标结构化数据，目标结构化数据为Json格式；获取目标结构化数据的层级关系表示；基于层级关系表示，获取目标结构化数据的位置编码结果。

此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的位置编码方法，该方法包括：获取目标结构化数据，目标结构化数据为Json格式；获取目标结构化数据的层级关系表示；基于层级关系表示，获取目标结构化数据的位置编码结果。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的位置编码方法，该方法包括：获取目标结构化数据，目标结构化数据为Json格式；获取目标结构化数据的层级关系表示；基于层级关系表示，获取目标结构化数据的位置编码结果。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种位置编码方法，其特征在于，包括：

获取目标结构化数据，所述目标结构化数据为Json格式；

获取所述目标结构化数据的层级关系表示；

基于所述层级关系表示，获取所述目标结构化数据的位置编码结果。

2.根据权利要求1所述的位置编码方法，其特征在于，所述获取所述目标结构化数据的层级关系表示，包括：

将所述目标结构化数据中的每一实体数据，确定为一级根节点下的每一二级根节点；

基于所述每一实体数据中的数据层级关系，将所述每一实体数据中嵌套的各级数据，分别确定为所述每一实体数据对应的二级根节点下级联的各级子节点，获得每一所述二级根节点的树形层级关系表示，进而获得所述目标结构化数据的层级关系表示；

其中，所述一级根节点是预先设置的。

3.根据权利要求2所述的位置编码方法，其特征在于，所述基于所述层级关系表示，获取所述目标结构化数据的位置编码结果，包括：

基于所述层级关系表示，获取所述层级关系表示中目标节点的结构化属性信息；其中，所述目标节点包括所述层级关系表示中除所述一级根节点之外的所有节点；隶属于所述目标结构化数据中同一实体数据的任意两个目标节点的结构化属性信息相同；

对于所述层级关系表示中的任意两个目标节点，基于所述任意两个目标节点的结构化属性信息，判断所述任意两个目标节点是否隶属于所述目标结构化数据中的同一实体数据；

在确定所述任意两个目标节点分别隶属于所述目标结构化数据中的不同实体数据的情况下，基于所述任意两个目标节点的结构化属性信息以及预设距离阈值，获取所述任意两个目标节点在所述目标结构化数据中对应的数据之间的位置编码结果，作为所述目标结构化数据的位置编码结果。

4.根据权利要求3所述的位置编码方法，其特征在于，所述基于所述任意两个目标节点的结构化属性信息以及预设距离阈值，获取所述任意两个目标节点在所述目标结构化数据中对应的数据之间的位置编码结果，包括：

基于所述任意两个目标节点的结构化属性信息，获取所述任意两个目标节点之间的相对位置关系；

基于所述相对位置关系和所述预设距离阈值，获取所述任意两个目标节点在所述目标结构化数据中对应的数据之间的位置编码结果。

5.根据权利要求1所述的位置编码方法，其特征在于，还包括：

在所述目标结构化数据的起始位置添加第一位置编码，在所述目标结构化数据的终止位置添加第二位置编码；

将所述第一位置编码确定为所述目标结构化数据中每一实体数据的起始位置编码，并基于所述每一实体数据的长度，确定所述每一实体数据与所述每一实体数据的起始位置编码之间的位置编码结果，作为所述目标结构化数据的位置编码结果，

将所述第二位置编码确定为所述每一实体数据的终止位置编码，并基于所述每一实体数据的长度，确定所述每一实体数据与所述每一实体数据的终止位置编码之间的位置编码结果，作为所述目标结构化数据的位置编码结果。

6.根据权利要求3所述的位置编码方法，其特征在于，所述对于所述层级关系表示中的任意两个目标节点，基于所述任意两个目标节点的结构化属性信息，判断所述任意两个目标节点是否隶属于所述目标结构化数据中的同一实体数据之后，所述方法还包括：

在确定所述任意两个目标节点隶属于所述目标结构化数据中的同一实体数据的情况下，基于T5模型，获取所述任意两个目标节点在所述目标结构化数据中对应的数据之间的位置编码结果，作为所述目标结构化数据的位置编码结果。

7.根据权利要求1至6任一所述的位置编码方法，其特征在于，所述获取目标结构化数据，包括：

获取原始结构化数据；

在所述原始结构化数据为Json格式的情况下，将所述原始结构化数据确定为所述目标结构化数据，在所述原始结构化数据不为Json格式的情况下，通过对所述原始结构化数据进行建模，将所述原始结构化数据的转换为Json格式，进而将Json格式的原始结构化数据确定为所述目标结构化数据。

8.一种位置编码装置，其特征在于，包括：

数据获取模块，用于获取目标结构化数据，所述目标结构化数据为Json格式；

关系构建模块，用于获取所述目标结构化数据的层级关系表示；

位置编码模块，用于基于所述层级关系表示，获取所述目标结构化数据的位置编码结果。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述位置编码方法。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述位置编码方法。

Images