CN111967247A - 基于函数声明的自然语言语义表示方法、装置和电子设备 - Google Patents

Abstract

本发明公开了一种基于函数声明的自然语言语义表示方法、装置和电子设备。该方法包括：对自然语言序列进行分词处理，分词结果中的每个词与预生成的上下文无关语法实例中的终结符相对应；根据所述上下文无关语法实例获取与所述终结符关联的函数声明；利用所述函数声明构建所述自然语言序列的语义树；采用高阶函数表达所述语义树，执行得到所述自然语言序列的语义表达结果。不仅能够实现不同语法的自由组合、嵌套，进而实现对复杂自然语言的语义结构表示；而且函数的具体实现方式与函数声明的语义表示过程分离，复用性好，灵活性高；另外，语义表示的结果能够被计算机执行的函数嵌套表示和实现，能够直接执行来完成具体任务。

Description

基于函数声明的自然语言语义表示方法、装置和电子设备

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种基于函数声明的自然语言语义表示方法、装置和电子设备。

背景技术

语言是人类知识的载体，语义的表示是搭建计算机与人类自然语言的桥梁。在20世纪初期，以索绪尔为代表的一批符号学派语言学家开始系统地研究自然语言的语义表示。到了六十年代末期，随着逻辑学家和语言学家之间的屏障开始被打破，一批理论语言学家们着手为自然语言寻求一套完整的语义理论模式，来对语义进行完整的表示。美国逻辑学家理查德·蒙塔古认为自然语言与形式语言在基本文法逻辑上是一致的，提出的“蒙太古语法”为之后的语义表示研究奠定了基础。

目前，随着人们的研究，出现了多种语义表示方法。其中，早期常用的方法包括一阶逻辑表达式和lambda计算式等，比如对于如下的自然语言语句：所有大于2的质数是奇数。利用一阶逻辑表达式可以表达为：

∀x.prime(x)∧more(x,2)→odd(x)

另一种常用的语义表示方法是正则文法。正则表达式是一种常见的正则文法，是计算机领域常用的字符串匹配方法。它定义了一种字符串模式，匹配自然语言中存在的符合模式的所有子字符串。

还有用有向无环图来更完备地表达语义的方法。例如由帕尔默等人提出的AMR(Abstract Meaning Representation)。一些工业界机构也根据自己的业务场景提出了满足各自需求的多种语义表示方法，例如亚马逊的Alexa语音助手就采用了同样基于有向无环图的AMRL(Alexa Meaning Representation Language)来表示以对话为主的自然语言。

还有的方法中把自然语言直接转化为像python、SQL一样的程序语言，使之能够直接被执行。由于程序语言天然地倾向于消除歧义，这样的方法在某些特定领域有着很强的实用性。

但是，上述这些方法存在以下一些不足：

a. 一阶逻辑既不允许谓词为变量，也不允许对谓词进行量化，这限制了它的灵活性和可用性，无法处理自然语言复杂的组合递归逻辑；

b. 正则表达式在通用场景下只能匹配文本形式，不能表示语义；例如像email、身份证号这一类有很强规律性的字符串就适合于使用正则表达式匹配；而自然语言由于其复杂的递归性、组合性，正则表达式无法完备的进行自然语言语义表示；

c. 大部分基于正则文法和一阶逻辑的语义表示方法在应用场景中，都与具体的业务代码强耦合，很大一部分是完全嵌入代码中的。对于语义表示文法的维护需要直接修改代码，操作难度大、稳定性较差；

d. 基于有向无环图来进行语义表示的方法理论上是一种较为完备的语义表示方法，但是这样的方法需要大量的标注数据来进行模型训练，且模型的准确度和迁移性都不能满足实际应用需求。另外，这一类方法的语义表示结果仍然是计算机不可执行的，需要额外的功能模块来进行二次解析；

e. 将自然语言直接映射到程序语言的方法有很强的场景性，只能在特定领域发挥作用，例如将自然语言表示为SQL语句的。另外，程序语言受限于自身特性，很难完备地描述自然语言的语义。在任务的执行时，这样的方法也受限于具体编程语言。

发明内容

为了解决现有技术中存在的问题，本发明提供了如下技术方案。

本发明第一方面提供了一种基于函数声明的自然语言语义表示方法，包括：

对自然语言序列进行分词处理，分词结果中的每个词与预生成的上下文无关语法实例中的终结符相对应；

根据所述上下文无关语法实例获取与所述终结符关联的函数声明；

利用所述函数声明构建所述自然语言序列的语义树；

采用高阶函数表达所述语义树，执行得到所述自然语言序列的语义表达结果。

优选地，通过对预先定义的上下文无关语法文件进行解析得到所述上下文无关语法实例。

优选地，所述上下文无关语法实例包括终结符、非终结符和产生式，每个产生式和终结符具有对应的函数声明。

优选地，所述根据所述上下文无关语法实例获取与所述终结符关联的函数声明包括：

根据所述终结符查找产生式，所述产生式对应的函数声明作为与所述终结符关联的函数声明。

优选地，所述利用所述函数声明构建所述自然语言序列的语义树包括：

根据所述上下文无关语法实例的文法结构对所述自然语言序列进行语义解析，并根据所述关联的函数声明生成所述自然语言序列的语义树。

优选地，使用earlay和/或CYK算法进行语义解析。

优选地，所述高阶函数包括所述关联的函数声明所指示的函数。

本发明第二方面提供了一种基于函数声明的自然语言语义表示装置，包括：

终结符获取模块，用于对自然语言序列进行分词处理，分词结果中的每个词与预生成的上下文无关语法实例中的终结符相对应；

函数声明获取模块，用于根据所述上下文无关语法实例获取与所述终结符关联的函数声明；

语义树构建模块，用于利用所述函数声明构建所述自然语言序列的语义树；

语义表示实现模块，用于采用高阶函数表达所述语义树，执行得到所述自然语言序列的语义表达结果。

本发明第三方面提供了一种存储器，存储有多条指令，所述指令用于实现上述的方法。

本发明第四方面提供了一种电子设备，包括处理器和与所述处理器连接的存储器，所述存储器存储有多条指令，所述指令可被所述处理器加载并执行，以使所述处理器能够执行上述的方法。

本发明的有益效果是：本发明提供的技术方案中，首先对自然语言序列进行分词处理，分词结果中的每个词与预生成的上下文无关语法实例中的终结符相对应，然后根据所述上下文无关语法实例获取与所述终结符关联的函数声明，并生成语义树，之后使用高阶函数表示语义树，最后通过调用具体的函数实现方式，执行得到自然语言语义表达的最终结果。本发明的方案能够实现不同语法的自由组合、嵌套，进而实现对复杂自然语言的语义结构表示；函数的具体实现方式与函数声明的语义表示过程分离，没有强耦合关系，复用性好，灵活性高；语义表示的结果能够被计算机执行的函数嵌套表示和实现，不需要对语义表示形式进行二次处理，就能够直接执行以完成具体任务。

附图说明

图1为本发明所述基于函数声明的自然语言语义表示方法流程示意图；

图2为根据本发明实施例的语义树示例；

图3为本发明所述基于函数声明的自然语言语义表示装置结构示意图。

具体实施方式

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案做详细的说明。

本发明提供的方法可以在如下的终端环境中实施，该终端可以包括一个或多个如下部件：处理器、存储器和显示屏。其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行以实现下述实施例所述的方法。

处理器可以包括一个或者多个处理核心。处理器利用各种接口和线路连接整个终端内的各个部分，通过运行或执行存储在存储器内的指令、程序、代码集或指令集，以及调用存储在存储器内的数据，执行终端的各种功能和处理数据。

存储器可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory，ROM)。存储器可用于存储指令、程序、代码、代码集或指令。

显示屏用于显示各个应用程序的用户界面。

除此之外，本领域技术人员可以理解，上述终端的结构并不构成对终端的限定，终端可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。比如，终端中还包括射频电路、输入单元、传感器、音频电路、电源等部件，在此不再赘述。

实施例一

如图1所示，本发明实施例提供了一种基于函数声明的自然语言语义表示方法，包括：

S101，对自然语言序列进行分词处理，分词结果中的每个词与预生成的上下文无关语法实例中的终结符相对应；

其中，通过对预先定义的上下文无关语法文件进行解析得到所述上下文无关语法实例。所述上下文无关语法文件使用自定义的上下文无关文法规则。

S102，根据所述上下文无关语法实例获取与所述终结符关联的函数声明；

S103，利用所述函数声明构建所述自然语言序列的语义树；

S104，采用高阶函数表达所述语义树，执行得到所述自然语言序列的语义表达结果。

在步骤S101中，上下文无关语法实例包括终结符、非终结符和产生式，每个产生式和终结符具有对应的函数声明。产生式由终结符、非终结符、推导符号组成。上下文无关语法实例可参见如下的示例一：

上述示例一中包括多条上下文无关语法实例，语法实例中包括多个产生式的集合，产生式中推导符号“=”和“|”左部为非终结符，右部为非终结符和/或终结符的集合，每个产生式的右侧为对应的函数声明。一个非终结符可能出现在多个产生式的左部。例如上述示例中示出了非终结符<cn_e1s>的三个产生式，其中一个产生式的右部<cn_unit>是一个非终结符，其又出现在示出的五个产生式的左部，<cn_unit>的产生式的“=”右部为终结符“一”、“二”……，每个产生式均具有对应的函数声明。终结符关联具体的自然语言，对应的函数声明对应自然语言的语义实现。

在本发明中，另外的语法实例可参见如下的示例二：

在示例二中，产生式的推导符号左部为非终结符，右部为非终结符与终结符的组合，产生式的右侧为对应的函数声明。

需要说明的是，示例中的语法实例仅为示例，且产生式的表达形式也不限于此，例如可以采用其它方式表示推导符号、终结符和非终结符。

对于待进行语义表示的自然语言序列，首先对其进行分词处理，所述分词处理后得到的每个词与所述语法实例中的终结符对应。例如对于自然语言序列“五与5.8的和的平方”，分词后得到“五”、“5.8”、“……与……的和”、“的平方”，其与示例一和示例二示出的上下文无关语法实例中的终结符对应。

执行步骤S102，根据所述上下文无关语法实例获取与所述终结符关联的函数声明。具体地，根据所述终结符查找产生式，所述产生式对应的函数声明作为与所述终结符关联的函数声明。据所述终结符查找产生式包括：查找终结符所在的产生式，得到该产生式左部的非终结符，根据语法实例中的产生式确定该非终结符对应的另一非终结符，依此类推，直至确定最终对应的非终结符，将上述终结符打标为该最终对应的非终结符，并以该非终结符的产生式对应的函数声明作为所述关联的函数声明。

仍以自然语言序列“五与5.8的和的平方”和示例一为例，对于终结符“五”，基于产生式<cn_unit> = “五”得到<cn_unit>,再根据产生式<cn_e1s> = <cn_unit>得到<cn_e1s>，依次类推确定最终的非终结符<number>,以产生式<number> =<number>对应的函数声明{nf.math.to_num($1)}作为与终结符“五”关联的函数声明，将“五”打标为<number>。类似地，对于终结符“与……的和”，基于示例二的语法实例，“五”和“5.8”已被打标为<number>，则“与……的和”关联的函数声明为{nf.math.sum($1,$3)}，并也被打标为<number>；“的平方”关联的函数声明为{nf.math.pow ($1,2)}。

S103，利用所述函数声明构建所述自然语言序列的语义树。

具体实施时，利用语义解析算法，根据每个词所关联的函数声明生成所述自然语言序列的语义树。其中，语义解析算法包括early和/或CYK算法。自然语言序列“五与5.8的和的平方”，依据所述函数声明形式构建的语义树如图2所示。其中“F->”指示语义树的节点对应的函数声明，例如“F->to_num”指示该节点对应的函数声明为“{nf.math.to_num($1)}”。

执行步骤S104，采用高阶函数表达所述语义树，执行得到所述自然语言序列的语义表达结果。

其中，所述高阶函数包括上述函数声明所对应的函数。作为一个实施例，对于图2所示的语义树，对应的高阶函数形式为：nf.math.pow(nf.math.sum(nf.math.to_num("五")，5.8), 2)。

其中，可以按照预定义的函数实现方式，执行所述高阶函数，得到所述自然语言序列的语义表达结果。例如，可以使用java script编程语言进行nf.math.sum()函数的实现如下：

最终输出函数执行结果。

本发明提供的上述方法具有如下的有益效果：

使用高阶函数进行自然语言的语义表达，实现了函数的嵌套组合，让自然语言的语义成分能进行完备的函数化表示；

利用上下文无关语法能够实现不同语法的自由组合、嵌套，不受限于单个语义模式，通过多个语义模式的组合递归，能够实现对复杂自然语言的语义结构表示；

使用函数声明作为自然语言的语义表示形式，而函数的具体实现方式与函数声明的语义表示过程分离，没有强耦合关系。在语义解析阶段，系统将自然语言解析成基于函数声明的语义表示，在实现时调用函数的具体实现方式来执行。函数的实现方式不受限于具体的编程语言和实现方式，复用性更好，灵活性更高；

语义表示的结果能够被计算机执行的函数嵌套表示和实现，相比以往的语义表示方法，不需要对语义表示形式进行二次处理，能够直接执行来完成具体任务。

实施例二

如图3所示，本发明的另一方面还包括和前述方法流程完全对应一致的功能模块架构，即本发明实施例还提供了基于函数声明的自然语言语义表示装置，包括：

终结符获取模块201，用于对自然语言序列进行分词处理，分词结果中的每个词与预生成的上下文无关语法实例中的终结符相对应；

函数声明获取模块202，用于根据所述上下文无关语法实例获取与所述终结符关联的函数声明；

语义树构建模块203，用于利用所述函数声明构建所述自然语言序列的语义树；

语义表示实现模块204，用于采用高阶函数表达所述语义树，执行得到所述自然语言序列的语义表达结果。

进一步地，所述终结符获取模块包括语法解析模块、分词模块和终结符关联模块，所述语法解析模块用于对所述预定义的上下文无关语法进行解析，实例化预定义的上下文无关语法；所述分词模块用于对所述自然语言序列进行分词处理；所述终结符关联模块用于根据所述预定义的上下文无关语法，将所述分词处理后得到的每个词与所述上下文无关语法中的终结符对应。

进一步地，所述函数声明获取模块包括产生式查找模块和函数声明关联模块，所述产生式查找模块用于根据所述终结符查找产生式，所述函数声明关联模块用于将产生式对应的函数声明作为与所述终结符关联的函数声明。

进一步地，所述构建模块具体的用于根据所述上下文无关语法实例的文法结构对所述自然语言序列进行语义解析，并根据所述关联的函数声明生成所述自然语言序列的语义树。其中，所述语义解析算法包括earlay和/或CYK算法。

进一步地，所述语义表示实现模块中，所述高阶函数包括所述关联的函数声明所指示的函数。

该装置可通过上述实施例一提供的基于函数声明的自然语言语义表示方法实现，具体的实现方法可参见实施例一中的描述，在此不再赘述。

本发明还提供了一种存储器，存储有多条指令，所述指令用于实现如实施例一所述的方法。

本发明还提供了一种电子设备，包括处理器和与所述处理器连接的存储器，所述存储器存储有多条指令，所述指令可被所述处理器加载并执行，以使所述处理器能够执行如实施例一所述的方法。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于函数声明的自然语言语义表示方法，其特征在于，包括：

对自然语言序列进行分词处理，分词结果中的每个词与预生成的上下文无关语法实例中的终结符相对应；

根据所述上下文无关语法实例获取与所述终结符关联的函数声明；

利用所述函数声明构建所述自然语言序列的语义树；

采用高阶函数表达所述语义树，执行得到所述自然语言序列的语义表达结果。

2.如权利要求1所述的方法，其特征在于，通过对预先定义的上下文无关语法文件进行解析得到所述上下文无关语法实例。

3.如权利要求2所述的方法，其特征在于，所述上下文无关语法实例包括终结符、非终结符和产生式，每个产生式和终结符具有对应的函数声明。

4.根据权利要求3所述的方法，其特征在于，所述根据所述上下文无关语法实例获取与所述终结符关联的函数声明包括：

根据所述终结符查找产生式，所述产生式对应的函数声明作为与所述终结符关联的函数声明。

5.如权利要求4所述的方法，其特征在于，所述利用所述函数声明构建所述自然语言序列的语义树包括：

根据所述上下文无关语法实例的文法结构对所述自然语言序列进行语义解析，并根据所述关联的函数声明生成所述自然语言序列的语义树。

6.如权利要求5所述的方法，其特征在于，使用earlay和/或CYK算法进行语义解析。

7.如权利要求1所述的方法，其特征在于，所述高阶函数包括所述关联的函数声明所指示的函数。

8.一种基于函数声明的自然语言语义表示装置，其特征在于，包括：

终结符获取模块，用于对自然语言序列进行分词处理，分词结果中的每个词与预生成的上下文无关语法实例中的终结符相对应；

函数声明获取模块，用于根据所述上下文无关语法实例获取与所述终结符关联的函数声明；

语义树构建模块，用于利用所述函数声明构建所述自然语言序列的语义树；

语义表示实现模块，用于采用高阶函数表达所述语义树，执行得到所述自然语言序列的语义表达结果。

9.一种存储器，其特征在于，存储有多条指令，所述指令用于实现如权利要求1-7任一项所述的方法。

10.一种电子设备，其特征在于，包括处理器和与所述处理器连接的存储器，所述存储器存储有多条指令，所述指令可被所述处理器加载并执行，以使所述处理器能够执行如权利要求1-7任一项所述的方法。

Images