CN103440234A - 自然语言理解系统及方法 - Google Patents

Abstract

本发明涉及自然语言处理技术领域，公开了一种自然语言理解系统及方法。该系统包括：网络库构建模块，用于预先建立有向图文法网络库，所述有向图文法网络库中存储根据句文法规则生成的有向图文法网络；接收模块，用于接收用户输入的自然语言；文本内容获取模块，用于获取所述自然语言对应的文本内容；匹配模块，用于将所述文本内容与所述有向图文法网络进行匹配，得到匹配路径；语义确定模块，用于获取并输出所述匹配路径上的语义信息。本发明可以满足用户针对海量文本数据的深层语义理解的需求。

Description

自然语言理解系统及方法

技术领域

本发明涉及自然语言处理技术领域，具体涉及一种自然语言理解系统及方法。

背景技术

人工智能技术发展由来已久，而作为人工智能领域中最重要方向之一的自然语言理解技术也一直是研究的热点，可以说，让计算机理解自然语言是人类一直以来的梦想。目前，自然语言理解技术主要采用基于规则和基于统计两大类理论技术。基于规则的自然语言理解系统构建相对复杂，主要面对受限领域的理解问题。而基于统计的方法逐步成为自然语言处理领域的主流方法，通常适于在大量数据的基础上进行浅层语义理解，而对于深层语义问题往往无法处理。

传统的基于规则的自然语言理解系统可以实现对自然语言的深层理解。对于一个给定的文本输入，其处理流程通常包括以下三个步骤。

（1）词义分析：主要目的是对句子中的词汇提取语言学信息，获取词汇的词义。涉及分词、词性标注、命名体识别等等技术，同时在词义处理上需要词义相关的知识库的支持，对此语言专家已经做出了巨大努力，比如已有的知识库“知网”、《同义词词林》等等。

（2）句法分析：主要目的是对句子或短语的结构进行分析，获取词汇、短语在句子中的语法功能和相互关系，常用的句法分析方法包括上下文无关文法分析和依存文法分析等等。

（3）语义分析：主要目的是要获取句子要表达的实际意义，该部分是自然语言理解系统的核心。深层自然语言理解系统通常需要在该阶段构建相关语义理解的规则，这些规则主要是依赖语言学专家的语言知识和领域知识密切相关。一方面要定义语义项，另一方面要定义从词义、句法结构等信息至语义项的语义转换规则库。对于一个给定的文本输入，经过词义分析、句法分析之后，利用语义转换规则库最终实现获取语义的目的。

传统的基于规则的自然语言理解系统主要涉及词义分析、句法分析和语义分析三部分，各部分都涉及专家知识规则、不同知识库的利用，虽然可以实现对自然语言的深层理解，但依然存在无法克服的缺点，主要有以下几点：

（1）系统复杂，以上三部分涉及分词、词性标注、命名体识别、句法分析、词义消歧、语义角色分析等等众多技术点，每一项技术的性能不足都有可能对整个系统的性能造成较大影响，系统实现和维护难度都较大。

（2）规则的构建严重依赖于语言学专家知识，而该方面的知识资源往往是有限的甚至是难以获取的。

（3）现有方案的可推广性不强，难以处理自然语言错综复杂的变化，对于实际应用中的海量数据理解往往效果不佳。

发明内容

本发明实施例提供一种自然语言理解系统及方法，以满足用户针对海量文本数据的深层语义理解的需求。

为此，本发明提供如下技术方案：

一种自然语言理解系统，包括：

网络库构建模块，用于预先建立有向图文法网络库，所述有向图文法网络库中存储根据句文法规则生成的有向图文法网络；

接收模块，用于接收用户输入的自然语言；

文本内容获取模块，用于获取所述自然语言对应的文本内容；

匹配模块，用于将所述文本内容与所述有向图文法网络进行匹配，得到匹配路径；

语义确定模块，用于获取并输出所述匹配路径上的语义信息。

优选地，所述网络库构建模块包括：

设置单元，用于获取用户设置的句文法规则；

编译单元，用于对所述句文法规则进行编译，生成有向图文法网络；

存储单元，用于将所述有向图文法网络存储到有向图文法网络库中。

优选地，不同的有向图文法网络对应不同应用类型的文法规则；所述系统还包括：

选择模块，用于确定用户选择的自然语言的应用类型；

所述匹配模块，具体用于将所述文本内容与对应所述应用类型的有向图文法网络进行匹配，得到匹配路径。

优选地，所述选择模块，具体用于通过按键方式或菜单方式确定用户选择的自然语言的应用类型。

优选地，所述匹配模块包括：

切分单元，用于对所述文本内容按字切分，所述字包括汉字、字母、数字；

字匹配单元，将所述有向图文法网络的起始节点作为切分得到的第一个字的匹配起始节点，对切分得到的每个字，依次按以下方式与对应所述应用类型的有向图文法网络进行匹配：从所述匹配起始节点的出弧中查找弧上记录的字与当前待匹配的字相同的弧，并将查找出的弧的终止节点作为下一个待匹配的字的匹配起始节点；

匹配路径获取单元，用于根据所述字匹配单元的匹配结果，得到对应所述文本内容的完整匹配路径。

一种自然语言理解方法，包括：

预先建立有向图文法网络库，所述有向图文法网络库中存储根据句文法规则生成的有向图文法网络；

接收用户输入的自然语言，并获取所述自然语言对应的文本内容；

将所述文本内容与所述有向图文法网络进行匹配，得到匹配路径；

获取并输出所述匹配路径上的语义信息。

优选地，所述建立有向图文法网络库包括：

获取用户设置的句文法规则；

对所述句文法规则进行编译，生成有向图文法网络；

将所述有向图文法网络存储到有向图文法网络库中。

优选地，不同的有向图文法网络对应不同应用类型的文法规则；所述方法还包括：

在接收用户输入的自然语言之前，确定用户选择的自然语言的应用类型；

所述将所述文本内容与所述有向图文法网络进行匹配，得到匹配路径包括：

将所述文本内容与对应所述应用类型的有向图文法网络进行匹配，得到匹配路径。

优选地，所述确定用户选择的自然语言的应用类型包括：

通过按键方式或菜单方式确定用户选择的自然语言的应用类型。

优选地，将所述文本内容与对应所述应用类型的有向图文法网络进行匹配，得到匹配路径包括：

对所述文本内容按字切分，所述字包括汉字、字母、数字；

将所述有向图文法网络的起始节点作为切分得到的第一个字的匹配起始节点；

对切分得到的每个字，依次按以下方式与对应所述应用类型的有向图文法网络进行匹配：从所述匹配起始节点的出弧中查找弧上记录的字与当前待匹配的字相同的弧，并将查找出的弧的终止节点作为下一个待匹配的字的匹配起始节点；

根据匹配结果得到对应所述文本内容的完整匹配路径。

本发明实施例提供的自然语言理解系统及方法，利用当前计算机日益强大的计算、存储能力，预先建立存储了根据句文法规则生成的有向图文法网络的有向图文法网络库，在接收用户输入的自然语言后，将所述自然语言对应的文本内容与所述有向图文法网络进行匹配，得到匹配路径；获取并输出所述匹配路径上的语义信息。本发明方案实现了计算机对自然语言的句子或短语等的自动深层理解，满足了用户针对海量文本数据的深层语义理解的需求。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是本发明实施例自然语言理解系统的一种结构框图；

图2是本发明实施例自然语言理解系统中网络库构建模块的一种结构示意图；

图3是本发明实施例中有向图网络的示意图；

图4是本发明实施例自然语言理解系统的另一种结构框图；

图5是本发明实施例中匹配模块的结构示意图；

图6是本发明实施例自然语言理解方法的流程图；

图7是本发明实施例中建立有向图文法网络库的一种流程图；

图8是本发明实施例中利用有向图文法网络进行文本内容匹配的流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明实施例的方案，下面结合附图和实施方式对本发明实施例作进一步的详细说明。

针对现有技术中自然语言理解系统实现复杂、并且严重依赖于语言学专家知识的问题，本发明提供一种自然语言理解系统及方法，简单高效地实现对句子、短语等的深层自然语言理解，实现计算机自动对海量文本数据的深层语义理解的需求。

如图1所示，是本发明实施例自然语言理解系统的一种结构框图。

在该实施例中，所述系统包括：

网络库构建模块101，用于预先建立有向图文法网络库，所述有向图文法网络库中存储根据句文法规则生成的有向图文法网络；

接收模块102，用于接收用户输入的自然语言；

文本内容获取模块103，用于获取所述自然语言对应的文本内容；

匹配模块104，用于将所述文本内容与所述有向图文法网络进行匹配，得到匹配路径；

语义确定模块105，用于获取并输出所述匹配路径上的语义信息。

本发明实施例提供的自然语言理解系统，预先建立存储了根据句文法规则生成的有向图文法网络的有向图文法网络库，在接收用户输入的自然语言后，将所述自然语言对应的文本内容与所述有向图文法网络进行匹配，得到匹配路径；获取并输出所述匹配路径上的语义信息。本发明方案实现了系统对自然语言的句子或短语等的自动深层理解，满足了用户针对海量文本数据的深层语义理解的需求。

如图2所示，是本发明实施例自然语言理解系统中网络库构建模块的一种结构示意图。

在该实施例中，所述网络库构建模块包括：

设置单元111，用于获取用户设置的句文法规则；

编译单元112，用于对所述句文法规则进行编译，生成有向图文法网络；

存储单元113，用于将所述有向图文法网络存储到有向图文法网络库中。

需要说明的是，在实际应用中，可以由用户根据实际应用需求来设置相应的句文法规则，比如，由系统向用户提供相应的设置界面，用户在该界面中输入设置的句文法规则内容。当然，也可以由系统根据通用的应用需求，预置对应所述应用需求的句文法规则。

所述句文法规则用于描述各具体应用下可能的自然语言句法输入信息。

比如，对“开通或取消彩铃”的业务需求，自然语言输入句式可能存在各种不同情况，如“开通/定制彩铃”，“取消/退订彩铃”等，对此，相应的句文法规则可以设置如下：

$彩铃=彩铃;

$open=开通|订制;

$cancel=取消|退订;

$rule0{biz:彩铃&opera:开通}=$open$彩铃;

$rule1{biz:彩铃&opera:取消}=$cancel$彩铃;

$main=$rule0|$rule1;

在本发明实施例自然语言理解系统中，由编译单元112通过编译方式，生成有向图文法网络，以便于使系统能够根据该有向图文法网络的内容，快速地处理自然语句。

图3示出了对上述句文法规则编译得到的有向图网络。

其中，网络中的弧记录了所有的变量值信息，节点将所有的弧连接起来形成网络结构。带有“EP”的弧是空弧，空弧只是为了将句文法中的各个逻辑部分从形式上区分开。在使用网络对自然语句解析时，可以忽略空弧，将空弧连接的两个节点视为同一个节点。

假设用Ni表示标号为i的节点，则N0和N15分别是图3所示的有向图网络的起始节点和终止节点。在句文法规则中被语义信息修饰的变量所对应的网络的起始节点和终止节点上记录该语义的id信息（分别记录该id值和id的相反值，以区分起始节点和终止节点）。如图3中所示，在N1和N13上分别记录1和-1，在N2和N14上分别记录2和-2。

这样，在匹配模块104将文本内容与有向图文法网络进行匹配，得到匹配路径后，语义确定模块105即可根据该匹配路径上记录的字的id得到相应的语义信息。

在实际应用中，还可以针对不同的应用类型（比如，音乐类，影视类，天气类，航班类，等等），设置不同的有向图文法网络对应不同应用类型的文法规则。相应地，在进行文本内容与有向图文法网络匹配时，就需要选择与应用类型相对应的有向图文法网络进行匹配。

所述应用类型可以由用户来选择，也可以是系统默认的。为此，如图4所示，在本发明自然语言理解系统的另一实施例中，所述系统还可进一步包括：

选择模块106，用于确定用户选择的自然语言的应用类型。

比如，所述选择模块106具体可以是向用户提供的选择按键，或者由选择模块106向用户提供选择菜单，当然，选择模块106还可以有其它实现方式，对此本发明实施例不做限定。

如果用户没有进行选择，则系统可以选择默认的应用类型，比如，系统可以设置通用的句文法规则，编译得到的通用的有向图网络。

相应地，在该实施例中，所述匹配模块104用于将所述文本内容与对应所述应用类型的有向图文法网络进行匹配，得到匹配路径。

如图5所示，是本发明实施例中匹配模块的结构示意图。

在该实施例中，所述匹配模块包括：

切分单元141，用于对所述文本内容按字切分，所述字包括汉字、字母、数字；

字匹配单元142，将所述有向图文法网络的起始节点作为切分得到的第一个字的匹配起始节点，对切分得到的每个字，依次按以下方式与对应所述应用类型的有向图文法网络进行匹配：从所述匹配起始节点的出弧中查找弧上记录的字与当前待匹配的字相同的弧，并将查找出的弧的终止节点作为下一个待匹配的字的匹配起始节点；

匹配路径获取单元143，用于根据所述字匹配单元142的匹配结果，得到对应所述文本内容的完整匹配路径。

下面结合图3所示的有向图网络举例说明本发明实施例中对切分得到的字进行匹配的过程。

比如对一个输入语句“订制彩铃”进行处理，经过切分单元141，得到四个汉字的切分结果：“订”“制”“彩”“铃”，也即字匹配单元142的输入；字匹配单元142首先从节点0开始跳过节点0后的两个空弧至节点1和节点2，并在节点1和节点2上记录历史信息即节点0，表示是从节点0跳至此处；将第一个汉字“订”分别与匹配节点1的两个出弧上的内容和节点2的两个出弧上的内容进行比对，此时，只有从节点2至节点5的出弧上的内容与“订”匹配，在节点5上记录历史信息即节点2，表示是从节点2跳至此处，其它不匹配的路径不再进行后续比对；对于第二个汉字的比对从节点5开始，将节点5的出弧的内容与第二个字“制”进行比对，节点5至节点8的出弧内容与“制”匹配，于是在节点8上记录历史信息即节点5，并从节点8开始继续处理第三个汉字，以此类推，依次处理切分后的各个汉字，并在节点上记录从哪个节点跳转至该节点的历史信息，另外，如节点后有空弧则跳过空弧从该空弧指向的节点继续当前比对；如果所有切分后的汉字处理完，全部匹配成功，并且最终能够到达文法网络的终止节点（最后一个汉字匹配成功后仍允许进行空弧跳转），则该匹配结果将被匹配路径获取单元143进行处理，从文法网络的终止节点开始，根据历史信息进行逐节点回溯，最终得到完整的从文法网络的起始节点至终止节点的一条匹配路径。“订制彩铃”对应的匹配路径为节点0、2、5、8、10、12、14、15。

由此可见，如果一个语句符合所述有向图网络包含的句文法规则，则该语句与所述有向图网络中的从起始节点到终止节点的至少一条路径完全匹配，从而可以准确快速地实现系统对海量文本内容的深层理解。

当然，如果在所述有向图网络中没有找到与该语句相匹配的路径，则解析失败。此时，语义确定模块105可以输出相应的解析失败信息。

本发明实施例自然语言理解系统，可以广泛应用于web短文本理解、问答系统问题分析、短信理解、语音助手、语音呼叫路由、语音分析、人机语音语言交互理解等领域，其实现简单可靠，能够快速高效地实现对海量文本内容的深层语义的自动理解。

相应地，本发明实施例还提供一种自然语言理解方法，如图6所示，是该方法的流程图，包括以下步骤：

步骤601，预先建立有向图文法网络库，所述有向图文法网络库中存储根据句文法规则生成的有向图文法网络；

步骤602，接收用户输入的自然语言，并获取所述自然语言对应的文本内容；

步骤603，将所述文本内容与所述有向图文法网络进行匹配，得到匹配路径；

步骤604，获取并输出所述匹配路径上的语义信息。

所述句文法规则用于描述各具体应用下可能的自然语言句法输入信息。在实际应用中，可以由用户根据实际应用需求来设置相应的句文法规则，比如，由系统向用户提供相应的设置界面，用户在该界面中输入设置的句文法规则内容。当然，也可以由系统根据通用的应用需求，预置对应所述应用需求的句文法规则。对此本发明实施例不做限定。

如图7所示，是本发明实施例中建立有向图文法网络库的一种流程图，包括以下步骤：

步骤701，获取用户设置的句文法规则；

步骤702，对所述句文法规则进行编译，生成有向图文法网络；

步骤703，将所述有向图文法网络存储到有向图文法网络库中。

所述句文法规则及其对应的有向图文法网络在前面已有详细说明，对此不再赘述。

需要说明的是，在实际应用中，可以设置对应不同应用类型的文法规则。相应的，在有向图文法网络库中存储对应不同应用类型的有向图文法网络。在这种情况下，可以由用户在输入自然语言之前，选择所需的应用类型。当然，也可以设置系统默认的应用类型。如果用户没有进行选择，则采用系统默认的应用类型。

在实际应用中，具体可以通过按键或菜单等方式确定用户选择的自然语言的应用类型。

相应地，在进行匹配时，需要将所述文本内容与对应所述应用类型的有向图文法网络进行匹配，得到匹配路径。

可见，本发明实施例提供的自然语言理解方法，预先建立存储了根据句文法规则生成的有向图文法网络的有向图文法网络库，在接收用户输入的自然语言后，将所述自然语言对应的文本内容与所述有向图文法网络进行匹配，得到匹配路径；获取并输出所述匹配路径上的语义信息。本发明方案实现了系统对自然语言的句子或短语等的自动深层理解，满足了用户针对海量文本数据的深层语义理解的需求。

如图8所示，是本发明实施例中利用有向图文法网络进行文本内容匹配的流程图，包括以下步骤：

步骤801，对用户输入的文本内容按字切分，所述字包括汉字、字母、数字；

步骤802，获取切分得到的第一个字；

步骤803，从有向图网络中对应待匹配字的匹配起始节点的出弧中查找弧上记录的字与当前待匹配的字相同的弧；并将查找出的弧的终止节点作为下一个待匹配的字的匹配起始节点；

对应第一个字的匹配超始节点即有向图网络的起始节点；

步骤804，判断是否还有未匹配的字；如果是，则执行步骤805；否则，执行步骤806；

步骤805，获取下一个待匹配的字；然后返回步骤803；

步骤806，判断所述下一个待匹配的字的匹配起始节点是否为终止节点；如果是，则执行步骤807；否则，执行步骤808；

步骤807，获取对应所述文本内容的完整匹配路径。

步骤808，输出为空。

本发明实施例自然语言理解方法，可以广泛应用于多种领域，比如：web短文本理解，问答系统问题分析，短信理解，语音助手，语音呼叫路由，语音分析，人机语音语言交互理解等，其实现简单可靠，能够快速高效地实现对海量文本内容的深层语义的自动理解。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。而且，以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上对本发明实施例进行了详细介绍，本文中应用了具体实施方式对本发明进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及设备；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种自然语言理解系统，其特征在于，包括：

网络库构建模块，用于预先建立有向图文法网络库，所述有向图文法网络库中存储根据句文法规则生成的有向图文法网络；

接收模块，用于接收用户输入的自然语言；

文本内容获取模块，用于获取所述自然语言对应的文本内容；

匹配模块，用于将所述文本内容与所述有向图文法网络进行匹配，得到匹配路径；

语义确定模块，用于获取并输出所述匹配路径上的语义信息。

2.根据权利要求1所述的系统，其特征在于，所述网络库构建模块包括：

设置单元，用于获取用户设置的句文法规则；

编译单元，用于对所述句文法规则进行编译，生成有向图文法网络；

存储单元，用于将所述有向图文法网络存储到有向图文法网络库中。

3.根据权利要求1所述的系统，其特征在于，不同的有向图文法网络对应不同应用类型的文法规则；所述系统还包括：

选择模块，用于确定用户选择的自然语言的应用类型；

所述匹配模块，具体用于将所述文本内容与对应所述应用类型的有向图文法网络进行匹配，得到匹配路径。

4.根据权利要求3所述的系统，其特征在于，

所述选择模块，具体用于通过按键方式或菜单方式确定用户选择的自然语言的应用类型。

5.根据权利要求1至4任一项所述的系统，其特征在于，所述匹配模块包括：

切分单元，用于对所述文本内容按字切分，所述字包括汉字、字母、数字；

字匹配单元，将所述有向图文法网络的起始节点作为切分得到的第一个字的匹配起始节点，对切分得到的每个字，依次按以下方式与对应所述应用类型的有向图文法网络进行匹配：从所述匹配起始节点的出弧中查找弧上记录的字与当前待匹配的字相同的弧，并将查找出的弧的终止节点作为下一个待匹配的字的匹配起始节点；

匹配路径获取单元，用于根据所述字匹配单元的匹配结果，得到对应所述文本内容的完整匹配路径。

6.一种自然语言理解方法，其特征在于，包括：

预先建立有向图文法网络库，所述有向图文法网络库中存储根据句文法规则生成的有向图文法网络；

接收用户输入的自然语言，并获取所述自然语言对应的文本内容；

将所述文本内容与所述有向图文法网络进行匹配，得到匹配路径；

获取并输出所述匹配路径上的语义信息。

7.根据权利要求6所述的方法，其特征在于，所述建立有向图文法网络库包括：

获取用户设置的句文法规则；

对所述句文法规则进行编译，生成有向图文法网络；

将所述有向图文法网络存储到有向图文法网络库中。

8.根据权利要求6所述的方法，其特征在于，不同的有向图文法网络对应不同应用类型的文法规则；所述方法还包括：

在接收用户输入的自然语言之前，确定用户选择的自然语言的应用类型；

所述将所述文本内容与所述有向图文法网络进行匹配，得到匹配路径包括：

将所述文本内容与对应所述应用类型的有向图文法网络进行匹配，得到匹配路径。

9.根据权利要求8所述的方法，其特征在于，所述确定用户选择的自然语言的应用类型包括：

通过按键方式或菜单方式确定用户选择的自然语言的应用类型。

10.根据权利要求6至9任一项所述的方法，其特征在于，将所述文本内容与对应所述应用类型的有向图文法网络进行匹配，得到匹配路径包括：

对所述文本内容按字切分，所述字包括汉字、字母、数字；

将所述有向图文法网络的起始节点作为切分得到的第一个字的匹配起始节点；

对切分得到的每个字，依次按以下方式与对应所述应用类型的有向图文法网络进行匹配：从所述匹配起始节点的出弧中查找弧上记录的字与当前待匹配的字相同的弧，并将查找出的弧的终止节点作为下一个待匹配的字的匹配起始节点；

根据匹配结果得到对应所述文本内容的完整匹配路径。

Images