CN1726488A

CN1726488A - 用于构建自然语言理解应用的集成开发工具

Info

Publication number: CN1726488A
Application number: CNA038099640A
Authority: CN
Inventors: 马克·爱德华·爱普斯坦; 莎伦·巴巴拉·琼斯; 罗伯特·托德·沃德
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 2002-05-07
Filing date: 2003-04-10
Publication date: 2006-01-25
Anticipated expiration: 2023-04-10
Also published as: WO2003096217A3; CA2482514A1; CN100489841C; KR20040102071A; JP2005537532A; AU2003222602A1; KR100650427B1; EP1508102A2; US7191119B2; WO2003096217A2; AU2003222602A8; US20030212543A1

Abstract

一种开发自然语言理解(NLU)应用的方法包括使用多遍处理技术从NLU训练文本语料库确定NLU解释信息。一遍的改变可自动改变随后一遍的输入。NLU解释信息可指定NLU训练文本语料库的至少一部分的解释。在数据库中存储NLU解释信息，并且可在图形编辑器中表现NLU解释信息的所选项目。还在图形编辑器中接收用户指定的编辑。

Description

用于构建自然语言理解应用的集成开发工具

本发明涉及自然语言理解领域，特别涉及一种用于构建自然语言理解应用的集成开发工具。

自然语言理解(NLU)系统使计算机能够从人类语音理解和提取信息。该系统可以辅助的方式与其中需要理解人类语音的各种其他计算机应用如语音识别系统一起工作。NLU系统可提取包含在文本内的相关信息，然后将该信息提供给另一个应用程序或系统，以用于诸如预订航班、查找文档或总结文本的目的。

目前在本技术领域内，NLU系统采用若干不同技术来从文本串提取信息，其中文本串可以是指一组字符、词或句子。最常用的技术是使用上下文无关语法来解析文本串的语言学方法，其中上下文无关语法在本技术领域内通常使用包括终结符和非终结符的巴克斯-诺尔范式(BNF)来表示。终结符是指不能被进一步分解的词或其他符号，而典型地，非终结符是指语音部分或短语如动词短语或名词短语。因此，NLU的语法方法根据BNF语法寻求解析每个文本串而不使用统计处理。

为了构建这样的基于语法的NLU系统，典型地需要语言学家，这可能为应用开发增加了大量的时间和开支。然而，由于预测每个潜在用户请求或对提示的响应上的困难，尤其是在有关电话交谈风格的情况下，NLU应用的质量不能令人满意。显然地，尽管使用语言学家，也可能发生这样的不满意结果。

NLU系统用来从文本串提取信息的另一种技术是统计方法，其中在分析文本串中不使用语法。目前，该系统从带注解句子的大语料库中学习含义。带注解句子汇集成文本语料库，其可称作训练语料库。用来开发统计NLU系统和对文本进行注解的工具包括了诸如ASCII文件、传统文本编辑器和键盘宏这样的不同元素。使用这些低效工具，可指定词关系并可构建统计模型。然而，迄今为止，尚未开发出高效且准确的图形可视编辑工具。结果，典型地只有受过训练的专家才能进行统计NLU应用的开发。

使用传统NLU应用开发工具的另一个缺点是团队环境下的开发可能是困难的。显然地，由于现有工具利用不同组件，这些开发工具不能跟踪或标志一个团队成员所作的修改以防止另一个团队成员覆写或者重新注解文本的相同部分。而且，传统开发工具不能识别以相互不一致的方式注解训练语料库内特定句子的多个实例的情形。

在此公开的本发明涉及一种如权利要求1、37和38所述的用于构建自然语言理解(NLU)应用的方法、系统和可机读存储装置。具体地说，在此公开的本发明可向用户提供在其中构建统计模型的集成开发工具。不是使用一系列文本文件、文本编辑器和键盘宏来指定表示文本语料库的解释、含义或结构的解释信息，本发明可利用数据库以及图形编辑和可听工具的组合来指定解释信息。本发明的数据库功能性，包括本发明同步和标注用户编辑的能力使本发明特别适用于联网或工作组环境。结果，本发明可提供增加的功能性。

表现(presenting)步骤最好可包括：作为包括代表数据项的终结符和非终结符节点的含义树(meaning tree)表现NLU解释信息。根据本发明的一个实施例，可确定表示含义树的一部分是否正确的概率。如果概率不超过预定阈值概率，则可以可视地标识含义树的那个部分。可选地，可确定NLU解释信息内含义树子结构的出现次数。如果出现次数不超过预定阈值，则可以可视地标识含义树的子结构。

该方法还可包括从NLU解释信息确定含义树的所选节点的相交(intersection)，将所选节点的相交表现为用于向含义树添加附加节点的选项，然后将节点添加到含义树的所选节点之上。显然地，可从所表现的选项中选择所添加的节点。含义树的附加节点可响应用户命令而创建。附加节点可代表附加数据项。用户还可输入所添加节点的描述，当输入该描述时可对其进行拼写检查。在选择了含义树的节点的情况下，响应用户请求，可显示具有用于显示节点和节点参数的一列或多列的词典视图。显然地，词典视图可包括或集中于具有由含义树的高亮显示节点代表的数据项的词典区域。

含义树可根据预定注解数据如数据项词典或者指定文本解释的模型来自动完成。在一个实施例中，可判定数据项词典的单个数据项是否与NLU训练文本语料库的词相关联。如果是，则可将这个数据项分配给该词。NLU解释信息的所选项目可采用工具提示的方式来显示，并且可显示表示所表现的含义树是否是正确解释的概率。该方法还可包括在NLU解释信息内搜索指定含义树结构。可识别数据项的相交并将其表现为用于注解NLU训练文本语料库的用户指定词的选择。

最好，本发明可包括在词典视图中表现NLU解释信息。在这种情况下，NLU解释信息可使用用于显示父亲和孩子数据项及其参数的一列或多列来表现。词典视图可包括用于表示数据项的孩子的列和表示数据项的父亲的列。这些数据项可根据包括父亲和孩子列的多列中的任一列来排序。如果数据项具有超过预定阈值的概率或计数，则可以可视地区分在词典视图中显示的数据项。在词典视图中显示的具有不超过预定阈值的概率或计数的数据项可以被隐藏而不可见。响应用户选择具有关联的特定数据项，则可在NLU解释信息内搜索包括代表该关联的终结符和非终结符节点的含义树。该方法还可包括根据诸如数据项源、数据项目标、与数据项相关联的方向、与数据项相关联的注解符、注解状态、节点计数、数据文件、句子范围和/或使用状态的参数对NLU解释信息进行过滤。还可显示从NLU解释信息获得的直方图信息。

最好，本发明可包括在句子视图中表现NLU解释信息。可显示与单独文本短语相关联的NLU解释信息。例如，可以逐句子和/或短语地显示诸如注解状态、计数、指定使用、收集信息、正确性概率和正确性等级的信息。

最好，本发明可包括在分裂屏幕视图中作为一个或多个含义树表现NLU解释信息。分裂屏幕视图可至少包括用于显示第一含义树的第一窗口和用于显示第二含义树的第二窗口。该方法可包括响应用户请求在第二窗口内表现不同含义树，同时在第一窗口内显示第一含义树。这些含义树可以是相同上下文中相同文本短语的不同解释、两个不同上下文中相同文本短语的不同解释，或者可以是不同遍处理的结果。例如，第一窗口可表现在第一遍处理之后所确定的含义树，而第二窗口可表现在随后一遍处理之后所确定的结果含义树。可选地，第一含义树可代表文本短语的正确解释；而第二含义树可代表根据统计模型的文本短语预测解释。如果正确解释的得分大于预测解释的得分，则可提供统计模型不正确的指示。在第一含义树代表第一文本短语的情况下，该方法可包括在第一窗口中接收对第一含义树的编辑，并且响应用户编辑，搜索与所编辑的第一含义树相对应的不同文本短语的含义树，并且在第二窗口中显示不同文本短语的含义树。该方法可包括可视地表示第一含义树与第二含义树之间的差别，并且使第一含义树遵循第二含义树。

最好，本发明可包括自动导入NLU训练句子并且根据从NLU训练文本语料库确定的统计可能性自动确定NLU训练句子的解释。可选地，可自动导入训练句子的NLU解释，并且将其应用于NLU训练文本语料库。可以响应指定多遍之一的用户输入来显示由多遍中的任一遍产生的NLU解释信息。该方法还可包括根据文本短语的NLU解释信息的属性在句子视图中对NLU训练文本语料库的文本短语进行排序，并且作为含义树顺序显示至少二个文本短语的NLU解释信息。可根据句子视图中的排序来显示含义树。

该集成开发工具还可包括用于指定对NLU解释信息的数据项中的所选数据项进行搜索的图形用户接口。该图形用户接口可包括用于指定搜索的可选终结符和非终结符的至少一个列表。附加区域可包括在该图形用户接口中以指定所选数据项与其他数据项的关系。

图形编辑器可包括用于以分层树结构表现NLU解释信息项目的树视图、用于以列格式表现NLU解释信息各个项目的词典视图、用于以句子形式表现NLU解释信息的一个或多个项目的句子视图、用于同时表现至少两个含义树的分裂屏幕视图以及用于导入附加NLU训练文本和关联解释信息的导入视图。还可包括被配置成从NLU训练文本语料库确定至少一个解释的可编程统计模型。

在附图中示出了本发明的优选实施例，然而，应当理解本发明不限于所示的具体方案和手段。

图1是可使用本发明的示例性计算机系统的示意图。

图2是示出可在其上实现在此公开的本发明的示例性系统架构的示意图。

图3A是示例性树视图图形用户界面的图。

图3B是用于搜索自然语言理解解释信息的示例性图形用户界面。

图4是用于修改和创建标记(tag)的示例性图形用户界面。

图5是用于定义新标记的示例性图形用户界面。

图6是示出含义树视图的示例性图形用户界面。

图7是示出含义树视图的另一个示例性图形用户界面。

图8是用于在含义树视图中修改文本的示例性图形用户界面。

图9是用于显示训练文本语料库的句子和/或短语的示例性图形用户界面。

图10是用于在词典风格视图中显示终结符和非终结符数据项的示例性图形用户界面。

图11是示出在此公开的本发明的构建视图和组件的示例性图形用户界面。

图12是用于显示多于一个含义树的示例性图形用户界面。

图13是用于导入数据的示例性图形用户界面。

图14是用于识别导入数据内的终结符和非终结符的示例性图形用户界面。

在此公开的本发明涉及一种用于构建与自然语言理解(NLU)应用一起使用的统计模型的方法和系统。具体地说，在此公开的本发明可向用户提供一种用于构建与NLU系统一起使用的统计模型的集成开发工具。不是混合使用包括一系列文本文件、文本编辑器和键盘宏的各组件来指定组成文本语料库的句子的含义和结构，本发明提供了一种集成开发工具(IDT)。该IDT可包括数据库、以及可视(图形)和可听工具的组合来指定经常作为文本语料库的注解而指定的解释信息。NLU解释信息指定组成训练文本语料库的句子的解释或含义。本发明的数据库功能性，包括本发明同步和标注用户编辑的能力使本发明特别适用于联网计算或工作组环境。

图1示出结合本发明使用的典型计算机系统100。计算机系统100可包括计算机105，其中计算机105具有中央处理单元110(CPU)、一个或多个存储器装置115以及关联电路。可包括IDT 210的存储器装置115可由电子随机存取存储器和大容量数据存储介质组成。该计算机系统还可包括工作时通过适合接口电路125连接到计算机系统的麦克风120以及工作时与之连接的可选用户界面显示单元130如视频数据终端。CPU可包括任何适合微处理器或其他电子处理单元，这对于本领域的技术人员而言是公知的。可以向该系统提供扬声器135和140以及接口设备如鼠标145和键盘150，但是它们对于在此所述的本发明的操作不是必要的。很多可购买到的高速计算机中的任一种一般都可满足在此所述的计算机系统的各种硬件要求。

图2是示出可在其上实现在此公开的本发明的示例性系统架构的示意图。如图所示，该系统架构可包括若干计算机系统215、220和225，其中每一个都可包括在适合操作系统中执行的IDT 210。计算机系统215-225可通过计算机通信网络200在通信上相互链接，以及在通信上链接到数据库服务器205。因此，虽然计算机系统215-225中的每一个均可包括自包含IDT 210，其中该IDT 210具有带注解和不带注解数据、统计模型和算法的全集，但是根据本发明的一方面，由IDT 210利用的数据的各部分可存储在数据库服务器205中并且从其进行访问。例如，工作组的多个用户可能需要访问的各个信息项可存储在数据库服务器210而非每个单独的计算机系统215-225上。例如，如图2所示，数据库服务器205可存储带注解文本、不带注解文本、统计模型、算法等。

IDT 210可包括用于统计处理文本语料库的归类(classing)和解析功能性。更具体地说，使用IDT 210，可构建至少部分包括归类器和解析器的统计模型。使用IDT 210，可以对文本语料库进行注解，使得所得到的带注解文本语料库可被组织成组成句子，其中每个句子均具有从注解获得的分层树状结构。统计模型可使用带注解文本语料库来构建或训练。在构建或训练统计模型时，IDT还可测试当前统计模型的准确性。

然而，应当理解，可以遵循多遍文本处理方法，其中可使用多于两遍。从而，来自每遍的输出可用作下一或随后遍的输入。例如，可使用各种过滤器和/或词发现(wording spotting)算法，例如，用于标识和注解无意义词的“空过滤器”或者标识小语义短语如介词短语、名词短语等的短语遍(phrase pass)。另外，也可使用其他注解技术如源-通道建模(source-channel modeling)，其中所产生的注解称作对齐而不是树状结构。

以归类器和解析器为例，句子可被注解成可以是相关文本串的应用特定群(grouping)的类，例如金融NLU应用中的帐户类型。其他类例如时间和日期可以是应用无关的。可通过分析文本语料库来从经验上确定类，使得归类器可识别特定文本串或词属于规定类。应当理解，终结符和非终结符描述符、包括解析树和类树的含义树、以及从IDT工具获得的任何其他词频数据或统计数据可统称作注解数据。显然地，包括组成文本语料库的任何文本的注解数据可被存储在数据库内，而不是被存储为一个或多个文本文件。

归类器可使用统计处理方法来构造以识别构成预定类之一的接收文本中的子串。例如，归类器可使用统计处理方法来构造，其中数千句子可被注解，从而标识句子的组成词或文本串的类。带注解句子可用来训练归类器识别词或文本串在NLU系统内所属的类。因此，归类器可使用在本领域内公知的统计处理算法来构造，例如最小化条件熵或最大化结果模型预测训练数据以识别关键文本串的可能性。例如，NLU系统可使用能够识别文本串特定类的决策树或最大熵模型。

根据所接收的文本部分，归类器可产生简化结果文本串，其中可采用规定类注解原始文本串内所识别的类成员，从而有效地将实际文本串替换为类名。例如，归类器可处理文本串“I want to transfer fivehundred dollars from XYZ Fund to ABC Fund”，使得所得到的示例性输出可以为“I want to transfer AMOUT from FUND to FUND”。显然地，文本输入的结构被大大简化。具体地说，通过对所接收的文本输入进行归类，结果输入结构的数目，即可能的语法结构可以大大减少，从而帮助随后的统计处理。例如，在不对接收文本输入进行归类的情况下，下面句子可被认为具有不同结构：

●I want to transfer five hundred dollars from XYZ Fund to ABCFund.

●I want to transfer five thousand dollars from XYZ Fund to ABCFund.

●I want to transfer one hundred dollars from XYZ Fund to ABCFund.

●I want to transfer five hundred dollars from ABC Fund to XYZFund.

●I want to transfer five hundred dollars from A Fund to B Fund.

●I want to transfer five hundred dollars from C Fund to A Fund.

然而，在对上面文本进行归类之后，其结果表示每个文本输入共用共同结构即“I want to transfer AMOUT from FUND to FUND”。因此，接收文本输入内不同类成员的存在不导致文本输入被视作不同的结构。显然地，可使用可称作类树的分层树结构来描述经过归类的句子。类树是一种代表对应句子的解释或含义的含义树。分层含义树可包括终结符和非终结符节点。例如，含义树的叶子可对应于类和处理文本的词。叶子可扩展到一个或多个非终结符，其中的每一个可对含义树提供进一步的含义和结构。而且，叶子和非终结符(以及终结符)中的每一个可包括用户可配置的描述符。每个叶子可直接地或者通过一个或多个非终结符最终扩展到根节点。

解析器可解释从归类器输出的处理文本作为输入。解析器可处理接收文本，以将与特性即操作和参数或者其他终结符或非终结符群相对应的附加非终结符和/或描述符添加到接收文本输入的剩余相关文本串。例如，解析器可对特定关键词进行编组。在确定这些特性中，解析器可利用前面在描述归类器中提及的统计处理方法。例如，解析器可处理从归类器输出的文本以确定文本串的解析树。文本串的解析树可以是包括接收文本串的类、操作和参数的自然语言文本输入的分层表示，其从一般向特定流动，向下扩展到终结符或词层。解析树可采用图形形式来描述，其中用来标识文本串的最高层作为根。更详细的非终结符可位于根之下，其向下扩展到终结符层，其中每个非终结符和终结符是解析树的节点。句子的解析树典型地比对应于那个句子的类树更复杂。不过，解析树和类树都可称作含义树。

IDT 210可包括各种预建统计模型。例如，用于处理广泛使用的短语如日期、时间、金额或其他短语或表达类的称作置标器或归类器的统计模型可包括在IDT内。该统计模型可包括归类和解析模型。因此，对于由IDT 210导入或读取的任何文本语料库，IDT 210可自动分析所导入的文本语料库，以识别与预建模型相关的指示符。指示符可包括与诸如日期、时间和其他可容易替换的项目包括客套话(即“thank you”)的类相对应的终结符。对于与特定预建模型相对应的每个指示符，IDT210可将那个预建统计模型加入到当前正在构造的统计模型中。例如，IDT 210可执行关键词搜索或者使用前述其他统计处理方法来分析文本语料库，以确定预建模型与文本语料库是否有任何相关性。IDT 210还可向用户询问是否包括该预建模型或者可选地用户可请求包括该模型。在任何情况下，该功能性使用户免于重新创建统计模型来处理经常重现的文本短语。

如上所述，在IDT 210内包括归类器和解析器仅代表在此公开的本发明的一个实施例。本领域的技术人员应当认识到可以使用任何适当的统计处理方法和/或模型。例如，其他实施例可以包括词发现算法、最大熵、规则或启发算法。在任何情况下，在此公开的本发明不限于利用归类器和解析器的特定实施例。

如上所述，IDT 210可利用诸如关系数据库的数据库、以及图形和可听工具的组合来帮助用户对文本语料库进行注解和开发与NLU应用一起使用的统计模型。图3A示出在IDT的示例性图形用户界面(GUI)300内表现的示例性树编辑器视图310。树编辑器视图提供查看含义树的直观方式，其中含义树可包括类树和解析树。如图3A所示，采用树格式显示来自文本语料库的示例性句子。树状句子结构从下向上流动，其中终结符在本例中为词流动到非终结符，并且非终结符流动到以“！S！”表示的根节点。显然地，非终结符可流动到其他非终结符以容纳句子结构的多层。在某些情况下，终结符可直接流动到根节点。在任何情况下，对应于终结符和非终结符数据项的描述是完全可配置的。具体地说，NLU系统设计者可以确定适当一组终结符和非终结符数据项(和对应描述)来指定含义和上下文。可以在IDT内加入这些用户配置的终结符和非终结符数据项。

例如，图3A示出涉及被定制成结合金融系统工作的NLU系统的一系列终结符和非终结符数据项。终结符和非终结符数据项以树结构组织，其中树根位于该结构的顶部。从根节点，父亲节点分支到孩子节点，其中这些孩子节点作为其他孩子节点的父亲节点。树结构向下继续直到到达语料库文本的实际词。例如，如图3A所示，以终结符“null”330注解词“want”320。显然地，“null”终结符可以应用于被标识为不传达太多有关句子的上下文信息或含义(若有的话)的词。另外，以终结符“select”350注解词“first”340，其中终结符“select”350流动到其父亲，在本例中为非终结符“select”360。“SELECT”非终结符360流动到其父亲节点，该节点是另一个非终结符“FUND-INFO”370。这样，含义树的“SELECT”非终结符节点360是“FUND-INFO”的孩子而是“select”的父亲。然后，“FUND-INFO”流动到表示文本句子的根节点和最高层的“！S！”。终结符和非终结符名称完全是用户可配置的。例如，如果统计模型被设计成结合旅游预订系统工作，则终结符和非终结符可由应用开发者或用户配置以代表应用特定词群。在这种情况下，例子可包括假期类型、出发日期、到达日期、旅行时长等。

对于未带注解的句子，IDT可使用缺省终结符和非终结符注解符完成解析树或类树。如果缺省非终结符注解符是“null”，则IDT可查询存储在存储器中的各个词，并且选择另一个适合或可能的非终结符。不过，IDT可使用特定词的先前指定非终结符注解符而非缺省非终结符。

对于带部分注解的句子，IDT可自动完成该句子的解析树或类树。在这种情况下，IDT可从存储器搜索具有确定解析树的句子，其中该句子类似于输入句子或者带部分注解的句子。从而，IDT可根据所存储的已解析句子，建议输入句子的完全解析树。以这种方式，IDT可使用自动完成功能来确定文本句子的类树和解析树。可选地，用户可通过插入终结符和非终结符并且采用适当的分支线连接这些节点来人工构建含义树。

解释数据可采用多种方式使用树编辑器视图以图形方式编辑。例如，在树编辑器视图中，可编辑组成文本语料库的词，可编辑终结符和非终结符，并且可编辑分支。前述编辑中的每一种均可使用传统指针控制操作如拖放、左击和右击以及双击操作来执行。例如，通过选择树节点并且将该节点拖放到用户期望的新父亲上，可编辑树节点以指向不同的父亲。该操作将所选节点与先前父亲断开链接，并且将该节点链接到新父亲。此外，用户可人工绘制树分支，或者使用IDT内的众多功能来绘制分支，使得所得到的树形状具有可读结构。IDT可包括防止任何树分支覆盖另一个树分支或者与之交叉的设置。用户可选择分支角度和笔直或弯曲分支，使得所得到的树形状具有可读结构。另外，文本、文本大小、填充颜色和填充图案可以是用户可配置的。应当理解，系统内的有效树必须包含最终连接到根符号如“！S！”或者表示根节点的某其他符号的词。从而，IDT可包括禁止将导致无效树结构的特定编辑控制或操作的安全措施。

图3B是示出根据在此公开的创新性方案的用于实现若干不同查找功能的示例性GUI 375的示意图。如图所示，可提供GUI 375，其使用户能够以多种不同方式搜索文本注解和结构。具体地说，用户可在文本注解内使用区域380搜索特定标记(tag)、使用区域385搜索特定标签(label)、以及使用区域390搜索特定树结构和/或子结构。例如，用户可绘制较大树结构的一小段，并且在注解数据内搜索与在区域390中指定的树结构类似的结构。

树结构本身可用来搜索其他相关或匹配结构。具体地说，IDT允许用户选择含义树的一部分。一旦被选择，则用户可指令IDT在其他含义树内搜索匹配所选结构的结构。例如，用户可使用鼠标在具有用户希望在文本语料库内的其他地方定位的结构的树节点周围画框。落在用户所画框内的的含义树的项目或节点可被选择。一旦被选择，IDT可使用数据库功能性来搜索带注解的文本语料库以定位匹配结构。应当理解，可使用其他树节点选择方法如键盘按键的不同组合。从而，本发明不如此限于特定的含义树结构选择方法。

示例性GUI 400可被提供以编辑或创建终结符和非终结符。因此，虽然下面讨论涉及非终结符，但是它适用于终结符和非终结符两者。该用户界面允许用户描述新的非终结符(在某些情况下也称作标记)。另外，可编辑现有非终结符的定义。为了调用该功能，用户可选择要为其创建或编辑非终结符的词，并且发布要编辑或创建非终结符的用户命令。区域405是“所允许词典列表”，其可采纳一个或多个所选树节点的所有父亲和孩子节点的相交，并且作为所选词或节点的可能标签选项向用户表现该相交。另外，在节点的相交内，所允许词典列表可考虑在其他含义树内组织先前父亲和孩子节点的方式以及与从这些父亲和孩子节点扩展并且与之连接的分支的方向有关的其他历史信息。在本发明的一个实施例中，可提供自动模式。在自动模式中，如果所允许词典列表仅包含一个可能的终结符或非终结符，则IDT可自动地选择该终结符或非终结符以应用于用户所选词或词组。

区域410是可向用户表现在系统中定义的所有终结符或非终结符的GUI 400的词典区域。不管用户使用什么列表来选择终结符或非终结符，描述区域415可向用户提供与所选项目的适当使用有关的信息。描述区域415可帮助用户学习特定终结符或非终结符的正确和预定使用。例如，当用户移动鼠标到树编辑器视图中的终结符或非终结符上时，描述本身可作为工具提示由IDT显示。这可以特别有益于新开发者加入现有NLU开发团队并且必须培训由该开发团队使用的注解方法的情况。

如果用户希望输入尚未在IDT中定义的新终结符，则用户可选择“新标记”图标420。在这种情况下，图5示出响应图标420的激活而可由IDT显示的示例性GUI 500。图5的示例性GUI 500允许用户在区域510中输入新终结符或非终结符，并且在区域520中输入附随描述。

图6示出用于表现与图3A的GUI类似的树编辑器视图的另一个示例性GUI 600。如图所示，示例性GUI 600包含在GUI 600的窗口610内可访问的示例性弹出式菜单605。显然地，前述功能性的大部分可从弹出式菜单605直接访问。例如，用户可以添加附加非终结符、选择自动完成解析树，包括根据在配置文件中指定的统计模型对句子进行归类，编辑树节点，查找词结构或整个句子结构，以及删除或撤消操作。另外，如图所示，由于每个词已经采用对应标记被注解，因此“增加标记”功能性被禁止。显然地，在本发明的此实施例中，与特定终结符或非终结符相关使用术语标记和标签。例如，标记被分配给词，并且标记可用来将结构分配给标记群。从而，只有标签可用来完成解析树到根节点。

图7示出用于表现树编辑器视图的另一个示例性GUI 700。在这种情况下，用户选择了编辑在树编辑器视图中所示的文本语料库的词。显然地，用户选择了训练句子的词，并且选择了编辑那个词。输入新词“descriptions”来替换先前词。这样，用户可从IDT的树编辑器视图中的任一个编辑实际的文本语料库以及终结符、非终结符和树结构。显然地，在这种情况下，修改树的词不改变树的形状，而是将旧词替换为新的用户指定词。此外，IDT还可检查来自存储器的句子是否匹配所编辑的句子。如果是，则可向用户询问是使用现有树还是以新编辑的树替换现有树。

图8示出用于表现树编辑器视图的另一个示例性GUI 800，其中用户调用了修改句子功能。响应该用户请求，IDT可显示示例性GUI805，其中用户可从树编辑器视图的任一个内编辑整个训练语料库句子。显然地，当用户编辑句子时，可以在数据库中更新不再对应于所编辑句子的任何解析树、类树和其他解释信息。IDT可搜索现有句子以确定是否有另一个句子匹配新编辑的句子。如果是，则匹配句子的类树和解析树可与新编辑的句子相关联。该功能性还允许用户在使用下面讨论的若干选项之一读取或处理文本语料库时校正引入到该语料库中的错误。

图9示出可用来显示组成树基的词的示例性GUI 900。句子可列在区域925中，其中信息可根据若干不同列区域来组织。具体地说，列标题905可用来显示文本语料库内各个句子的编号位置。列标题910可被保留用于显示该完全相同文本出现在文本语料库内的计数或次数。列标题915可显示居于句子之前的反馈标记以及句子文本。反馈标记可表示句子所对应的表单(form)名称和空位(slot)名称。反馈标记可列在单独列中，或者可居于句子文本之前。此外，用户可通过激活将IDT置于对句子进行归类的模式中的按钮920来切换到另一个视图。如图所示，类名或标记已被加入到句子内。显然地，可使用相同GUI风格来向用户表现经过解析或归类的句子。从而，句子的词可根据具体情况被替换为终结符或非终结符。

所列句子可根据句子编号列、计数列或者文本列以升序或降序的方式排序。GUI 900还可包括表示包含在每个句子内的词数的列。该信息允许用户选择较短的句子开始归类或解析。应当理解，可以按升序或降序对句子进行排序，并且可以根据任一列类型对句子进行搜索或过滤。

包括在GUI 900内的显示列根据由IDE跟踪的任何数据可以是用户可配置的。例如，可包括指定对应于给定句子的反馈标记、提示、解析树得分或者应用形式(application form)的附加列。可包括表示由解析器或归类器确定的句子注解等级的列。例如，等级1可表示模型预测正确答案的最高可能性。等级越高。模型预测正确答案的可能性就越高。可包括状态列，其可表示句子是否用于训练或平滑(smoothing)。可包括表示如何收集句子的信息如在小规模测试期间生成、由用户键入、口述，在系统测试期间口述，在部署期间口述等的语法。无论如何，前述列表都不是详尽无遗的。

图10示出可用来表现词典风格词视图的示例性GUI 1000。该视图可用来显示终结符、非终结符或带注解词的完全列表。该显示可被配置成无需显示不在特定文本语料库内使用的终结符和非终结符。显然地，通过激活进一步表示当前视图的可激活按钮1025，用户可在类视图和解析视图之间来回切换。在本例中，该视图是词典解析器视图。不带注解的词可以但无需显示在词视图中。如图10所示，窗口1005的词视图可细分成至少两个标题。这些标题可包括词标题1010和终结符或非终结符标题1015。在终结符或非终结符标题1015中，带中括号的数字可表示数据出现在文本语料库中的次数。用户可以激活或禁止计数以及调整GUI 1000中各项目的颜色和字体。另外，IDT允许用户区分低计数和高计数项目。例如，IDT可采用一种颜色代表低计数项目，而采用不同颜色代表高计数项目。此外，如果特定终结符或非终结符的计数低于预定可编程阈值，则系统可指示需要更多数据来提高终结符或非终结符的统计准确性。在一个实施例中，可根据开发者认为相关的统计或启发信息来高亮显示特定信息项。

示例性GUI 1000也可用来显示终结符扩展到非终结符的方式。例如，终结符可位于列标题1010之下的列中；而非终结符可位于列标题1015之下的列中。在词典标记视图中，可显示从特定节点扩展到父亲节点的分支的方向。例如，使用定点设备，如果用户右击特定非终结符，则IDT可显示从孩子节点扩展到父亲节点的分支的方向。可能的方向可包括单向(unary)、左、中、右、上或下。

示例性GUI 1000还可用来显示非终结符连接到其他非终结符的方式。在这种情况下，除了由于标签可连接到其他标签而标签可位于两列中之外，视图可类似于标记视图。在任何情况下，GUI 1000可以是用户可配置的。在一方面，列的排序可由用户确定。例如，标记列和附随数目信息可显示在词列的左边。类似地，词列左边的列可显示词出现在文本语料库中的总次数。在词列的右边，可显示表示词被标记为特定标记或根的次数的数目。不管如何，都应当理解，列排序以及包括用于显示进一步解释信息的附加列是用户可配置的。

词典风格视图的另一个实施例可类似于目录树结构向用户表现解释信息，特别是终结符和非终结符信息。在这种情况下，标记可采用图形方式被表现为根，其中标签可采用图形方式被示出为根之下的可折叠子结构。此外，连接到其他非终端符的非终端符可采用图形方式被示出为位于其父亲非终端符之下。用户可单击终结符或非终结符以展开和查看底层结构，或者单击终结符或非终结符以折叠底层结构。在当前构造的统计模型内使用终结符和非终结符时，目录树视图可向用户提供终结符和非终结符的总体分层结构的直观图形表示。

查找特性可包括在词典视图中，其中用户可搜索具有特定条目的数据项。例如，用户可搜索特定标记或标签，以及通过诸如标记或标签出现在注解数据内的次数的参数来搜索标记或标签。搜索功能也可搜索用户指定的终结符和非终结符之间的关系。例如，用户可在注解数据内搜索具有从诸如右、左、上或单向的特定方向由节点扩展或者到达节点的分支的任何节点，父亲和/或孩子。

过滤特性也可包括在词典视图中。通过GUI 1000，用户可根据诸如数据项源、数据项目标、与数据项相关联的方向或者与数据项相关联的注解符的参数过滤显示信息。用户也可根据表示数据是带注解的还是不带注解的注解状态、表示孩子节点是否具有大于“N”个带注解例子作为父亲的节点计数、其中仅显示来自特定数据文件的关系的数据文件、用于显示仅从特定句子获得的关系的句子范围以及用于显示来自训练、平滑和/或测试数据的关系的使用状态来过滤数据。

图11示出可结合IDT的构建组件使用的示例性GUI 1100。示例性GUI 1100包括用于指定可被运行以“构建”NLU应用的脚本的若干区域。区域1105可用来指定特定文件，该文件可指定缺省参数、其他专用参数、所要执行的脚本以及在执行脚本之后所要显示的信息。该文件还可指定在回归测试期间所要处理和使用的文本文件。描述区域1110包含脚本的功能性的描述。参数列表区域1115可显示可用于执行脚本的参数列表。区域1120可用来传达可相关于脚本的任何附加信息或备注。显然地，描述区域1110和附加信息区域1120可有用于用户或应用开发者的团队开发NLU应用的开发环境。

图12示出可结合IDT的回归测试组件使用的示例性GUI 1200。显然地，GUI 1200可细分成两个部分。区域1205可显示从文本语料库的用户注解确定的真实含义树。区域1210可显示使用先前在图11的区域1105中指定的配置文件中所指定的统计模型由IDT生成的含义树。相应地，在配置文件中可指定多于一个统计模型，从而允许比较每个统计模型的结果。例如，该GUI可包括第三部分，其中该GUI对于在回归测试期间使用的每个统计模型具有一个部分并且对于真实含义树具有另一个部分。两棵树之间的差别可被自动地高亮显示。可更突出强调产生区别最大的可能性从而导致不正确结果的差别。从而，可向用户提供从何处开始调试的提示。用户可以可视地注意所示含义树之间的区别。

用户可逐一地浏览(cycle through)结果含义树，在本例中为解析树。例如，用户可浏览以对应于每个解析树的置信度得分表示的顶头“n”个选项。应当理解，置信度得分提供由IDT解释的指示，其表示结果解析树反映底层统计模型而非真实含义树的接近程度。具有高置信度得分的结果解析树与紧密匹配真实含义树的结果解析树之间可存在对应关系。显然地，顶头“n”个选项之一可能是匹配真实含义树的统计模型。不管如何，用户都可浏览可能的解释以查找可以作为以后编辑基点的解释，特别是在真实含义树不正确的情况下。

图12还示出自动完成得分1215，其向用户通知当前显示给用户的模型的置信度得分。附加信息如与每个节点相对应的每个节点或文本的置信度得分可显示在节点内，或者可在指针位于含义树的节点上时作为工具提示进行显示。在一个实施例中，节点是可扩充的以容纳增加的解释信息。节点置信度得分可帮助开发者检测错误或者确定特定解析树不近似或匹配真实解析树的原因。然而，应当理解，IDT是可配置的，使得众多含义树特征和设置的任一个可作为工具提示来显示或者显示在节点内。如果正确注解的得分大于从模型获得的最好计分答案，则GUI1200还可显示消息。在这种情况下，该模型预测正确的答案，并且统计模型的搜索机制产生问题。这一般通过扩大搜索范围来纠正，并且不需要任何直接开发者调试。

图12的GUI还可用来显示相同句子的注解数据的不同阶段。具体地说，由第一遍如解析遍产生的注解数据可显示在一个窗口内，而由第二遍如归类遍产生的注解数据可显示在另一个窗口内。然而，分裂屏幕GUI 1200还可显示不同的句子。例如，一个窗口可用来保持句子视图，而第二窗口可用来搜索具有特定结构的另一个句子。

分裂屏幕GUI 1200还可用来显示不同上下文中相同文本句子的两个不同注解。例如，短语“what’s available”在答复“how may I help you”或者“what fund would you like the price of”或者“how much would youlike to withdraw”而说出时具有不同的含义。

图13示出可结合IDT的导入组件使用的示例性GUI 1300。导入组件可使用若干方法中的任一个导入现有文本语料库。例如，文本语料库可作为句子的不带注解文本文件、或者带注解文本文件被导入。另外，由于传统NLU系统可存储用户答复，因此可以对NLU系统的日志进行数据挖掘以获得解析器输出、归类器输出或者语言模型文本。前述数据类型中的每一种可被导入到IDT中。在另一个实施例中，用户可使用词典风格视图或树视图逐一地将文本句子直接键入IDT。

另外，另一个实施例可接收表示文本语料库的包含用户口述话语的数字音频文件。可选地，IDT可通过模数转换器如声卡以数字方式记录模拟音频源。不管如何，IDT都可包括用于将用户口述话语转换成文本以获得训练语料库的语音识别系统。在这种情况下，文本语料库的数字记录可存储在存储器中以作将来使用和分析，以及用于在使用IDT的期间进行回放。表示训练文本语料库的音频文件可与特定文本短语或句子相关联，使得用户或开发者可听到训练文本的音频表示以及查看与文本相关的注解信息。例如，不管文本是带注解的、不带注解的、归类器输出还是解析器输出，文本部分都可通过指定音频文件位置和文件名而与音频文件相关联。可选地，可指定音频文件，并且开发者可将关联文本键入IDT。

GUI 1300可用来调整导入文本语料库时的导入组件设置。区域1305可用来显示当前导入到IDT中的文件的名称和路径。显然地，文件可以是带注解的文本语料库、不带注解的文本语料库和/或语音文件，包括要被处理的语音的数字记录或者从语音识别引擎获得的文本文件。区域1310可表示要被导入的文件内由IDT识别的句子数。控件1315、1320、1325和1330确定导入类型，或者哪些句子和对应注解数据将包括在IDT中构建的当前统计模型内。例如，控件1315的激活导致IDT添加所有句子。如果句子已经包含在数据库内，则IDT可将在IDT内定义的树结构用于所导入的句子。控件1320的激活将不导入任何句子，但是将以对应于导入文件内的重复句子相对应的注解数据覆写包含在IDT内的注解数据。控件1325的激活在句子已经包含在关系数据库内的情况下仍然添加所有句子。然而，控件1325的激活将采用与来自导入文件的重复句子相对应的注解数据覆写IDT中的注解数据。控件1330将仅添加不包含在关系数据库内的来自导入文件的句子和注解数据。控件1335的激活导致根据前述导入准则导入指定文件。

图14示出可用来将位于导入文件内的终结符和非终结符添加到当前统计模型的示例性GUI 1400。例如，在导入带注解的文本文件之后，IDT可识别不存在于当前统计模型内的带注解导入文本文件内的终结符和非终结符。因此，可向用户显示GUI 1400，其中可在窗口1405中向用户显示新终结符和非终结符。显然地，“标记/标签”列1510中的指示可标识新项目为例如标记或标签(终结符或非终结符)。特定标记或标签的准确拼写可列在“拼写”列1415中。“描述”列1420可由用户填入有关标记或标签的适当功能描述或其他相关信息。显然地，用户可直接输入文本到GUI 1400中以填入描述列而无需额外的GUI。因此，通过选择对应于期望标记的描述行和列，可以“内联”执行标记或标签描述的编辑。

在此公开的IDT可由用户配置，以采用包括各种颜色、图案、声音和符号的众多方式中的任一种描绘解释信息以表示解释信息的不同方面。类似地，用户可定制在IDT内使用的终结符或非终结符。因此，虽然前面说明书阐述了本发明的优选实施例，但是应当理解，本发明不限于在此公开的具体构造。本发明在不脱离其精神或基本属性的情况下可采用其他特定形式来实施。因此，应当参考所附权利要求而非前面说明书来表示本发明的范围。

本发明可以采用硬件、软件或者硬件和软件的组合来实现。本发明可以在一个计算机系统中以集中方式实现或者采用不同单元分散在若干互连的计算机系统之间的分布方式实现。配置成执行在此所述的方法的任何类型的计算机系统或者其他设备都是适合的。硬件和软件的典型组合可以是具有计算机程序的通用计算机系统，其中该计算机程序被装载和执行时控制计算机系统使得其执行在此所述的方法。

本发明也可嵌入在计算机程序产品中，其中该计算机程序产品包括使得能够实现在此所述的方法的所有特性，并且当被装载到计算机系统中时能够执行这些方法。本上下文中的计算机程序是指采用任何语言、代码或表示法的一组指令的任何表达，其中这组指令旨在使具有信息处理能力的系统直接地或者在下列操作的任一种或两者之后执行特定功能：a)转换到另一种语言、代码或表示法；b)以不同素材形式再现。

Claims

1.一种开发自然语言理解(NLU)应用的方法，包括：

使用多遍处理技术从NLU训练文本语料库确定NLU解释信息，其中一遍的改变自动改变随后一遍的输入，所述NLU解释信息指定所述NLU训练文本语料库的至少一部分的解释；

在数据库(205)中存储所述NLU解释信息；以及

在图形编辑器(310)中，表现NLU解释信息的所选项目(330)，并且接收对所述NLU解释信息的用户指定编辑。

2.如权利要求1所述的方法，所述表现步骤还包括：

作为包括代表数据项的终结符和非终结符节点的含义树表现所述NLU解释信息。

3.如权利要求2所述的方法，还包括：

确定表示所述含义树的一部分是否正确的概率；以及

如果所述概率不超过预定阈值概率，则可视地标识所述含义树的所述部分。

4.如权利要求2所述的方法，还包括：

确定所述NLU解释信息内所述含义树的子结构的出现次数；以及

如果所述出现次数不超过预定阈值，则可视地标识所述含义树的所述子结构。

5.如权利要求2所述的方法，还包括：

从所述NLU解释信息确定所述含义树的所选节点的相交；

将所选节点的所述相交表现为用于向所述含义树添加附加节点的选项；以及

将节点添加到所述含义树的所述所选节点之上，其中从所述选项中选择所述添加的节点。

6.如权利要求2所述的方法，还包括：

响应用户命令，创建所述含义树的附加节点，所述节点代表附加数据项；以及

关联所述节点与描述。

7.如权利要求6所述的方法，还包括：

对所述关联描述进行拼写检查。

8.如权利要求2所述的方法，其中选择所述含义树的节点，所述方法还包括：

响应用户请求，显示包括用于显示所述节点及其参数的多列的词典视图，其中所述词典视图包括由所述高亮显示节点代表的数据项。

9.如权利要求2所述的方法，还包括：

根据从包括数据项词典和指定文本解释的模型的组中选择的预定NLU解释信息，自动完成所述含义树。

10.如权利要求9所述的方法，所述自动完成步骤包括：

判定来自所述数据项词典的单个数据项是否与所述NLU训练文本语料库的词相关联；以及

如果是，则将所述数据项自动分配给所述词。

11.如权利要求2所述的方法，还包括：

作为工具提示显示所述NLU解释信息的所选项目；以及

显示所述表现的含义树是正确解释的概率。

12.如权利要求2所述的方法，还包括：

在所述NLU解释信息内搜索指定含义树结构。

13.如权利要求2所述的方法，还包括：

识别数据项的相交；以及

将所述识别的数据项表现为用于为所述NLU训练文本语料库的句子注解所述含义树的用户指定节点的选择。

14.如权利要求1所述的方法，所述表现步骤还包括：

在词典视图中表现所述NLU解释信息，所述词典视图包括用于显示父亲和孩子数据项及其参数的多列。

15.如权利要求14所述的方法，其中所述词典视图包括用于表示所述数据项的孩子的一列和表示所述数据项的父亲的另一列。

16.如权利要求15所述的方法，还包括：

根据所述孩子或父亲列对所述数据项进行排序。

17.如权利要求14所述的方法，还包括：

可视地表示其概率或计数超过预定阈值的数据项。

18.如权利要求14所述的方法，还包括：

隐藏其概率或计数不超过预定阈值的数据项。

19.如权利要求14所述的方法，还包括：

响应用户选择具有关联的特定数据项，在所述NLU解释信息内搜索包括代表所述关联的终结符和非终结符节点的含义树。

20.如权利要求14所述的方法，还包括：

根据从包括数据项源、数据项目标、与数据项相关联的方向、与数据项相关联的注解符、注解状态、节点计数、数据文件、句子范围和使用状态的组中选择的参数，对所述NLU解释信息进行过滤。

21.如权利要求14所述的方法，还包括：

显示从所述NLU解释信息获得的直方图信息。

22.如权利要求1所述的方法，所述表现步骤还包括：

在句子视图中，表现与单独文本短语相关联的所述NLU解释信息，从包括注解状态、短语计数、指定短语使用、短语收集信息、正确性概率和正确性等级的组中选择的所述NLU解释信息。

23.如权利要求1所述的方法，所述表现步骤还包括：

在分裂屏幕视图中作为多个含义树表现所述NLU解释信息，所述分裂屏幕视图至少包括用于显示第一含义树的第一窗口和用于显示第二含义树的第二窗口。

24.如权利要求23所述的方法，还包括：

响应用户请求，在所述第一窗口内显示所述第一含义树，同时在所述第二窗口内表现不同所述含义树。

25.如权利要求23所述的方法，其中所述第一和第二含义树是相同上下文中相同文本短语的不同解释。

26.如权利要求25所述的方法，其中所述第一含义树代表文本短语的正确解释，而所述第二含义树代表根据统计模型的所述文本短语的预测解释。

27.如权利要求26所述的方法，还包括：

如果所述正确解释的得分大于所述预测解释的得分，则表示所述统计模型不正确。

28.如权利要求23所述的方法，其中所述第一和第二含义树是两个不同上下文中相同文本短语的不同解释。

29.如权利要求23所述的方法，其中所述第一含义树对应于第一遍处理之后的文本短语，而所述第二含义树对应于随后一遍处理之后的所述文本短语。

30.如权利要求23所述的方法，其中所述第一含义树代表第一文本短语，所述方法还包括：

在所述第一窗口内接收对所述第一含义树的编辑；以及

响应所述编辑，搜索与所述编辑的第一含义树相对应的不同文本短语的含义树，并且在所述第二窗口内显示所述不同文本短语的所述含义树。

31.如权利要求23所述的方法，还包括：

可视地表示所述第一含义树与所述第二含义树之间的差别。

32.如权利要求23所述的方法，还包括：

使所述第一含义树遵循所述第二含义树。

33.如权利要求1所述的方法，还包括：

自动导入NLU训练句子；以及

根据从所述NLU训练文本语料库确定的统计可能性，自动确定所述NLU训练句子的解释。

34.如权利要求1所述的方法，还包括：

自动导入训练句子的NLU解释；以及

将所述NLU解释应用于所述NLU训练文本语料库。

35.如权利要求1所述的方法，还包括：

响应指定所述多遍之一的用户输入，显示由所述多遍中的所述一遍产生的所述NLU解释信息。

36.如权利要求1所述的方法，还包括：

根据所述NLU训练文本语料库的文本短语的NLU解释信息属性，在句子视图中对所述文本短语进行排序；以及

作为含义树顺序显示所述文本短语中的至少两个的所述NLU解释信息，其中根据所述句子视图的所述排序来显示所述含义树。

37.一种用于根据如任一项前面权利要求所述的方法开发自然语言理解(NLU)应用的集成开发工具，所述集成开发工具包括：

数据库，被配置成存储与NLU训练文本语料库相对应的NLU解释信息的各项目；

图形编辑器，具有用于操纵NLU解释信息的所述项目的多个视图，所述图形编辑器在通信上链接到所述数据库；以及

处理器，被配置成根据多遍系统确定NLU解释信息的所述项目，并且在所述数据库中存储NLU解释信息的所述项目。

38.一种可机读存储装置，其上存储了一个计算机程序，所述计算机程序具有用于使机器执行如前面方法权利要求1-36中的任一项所述的步骤的可由机器执行的多个代码部分。