CN100489841C - 用于开发自然语言理解应用的方法和集成开发工具 - Google Patents
用于开发自然语言理解应用的方法和集成开发工具 Download PDFInfo
- Publication number
- CN100489841C CN100489841C CNB038099640A CN03809964A CN100489841C CN 100489841 C CN100489841 C CN 100489841C CN B038099640 A CNB038099640 A CN B038099640A CN 03809964 A CN03809964 A CN 03809964A CN 100489841 C CN100489841 C CN 100489841C
- Authority
- CN
- China
- Prior art keywords
- tree
- nlu
- implication
- text
- data item
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Machine Translation (AREA)
- Stored Programmes (AREA)
Abstract
一种开发自然语言理解(NLU)应用的方法包括使用多遍处理技术从NLU训练文本语料库确定NLU解释信息。一遍的改变可自动改变随后一遍的输入。NLU解释信息可指定NLU训练文本语料库的至少一部分的解释。在数据库中存储NLU解释信息,并且可在图形编辑器中表现NLU解释信息的所选项目。还在图形编辑器中接收用户指定的编辑。
Description
技术领域
本发明涉及自然语言理解领域,特别涉及一种用于构建自然语言理解应用的集成开发工具。
背景技术
自然语言理解(NLU)系统使计算机能够从人类语音理解和提取信息。该系统可以辅助的方式与其中需要理解人类语音的各种其他计算机应用如语音识别系统一起工作。NLU系统可提取包含在文本内的相关信息,然后将该信息提供给另一个应用程序或系统,以用于诸如预订航班、查找文档或总结文本的目的。
目前在本技术领域内,NLU系统采用若干不同技术来从文本串提取信息,其中文本串可以是指一组字符、词或句子。最常用的技术是使用上下文无关语法来解析文本串的语言学方法,其中上下文无关语法在本技术领域内通常使用包括终结符和非终结符的巴克斯-诺尔范式(BNF)来表示。终结符是指不能被进一步分解的词或其他符号,而典型地,非终结符是指语音部分或短语如动词短语或名词短语。因此,NLU的语法方法根据BNF语法寻求解析每个文本串而不使用统计处理。
为了构建这样的基于语法的NLU系统,典型地需要语言学家,这可能为应用开发增加了大量的时间和开支。然而,由于预测每个潜在用户请求或对提示的响应上的困难,尤其是在有关电话交谈风格的情况下,NLU应用的质量不能令人满意。显然地,尽管使用语言学家,也可能发生这样的不满意结果。
NLU系统用来从文本串提取信息的另一种技术是统计方法,其中在分析文本串中不使用语法。目前,该系统从带注解句子的大语料库中学习含义。带注解句子汇集成文本语料库,其可称作训练语料库。用来开发统计NLU系统和对文本进行注解的工具包括了诸如ASCII文件、传统文本编辑器和键盘宏这样的不同元素。使用这些低效工具,可指定词关系并可构建统计模型。然而,迄今为止,尚未开发出高效且准确的图形可视编辑工具。结果,典型地只有受过训练的专家才能进行统计NLU应用的开发。
使用传统NLU应用开发工具的另一个缺点是团队环境下的开发可能是困难的。显然地,由于现有工具利用不同组件,这些开发工具不能跟踪或标志一个团队成员所作的修改以防止另一个团队成员覆写或者重新注解文本的相同部分。而且,传统开发工具不能识别以相互不一致的方式注解训练语料库内特定句子的多个实例的情形。
发明内容
在此公开的本发明涉及一种用于构建自然语言理解(NLU)应用的方法、系统和可机读存储装置。
根据本发明的开发自然语言理解NLU应用的方法,包括:使用多遍处理技术从NLU训练文本语料库确定NLU解释信息,其中一遍的输出可用作随后遍的输入,所述NLU解释信息指定所述NLU训练文本语料库的一部分解释;在数据库(205)中存储所述NLU解释信息;以及在图形编辑器(310)中,表现NLU解释信息的所选项目(330),并且接收对所述NLU解释信息的用户指定编辑,其中所述表现步骤还包括:作为包括代表数据项的终结符和非终结符节点的含义树表现所述NLU解释信息;确定表示所述含义树的一部分是否正确的概率;以及如果所述概率不超过预定阈值概率,则可视地标识所述含义树的所述部分。
根据本发明的用于根据如任一项前面权利要求所述的方法开发自然语言理解NLU应用的集成开发工具,所述集成开发工具包括:数据库,被配置成存储与NLU训练文本语料库相对应的NLU解释信息的各项目,其中,所述NLU解释信息的所述项目指定所述NLU训练文本语料库的一部分解释;图形编辑器,具有用于操纵NLU解释信息的所述项目的多个视图,所述图形编辑器在通信上链接到所述数据库,其中,所述多个视图中一个包括:NLU解释信息的所选项目,其表现为包括代表数据项的终结符和非终结符节点的含义树;以及处理器,被配置成根据多遍系统确定NLU解释信息的所述项目,并且在所述数据库中存储NLU解释信息的所述项目,其中,一遍的输出可用作随后遍的输入,其中,所述处理器进一步被配置成确定表示所述含义树的一部分是否正确的概率,如果所述概率不超过预定阈值概率,则可视地标识所述含义树的所述部分。
在此公开的本发明可向用户提供在其中构建统计模型的集成开发工具。不是使用一系列文本文件、文本编辑器和键盘宏来指定表示文本语料库的解释、含义或结构的解释信息,本发明可利用数据库以及图形编辑和可听工具的组合来指定解释信息。本发明的数据库功能性,包括本发明同步和标注用户编辑的能力使本发明特别适用于联网或工作组环境。结果,本发明可提供增加的功能性。
表现(presenting)步骤最好可包括:作为包括代表数据项的终结符和非终结符节点的含义树(meaning tree)表现NLU解释信息。根据本发明的一个实施例,可确定表示含义树的一部分是否正确的概率。如果概率不超过预定阈值概率,则可以可视地标识含义树的那个部分。可选地,可确定NLU解释信息内含义树子结构的出现次数。如果出现次数不超过预定阈值,则可以可视地标识含义树的子结构。
该方法还可包括从NLU解释信息确定含义树的所选节点的相交(intersection),将所选节点的相交表现为用于向含义树添加附加节点的选项,然后将节点添加到含义树的所选节点之上。显然地,可从所表现的选项中选择所添加的节点。含义树的附加节点可响应用户命令而创建。附加节点可代表附加数据项。用户还可输入所添加节点的描述,当输入该描述时可对其进行拼写检查。在选择了含义树的节点的情况下,响应用户请求,可显示具有用于显示节点和节点参数的一列或多列的词典视图。显然地,词典视图可包括或集中于具有由含义树的高亮显示节点代表的数据项的词典区域。
含义树可根据预定注解数据如数据项词典或者指定文本解释的模型来自动完成。在一个实施例中,可判定数据项词典的单个数据项是否与NLU训练文本语料库的词相关联。如果是,则可将这个数据项分配给该词。NLU解释信息的所选项目可采用工具提示的方式来显示,并且可显示表示所表现的含义树是否是正确解释的概率。该方法还可包括在NLU解释信息内搜索指定含义树结构。可识别数据项的相交并将其表现为用于注解NLU训练文本语料库的用户指定词的选择。
最好,本发明可包括在词典视图中表现NLU解释信息。在这种情况下,NLU解释信息可使用用于显示父亲和孩子数据项及其参数的一列或多列来表现。词典视图可包括用于表示数据项的孩子的列和表示数据项的父亲的列。这些数据项可根据包括父亲和孩子列的多列中的任一列来排序。如果数据项具有超过预定阈值的概率或计数,则可以可视地区分在词典视图中显示的数据项。在词典视图中显示的具有不超过预定阈值的概率或计数的数据项可以被隐藏而不可见。响应用户选择具有关联的特定数据项,则可在NLU解释信息内搜索包括代表该关联的终结符和非终结符节点的含义树。该方法还可包括根据诸如数据项源、数据项目标、与数据项相关联的方向、与数据项相关联的注解符、注解状态、节点计数、数据文件、句子范围和/或使用状态的参数对NLU解释信息进行过滤。还可显示从NLU解释信息获得的直方图信息。
最好,本发明可包括在句子视图中表现NLU解释信息。可显示与单独文本短语相关联的NLU解释信息。例如,可以逐句子和/或短语地显示诸如注解状态、计数、指定使用、收集信息、正确性概率和正确性等级的信息。
最好,本发明可包括在分裂屏幕视图中作为一个或多个含义树表现NLU解释信息。分裂屏幕视图可至少包括用于显示第一含义树的第一窗口和用于显示第二含义树的第二窗口。该方法可包括响应用户请求在第二窗口内表现不同含义树,同时在第一窗口内显示第一含义树。这些含义树可以是相同上下文中相同文本短语的不同解释、两个不同上下文中相同文本短语的不同解释,或者可以是不同遍处理的结果。例如,第一窗口可表现在第一遍处理之后所确定的含义树,而第二窗口可表现在随后一遍处理之后所确定的结果含义树。可选地,第一含义树可代表文本短语的正确解释;而第二含义树可代表根据统计模型的文本短语预测解释。如果正确解释的得分大于预测解释的得分,则可提供统计模型不正确的指示。在第一含义树代表第一文本短语的情况下,该方法可包括在第一窗口中接收对第一含义树的编辑,并且响应用户编辑,搜索与所编辑的第一含义树相对应的不同文本短语的含义树,并且在第二窗口中显示不同文本短语的含义树。该方法可包括可视地表示第一含义树与第二含义树之间的差别,并且使第一含义树遵循第二含义树。
最好,本发明可包括自动导入NLU训练句子并且根据从NLU训练文本语料库确定的统计可能性自动确定NLU训练句子的解释。可选地,可自动导入训练句子的NLU解释,并且将其应用于NLU训练文本语料库。可以响应指定多遍之一的用户输入来显示由多遍中的任一遍产生的NLU解释信息。该方法还可包括根据文本短语的NLU解释信息的属性在句子视图中对NLU训练文本语料库的文本短语进行排序,并且作为含义树顺序显示至少二个文本短语的NLU解释信息。可根据句子视图中的排序来显示含义树。
该集成开发工具还可包括用于指定对NLU解释信息的数据项中的所选数据项进行搜索的图形用户接口。该图形用户接口可包括用于指定搜索的可选终结符和非终结符的至少一个列表。附加区域可包括在该图形用户接口中以指定所选数据项与其他数据项的关系。
图形编辑器可包括用于以分层树结构表现NLU解释信息项目的树视图、用于以列格式表现NLU解释信息各个项目的词典视图、用于以句子形式表现NLU解释信息的一个或多个项目的句子视图、用于同时表现至少两个含义树的分裂屏幕视图以及用于导入附加NLU训练文本和关联解释信息的导入视图。还可包括被配置成从NLU训练文本语料库确定至少一个解释的可编程统计模型。
附图说明
在附图中示出了本发明的优选实施例,然而,应当理解本发明不限于所示的具体方案和手段。
图1是可使用本发明的示例性计算机系统的示意图。
图2是示出可在其上实现在此公开的本发明的示例性系统架构的示意图。
图3A是示例性树视图图形用户界面的图。
图3B是用于搜索自然语言理解解释信息的示例性图形用户界面。
图4是用于修改和创建标记(tag)的示例性图形用户界面。
图5是用于定义新标记的示例性图形用户界面。
图6是示出含义树视图的示例性图形用户界面。
图7是示出含义树视图的另一个示例性图形用户界面。
图8是用于在含义树视图中修改文本的示例性图形用户界面。
图9是用于显示训练文本语料库的句子和/或短语的示例性图形用户界面。
图10是用于在词典风格视图中显示终结符和非终结符数据项的示例性图形用户界面。
图11是示出在此公开的本发明的构建视图和组件的示例性图形用户界面。
图12是用于显示多于一个含义树的示例性图形用户界面。
图13是用于导入数据的示例性图形用户界面。
图14是用于识别导入数据内的终结符和非终结符的示例性图形用户界面。
具体实施方式
在此公开的本发明涉及一种用于构建与自然语言理解(NLU)应用一起使用的统计模型的方法和系统。具体地说,在此公开的本发明可向用户提供一种用于构建与NLU系统一起使用的统计模型的集成开发工具。不是混合使用包括一系列文本文件、文本编辑器和键盘宏的各组件来指定组成文本语料库的句子的含义和结构,本发明提供了一种集成开发工具(IDT)。该IDT可包括数据库、以及可视(图形)和可听工具的组合来指定经常作为文本语料库的注解而指定的解释信息。NLU解释信息指定组成训练文本语料库的句子的解释或含义。本发明的数据库功能性,包括本发明同步和标注用户编辑的能力使本发明特别适用于联网计算或工作组环境。
图1示出结合本发明使用的典型计算机系统100。计算机系统100可包括计算机105,其中计算机105具有中央处理单元110(CPU)、一个或多个存储器装置115以及关联电路。可包括IDT 210的存储器装置115可由电子随机存取存储器和大容量数据存储介质组成。该计算机系统还可包括工作时通过适合接口电路125连接到计算机系统的麦克风120以及工作时与之连接的可选用户界面显示单元130如视频数据终端。CPU可包括任何适合微处理器或其他电子处理单元,这对于本领域的技术人员而言是公知的。可以向该系统提供扬声器135和140以及接口设备如鼠标145和键盘150,但是它们对于在此所述的本发明的操作不是必要的。很多可购买到的高速计算机中的任一种一般都可满足在此所述的计算机系统的各种硬件要求。
图2是示出可在其上实现在此公开的本发明的示例性系统架构的示意图。如图所示,该系统架构可包括若干计算机系统215、220和225,其中每一个都可包括在适合操作系统中执行的IDT 210。计算机系统215-225可通过计算机通信网络200在通信上相互链接,以及在通信上链接到数据库服务器205。因此,虽然计算机系统215-225中的每一个均可包括自包含IDT 210,其中该IDT 210具有带注解和不带注解数据、统计模型和算法的全集,但是根据本发明的一方面,由IDT 210利用的数据的各部分可存储在数据库服务器205中并且从其进行访问。例如,工作组的多个用户可能需要访问的各个信息项可存储在数据库服务器210而非每个单独的计算机系统215-225上。例如,如图2所示,数据库服务器205可存储带注解文本、不带注解文本、统计模型、算法等。
IDT 210可包括用于统计处理文本语料库的归类(classing)和解析功能性。更具体地说,使用IDT 210,可构建至少部分包括归类器和解析器的统计模型。使用IDT 210,可以对文本语料库进行注解,使得所得到的带注解文本语料库可被组织成成分句子,其中每个句子均具有从注解获得的分层树状结构。统计模型可使用带注解文本语料库来构建或训练。在构建或训练统计模型时,IDT还可测试当前统计模型的准确性。
然而,应当理解,可以遵循多遍文本处理方法,其中可使用多于两遍。从而,来自每遍的输出可用作下一或随后遍的输入。例如,可使用各种过滤器和/或词发现(wording spotting)算法,例如,用于标识和注解无意义词的“空过滤器”或者标识小语义短语如介词短语、名词短语等的短语遍(phrase pass)。另外,也可使用其他注解技术如源-通道建模(source-channel modeling),其中所产生的注解称作对齐而不是树状结构。
以归类器和解析器为例,句子可被注解成可以是相关文本串的应用特定群(grouping)的类,例如金融NLU应用中的帐户类型。其他类例如时间和日期可以是应用无关的。可通过分析文本语料库来从经验上确定类,使得归类器可识别特定文本串或词属于规定类。应当理解,终结符和非终结符描述符、包括解析树和类树的含义树、以及从IDT工具获得的任何其他词频数据或统计数据可统称作注解数据。显然地,包括组成文本语料库的任何文本的注解数据可被存储在数据库内,而不是被存储为一个或多个文本文件。
归类器可使用统计处理方法来构造以识别构成预定类之一的接收文本中的子串。例如,归类器可使用统计处理方法来构造,其中数千句子可被注解,从而标识句子的组成词或文本串的类。带注解句子可用来训练归类器识别词或文本串在NLU系统内所属的类。因此,归类器可使用在本领域内公知的统计处理算法来构造,例如最小化条件熵或最大化结果模型预测训练数据以识别关键文本串的可能性。例如,NLU系统可使用能够识别文本串特定类的决策树或最大熵模型。
根据所接收的文本部分,归类器可产生简化结果文本串,其中可采用规定类注解原始文本串内所识别的类成员,从而有效地将实际文本串替换为类名。例如,归类器可处理文本串“I want to transfer fivehundred dollars from XYZ Fund to ABC Fund”,使得所得到的示例性输出可以为“I want to transfer AMOUT from FUND to FUND”。显然地,文本输入的结构被大大简化。具体地说,通过对所接收的文本输入进行归类,结果输入结构的数目,即可能的语法结构可以大大减少,从而帮助随后的统计处理。例如,在不对接收文本输入进行归类的情况下,下面句子可被认为具有不同结构:
●I want to transfer five hundred dollars from XYZ Fund to ABCFund.
●I want to transfer five thousand dollars from XYZ Fund to ABCFund.
●I want to transfer one hundred dollars from XYZ Fund to ABCFund.
●I want to transfer five hundred dollars from ABC Fund to XYZFund.
●I want to transfer five hundred dollars from A Fund to B Fund.
●I want to transfer five hundred dollars from C Fund to A Fund.
然而,在对上面文本进行归类之后,其结果表示每个文本输入共用共同结构即“I want to transfer AMOUT from FUND to FUND”。因此,接收文本输入内不同类成员的存在不导致文本输入被视作不同的结构。显然地,可使用可称作类树的分层树结构来描述经过归类的句子。类树是一种代表对应句子的解释或含义的含义树。分层含义树可包括终结符和非终结符节点。例如,含义树的叶子可对应于类和处理文本的词。叶子可扩展到一个或多个非终结符,其中的每一个可对含义树提供进一步的含义和结构。而且,叶子和非终结符(以及终结符)中的每一个可包括用户可配置的描述符。每个叶子可直接地或者通过一个或多个非终结符最终扩展到根节点。
解析器可解释从归类器输出的处理文本作为输入。解析器可处理接收文本,以将与特性即操作和参数或者其他终结符或非终结符群相对应的附加非终结符和/或描述符添加到接收文本输入的剩余相关文本串。例如,解析器可对特定关键词进行编组。在确定这些特性中,解析器可利用前面在描述归类器中提及的统计处理方法。例如,解析器可处理从归类器输出的文本以确定文本串的解析树。文本串的解析树可以是包括接收文本串的类、操作和参数的自然语言文本输入的分层表示,其从一般向特定流动,向下扩展到终结符或词层。解析树可采用图形形式来描述,其中用来标识文本串的最高层作为根。更详细的非终结符可位于根之下,其向下扩展到终结符层,其中每个非终结符和终结符是解析树的节点。句子的解析树典型地比对应于那个句子的类树更复杂。不过,解析树和类树都可称作含义树。
IDT 210可包括各种预建统计模型。例如,用于处理广泛使用的短语如日期、时间、金额或其他短语或表达类的称作置标器或归类器的统计模型可包括在IDT内。该统计模型可包括归类和解析模型。因此,对于由IDT 210导入或读取的任何文本语料库,IDT 210可自动分析所导入的文本语料库,以识别与预建模型相关的指示符。指示符可包括与诸如日期、时间和其他可容易替换的项目包括客套话(即“thank you”)的类相对应的终结符。对于与特定预建模型相对应的每个指示符,IDT210可将那个预建统计模型加入到当前正在构造的统计模型中。例如,IDT 210可执行关键词搜索或者使用前述其他统计处理方法来分析文本语料库,以确定预建模型与文本语料库是否有任何相关性。IDT210还可向用户询问是否包括该预建模型或者可选地用户可请求包括该模型。在任何情况下,该功能性使用户免于重新创建统计模型来处理经常重现的文本短语。
如上所述,在IDT 210内包括归类器和解析器仅代表在此公开的本发明的一个实施例。本领域的技术人员应当认识到可以使用任何适当的统计处理方法和/或模型。例如,其他实施例可以包括词发现算法、最大熵、规则或启发算法。在任何情况下,在此公开的本发明不限于利用归类器和解析器的特定实施例。
如上所述,IDT 210可利用诸如关系数据库的数据库、以及图形和可听工具的组合来帮助用户对文本语料库进行注解和开发与NLU应用一起使用的统计模型。图3A示出在IDT的示例性图形用户界面(GUI)300内表现的示例性树编辑器视图310。树编辑器视图提供查看含义树的直观方式,其中含义树可包括类树和解析树。如图3A所示,采用树格式显示来自文本语料库的示例性句子。树状句子结构从下向上流动,其中终结符在本例中为词流动到非终结符,并且非终结符流动到以“!S!”表示的根节点。显然地,非终结符可流动到其他非终结符以容纳句子结构的多层。在某些情况下,终结符可直接流动到根节点。在任何情况下,对应于终结符和非终结符数据项的描述是完全可配置的。具体地说,NLU系统设计者可以确定适当一组终结符和非终结符数据项(和对应描述)来指定含义和上下文。可以在IDT内加入这些用户配置的终结符和非终结符数据项。
例如,图3A示出涉及被定制成结合金融系统工作的NLU系统的一系列终结符和非终结符数据项。终结符和非终结符数据项以树结构组织,其中树根位于该结构的顶部。从根节点,父亲节点分支到孩子节点,其中这些孩子节点作为其他孩子节点的父亲节点。树结构向下继续直到到达语料库文本的实际词。例如,如图3A所示,以终结符“null”330注解词“want”320。显然地,“null”终结符可以应用于被标识为不传达太多有关句子的上下文信息或含义(若有的话)的词。另外,以终结符“select”350注解词“first”340,其中终结符“select”350流动到其父亲,在本例中为非终结符“select”360。“SELECT”非终结符360流动到其父亲节点,该节点是另一个非终结符“FUND-INFO”370。这样,含义树的“SELECT”非终结符节点360是“FUND-INFO”的孩子而是“select”的父亲。然后,“FUND-INFO”流动到表示文本句子的根节点和最高层的“!S!”。终结符和非终结符名称完全是用户可配置的。例如,如果统计模型被设计成结合旅游预订系统工作,则终结符和非终结符可由应用开发者或用户配置以代表应用特定词群。在这种情况下,例子可包括假期类型、出发日期、到达日期、旅行时长等。
对于未带注解的句子,IDT可使用缺省终结符和非终结符注解符完成解析树或类树。如果缺省非终结符注解符是“null”,则IDT可查询存储在存储器中的各个词,并且选择另一个适合或可能的非终结符。不过,IDT可使用特定词的先前指定非终结符注解符而非缺省非终结符。
对于带部分注解的句子,IDT可自动完成该句子的解析树或类树。在这种情况下,IDT可从存储器搜索具有确定解析树的句子,其中该句子类似于输入句子或者带部分注解的句子。从而,IDT可根据所存储的已解析句子,建议输入句子的完全解析树。以这种方式,IDT可使用自动完成功能来确定文本句子的类树和解析树。可选地,用户可通过插入终结符和非终结符并且采用适当的分支线连接这些节点来人工构建含义树。
解释数据可采用多种方式使用树编辑器视图以图形方式编辑。例如,在树编辑器视图中,可编辑组成文本语料库的词,可编辑终结符和非终结符,并且可编辑分支。前述编辑中的每一种均可使用传统指针控制操作如拖放、左击和右击以及双击操作来执行。例如,通过选择树节点并且将该节点拖放到用户期望的新父亲上,可编辑树节点以指向不同的父亲。该操作将所选节点与先前父亲断开链接,并且将该节点链接到新父亲。此外,用户可人工绘制树分支,或者使用IDT内的众多功能来绘制分支,使得所得到的树形状具有可读结构。IDT可包括防止任何树分支覆盖另一个树分支或者与之交叉的设置。用户可选择分支角度和笔直或弯曲分支,使得所得到的树形状具有可读结构。另外,文本、文本大小、填充颜色和填充图案可以是用户可配置的。应当理解,系统内的有效树必须包含最终连接到根符号如“!S!”或者表示根节点的某其他符号的词。从而,IDT可包括禁止将导致无效树结构的特定编辑控制或操作的安全措施。
图3B是示出根据在此公开的创新性方案的用于实现若干不同查找功能的示例性GUI 375的示意图。如图所示,可提供GUI 375,其使用户能够以多种不同方式搜索文本注解和结构。具体地说,用户可在文本注解内使用区域380搜索特定标记(tag)、使用区域385搜索特定标签(label)、以及使用区域390搜索特定树结构和/或子结构。例如,用户可绘制较大树结构的一小段,并且在注解数据内搜索与在区域390中指定的树结构类似的结构。
树结构本身可用来搜索其他相关或匹配结构。具体地说,IDT允许用户选择含义树的一部分。一旦被选择,则用户可指令IDT在其他含义树内搜索匹配所选结构的结构。例如,用户可使用鼠标在具有用户希望在文本语料库内的其他地方定位的结构的树节点周围画框。落在用户所画框内的的含义树的项目或节点可被选择。一旦被选择,IDT可使用数据库功能性来搜索带注解的文本语料库以定位匹配结构。应当理解,可使用其他树节点选择方法如键盘按键的不同组合。从而,本发明不如此限于特定的含义树结构选择方法。
示例性GUI 400可被提供以编辑或创建终结符和非终结符。因此,虽然下面讨论涉及非终结符,但是它适用于终结符和非终结符两者。该用户界面允许用户描述新的非终结符(在某些情况下也称作标记)。另外,可编辑现有非终结符的定义。为了调用该功能,用户可选择要为其创建或编辑非终结符的词,并且发布要编辑或创建非终结符的用户命令。区域405是“所允许词典列表”,其可采纳一个或多个所选树节点的所有父亲和孩子节点的相交,并且作为所选词或节点的可能标签选项向用户表现该相交。另外,在节点的相交内,所允许词典列表可考虑在其他含义树内组织先前父亲和孩子节点的方式以及与从这些父亲和孩子节点扩展并且与之连接的分支的方向有关的其他历史信息。在本发明的一个实施例中,可提供自动模式。在自动模式中,如果所允许词典列表仅包含一个可能的终结符或非终结符,则IDT可自动地选择该终结符或非终结符以应用于用户所选词或词组。
区域410是可向用户表现在系统中定义的所有终结符或非终结符的GUI 400的词典区域。不管用户使用什么列表来选择终结符或非终结符,描述区域415可向用户提供与所选项目的适当使用有关的信息。描述区域415可帮助用户学习特定终结符或非终结符的正确和预定使用。例如,当用户移动鼠标到树编辑器视图中的终结符或非终结符上时,描述本身可作为工具提示由IDT显示。这可以特别有益于新开发者加入现有NLU开发团队并且必须培训由该开发团队使用的注解方法的情况。
如果用户希望输入尚未在IDT中定义的新终结符,则用户可选择“新标记”图标420。在这种情况下,图5示出响应图标420的激活而可由IDT显示的示例性GUI 500。图5的示例性GUI 500允许用户在区域510中输入新终结符或非终结符,并且在区域520中输入附随描述。
图6示出用于表现与图3A的GUI类似的树编辑器视图的另一个示例性GUI 600。如图所示,示例性GUI 600包含在GUI 600的窗口610内可访问的示例性弹出式菜单605。显然地,前述功能性的大部分可从弹出式菜单605直接访问。例如,用户可以添加附加非终结符、选择自动完成解析树,包括根据在配置文件中指定的统计模型对句子进行归类,编辑树节点,查找词结构或整个句子结构,以及删除或撤消操作。另外,如图所示,由于每个词已经采用对应标记被注解,因此“增加标记”功能性被禁止。显然地,在本发明的此实施例中,与特定终结符或非终结符相关使用术语标记和标签。例如,标记被分配给词,并且标记可用来将结构分配给标记群。从而,只有标签可用来完成解析树到根节点。
图7示出用于表现树编辑器视图的另一个示例性GUI 700。在这种情况下,用户选择了编辑在树编辑器视图中所示的文本语料库的词。显然地,用户选择了训练句子的词,并且选择了编辑那个词。输入新词“descriptions”来替换先前词。这样,用户可从IDT的树编辑器视图中的任一个编辑实际的文本语料库以及终结符、非终结符和树结构。显然地,在这种情况下,修改树的词不改变树的形状,而是将旧词替换为新的用户指定词。此外,IDT还可检查来自存储器的句子是否匹配所编辑的句子。如果是,则可向用户询问是使用现有树还是以新编辑的树替换现有树。
图8示出用于表现树编辑器视图的另一个示例性GUI 800,其中用户调用了修改句子功能。响应该用户请求,IDT可显示示例性GUI805,其中用户可从树编辑器视图的任一个内编辑整个训练语料库句子。显然地,当用户编辑句子时,可以在数据库中更新不再对应于所编辑句子的任何解析树、类树和其他解释信息。IDT可搜索现有句子以确定是否有另一个句子匹配新编辑的句子。如果是,则匹配句子的类树和解析树可与新编辑的句子相关联。该功能性还允许用户在使用下面讨论的若干选项之一读取或处理文本语料库时校正引入到该语料库中的错误。
图9示出可用来显示组成树基的词的示例性GUI 900。句子可列在区域925中,其中信息可根据若干不同列区域来组织。具体地说,列标题905可用来显示文本语料库内各个句子的编号位置。列标题910可被保留用于显示该完全相同文本出现在文本语料库内的计数或次数。列标题915可显示居于句子之前的反馈标记以及句子文本。反馈标记可表示句子所对应的表单(form)名称和空位(slot)名称。反馈标记可列在单独列中,或者可居于句子文本之前。此外,用户可通过激活将IDT置于对句子进行归类的模式中的按钮920来切换到另一个视图。如图所示,类名或标记已被加入到句子内。显然地,可使用相同GUI风格来向用户表现经过解析或归类的句子。从而,句子的词可根据具体情况被替换为终结符或非终结符。
所列句子可根据句子编号列、计数列或者文本列以升序或降序的方式排序。GUI 900还可包括表示包含在每个句子内的词数的列。该信息允许用户选择较短的句子开始归类或解析。应当理解,可以按升序或降序对句子进行排序,并且可以根据任一列类型对句子进行搜索或过滤。
包括在GUI 900内的显示列根据由IDE跟踪的任何数据可以是用户可配置的。例如,可包括指定对应于给定句子的反馈标记、提示、解析树得分或者应用形式(application form)的附加列。可包括表示由解析器或归类器确定的句子注解等级的列。例如,等级1可表示模型预测正确答案的最高可能性。等级越高。模型预测正确答案的可能性就越高。可包括状态列,其可表示句子是否用于训练或平滑(smoothing)。可包括表示如何收集句子的信息如在小规模测试期间生成、由用户键入、口述,在系统测试期间口述,在部署期间口述等的语法。无论如何,前述列表都不是详尽无遗的。
图10示出可用来表现词典风格词视图的示例性GUI 1000。该视图可用来显示终结符、非终结符或带注解词的完全列表。该显示可被配置成无需显示不在特定文本语料库内使用的终结符和非终结符。显然地,通过激活进一步表示当前视图的可激活按钮1025,用户可在类视图和解析视图之间来回切换。在本例中,该视图是词典解析器视图。不带注解的词可以但无需显示在词视图中。如图10所示,窗口1005的词视图可细分成至少两个标题。这些标题可包括词标题1010和终结符或非终结符标题1015。在终结符或非终结符标题1015中,带中括号的数字可表示数据出现在文本语料库中的次数。用户可以激活或禁止计数以及调整GUI 1000中各项目的颜色和字体。另外,IDT允许用户区分低计数和高计数项目。例如,IDT可采用一种颜色代表低计数项目,而采用不同颜色代表高计数项目。此外,如果特定终结符或非终结符的计数低于预定可编程阈值,则系统可指示需要更多数据来提高终结符或非终结符的统计准确性。在一个实施例中,可根据开发者认为相关的统计或启发信息来高亮显示特定信息项。
示例性GUI 1000也可用来显示终结符扩展到非终结符的方式。例如,终结符可位于列标题1010之下的列中;而非终结符可位于列标题1015之下的列中。在词典标记视图中,可显示从特定节点扩展到父亲节点的分支的方向。例如,使用定点设备,如果用户右击特定非终结符,则IDT可显示从孩子节点扩展到父亲节点的分支的方向。可能的方向可包括单向(unary)、左、中、右、上或下。
示例性GUI 1000还可用来显示非终结符连接到其他非终结符的方式。在这种情况下,除了由于标签可连接到其他标签而标签可位于两列中之外,视图可类似于标记视图。在任何情况下,GUI 1000可以是用户可配置的。在一方面,列的排序可由用户确定。例如,标记列和附随数目信息可显示在词列的左边。类似地,词列左边的列可显示词出现在文本语料库中的总次数。在词列的右边,可显示表示词被标记为特定标记或根的次数的数目。不管如何,都应当理解,列排序以及包括用于显示进一步解释信息的附加列是用户可配置的。
词典风格视图的另一个实施例可类似于目录树结构向用户表现解释信息,特别是终结符和非终结符信息。在这种情况下,标记可采用图形方式被表现为根,其中标签可采用图形方式被示出为根之下的可折叠子结构。此外,连接到其他非终端符的非终端符可采用图形方式被示出为位于其父亲非终端符之下。用户可单击终结符或非终结符以展开和查看底层结构,或者单击终结符或非终结符以折叠底层结构。在当前构造的统计模型内使用终结符和非终结符时,目录树视图可向用户提供终结符和非终结符的总体分层结构的直观图形表示。
查找特性可包括在词典视图中,其中用户可搜索具有特定条目的数据项。例如,用户可搜索特定标记或标签,以及通过诸如标记或标签出现在注解数据内的次数的参数来搜索标记或标签。搜索功能也可搜索用户指定的终结符和非终结符之间的关系。例如,用户可在注解数据内搜索具有从诸如右、左、上或单向的特定方向由节点扩展或者到达节点的分支的任何节点,父亲和/或孩子。
过滤特性也可包括在词典视图中。通过GUI 1000,用户可根据诸如数据项源、数据项目标、与数据项相关联的方向或者与数据项相关联的注解符的参数过滤显示信息。用户也可根据表示数据是带注解的还是不带注解的注解状态、表示孩子节点是否具有大于“N”个带注解例子作为父亲的节点计数、其中仅显示来自特定数据文件的关系的数据文件、用于显示仅从特定句子获得的关系的句子范围以及用于显示来自训练、平滑和/或测试数据的关系的使用状态来过滤数据。
图11示出可结合IDT的构建组件使用的示例性GUI 1100。示例性GUI 1100包括用于指定可被运行以“构建”NLU应用的脚本的若干区域。区域1105可用来指定特定文件,该文件可指定缺省参数、其他专用参数、所要执行的脚本以及在执行脚本之后所要显示的信息。该文件还可指定在回归测试期间所要处理和使用的文本文件。描述区域1110包含脚本的功能性的描述。参数列表区域1115可显示可用于执行脚本的参数列表。区域1120可用来传达可相关于脚本的任何附加信息或备注。显然地,描述区域1110和附加信息区域1120可有用于用户或应用开发者的团队开发NLU应用的开发环境。
图12示出可结合IDT的回归测试组件使用的示例性GUI 1200。显然地,GUI 1200可细分成两个部分。区域1205可显示从文本语料库的用户注解确定的真实含义树。区域1210可显示使用先前在图11的区域1105中指定的配置文件中所指定的统计模型由IDT生成的含义树。相应地,在配置文件中可指定多于一个统计模型,从而允许比较每个统计模型的结果。例如,该GUI可包括第三部分,其中该GUI对于在回归测试期间使用的每个统计模型具有一个部分并且对于真实含义树具有另一个部分。两棵树之间的差别可被自动地高亮显示。可更突出强调产生区别最大的可能性从而导致不正确结果的差别。从而,可向用户提供从何处开始调试的提示。用户可以可视地注意所示含义树之间的区别。
用户可逐一地浏览(cycle through)结果含义树,在本例中为解析树。例如,用户可浏览以对应于每个解析树的置信度得分表示的顶头“n”个选项。应当理解,置信度得分提供由IDT解释的指示,其表示结果解析树反映底层统计模型而非真实含义树的接近程度。具有高置信度得分的结果解析树与紧密匹配真实含义树的结果解析树之间可存在对应关系。显然地,顶头“n”个选项之一可能是匹配真实含义树的统计模型。不管如何,用户都可浏览可能的解释以查找可以作为以后编辑基点的解释,特别是在真实含义树不正确的情况下。
图12还示出自动完成得分1215,其向用户通知当前显示给用户的模型的置信度得分。附加信息如与每个节点相对应的每个节点或文本的置信度得分可显示在节点内,或者可在指针位于含义树的节点上时作为工具提示进行显示。在一个实施例中,节点是可扩充的以容纳增加的解释信息。节点置信度得分可帮助开发者检测错误或者确定特定解析树不近似或匹配真实解析树的原因。然而,应当理解,IDT是可配置的,使得众多含义树特征和设置的任一个可作为工具提示来显示或者显示在节点内。如果正确注解的得分大于从模型获得的最好计分答案,则GUI1200还可显示消息。在这种情况下,该模型预测正确的答案,并且统计模型的搜索机制产生问题。这一般通过扩大搜索范围来纠正,并且不需要任何直接开发者调试。
图12的GUI还可用来显示相同句子的注解数据的不同阶段。具体地说,由第一遍如解析遍产生的注解数据可显示在一个窗口内,而由第二遍如归类遍产生的注解数据可显示在另一个窗口内。然而,分裂屏幕GUI 1200还可显示不同的句子。例如,一个窗口可用来保持句子视图,而第二窗口可用来搜索具有特定结构的另一个句子。
分裂屏幕GUI 1200还可用来显示不同上下文中相同文本句子的两个不同注解。例如,短语“what’s available”在答复“how may I help you”或者“what fund would you like the price of”或者“how much would youlike to withdraw”而说出时具有不同的含义。
图13示出可结合IDT的导入组件使用的示例性GUI 1300。导入组件可使用若干方法中的任一个导入现有文本语料库。例如,文本语料库可作为句子的不带注解文本文件、或者带注解文本文件被导入。另外,由于传统NLU系统可存储用户答复,因此可以对NLU系统的日志进行数据挖掘以获得解析器输出、归类器输出或者语言模型文本。前述数据类型中的每一种可被导入到IDT中。在另一个实施例中,用户可使用词典风格视图或树视图逐一地将文本句子直接键入IDT。
另外,另一个实施例可接收表示文本语料库的包含用户口述话语的数字音频文件。可选地,IDT可通过模数转换器如声卡以数字方式记录模拟音频源。不管如何,IDT都可包括用于将用户口述话语转换成文本以获得训练语料库的语音识别系统。在这种情况下,文本语料库的数字记录可存储在存储器中以作将来使用和分析,以及用于在使用IDT的期间进行回放。表示训练文本语料库的音频文件可与特定文本短语或句子相关联,使得用户或开发者可听到训练文本的音频表示以及查看与文本相关的注解信息。例如,不管文本是带注解的、不带注解的、归类器输出还是解析器输出,文本部分都可通过指定音频文件位置和文件名而与音频文件相关联。可选地,可指定音频文件,并且开发者可将关联文本键入IDT。
GUI 1300可用来调整导入文本语料库时的导入组件设置。区域1305可用来显示当前导入到IDT中的文件的名称和路径。显然地,文件可以是带注解的文本语料库、不带注解的文本语料库和/或语音文件,包括要被处理的语音的数字记录或者从语音识别引擎获得的文本文件。区域1310可表示要被导入的文件内由IDT识别的句子数。控件1315、1320、1325和1330确定导入类型,或者哪些句子和对应注解数据将包括在IDT中构建的当前统计模型内。例如,控件1315的激活导致IDT添加所有句子。如果句子已经包含在数据库内,则IDT可将在IDT内定义的树结构用于所导入的句子。控件1320的激活将不导入任何句子,但是将以对应于导入文件内的重复句子相对应的注解数据覆写包含在IDT内的注解数据。控件1325的激活在句子已经包含在关系数据库内的情况下仍然添加所有句子。然而,控件1325的激活将采用与来自导入文件的重复句子相对应的注解数据覆写IDT中的注解数据。控件1330将仅添加不包含在关系数据库内的来自导入文件的句子和注解数据。控件1335的激活导致根据前述导入准则导入指定文件。
图14示出可用来将位于导入文件内的终结符和非终结符添加到当前统计模型的示例性GUI 1400。例如,在导入带注解的文本文件之后,IDT可识别不存在于当前统计模型内的带注解导入文本文件内的终结符和非终结符。因此,可向用户显示GUI 1400,其中可在窗口1405中向用户显示新终结符和非终结符。显然地,“标记/标签”列1510中的指示可标识新项目为例如标记或标签(终结符或非终结符)。特定标记或标签的准确拼写可列在“拼写”列1415中。“描述”列1420可由用户填入有关标记或标签的适当功能描述或其他相关信息。显然地,用户可直接输入文本到GUI 1400中以填入描述列而无需额外的GUI。因此,通过选择对应于期望标记的描述行和列,可以“内联”执行标记或标签描述的编辑。
在此公开的IDT可由用户配置,以采用包括各种颜色、图案、声音和符号的众多方式中的任一种描绘解释信息以表示解释信息的不同方面。类似地,用户可定制在IDT内使用的终结符或非终结符。因此,虽然前面说明书阐述了本发明的优选实施例,但是应当理解,本发明不限于在此公开的具体构造。本发明在不脱离其精神或基本属性的情况下可采用其他特定形式来实施。因此,应当参考所附权利要求而非前面说明书来表示本发明的范围。
本发明可以采用硬件、软件或者硬件和软件的组合来实现。本发明可以在一个计算机系统中以集中方式实现或者采用不同单元分散在若干互连的计算机系统之间的分布方式实现。配置成执行在此所述的方法的任何类型的计算机系统或者其他设备都是适合的。硬件和软件的典型组合可以是具有计算机程序的通用计算机系统,其中该计算机程序被装载和执行时控制计算机系统使得其执行在此所述的方法。
本发明也可嵌入在计算机程序产品中,其中该计算机程序产品包括使得能够实现在此所述的方法的所有特性,并且当被装载到计算机系统中时能够执行这些方法。本上下文中的计算机程序是指采用任何语言、代码或表示法的一组指令的任何表达,其中这组指令旨在使具有信息处理能力的系统直接地或者在下列操作的任一种或两者之后执行特定功能:a)转换到另一种语言、代码或表示法;b)以不同素材形式再现。
Claims (35)
1.一种开发自然语言理解NLU应用的方法,包括:
使用多遍处理技术从NLU训练文本语料库确定NLU解释信息,其中来自一遍的输出可用作随后遍的输入,所述NLU解释信息指定所述NLU训练文本语料库的一部分解释;
在数据库(205)中存储所述NLU解释信息;以及
在图形编辑器(310)中,表现NLU解释信息的所选项目(330),并且接收对所述NLU解释信息的用户指定编辑,其中所述表现步骤还包括:
作为包括代表数据项的终结符和非终结符节点的含义树表现所述NLU解释信息;
确定表示所述含义树的一部分是否正确的概率;以及
如果所述概率不超过预定阈值概率,则可视地标识所述含义树的所述部分。
2.如权利要求1所述的方法,还包括:
确定所述NLU解释信息内所述含义树的子结构的出现次数;以及
如果所述出现次数不超过预定阈值,则可视地标识所述含义树的所述子结构。
3.如权利要求1所述的方法,还包括:
从所述NLU解释信息确定所述含义树的所选节点的相交;
将所选节点的所述相交表现为用于向所述含义树添加附加节点的选项;以及
将节点添加到所述含义树的所述所选节点之上,其中从所述选项中选择所述添加的节点。
4.如权利要求1所述的方法,还包括:
响应用户命令,创建所述含义树的附加节点,所述节点代表附加数据项;以及
关联所述节点与描述。
5.如权利要求4所述的方法,还包括:
对所述关联描述进行拼写检查。
6.如权利要求1所述的方法,其中选择所述含义树的节点,所述方法还包括:
响应用户请求,显示包括用于显示所选节点及其参数的多列的词典视图,其中所述词典视图包括由高亮显示节点代表的数据项。
7.如权利要求1所述的方法,还包括:
根据从包括数据项词典和指定文本解释的模型的组中选择的预定NLU解释信息,自动完成所述含义树。
8.如权利要求7所述的方法,所述自动完成步骤包括:
判定来自所述数据项词典的单个数据项是否与所述NLU训练文本语料库的词相关联;以及
如果是,则将所述数据项自动分配给所述词。
9.如权利要求1所述的方法,还包括:
作为工具提示显示所述NLU解释信息的所选项目;以及
显示所述表现的含义树是正确解释的概率。
10.如权利要求1所述的方法,还包括:
在所述NLU解释信息内搜索指定含义树结构。
11.如权利要求1所述的方法,还包括:
识别数据项的相交;以及
将所述识别的数据项表现为用于为所述NLU训练文本语料库的句子注解所述含义树的用户指定节点的选择。
12.如权利要求1所述的方法,所述表现步骤还包括:
在词典视图中表现所述NLU解释信息,所述词典视图包括用于显示父亲和孩子数据项及其参数的多列。
13.如权利要求12所述的方法,其中所述词典视图包括用于表示所述数据项的孩子的一列和表示所述数据项的父亲的另一列。
14.如权利要求13所述的方法,还包括:
根据所述孩子或父亲列对所述数据项进行排序。
15.如权利要求12所述的方法,还包括:
可视地表示其概率或计数超过预定阈值的数据项。
16.如权利要求12所述的方法,还包括:
隐藏其概率或计数不超过预定阈值的数据项。
17.如权利要求12所述的方法,还包括:
响应用户选择具有关联的特定数据项,在所述NLU解释信息内搜索包括代表所述关联的终结符和非终结符节点的含义树。
18.如权利要求12所述的方法,还包括:
根据从包括数据项源、数据项目标、与数据项相关联的方向、与数据项相关联的注解符、注解状态、节点计数、数据文件、句子范围和使用状态的组中选择的参数,对所述NLU解释信息进行过滤。
19.如权利要求12所述的方法,还包括:
显示从所述NLU解释信息获得的直方图信息。
20.如权利要求1所述的方法,所述表现步骤还包括:
在句子视图中,表现与单独文本短语相关联的所述NLU解释信息,从包括注解状态、短语计数、指定短语使用、短语收集信息、正确性概率和正确性等级的组中选择的所述NLU解释信息。
21.如权利要求1所述的方法,所述表现步骤还包括:
在分裂屏幕视图中作为多个含义树表现所述NLU解释信息,所述分裂屏幕视图至少包括用于显示第一含义树的第一窗口和用于显示第二含义树的第二窗口。
22.如权利要求21所述的方法,还包括:
响应用户请求,在所述第一窗口内显示所述第一含义树,同时在所述第二窗口内表现不同所述含义树。
23.如权利要求21所述的方法,其中所述第一和第二含义树是相同上下文中相同文本短语的不同解释。
24.如权利要求23所述的方法,其中所述第一含义树代表文本短语的正确解释,而所述第二含义树代表根据统计模型的所述文本短语的预测解释。
25.如权利要求24所述的方法,还包括:
如果所述正确解释的得分大于所述预测解释的得分,则表示所述统计模型不正确。
26.如权利要求21所述的方法,其中所述第一和第二含义树是两个不同上下文中相同文本短语的不同解释。
27.如权利要求21所述的方法,其中所述第一含义树对应于第一遍处理之后的文本短语,而所述第二含义树对应于随后一遍处理之后的所述文本短语。
28.如权利要求21所述的方法,其中所述第一含义树代表第一文本短语,所述方法还包括:
在所述第一窗口内接收对所述第一含义树的编辑;以及
响应所述编辑,搜索与所述编辑的第一含义树相对应的不同文本短语的含义树,并且在所述第二窗口内显示所述不同文本短语的所述含义树。
29.如权利要求21所述的方法,还包括:
可视地表示所述第一含义树与所述第二含义树之间的差别。
30.如权利要求21所述的方法,还包括:
使所述第一含义树遵循所述第二含义树。
31.如权利要求1所述的方法,还包括:
自动导入NLU训练句子;以及
根据从所述NLU训练文本语料库确定的统计可能性,自动确定所述NLU训练句子的解释。
32.如权利要求1所述的方法,还包括:
自动导入训练句子的NLU解释;以及
将所述NLU解释应用于所述NLU训练文本语料库。
33.如权利要求1所述的方法,还包括:
响应指定所述多遍之一的用户输入,显示由所述多遍中的所述一遍产生的所述NLU解释信息。
34.如权利要求1所述的方法,还包括:
根据所述NLU训练文本语料库的文本短语的NLU解释信息属性,在句子视图中对所述文本短语进行排序;以及
作为含义树顺序显示所述文本短语中的至少两个的所述NLU解释信息,其中根据所述句子视图的所述排序来显示所述含义树。
35.一种用于根据如任一项前面权利要求所述的方法开发自然语言理解NLU应用的集成开发工具,所述集成开发工具包括:
数据库,被配置成存储与NLU训练文本语料库相对应的NLU解释信息的各项目,其中,所述NLU解释信息的所述项目指定所述NLU训练文本语料库的一部分解释;
图形编辑器,具有用于操纵NLU解释信息的所述项目的多个视图,所述图形编辑器在通信上链接到所述数据库,其中,所述多个视图中一个包括:NLU解释信息的所选项目,其表现为包括代表数据项的终结符和非终结符节点的含义树;以及
处理器,被配置成根据多遍系统确定NLU解释信息的所述项目,并且在所述数据库中存储NLU解释信息的所述项目,其中,一遍的输出可用作随后遍的输入,其中,所述处理器进一步被配置成确定表示所述含义树的一部分是否正确的概率,如果所述概率不超过预定阈值概率,则可视地标识所述含义树的所述部分。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/140,522 US7191119B2 (en) | 2002-05-07 | 2002-05-07 | Integrated development tool for building a natural language understanding application |
US10/140,522 | 2002-05-07 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1726488A CN1726488A (zh) | 2006-01-25 |
CN100489841C true CN100489841C (zh) | 2009-05-20 |
Family
ID=29399446
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB038099640A Expired - Fee Related CN100489841C (zh) | 2002-05-07 | 2003-04-10 | 用于开发自然语言理解应用的方法和集成开发工具 |
Country Status (8)
Country | Link |
---|---|
US (1) | US7191119B2 (zh) |
EP (1) | EP1508102A2 (zh) |
JP (1) | JP2005537532A (zh) |
KR (1) | KR100650427B1 (zh) |
CN (1) | CN100489841C (zh) |
AU (1) | AU2003222602A1 (zh) |
CA (1) | CA2482514A1 (zh) |
WO (1) | WO2003096217A2 (zh) |
Families Citing this family (143)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8645137B2 (en) | 2000-03-16 | 2014-02-04 | Apple Inc. | Fast, language-independent method for user authentication by voice |
US7548847B2 (en) * | 2002-05-10 | 2009-06-16 | Microsoft Corporation | System for automatically annotating training data for a natural language understanding system |
US7805302B2 (en) * | 2002-05-20 | 2010-09-28 | Microsoft Corporation | Applying a structured language model to information extraction |
US7366655B1 (en) | 2003-04-02 | 2008-04-29 | At&T Corp. | Method of generating a labeling guide for spoken dialog services |
US7412383B1 (en) * | 2003-04-04 | 2008-08-12 | At&T Corp | Reducing time for annotating speech data to develop a dialog application |
US20040243531A1 (en) * | 2003-04-28 | 2004-12-02 | Dean Michael Anthony | Methods and systems for representing, using and displaying time-varying information on the Semantic Web |
US7853451B1 (en) * | 2003-12-18 | 2010-12-14 | At&T Intellectual Property Ii, L.P. | System and method of exploiting human-human data for spoken language understanding systems |
WO2005115559A2 (en) * | 2004-05-17 | 2005-12-08 | Aurilab, Llc. | Interactive language learning system and method |
JP4579585B2 (ja) * | 2004-06-08 | 2010-11-10 | キヤノン株式会社 | 音声認識文法作成装置、音声認識文法作成方法、プログラムおよび記憶媒体 |
JP4579595B2 (ja) * | 2004-06-29 | 2010-11-10 | キヤノン株式会社 | 音声認識文法作成装置、音声認識文法作成方法、プログラム、及び記憶媒体 |
US20060009966A1 (en) * | 2004-07-12 | 2006-01-12 | International Business Machines Corporation | Method and system for extracting information from unstructured text using symbolic machine learning |
US20060074980A1 (en) * | 2004-09-29 | 2006-04-06 | Sarkar Pte. Ltd. | System for semantically disambiguating text information |
US7970600B2 (en) * | 2004-11-03 | 2011-06-28 | Microsoft Corporation | Using a first natural language parser to train a second parser |
US8045769B2 (en) * | 2004-11-23 | 2011-10-25 | Koninklijke Philips Electronics N V | Planar angular visualization of the bronchial tree |
US7305413B2 (en) * | 2004-12-14 | 2007-12-04 | Microsoft Corporation | Semantic authoring, runtime and training environment |
US20060136870A1 (en) * | 2004-12-22 | 2006-06-22 | International Business Machines Corporation | Visual user interface for creating multimodal applications |
US8280719B2 (en) * | 2005-05-05 | 2012-10-02 | Ramp, Inc. | Methods and systems relating to information extraction |
US20060277028A1 (en) * | 2005-06-01 | 2006-12-07 | Microsoft Corporation | Training a statistical parser on noisy data by filtering |
US8433558B2 (en) | 2005-07-25 | 2013-04-30 | At&T Intellectual Property Ii, L.P. | Methods and systems for natural language understanding using human knowledge and collected data |
US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
US20070067154A1 (en) * | 2005-09-22 | 2007-03-22 | International Business Machines Corporation | Language translation system |
US8688673B2 (en) * | 2005-09-27 | 2014-04-01 | Sarkar Pte Ltd | System for communication and collaboration |
US7512574B2 (en) * | 2005-09-30 | 2009-03-31 | International Business Machines Corporation | Consistent histogram maintenance using query feedback |
US7965275B1 (en) * | 2006-01-13 | 2011-06-21 | Intuit Inc. | User interface for lenient exception feedback |
US7813926B2 (en) * | 2006-03-16 | 2010-10-12 | Microsoft Corporation | Training system for a speech recognition application |
US10796390B2 (en) * | 2006-07-03 | 2020-10-06 | 3M Innovative Properties Company | System and method for medical coding of vascular interventional radiology procedures |
US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
WO2008048090A2 (en) * | 2006-10-18 | 2008-04-24 | Calculemus B.V. | Method, device, computer program and computer program product for processing linguistic data in accordance with a formalized natural language. |
JP2008108144A (ja) * | 2006-10-26 | 2008-05-08 | Hitachi Ltd | 情報処理方法、情報処理装置、およびプログラム |
US8131536B2 (en) * | 2007-01-12 | 2012-03-06 | Raytheon Bbn Technologies Corp. | Extraction-empowered machine translation |
US9015047B1 (en) * | 2007-02-12 | 2015-04-21 | West Corporation | Automatic speech recognition reporting |
US8639509B2 (en) | 2007-07-27 | 2014-01-28 | Robert Bosch Gmbh | Method and system for computing or determining confidence scores for parse trees at all levels |
US8135578B2 (en) * | 2007-08-24 | 2012-03-13 | Nuance Communications, Inc. | Creation and use of application-generic class-based statistical language models for automatic speech recognition |
US8868479B2 (en) | 2007-09-28 | 2014-10-21 | Telogis, Inc. | Natural language parsers to normalize addresses for geocoding |
US7890539B2 (en) * | 2007-10-10 | 2011-02-15 | Raytheon Bbn Technologies Corp. | Semantic matching using predicate-argument structure |
WO2009066762A1 (ja) * | 2007-11-21 | 2009-05-28 | Nec Corporation | ユーザインタフェース認識装置及びユーザインタフェース認識方法 |
US8996376B2 (en) | 2008-04-05 | 2015-03-31 | Apple Inc. | Intelligent text-to-speech conversion |
US8832135B2 (en) * | 2008-05-02 | 2014-09-09 | Verint Systems, Ltd. | Method and system for database query term suggestion |
KR101462932B1 (ko) * | 2008-05-28 | 2014-12-04 | 엘지전자 주식회사 | 이동 단말기 및 그의 텍스트 수정방법 |
US8214734B2 (en) | 2008-10-09 | 2012-07-03 | International Business Machines Corporation | Credibility of text analysis engine performance evaluation by rating reference content |
US8335754B2 (en) | 2009-03-06 | 2012-12-18 | Tagged, Inc. | Representing a document using a semantic structure |
US10241644B2 (en) | 2011-06-03 | 2019-03-26 | Apple Inc. | Actionable reminder entries |
US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
US9431006B2 (en) | 2009-07-02 | 2016-08-30 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
US8682667B2 (en) | 2010-02-25 | 2014-03-25 | Apple Inc. | User profiling for selecting user specific voice input processing information |
US20110271258A1 (en) * | 2010-04-30 | 2011-11-03 | Microsoft Corporation | Software Development Tool |
US8355903B1 (en) | 2010-05-13 | 2013-01-15 | Northwestern University | System and method for using data and angles to automatically generate a narrative story |
US8510100B2 (en) * | 2010-05-20 | 2013-08-13 | Xerox Corporation | Human readable sentences to represent complex color changes |
US10185477B1 (en) | 2013-03-15 | 2019-01-22 | Narrative Science Inc. | Method and system for configuring automatic generation of narratives from data |
US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
US8990070B2 (en) * | 2011-11-18 | 2015-03-24 | International Business Machines Corporation | Computer-based construction of arbitrarily complex formal grammar expressions |
US9002772B2 (en) | 2011-11-18 | 2015-04-07 | International Business Machines Corporation | Scalable rule-based processing system with trigger rules and rule evaluator |
US9122673B2 (en) | 2012-03-07 | 2015-09-01 | International Business Machines Corporation | Domain specific natural language normalization |
US9280610B2 (en) | 2012-05-14 | 2016-03-08 | Apple Inc. | Crowd sourcing information to fulfill user requests |
US9213725B2 (en) | 2012-05-17 | 2015-12-15 | Ifwe Inc. | Systems and methods for generating automated social interactions in social networking environments |
US10091323B2 (en) | 2012-05-17 | 2018-10-02 | The Meet Group, Inc. | Social discovery feed for facilitating social exploration in social networking environments |
US9721563B2 (en) | 2012-06-08 | 2017-08-01 | Apple Inc. | Name recognition system |
US20130332450A1 (en) * | 2012-06-11 | 2013-12-12 | International Business Machines Corporation | System and Method for Automatically Detecting and Interactively Displaying Information About Entities, Activities, and Events from Multiple-Modality Natural Language Sources |
US8935155B2 (en) * | 2012-09-14 | 2015-01-13 | Siemens Aktiengesellschaft | Method for processing medical reports |
US9547647B2 (en) | 2012-09-19 | 2017-01-17 | Apple Inc. | Voice-based media searching |
US9058317B1 (en) * | 2012-11-01 | 2015-06-16 | Digital Reasoning Systems, Inc. | System and method for machine learning management |
US9501140B2 (en) * | 2012-11-05 | 2016-11-22 | Onysus Software Ltd | Method and apparatus for developing and playing natural user interface applications |
US9471559B2 (en) * | 2012-12-10 | 2016-10-18 | International Business Machines Corporation | Deep analysis of natural language questions for question answering system |
JP6231663B2 (ja) * | 2013-05-16 | 2017-11-15 | コンヴィーダ ワイヤレス, エルエルシー | Iotシステムのためのサービスとしてのデータ注釈 |
WO2014197334A2 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
US9582608B2 (en) | 2013-06-07 | 2017-02-28 | Apple Inc. | Unified ranking with entropy-weighted information for phrase-based semantic auto-completion |
WO2014197336A1 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for detecting errors in interactions with a voice-based digital assistant |
WO2014197335A1 (en) | 2013-06-08 | 2014-12-11 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
EP3937002A1 (en) | 2013-06-09 | 2022-01-12 | Apple Inc. | Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant |
US9728184B2 (en) | 2013-06-18 | 2017-08-08 | Microsoft Technology Licensing, Llc | Restructuring deep neural network acoustic models |
US9589565B2 (en) | 2013-06-21 | 2017-03-07 | Microsoft Technology Licensing, Llc | Environmentally aware dialog policies and response generation |
US9311298B2 (en) | 2013-06-21 | 2016-04-12 | Microsoft Technology Licensing, Llc | Building conversational understanding systems using a toolset |
US9548049B2 (en) * | 2014-02-19 | 2017-01-17 | Honeywell International Inc. | Methods and systems for integration of speech into systems |
US9529794B2 (en) | 2014-03-27 | 2016-12-27 | Microsoft Technology Licensing, Llc | Flexible schema for language model customization |
US9614724B2 (en) | 2014-04-21 | 2017-04-04 | Microsoft Technology Licensing, Llc | Session-based device configuration |
US9520127B2 (en) | 2014-04-29 | 2016-12-13 | Microsoft Technology Licensing, Llc | Shared hidden layer combination for speech recognition systems |
US10111099B2 (en) | 2014-05-12 | 2018-10-23 | Microsoft Technology Licensing, Llc | Distributing content in managed wireless distribution networks |
US9430667B2 (en) | 2014-05-12 | 2016-08-30 | Microsoft Technology Licensing, Llc | Managed wireless distribution network |
US9874914B2 (en) | 2014-05-19 | 2018-01-23 | Microsoft Technology Licensing, Llc | Power management contracts for accessory devices |
US9502031B2 (en) * | 2014-05-27 | 2016-11-22 | Apple Inc. | Method for supporting dynamic grammars in WFST-based ASR |
US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
US10037202B2 (en) | 2014-06-03 | 2018-07-31 | Microsoft Technology Licensing, Llc | Techniques to isolating a portion of an online computing service |
US9367490B2 (en) | 2014-06-13 | 2016-06-14 | Microsoft Technology Licensing, Llc | Reversible connector for accessory devices |
US9717006B2 (en) | 2014-06-23 | 2017-07-25 | Microsoft Technology Licensing, Llc | Device quarantine in a wireless network |
US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US10698585B2 (en) * | 2014-08-29 | 2020-06-30 | Nuance Communications, Inc. | Virtual assistant development system |
US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
US11288328B2 (en) | 2014-10-22 | 2022-03-29 | Narrative Science Inc. | Interactive and conversational data exploration |
US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
US9578173B2 (en) | 2015-06-05 | 2017-02-21 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
US10354188B2 (en) * | 2016-08-02 | 2019-07-16 | Microsoft Technology Licensing, Llc | Extracting facts from unstructured information |
US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
US10417346B2 (en) | 2016-01-23 | 2019-09-17 | Microsoft Technology Licensing, Llc | Tool for facilitating the development of new language understanding scenarios |
US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
CN105893348A (zh) * | 2016-03-30 | 2016-08-24 | 乐视控股(北京)有限公司 | 语料获取方法及装置 |
US10169470B2 (en) * | 2016-04-11 | 2019-01-01 | Rovi Guides, Inc. | Systems and methods for identifying a meaning of an ambiguous term in a natural language query |
US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
DK179309B1 (en) | 2016-06-09 | 2018-04-23 | Apple Inc | Intelligent automated assistant in a home environment |
US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
DK179049B1 (en) | 2016-06-11 | 2017-09-18 | Apple Inc | Data driven natural language event detection and classification |
DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
DK179343B1 (en) | 2016-06-11 | 2018-05-14 | Apple Inc | Intelligent task discovery |
CN109416627B (zh) * | 2016-06-30 | 2022-09-23 | 西门子股份公司 | 用于修订功能或向自动化设备添加功能的方法 |
US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
DK201770439A1 (en) | 2017-05-11 | 2018-12-13 | Apple Inc. | Offline personal assistant |
DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
DK201770432A1 (en) | 2017-05-15 | 2018-12-21 | Apple Inc. | Hierarchical belief states for digital assistants |
DK201770431A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
DK179560B1 (en) | 2017-05-16 | 2019-02-18 | Apple Inc. | FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES |
US10453454B2 (en) * | 2017-10-26 | 2019-10-22 | Hitachi, Ltd. | Dialog system with self-learning natural language understanding |
US11042709B1 (en) | 2018-01-02 | 2021-06-22 | Narrative Science Inc. | Context saliency-based deictic parser for natural language processing |
US11561986B1 (en) | 2018-01-17 | 2023-01-24 | Narrative Science Inc. | Applied artificial intelligence technology for narrative generation using an invocable analysis service |
US10755046B1 (en) | 2018-02-19 | 2020-08-25 | Narrative Science Inc. | Applied artificial intelligence technology for conversational inferencing |
CN110321534B (zh) * | 2018-03-28 | 2023-11-24 | 科大讯飞股份有限公司 | 一种文本编辑方法、装置、设备及可读存储介质 |
JP7049173B2 (ja) * | 2018-05-07 | 2022-04-06 | 日本放送協会 | 手話cg翻訳編集装置及びプログラム |
US11232270B1 (en) | 2018-06-28 | 2022-01-25 | Narrative Science Inc. | Applied artificial intelligence technology for using natural language processing to train a natural language generation system with respect to numeric style features |
US11341330B1 (en) | 2019-01-28 | 2022-05-24 | Narrative Science Inc. | Applied artificial intelligence technology for adaptive natural language understanding with term discovery |
US11757906B2 (en) | 2019-04-18 | 2023-09-12 | Oracle International Corporation | Detecting behavior anomalies of cloud users for outlier actions |
CN111045992B (zh) * | 2019-12-04 | 2023-07-25 | 中盈优创资讯科技有限公司 | 一种基于树形结构的配置文件检查方法及系统 |
CN111130877B (zh) * | 2019-12-23 | 2022-10-04 | 国网江苏省电力有限公司信息通信分公司 | 一种基于nlp的网络日志处理系统及方法 |
US11482223B2 (en) | 2020-03-31 | 2022-10-25 | Pricewaterhousecoopers Llp | Systems and methods for automatically determining utterances, entities, and intents based on natural language inputs |
US11580112B2 (en) | 2020-03-31 | 2023-02-14 | Pricewaterhousecoopers Llp | Systems and methods for automatically determining utterances, entities, and intents based on natural language inputs |
CN111753552B (zh) * | 2020-07-02 | 2024-04-19 | 浙江百应科技有限公司 | 一种基于nlp的训练模式与识别模式动态切换的方法 |
US20220091716A1 (en) * | 2020-09-21 | 2022-03-24 | Corel Corporation | External content capture for visual mapping methods and systems |
CN115457951A (zh) * | 2022-05-10 | 2022-12-09 | 北京罗克维尔斯科技有限公司 | 一种语音控制方法、装置、电子设备以及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4914590A (en) * | 1988-05-18 | 1990-04-03 | Emhart Industries, Inc. | Natural language understanding system |
US5068789A (en) * | 1988-09-15 | 1991-11-26 | Oce-Nederland B.V. | Method and means for grammatically processing a natural language sentence |
US5794050A (en) * | 1995-01-04 | 1998-08-11 | Intelligent Text Processing, Inc. | Natural language understanding system |
US5963940A (en) * | 1995-08-16 | 1999-10-05 | Syracuse University | Natural language information retrieval system and method |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1999017223A1 (en) | 1997-09-30 | 1999-04-08 | Ihc Health Services, Inc. | Aprobabilistic system for natural language processing |
US6496208B1 (en) * | 1998-09-10 | 2002-12-17 | Microsoft Corporation | Method and apparatus for visualizing and exploring large hierarchical structures |
US20020103837A1 (en) | 2001-01-31 | 2002-08-01 | International Business Machines Corporation | Method for handling requests for information in a natural language understanding system |
-
2002
- 2002-05-07 US US10/140,522 patent/US7191119B2/en active Active
-
2003
- 2003-04-10 CA CA002482514A patent/CA2482514A1/en not_active Abandoned
- 2003-04-10 EP EP03717439A patent/EP1508102A2/en not_active Withdrawn
- 2003-04-10 JP JP2004504138A patent/JP2005537532A/ja active Pending
- 2003-04-10 CN CNB038099640A patent/CN100489841C/zh not_active Expired - Fee Related
- 2003-04-10 KR KR1020047015913A patent/KR100650427B1/ko not_active IP Right Cessation
- 2003-04-10 AU AU2003222602A patent/AU2003222602A1/en not_active Abandoned
- 2003-04-10 WO PCT/GB2003/001554 patent/WO2003096217A2/en active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4914590A (en) * | 1988-05-18 | 1990-04-03 | Emhart Industries, Inc. | Natural language understanding system |
US5068789A (en) * | 1988-09-15 | 1991-11-26 | Oce-Nederland B.V. | Method and means for grammatically processing a natural language sentence |
US5794050A (en) * | 1995-01-04 | 1998-08-11 | Intelligent Text Processing, Inc. | Natural language understanding system |
US5963940A (en) * | 1995-08-16 | 1999-10-05 | Syracuse University | Natural language information retrieval system and method |
Also Published As
Publication number | Publication date |
---|---|
WO2003096217A3 (en) | 2004-04-01 |
KR20040102071A (ko) | 2004-12-03 |
WO2003096217A2 (en) | 2003-11-20 |
US7191119B2 (en) | 2007-03-13 |
AU2003222602A8 (en) | 2003-11-11 |
EP1508102A2 (en) | 2005-02-23 |
KR100650427B1 (ko) | 2006-11-29 |
CA2482514A1 (en) | 2003-11-20 |
CN1726488A (zh) | 2006-01-25 |
JP2005537532A (ja) | 2005-12-08 |
AU2003222602A1 (en) | 2003-11-11 |
US20030212543A1 (en) | 2003-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100489841C (zh) | 用于开发自然语言理解应用的方法和集成开发工具 | |
CA3150031C (en) | Systems and methods of controllable natural language generation | |
AU753108B2 (en) | Data input and retrieval apparatus | |
US7035789B2 (en) | Supervised automatic text generation based on word classes for language modeling | |
Cassidy et al. | Multi-level annotation in the Emu speech database management system | |
US7076732B2 (en) | Document processing apparatus having an authoring capability for describing a document structure | |
US5987404A (en) | Statistical natural language understanding using hidden clumpings | |
US7234942B2 (en) | Summarisation representation apparatus | |
US7120861B1 (en) | Document processing system | |
US20070219773A1 (en) | Syntactic rule development graphical user interface | |
US6963831B1 (en) | Including statistical NLU models within a statistical parser | |
US20050154580A1 (en) | Automated grammar generator (AGG) | |
CN108304375A (zh) | 一种信息识别方法及其设备、存储介质、终端 | |
JP2007122719A (ja) | 複数の言語を連動する自動完成推薦語提供システムおよび方法 | |
WO1998000793A1 (en) | Method and system for computing semantic logical forms from syntax trees | |
KR100905744B1 (ko) | 사용자 제작 문답 데이터에 기반한 회화 사전 서비스 제공방법 및 시스템 | |
CN108710695A (zh) | 基于电子书的思维导图生成方法及电子设备 | |
KR102381387B1 (ko) | 챗봇 학습용 데이터 생성 방법 | |
JPH08329108A (ja) | テキストのハイパーテキスト化方法 | |
WO2002103559A2 (en) | Method and system for providing information services to subscribed users of a cellular network using an interface device | |
Husák | Automatic retrieval of good dictionary examples | |
Ngon | Converting the Vietnamese Television News into 3D Sign Language Animations for the Deaf | |
Pakray | Multilingual restricted domain QA system with dialogue management (Bengali and Telugu as a case study) | |
JP2003173338A (ja) | 辞書構築支援装置、辞書構築支援方法及び辞書構築支援プログラム | |
Şerban | SYN! BAD: A SYNONYM-BASED REGULAR EXPRESSION EXTENSION FOR KNOWLEDGE EXTRACTION TASK. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20090520 Termination date: 20100410 |