CN104471568A - 对自然语言问题的基于学习的处理 - Google Patents

对自然语言问题的基于学习的处理 Download PDF

Info

Publication number
CN104471568A
CN104471568A CN201380035865.5A CN201380035865A CN104471568A CN 104471568 A CN104471568 A CN 104471568A CN 201380035865 A CN201380035865 A CN 201380035865A CN 104471568 A CN104471568 A CN 104471568A
Authority
CN
China
Prior art keywords
natural language
candidate answers
answer
multiple search
language problem
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380035865.5A
Other languages
English (en)
Inventor
M·周
F·魏
X·刘
H·孙
Y·段
C·孙
H-Y·舒姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN104471568A publication Critical patent/CN104471568A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

所描述的技术使得能够使用基于机器学习的方法来收集和分析来自web搜索的证据来回答自然语言问题。接收到的自然语言问题被分析以提取查询单元并使用基于规则的探试和/或通过机器学习训练的分类器来确定问题类型、答案类型和/或词汇答案类型。查询生成模板被用于生成多个经排序的查询，这多个经排序的查询被用于收集证据来确定对于自然语言问题的答案。基于暗暗类型和/或词汇答案类型来从结果中提取候选答案，并使用先前被离线训练的排序器对候选答案进行排序。计算候选答案的置信度水平，并且如果排名第一(前几)的回答的置信度水平超过阈值，则该排名第一(前几)的回答可被提供给用户。

Description

对自然语言问题的基于学习的处理
背景
在线搜索引擎向用户提供了用于在web上定位内容的功能强大的手段。也许由于搜索引擎是软件程序，所以它们被开发为更加高效地处理以诸如反映编程语言的形式的布尔查询之类的形式输入的查询。然而，许多用户可能偏好以自然语言形式输入查询，类似于他们在日常生活中可能正常交流的那样。例如，搜索web以知晓保加利亚的首都的用户可能偏好输入“保加利亚的首都是什么？”而非“首都AND保加利亚”。由于许多搜索引擎已经被优化来接受具有正式查询形式的用户查询，它们可能不太能够高效且准确地对自然语言查询进行响应。
以前的方案倾向于依赖经组织的数据知识库来回答自然语言查询。这个方式以创建的Watson问题回答计算系统为例，其出名地出现在美国的游戏节目上并取得了胜利。因为Watson和类似的方案依赖于知识库，所以它们所能回答的问题的范围可被限于知识库中经组织的数据的范围。此外，这样的知识库在用新数据来更新方面可能是昂贵且耗时的。
发明内容
描述了用于通过使用基于机器学习的方法来收集和分析来自web搜索的证据来回答由用户作为搜索查询输入的自然语言问题的技术。在一些示例中，在接收到由用户输入的自然语言问题后，执行分析来确定该问题的问题类型、答案类型和/或词汇答案类型(LAT)。该分析可采用基于规则的探试和/或使用机器学习来离线训练的分类器。也可使用组块、句子边界检测、句子模式检测、解析、指定实体检测、词性标记、标记化或其它工具来从自然语言问题中提取一个或多个查询单元。
在一些实现方式中，所提取的查询单元、答案类型、问题类型和/或LAT随后可被应用到一个或多个查询生成模板以生成多个查询，该多个查询将被用于收集证据来确定针对自然语言问题的答案。接着，可使用通过使用机器学习被离线训练的排序器对这些查询进行排序，排名前N的查询可被发送到搜索引擎。接着，可使用另一经机器学习训练的排序器对结果(例如，web文档的地址和/或片断)进行过滤和/或排序，并且基于答案类型和/或LAT从结果中提取候选回答。可使用通过使用机器学习被离线训练的排序器对候选答案进行排序，并且排名在前的回答可被提供给用户。也可确定候选答案的置信度水平，并且如果排名第一的答案的置信度水平超过阈值置信度，则该答案可被提供。
提供本概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本发明内容并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。
附图说明
参考附图来描述具体实施方式。在附图中，附图标记最左边的数字标识该附图标记首次出现的附图。在不同的附图中使用相同的附图标记指示类似或相同的项。
图1描绘了根据各实施例的用于回答自然语言问题的示例用例。
图2是描绘各实施例可在其中操作的示例环境的示意图。
图3是示出根据各实施例的示例计算系统的图。
图4描绘了根据各实施例的用于回答自然语言问题的说明性过程的流程图。
图5描绘了根据各实施例的用于分析自然语言问题来确定问题类型、答案类型、LAT和/或查询单元的说明性过程的流程图。
图6描绘了根据各实施例的用于确定多个搜索查询来收集用于回答自然语言问题的证据的说明性过程的流程图。
图7描绘了根据各实施例的用于分析搜索结果作为用于回答自然语言问题的证据的说明性过程的流程图。
图8描绘了根据各实施例的用于从搜索结果证据中提取可能的答案的说明性过程的流程图。
详细描述
概览
在此描述的各实施例提供了用于回答由用户作为搜索查询输入的自然语言问题的技术。在一些实施例中，从寻找对自然语言问题的答案的用户接收作为搜索查询的该自然语言问题(例如，通过搜索引擎)。如本文所描述的，自然语言问题包括字符序列，该字符序列至少部分可采用表现正常、日常讲话的语法和/或句法。例如，用户可询问问题“保加利亚的首都是什么？”或“大宪章是何时签署的？”。虽然本文给出的一些示例描述了包括特定问题形式(例如，谁，什么，哪里，何时，为何，如何等)的自然语言问题，但是各实施例并不被如此限制并可支持任何形式的自然语言问题。
为了标识针对自然问题的至少一个回答，各实施例采用四个阶段：问题理解，查询公式化，证据收集以及答案提取/排序。进一步参考图4-8来描述这四个阶段中的各个阶段。概览部分的其余部分参考图1中示出的示例情形简要地描述了这四个阶段。该示例情形开始于接收到自然语言问题102，“就在这个‘Gretchen am Spinnrade’作曲家遇见贝多芬后不久，他是在他的葬礼上的持火把者”。各实施例采用web搜索证据搜集和分析(至少部分地是基于机器学习的)来尝试查明答案。在该示例中的实际答案是“Franz Schubert”。
在一些实施例中，问题理解包括对自然语言问题进行分析来预测问题类型和答案类型。问题类型可包括仿真事实型(例如，“保加利亚的首都是什么？”)、定义型(例如，“‘ambidextrous’的含义是什么？”)、谜题型(例如，“我能用字母BYONGEO拼出什么单词？”)、数学型(例如，“最低的十个幸福数字(happy numbers)是什么？”)或任何其它类型的问题。答案类型可包括人、位置、时间/日期、数量、事件、生物(例如，动物、植物等)、物体、概念或任何其它答案类型。在一些实施例中，词汇答案类型(LAT)也可以被预测。LAT可更具体和/或可以是答案类型的子集。例如，具有答案类型“人”的问题可具有“作曲家”的LAT。对问题类型、答案类型和/或LAT的预测可使用基于规则的探试方法、(例如在在线接收到自然语言问题之前)使用机器学习来离线训练的分类器，或这两个方法的组合。在图1的示例中，自然语言问题102具有事实型的问题类型104、人的答案类型106以及作曲家的LAT 108。
问题理解也可包括从自然语言问题中提取查询单元。查询单元可以包括以下的一个或多个：单词、基本名词短语、句子、指定实体、引用、释义(例如，基于同义词、上位词等的重新阐述)以及事实。可使用对自然语言问题的基于语法的分析来提取查询单元，基于语法的分析包括以下的一个或多个：组块、句子边界检测、句子模式检测、解析、指定实体检测、词性标记以及标记化。在图1显示的示例中，自然语言问题102包括诸如以下的查询单元110：单词(例如，“不久”、“Gretchen”、“作曲家”等)、名词短语(例如，“作曲家遇见贝多芬”、“在他的葬礼上的持火把者”等)、指定实体(例如，“Gretchenam Spinnrade”、“贝多芬”等)、引用(例如，“‘Gretchen am Spinnrade’”)以及释义(例如，将作曲家改写为“音乐家”、“艺术家”等)。
在一些实施例中，第二阶段是查询公式化。在这个阶段，从问题理解阶段获取的信息可被用于生成一个或多个搜索查询以用于收集证据来确定针对自然语言问题的回答。在一些实施例中，所提取的查询单元以及问题类型、答案类型和/或LAT被应用到一个或多个查询生成模板来生成一组候选查询。可使用通过使用不受监督的机器学习技术或诸如支持向量机(SVM)等受监督的机器学习技术来离线训练的排序器对候选查询进行排序。在一些实施例中，排名在前的预定数量N(例如，25)个查询被发送以由诸如等一个或多个web搜索引擎执行。在图1显示的示例中，排名前三的搜索查询112被确定为：“Gretchen am Spinnrade作曲家”、“什么是Gretchen am Spinnrade”以及“作曲家遇见贝多芬”。
在一些实施例中，第三阶段是证据收集，其中排名前N个搜索查询被搜索引擎执行并且搜索结果被分析。在一些实施例中，每个搜索查询的前N个结果(例如，由执行搜索查询的搜索引擎排序的)可被相互合并以创建搜索结果的经合并的列表。在一些实施例中，搜索结果可包括结果网页的地址(诸如，统一资源定位符(URL)、统一资源标识符(URI)、网际协议(IP)地址、或其它标识符)和/或来自结果网页的内容的片断。经合并的搜索结果可被过滤来移除重复的结果和/或噪声结果。
在第四阶段答案提取/排序阶段，可从搜索结果中提取候选答案。在一些实施例中，候选答案提取包括对搜索结果页面中具有与在问题理解阶段确定的答案类型和/或LAT相匹配的类型的那些指定实体的基于词典的实体识别。在一些实施例中，所提取的指定实体被规范化以扩展缩写式、纠正搜索结果中的拼写错误、扩展适当的名称(例如，从Bill到William)等等。在图1的示例中，所提取的候选答案114包括Ludwig van Beethoven、Franz、Franz Grillparzer、Franz Schubert和Franz Liszt。
接着，可通过将为各个候选答案确定的一组特征应用到使用机器学习技术(例如，SVM)来离线训练的排序器来对候选答案进行排序。在图1的示例中，经排序的候选答案116是Franz Schubert、Franz Liszt、Franz Grillparzer、Franz和Ludwig van Beethoven。在一些实施例中，可为排名在前的候选答案中的一个或多个确定置信度水平。置信度水平可被规范化为从0到1，并且，在一些实施例中，当排名第一的候选答案具有超过预定的阈值置信度水平的置信度水平时，该排名第一的候选答案作为针对用户的问题的答案被提供。在图1的示例中，回答118是具有置信度水平0.85的Franz Schubert。以下参考图2-8进一步描述各实施例。
说明性环境
图2示出了各实施例可在其中操作的示例环境200。如所示，环境200的各种计算设备经一个或多个网络202彼此通信，网络可包括允许这种通信的任何类型的网络。例如，网络202可包括诸如因特网之类的公共网络、诸如机构和/或个人内联网、或专用和公开网络的某种组合。网络202还可包括任何类型的有线和/或无线网络，包括但不限于局域网(LAN)、广域网(WAN)、Wi-Fi、WiMax以及移动通信网络(如3G、4G等等)。网络202可利用通信协议，包括基于分组的和/或基于数据报的协议，如IP、传输控制协议(TCP)、用户数据报协议(UDP)或其他类型的协议。而且，网络202还可包括便于网络通信和/或形成网络的硬件基础的若干设备，如交换机、路由器、网关、接入点、防火墙、基站、中继器、主干设备等等。
环境200进一步包括诸如客户端设备204的一个或多个客户端计算设备。在一些实施例中，客户端设备204是与一个或多个可能向web搜索引擎或其它应用提供自然语言问题的终端用户相关联的。客户端设备204可包括用户可用来通过网络202发送和接收信息的任何类型的计算设备。例如，客户端设备204可包括但不限于台式计算机、膝上型计算机、平板计算机、电子书阅读器、可佩戴计算机、媒体播放器、车用计算机、移动计算设备、智能电话、个人数字助理(PDA)、游戏控制台、移动游戏设备、机顶盒等等。客户端设备204可包括使得用户能够浏览到在线搜索引擎或其它联网应用并输入可通过在此描述的各实施例来回答的自然语言问题的一个或多个应用、程序或软件组件(例如，web浏览器)。
如在图2中进一步显示的，环境200可包括一个或多个服务器计算设备，诸如自然语言问题处理服务器设备206、搜索引擎服务器设备208和机器学习服务器设备210。在一些实施例中，这些服务器计算设备中的一个或多个可由提供用于根据本文描述的各实施例回答自然语言问题的网络服务的个体、企业或其它实体进行管理、操作和/或一般地关联。这些服务器计算设备实质上可以是任何类型的联网计算设备或联网计算设备的群集。虽然在图2中单独地描绘了这三种类型的服务器，但是各实施例并不限于此。在一些实施例中，自然语言问题处理服务器设备206、搜索引擎服务器设备208和/或机器学习服务器设备210的功能可被组合到一个或多个服务器上或可被选择以最优化性能的任何组合中的服务器群集，以用于有效地使用物理空间、用于商业原因、用于可用性原因以及其它原因。
在一些实施例中，自然语言问题处理服务器设备206提供用于接收、分析和/或回答从客户端设备204的用户接收到的自然语言问题的服务。这些服务在此结合图4-8进一步描述。
在一些实施例中，搜索引擎服务器设备208提供用于执行在线web搜索的服务(例如，搜索引擎软件应用和用户界面)。同样地，这些服务器可接收web搜索查询并以满足搜索查询的网页的地址或标识符(例如，URL、URI、IP地址等)的形式和/或以来自所得到的网页的内容的至少一部分(例如，片断)的形式来提供结果。搜索引擎服务器设备208也可对搜索结果按照相关性或预测的用户兴趣的次序进行排序。在一些实施例中，自然语言问题处理服务器设备206可采用由搜索引擎服务器设备208主控的一个或多个搜索引擎来收集用于回答自然语言问题的证据，如在此进一步描述的。
在一些实施例中，机器学习服务器设备210提供用于训练分类器、排序器和/或其它用于本文描述的分类和/或排序的组件的服务。这些服务可包括不受监督的机器学习技术和/或受监督的机器学习技术，诸如SVM。
如图2中所示的，环境200还可包括一个或多个知识库212。这些知识库可被用于补充在此描述的基于web搜索的技术，并可包括一般兴趣的知识库(例如，)或覆盖指定的感兴趣的主题的更明确的知识库。
说明性计算系统架构
图3描绘了根据各实施例的示例计算系统300。在一些实施例中，计算系统300是图2中描绘的客户端设备204、自然语言问题处理服务器设备206、搜索引擎服务器设备208和/或机器学习服务器设备210的示例。计算系统300包括处理单元302。处理单元302可包含多个处理单元，并可被实现为硬件、软件或其某种组合。处理单元302可包括一个或多个处理器。如本文所使用的，处理器包括硬件组件。此外，处理单元302可包括以任何合适的编程语言编写的用以执行本文所描述的各种功能的计算机可执行的、处理器可执行的和/或机器可执行的指令。计算设备300还包括系统存储器304，系统存储器可包括诸如随机存取存储器(RAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)等之类的易失性存储器。RAM 306包括一个或多个执行中的操作系统(OS)308，以及一个或多个执行中的过程，包括可由处理单元302加载和执行的组件、程序或应用。这样的过程可包括自然语言问题处理组件310以执行接收、分析由用户提供的自然语言问题、收集关于该自然语言问题的证据和/或回答该自然语言问题的动作。这些功能在此结合图4-8进一步描述。RAM 306也可包括用于基于web查询来执行web搜索的搜索引擎组件312，以及用于使用受监督的或不受监督的机器学习方法来训练分类器或其它实体的机器学习组件314。
系统存储器304还可包括诸如只读存储器(ROM)316、闪存等之类的非易失性存储器。如显示的，ROM 316可包括用于引导计算系统300的基本输入/输出系统(BIOS)318。尽管未显示，但是系统存储器304可进一步存储由OS308或在系统存储器304中执行的任何组件、程序或应用生成和/或利用的程序或组件数据。系统存储器304还可包括高速缓存存储器。
如图3中所示，计算系统300还可包括诸如不可移动存储322(例如，硬盘驱动器)和/或可移动存储324的计算机可读存储介质320，包括但不限于磁盘存储、光盘存储、磁带存储等等。盘驱动器及相关联的计算机可读介质可为计算系统300的操作提供对计算机可读指令、数据结构、程序模块以及其它数据的非易失性存储。
一般来说，计算机可读介质包括计算机可读存储介质和通信介质。
计算机可读存储介质是包括以用于存储如计算机可读指令、数据结构、程序模块和其他数据等信息的任何方法或技术来实现的易失性和非易失性、可移动和不可移动介质的有形介质。计算机存储介质包括但不限于，RAM、ROM、可擦除可编程只读存储器(EEPROM)、SRAM、DRAM、闪存或其他存储器技术、紧致盘只读存储器(CD-ROM)、数字多功能盘(DVD)或其他光存储、磁带盒、磁带、磁盘存储或其他磁存储设备，或者可用于存储信息以供计算设备访问的任何其他非传输介质。
相反，是非有形的通信介质可在诸如载波的已调制数据信号或其他传输机制中体现计算机可读指令、数据结构、程序模块或其他数据。如本文所限定的，计算机可读存储介质不包括通信介质。
计算系统300还可包括输入设备326，包括但不限于键盘、鼠标、笔、游戏控制器、用于语音识别的语音输入设备、触摸屏、触摸输入设备、姿势输入设备、基于运动或基于对象的识别输入设备、生物信息输入设备等。计算系统300还可包括输出设备328，包括但不限于显示器、打印机、音频扬声器、触觉输出等等。计算系统300可进一步包括通信连接330，该通信连接300允许计算系统300与其它计算设备332进行通信，其它计算设备包括客户端设备、服务器设备、数据库和/或其它可通过一个或多个通信网络访问的联网设备。
示例操作
图4-8描绘了示出根据各种实施例的示例过程的流程图。这些过程的操作在单独的框中示出，并且参考这些框来概括。这些过程被示为逻辑流程图，其每个操作可表示可用硬件、软件或其组合实现的一个或多个操作。在软件的上下文中，这些操作表示存储在一个或多个计算机存储介质上的计算机可执行指令，这些指令在由一个或多个处理器执行时使得一个或多个处理器执行既定操作。一般而言，计算机可执行指令包括执行特定功能或实现特定抽象数据类型的例程、程序、对象、模块、组件、数据结构等。描述操作的次序并不旨在解释为限制，并且任何数量的所述操作可以按任何次序进行组合、细分成多个子操作、和/或并行执行，以实现所描述的过程。在一些实施例中，图4-8中示出的过程由自然语言问题处理服务器设备206和/或自然语言问题处理组件310中的一个或多个来执行。
图4描绘了根据各实施例的用于回答自然语言问题的说明性过程400的流程图。该过程可遵循以上描述的四个阶段：问题理解，查询公式化，证据收集以及答案提取/排序。在402，接收到自然语言问题。在一些实施例中，问题可在在线通信会话期间从用户(诸如客户端设备204的用户)接收，并且该问题可通过搜索网站或其它网络应用的用户界面提供给用户。在一些实施例中，也可接收分类。例如(例如，如在游戏中)，可接收到指示自然语言问题属于一宽泛的分类(诸如地理、历史、科学、娱乐等)或一较窄的分类(诸如澳大利亚的地理、拜占庭帝国的历史、碳水化合物代谢的科学)的信息。
在404，分析自然语言问题和/或分类来预测或确定与自然语言问题相关联的问题类型和答案类型。在一些实施方式中，还为问题预测LAT。还可从自然语言问题中提取一个或多个查询单元。这些任务是问题理解阶段的一部分，并且结合图5进行进一步详细地描述。
在406，基于在404对自然语言问题的分析来公式化一个或多个搜索查询。在一些实施例中，该公式化包括将查询单元、问题类型、答案类型和/或LAT应用到一个或多个查询生成模板。这些任务是查询公式化阶段的一部分，并且结合图6进行进一步详细地描述。
在408，通过由至少一个搜索引擎执行一个或多个搜索查询来收集证据。该证据收集阶段结合图7进行进一步描述。
在410，分析从执行一个或多个搜索查询中得到的搜索结果以从该搜索结果中提取或以其它方式确定和排序一个或多个候选答案。该答案提取和排序阶段结合图8进行进一步描述。
在412，向用户提供一个或多个候选答案。在一些实施例中，某个预定数量个排名在前的候选答案被提供给用户。在一些实施例中，还可在每个候选答案旁提供置信度水平以提供系统对该候选答案可能是准确的置信度的测量。在一些实施例中，基于排名最高的候选答案的置信度水平高于预定的阈值置信度水平，该排名最高的候选答案被提供给用户作为针对自然语言问题的答案。此外，在一些实施例中，如果没有候选答案具有高于阈值置信度水平的置信度水平，那么可向用户提供没有候选答案达到最低置信度水平的消息或其它指示。
数学地，过程400可被描述为公式1：
[∑qP(q|Q，t，K)×P(r|q，S)]×P(R′|R)×P(h|t，R′K)×[P(h|e)×
P(e|h，t，QP，R′，K)]  (公式1)
其中Q表示输入自然语言问题，表示候选答案的假设空间，h表示候选回答。各实施例旨在寻找最大化概率P(h|Q)的假设(例如，答案)h。
P(h|Q)可被进一步导出P(h|Q，S，K)，其中S表示搜索引擎并且K表示知识库(在使用附属知识库的实施例中)。该公式可被进一步地分解成以下部分:
·P(t|Q)其中t表示答案类型(T表示答案类型集合)，即，问题Q具有作为答案类型t的概率；
·P(q|Q，t，K)其中q表示从Q(以及作为答案类型的t以及知识库K)中生成的搜索查询，即，生成作为来自Q的搜索查询之一的q的概率；
·P(r|q，S)，其中r表示在q作为搜索查询的情况下由搜索S返回的搜索结果；
·P(R′|R)其中R表示从不同的搜索查询中合并的搜索结果，R′表示经重新排序的前N个搜索结果；
·P(h|t，R′K)：从搜索结果R′中提取h作为候选答案的概率；
·P(e|h，t，QP，R′K)其中e表示候选答案h的排序特征，QP是包括LAT和答案类型的问题简档；和或
·P(h|e)，即，在给定特征集e的情况下排序结果h的概率。
用于问题理解的示例操作
图5描述了根据各实施例的用于分析自然语言问题来确定问题类型、答案类型、LAT和/或查询单元的说明性过程500的流程图。在502，基于对自然语言问题的分析来确定问题类型504。在还随自然语言问题接收到问题分类的实施例中，也对分类进行分析来确定问题类型。问题类型504可以是事实型、定义型、谜题型、数学型或任何其它类型的问题。在一些实施例中，问题类型分类器可被应用到自然语言问题来预测它的问题类型。可根据不受监督的机器学习技术或受监督的机器学习技术(诸如SVM)来使用多个特征对该分类器进行离线训练。在一些实施例中，被用于训练分类器的特征可包括但不限于以下中的一个或多个：
·自然语言问题是否与一个或多个预定义的常规表达式相对应或匹配；
·自然语言问题是否包括诸如以下的模式：“来自<语言>用于<短语>，<焦点>(from<language>for<phrase>，<focus>)”，“<焦点>是<短语>的<语言>(<focus>is<language>for<phrase>)”，“是用于什么的单词(is the word for)”和/或“意味着(means)”，其中焦点可指示是自然语言问题的焦点的经确定的关键词或短语；
·分类文本是否包括重复的分类类型；
·问题是否是没有焦点的短语；
·分类是否指定要翻译到或从其翻译的语言；
·问题文本是否包括单个实体或短列表的实体；和/或
·焦点是否是“do(做)”动词的对象。
在一些实施例中，探试方式可被用于基于一组预定的规则来确定问题类型。
在506，可基于对自然语言问题的分析来确定词汇答案类型(LAT)508。在一些实施例中，LAT 508是标识针对自然语言问题的答案的分类的单词或短语。在一些情况下，LAT可以是在自然语言问题本身中找到的单词或短语。在一些实施例中，探试、基于规则的方法被用于确定LAT。例如，二元线性判定树模型可结合各种规则而被采用，并且可通过遍历该判定树的自然语言问题中的各个名词短语(NP)来确定LAT。规则可以包括以下的一个或多个：
·如果[这个NP]([this NP])问题是1，那么[NP-头是LAT]([NP-headis LAT])；
·如果[这些NP]([these NP])问题是1，那么[NP-头是LAT]；
·如果[它是NP]([it be NP])问题是1，那么[NP-头是LAT]；
·如果[这个NP]([this NP])问题是0，[第三人称代词]([third-personpronoun])问题是1，那么[第三人称代词是LAT]([third-person pronounis LAT])；
·如果[这个NP]问题是0，[名词3释义]([Noun3paraphrase])主题是1，那么[名词3是LAT]；和/或
·如果[这个NP1]([this NP1])问题是0，[NP2]主题是1，那么[NP2-头是LAT]([NP2-head is LAT])。
作为以上规则的示例应用，可接收到以下自然语言问题：“他于1963年在阿拉巴马州伯明翰的城市监狱中书写了他的‘来自伯明翰监狱的信’”。该问题已经随“囚犯的句子”分类被接收。对LAT的确定可遵循以上判定树中的规则：
·首先，自然语言问题包括单词“这个(this)”吗？否；
·第二，自然语言问题包括单词“这些(these)”吗？否；
·第三，自然语言问题包括“它是(it be)”结构吗？否；
·第四，自然语言问题包括任何代词单词吗？是，它包括“他(he)”；以及
·最后，至少部分基于以上确定，可为自然语言问题确定“他(he)”的LAT。
在一些实施例中，通过将离线训练的分类器应用到自然语言问题的一个或多个特征来经由机器学习过程预测LAT。在各实施例中，替代于以上描述的探试、基于规则的方法的组合，可采用用于确定LAT的基于机器学习的方法。
在510，基于对自然语言问题的分析来确定答案类型512。答案类型512可包括人、位置、时间/日期、数量、事件、生物(例如，动物、植物等)、物体、概念或任何其它答案类型。在一些实施例中，用机器学习训练的分类器被用于基于自然语言问题的多个特征来预测答案类型。在一些实施例中，可采用对数线性分类模型。该模型可被数学地表示为公式2：
t = arg max t i log P ( t i ) + &Sigma; j = 1 k log P ( x j | t i ) ,       (公式2)
其中t表示所确定的回答类型，xj表示j∈[1，K]的特征，并且ti表示i∈[1，N]的可能答案类型。特征可包括但不限于以下：
·LAT；
·LAT上下文，在自然语言问题中LAT之前和之后的最近的N个单词(例如，N＝3)；
·标题标签，LAT是否被包括在标题词典中(例如，如在外部知识库212中，或在诸如等商业的可用在线词典中)；
·LAT的同义词，例如，如通过词典确定的；
·LAT的上位词，例如，如通过词典确定的；和/或
·特定的元语法，例如，问题是否包括特定的单词，诸如哪里(where)、谁(who)、什么(what)等。
在一些实施例中，可与以上描述的基于机器学习的技术相分开或组合地基于将多个规则应用到自然语言问题来执行对答案类型的预测。
在514，可基于对自然语言问题的基于语法和/或基于句法的分析来从自然语言问题中提取一个或多个查询单元516。查询单元可以包括以下的一个或多个：单词、基本名词短语、句子、指定实体、引用、释义(例如，基于同义词、上位词等的重新阐述)、依赖关系、时间和数量单元以及事实。此外，一些实施例可采用至少一个知识库作为对本文描述的基于搜索查询的方法的附属。在这样的情况下，所提取的查询单元也可包括在至少一个知识库中找到的自然语言问题的属性。查询单元的提取可包括以下各项中的一个或多个：句子边界检测518、句子模式检测520、解析522、指定实体检测524、词性标记526、标记化528以及组块530。
查询公式化的示例操作
图6描绘了根据各实施例的用于确定多个搜索查询来收集用于回答自然语言问题的证据的说明性过程600的流程图。在602，确定一个或多个候选搜索查询。在一些实施例中，候选搜索查询的公式化可采用一个或多个查询生成模板604，并可包括将问题类型504、LAT 508、答案类型510和/或查询单元516应用到查询生成模板604。查询生成模板604可包括使用一个查询单元(例如，元语法单元)的模板和/或使用多个查询单元(例如，多元语法单元)的模板。
在606，对一个或多个候选查询进行排序来确定预定数量N(例如，前20)个排名最高的候选查询。在一些实施例中，对候选查询的排序采用通过使用不受监督的机器学习技术或受监督的机器学习技术(例如，SVM)来对其进行离线训练的排序器，该排序器基于候选查询的一个或多个特征来对候选查询进行排序。在608，排名前N的候选查询被标识为要在证据收集阶段期间被一个或多个搜索引擎执行的一个或多个搜索查询610。
用于证据收集的示例操作
图7描绘了根据各实施例的用于分析搜索结果作为用于回答自然语言问题的证据的说明性过程700的流程图。在702，提供一个或多个搜索查询610以供一个或多个搜索引擎(诸如，)执行。在704，从一个或多个搜索引擎接收搜索结果，搜索结果是从基于各个搜索查询执行的搜索中得到的。在一些实施例中，搜索结果包括各个结果网页或web文档的地址或其它标识符(例如，URL、URI、IP地址等)和/或来自结果网页或文档的内容片断。
在一些实施例中，搜索结果可能已经根据相关性被搜索引擎进行了排序，可从各个搜索结果集中选择前N(例如，20)个搜索结果用于进一步处理。在706，来自各个搜索结果集的前N个搜索结果被合并以形成经合并的搜索结果集来用于进一步处理。在708，经合并的搜索结果可被过滤来移除重复的结果和/或噪声结果。在一些实施例中，可基于预定的web站点质量测量来确定噪声结果(例如，已知的低质量站点可被过滤)。在一些实施例中，过滤可进一步基于结果web站点的内容的内容可读性或一些其它质量测量。
在710，使用排序器对搜索结果进行排序。在一些实施例中，通过使用一组特征来使用不受监督的机器学习方法或受监督的机器学习方法(例如，SVM)来离线地训练排序器。例如，对于自然语言问题Q，在给定n个候选搜索结果页面d1...dn的情况下，排序可包括基于搜索结果对<di，dj>的二元分类，其中(1≤i，j≤n，i！＝j)。可基于与d相关的特征和/或描述Q和d之间对应关系的特征来定义线性排序函数可接着使用诸如SVM的机器学习技术来训练权重向量在该示例中，接着可基于分数来对搜索结果列表进行排序，该分数是各个结果页面的特征函数值和它们的对应权重的点积。
在一些实施例中，被用于排序的特征可包括但不限于以下中的一个或多个：
·在从搜索查询中生成的结果集内的搜索页面的排序，如由搜索引擎排序的；
·结果的片断的域，例如，域的质量；
·结果片断和自然语言问题之间的相似性；
·结果页面的标题和自然语言问题之间的相似性；
·在结果片断中是否存在问题点；
·在结果的标题中是否存在问题点；
·查询生成策略，例如，用于生成查询的特定查询公式化模板；
·查询的长度(例如，单词的数量)；
·由搜索引擎返回的搜索结果的数量；
·结果片断中指定实体的数量；
·结果的标题中指定实体的数量；
·结果片断中指定实体的类型；和/或
·结果的标题中指定实体的类型。
在712，排名前N个搜索结果被选择并标识为用于在回答提取和排序阶段期间的候选答案提取的搜索结果714。在一些实施例中，基于性能标准，排在搜索结果的前面的搜索结果的数量是可调的(例如，N可被调整)。
答案提取和排序的示例操作
图8描绘了根据各实施例的用于从搜索结果714中提取可能的答案的说明性过程的流程图。在802，可从搜索结果714中提取一个或多个指定实体。在一些实施例中，基于指定实体的与通过基于词典的匹配过程确定的答案类型和/或LAT的对应来提取指定实体。例如，如果自然语言问题具有预测的答案类型“人”，那么从搜索结果中提取“人”类型的指定实体。在804，所提取的指定实体被规范化以扩展缩写式、纠正搜索结果中的拼写错误、扩展适当的名称(例如，从Bill到William)等等。
在806，为候选答案提取一个或多个特征，并且在808，基于特征对候选答案进行排序。在一些实施例中，使用通过诸如SVM的机器学习过程来离线训练的排序器来执行排序。在一些实施例中，对于自然语言问题Q并在给定n个候选答案h1...hn的情况下，排序可包括候选对<hi，hj>的二元分类，其中(1≤i，j≤n，i！＝j)。可基于与候选答案h相关的特征(例如，候选答案在搜索结果页面中出现的频率)和/或描述Q和h之间对应关系的特征(例如，LAT匹配)来定义线性排序函数可使用诸如SVM的机器学习方法来训练权重向量(例如，排序器)并且接着可根据每个候选的分数来对答案候选列表进行排序，其中每个候选的分数是特征函数值和对应的权重的点积。
使用的特征可包括对于所有答案类型通用的特征和/或对于特定答案类型指定的特征。在一些实施例中，通用特征包括但不限于：
·频率，例如，候选答案出现在搜索结果中的次数；
·排序，例如，候选答案在搜索结果中的平均排序；
·查询单词匹配，例如，在查询和包括候选答案的搜索结果之间多个匹配的单词；
·LAT匹配，例如，候选答案是否是LAT的子类或LAT的实例。在一些实施例中，该子类或其实例的关系是通过诸如或等语言数据库来确定的。
·是知识库文章标题，例如，候选是否是从搜索结果中的知识库(例如，)标题中提取的；
·暗暗索引，例如，候选的标签(候选的知识库文章页面中的锚文本)和针对在自然语言问题中出现的术语的所有知识库页面中的锚文本之间的多个匹配点；和/或
·LAT上下文，例如，在自然语言问题中靠近LAT的那些单词(例如，具有某个数量的单词，诸如5)和在搜索单词中靠近答案候选的那些单词之间的多个匹配的单词。在一些实施例中，当确定上下文时，某些单词(例如，结束字)被忽略。
在一些实施例中，特定于回答类型的特征包括但不限于在表1中的那些特征。
表1
在810，为候选答案中的一个或多个确定置信度水平。在一些实施例中，为排名最高的候选答案确定置信度水平。在一些实施例中，为排名前N的候选答案或为所有的候选答案确定置信度水平。在确定置信度水平后，可如以上结合图4描述的将答案提供给用户。在一些实施例中，可使用包括但不限于以下的特征来使用衰退SVM方法来执行置信度水平计算：
·自然语言问题中LAT的数量；
·由自然语言问题生成的查询的数量；
·各个搜索查询的类型；
·回答类型，例如，问题的预测答案类型；
·为自然语言问题生成的答案候选的数量；
·候选分数变化，例如，为每个候选答案计算的分数的变化；和/或
·所有候选答案的最大分数。
结语
虽然已经用对结构特征和/或方法动作专用的语言描述了各项技术，但是应该理解，所附权利要求不必限于所述的具体特征或动作。相反，这些具体特征和动作是作为实现这些技术的示例形式而公开的。

Claims (10)

1.一种计算机实现的方法，包括：
分析自然语言问题以预测所述自然语言问题的问题类型和答案类型；
至少部分基于所述问题类型以及至少部分基于从所述自然语言问题中提取的一个或多个查询单元来公式化经排序的多个搜索查询；
从经由搜索引擎执行所述经排序的多个搜索查询中的至少一些所得到的多个搜索结果中确定一个或多个候选答案，所述确定至少部分基于所述答案类型；
根据为所述一个或多个候选答案中的每一个确定的置信度水平来对所述一个或多个候选答案进行排序；以及
至少部分基于确定所述一个或多个候选答案中排名最高的候选答案具有高于预定的阈值置信度的置信度水平来提供所述排名最高的候选答案。
2.如权利要求1所述的方法，其特征在于，通过使用分类器来对所述问题类型进行预测，所述分类器是使用机器学习技术用多个特征来训练的。
3.如权利要求1所述的方法，其特征在于，至少部分基于多个预定的规则来预测所述答案类型。
4.如权利要求1所述的方法，其特征在于，还包括：
采用排序器来对所述多个搜索查询进行排序，所述排序器是使用机器学习技术来训练的；以及
确定所述多个搜索查询中排名最高的数个搜索查询以供所述搜索引擎执行。
5.如权利要求1所述的方法，其特征在于，还包括：
在确定所述一个或多个候选答案之前，过滤所述多个搜索结果以移除重复的搜索结果或噪声搜索结果中的至少一个。
6.如权利要求1所述的方法，其特征在于，确定所述一个或多个候选回答包括：
从所述多个搜索结果中提取一个或多个指定实体，所述一个或多个指定实体对应于所述答案类型，所述提取至少部分基于所述一个或多个指定实体与所述多个搜索结果的文本的词典匹配；以及
规范化所述一个或多个指定实体以确定所述一个或多个候选答案。
7.如权利要求1所述的方法，其特征在于，通过使用排序器对所述一个或多个候选答案进行排序，所述排序器是使用机器学习技术来被训练的。
8.一种系统，包括：
至少一个存储器；
与所述至少一个存储器通信的至少一个处理器；以及
自然语言问题处理组件，所述自然语言问题处理组件存储在所述至少一个存储器上并被所述至少一个处理器执行以：
分析接收到的自然语言问题以确定所述自然语言问题的问题类型和答案类型；
从所述自然语言问题中确定一个或多个查询单元；
至少部分基于所述问题类型和所述一个或多个查询单元来公式化多个搜索查询；
至少部分基于所述回答类型来从多个搜索结果中确定一个或多个候选答案，所述多个搜索结果得自于经由搜索引擎执行所述多个搜索查询中的至少一些；以及
至少部分基于为所述一个或多个候选答案中的每一个确定的置信度水平来对所述一个或多个候选答案进行排序。
9.如权利要求8所述的系统，其特征在于，进一步包括：
机器学习组件，所述机器学习组件存储在所述至少一个存储器中并被所述至少一个处理器执行来使用机器学习技术来训练排序器；
其中所述自然语言问题处理组件还用于：
使用所述排序器对所述多个搜索查询进行排序；以及
确定所述多个搜索查询中排名最高的数个搜索查询以供所述搜索引擎执行。
10.一种或多种存储指令的计算机可读存储介质，所述指令在由至少一个处理器执行时指令所述至少一个处理器执行以下动作：
分析接收到的自然语言问题以确定所述自然语言问题的问题类型和答案类型；
至少部分基于所述问题类型以及至少部分基于从所述自然语言问题中提取的一个或多个查询单元来公式化多个搜索查询；
从执行所述多个搜索查询中的至少一些得到的多个搜索结果中提取一个或多个候选答案；以及
根据为所述一个或多个候选答案中的每一个确定的置信度水平来对所述一个或多个候选答案进行排序。
CN201380035865.5A 2012-07-02 2013-07-02 对自然语言问题的基于学习的处理 Pending CN104471568A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/539,674 2012-07-02
US13/539,674 US20140006012A1 (en) 2012-07-02 2012-07-02 Learning-Based Processing of Natural Language Questions
PCT/US2013/049085 WO2014008272A1 (en) 2012-07-02 2013-07-02 Learning-based processing of natural language questions

Publications (1)

Publication Number Publication Date
CN104471568A true CN104471568A (zh) 2015-03-25

Family

ID=48808519

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380035865.5A Pending CN104471568A (zh) 2012-07-02 2013-07-02 对自然语言问题的基于学习的处理

Country Status (4)

Country Link
US (1) US20140006012A1 (zh)
EP (1) EP2867802A1 (zh)
CN (1) CN104471568A (zh)
WO (1) WO2014008272A1 (zh)

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104699845A (zh) * 2015-03-31 2015-06-10 北京奇虎科技有限公司 基于提问类搜索词的搜索结果提供方法及装置
CN105912629A (zh) * 2016-04-07 2016-08-31 上海智臻智能网络科技股份有限公司 一种智能问答方法及装置
CN105912527A (zh) * 2016-04-19 2016-08-31 北京高地信息技术有限公司 根据自然语言输出答案的方法、装置及系统
CN106202476A (zh) * 2016-07-14 2016-12-07 广州安望信息科技有限公司 一种基于知识图谱的人机对话的方法及装置
CN106789595A (zh) * 2017-01-17 2017-05-31 北京诸葛找房信息技术有限公司 信息推送方法和装置
CN108228637A (zh) * 2016-12-21 2018-06-29 中国电信股份有限公司 自然语言客户自动应答方法和系统
CN108256056A (zh) * 2018-01-12 2018-07-06 广州杰赛科技股份有限公司 智能问答方法与系统
CN108345612A (zh) * 2017-01-25 2018-07-31 北京搜狗科技发展有限公司 一种问题处理方法和装置、一种用于问题处理的装置
TWI638274B (zh) * 2016-04-12 2018-10-11 芋頭科技(杭州)有限公司 一種語義匹配方法及智能設備
CN108780445A (zh) * 2016-03-16 2018-11-09 马鲁巴公司 用于对小数据的机器理解的并行分层模型
CN108829757A (zh) * 2018-05-28 2018-11-16 广州麦优网络科技有限公司 一种聊天机器人的智能服务方法、服务器及存储介质
CN108959529A (zh) * 2018-06-29 2018-12-07 北京百度网讯科技有限公司 问题答案类型的确定方法、装置、设备及存储介质
CN109272129A (zh) * 2018-09-20 2019-01-25 重庆先特服务外包产业有限公司 呼叫中心业务管理系统
CN109478204A (zh) * 2016-05-17 2019-03-15 马鲁巴公司 非结构化文本的机器理解
CN109800293A (zh) * 2018-12-20 2019-05-24 出门问问信息科技有限公司 一种基于问题分类获取答案的方法、装置及电子设备
CN109960734A (zh) * 2017-12-22 2019-07-02 奥多比公司 用于数据可视化的问题回答
CN110059165A (zh) * 2018-01-19 2019-07-26 国际商业机器公司 便利回答涉及对定量信息推理的问题
CN110210021A (zh) * 2019-05-22 2019-09-06 北京百度网讯科技有限公司 阅读理解方法及装置
CN110532376A (zh) * 2018-04-13 2019-12-03 国际商业机器公司 分类文本以确定用于选择机器学习算法结果的目标类型
CN110582761A (zh) * 2018-10-24 2019-12-17 阿里巴巴集团控股有限公司 基于点击图上向量传播模型的智能客户服务
CN111095234A (zh) * 2017-09-15 2020-05-01 国际商业机器公司 训练数据更新
CN111177371A (zh) * 2019-12-05 2020-05-19 腾讯科技（深圳）有限公司 一种分类方法和相关装置
CN111213140A (zh) * 2017-10-10 2020-05-29 尼根特罗匹克斯软件有限公司 大型数据库中语义搜索的方法和系统
CN111386686A (zh) * 2017-11-09 2020-07-07 微软技术许可有限责任公司 用于回答与文档相关的查询的机器阅读理解系统
CN111566652A (zh) * 2018-01-15 2020-08-21 微软技术许可有限责任公司 用于辅助用户完成任务的上下文感知的推荐
CN111712836A (zh) * 2018-02-09 2020-09-25 易享信息技术有限公司 作为问答的多任务学习
CN112199476A (zh) * 2019-06-23 2021-01-08 国际商业机器公司 在会话智能导师系统中部分正确答案后选择支架的自动决策
CN112313647A (zh) * 2018-08-06 2021-02-02 谷歌有限责任公司 Captcha自动助理
CN112527827A (zh) * 2015-06-29 2021-03-19 微软技术许可有限责任公司 用于多维数据的自动洞察
CN112784600A (zh) * 2021-01-29 2021-05-11 北京百度网讯科技有限公司 信息排序方法、装置、电子设备和存储介质
CN112818093A (zh) * 2021-01-18 2021-05-18 平安国际智慧城市科技股份有限公司 基于语义匹配的证据文档检索方法、系统及存储介质
US20220035728A1 (en) * 2018-05-31 2022-02-03 The Ultimate Software Group, Inc. System for discovering semantic relationships in computer programs

Families Citing this family (305)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US20120309363A1 (en) 2011-06-03 2012-12-06 Apple Inc. Triggering notifications associated with tasks items that represent tasks to perform
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US10185477B1 (en) 2013-03-15 2019-01-22 Narrative Science Inc. Method and system for configuring automatic generation of narratives from data
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10642934B2 (en) 2011-03-31 2020-05-05 Microsoft Technology Licensing, Llc Augmented conversational understanding architecture
US9858343B2 (en) 2011-03-31 2018-01-02 Microsoft Technology Licensing Llc Personalization of queries, conversations, and searches
US9760566B2 (en) 2011-03-31 2017-09-12 Microsoft Technology Licensing, Llc Augmented conversational understanding agent to identify conversation context between two humans and taking an agent action thereof
US9842168B2 (en) 2011-03-31 2017-12-12 Microsoft Technology Licensing, Llc Task driven user intents
US9244984B2 (en) 2011-03-31 2016-01-26 Microsoft Technology Licensing, Llc Location based conversational understanding
US9064006B2 (en) 2012-08-23 2015-06-23 Microsoft Technology Licensing, Llc Translating natural language utterances to keyword search queries
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US9117194B2 (en) 2011-12-06 2015-08-25 Nuance Communications, Inc. Method and apparatus for operating a frequently asked questions (FAQ)-based system
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9229974B1 (en) 2012-06-01 2016-01-05 Google Inc. Classifying queries
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
KR101978297B1 (ko) * 2012-06-11 2019-08-28 에스케이플래닛 주식회사 데이터 공유 서비스 시스템, 데이터 공유 서비스를 위한 장치 및 방법
US8577671B1 (en) 2012-07-20 2013-11-05 Veveo, Inc. Method of and system for using conversation state information in a conversational interaction system
US9465833B2 (en) 2012-07-31 2016-10-11 Veveo, Inc. Disambiguating user intent in conversational interaction system for large corpus information retrieval
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US9411803B2 (en) * 2012-09-28 2016-08-09 Hewlett Packard Enterprise Development Lp Responding to natural language queries
US9158772B2 (en) 2012-12-17 2015-10-13 International Business Machines Corporation Partial and parallel pipeline processing in a deep question answering system
US9141660B2 (en) 2012-12-17 2015-09-22 International Business Machines Corporation Intelligent evidence classification and notification in a deep question answering system
US9754215B2 (en) 2012-12-17 2017-09-05 Sinoeast Concept Limited Question classification and feature mapping in a deep question answering system
US9015097B2 (en) * 2012-12-19 2015-04-21 Nuance Communications, Inc. System and method for learning answers to frequently asked questions from a semi-structured data source
EP3809407A1 (en) 2013-02-07 2021-04-21 Apple Inc. Voice trigger for a digital assistant
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US9064001B2 (en) 2013-03-15 2015-06-23 Nuance Communications, Inc. Method and apparatus for a frequently-asked questions portal workflow
DK2994908T3 (da) 2013-05-07 2019-09-23 Veveo Inc Grænseflade til inkrementel taleinput med realtidsfeedback
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
KR101922663B1 (ko) 2013-06-09 2018-11-28 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US9336485B2 (en) * 2013-06-11 2016-05-10 International Business Machines Corporation Determining answers in a question/answer system when answer is not contained in corpus
US9418066B2 (en) 2013-06-27 2016-08-16 International Business Machines Corporation Enhanced document input parsing
US9824161B1 (en) * 2013-07-10 2017-11-21 Google Inc. Providing third party answers
US9898554B2 (en) * 2013-11-18 2018-02-20 Google Inc. Implicit question query identification
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US9276939B2 (en) * 2013-12-17 2016-03-01 International Business Machines Corporation Managing user access to query results
US10642935B2 (en) * 2014-05-12 2020-05-05 International Business Machines Corporation Identifying content and content relationship information associated with the content for ingestion into a corpus
US9569503B2 (en) * 2014-05-23 2017-02-14 International Business Machines Corporation Type evaluation in a question-answering system
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9966065B2 (en) 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
US9734193B2 (en) * 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
US9542496B2 (en) 2014-06-04 2017-01-10 International Business Machines Corporation Effective ingesting data used for answering questions in a question and answer (QA) system
US9697099B2 (en) 2014-06-04 2017-07-04 International Business Machines Corporation Real-time or frequent ingestion by running pipeline in order of effectiveness
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9754207B2 (en) 2014-07-28 2017-09-05 International Business Machines Corporation Corpus quality analysis
US10468126B1 (en) * 2014-08-19 2019-11-05 Multiscale Health Networks, Llc. Clinical activity network generation
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US11176201B2 (en) 2014-10-07 2021-11-16 International Business Machines Corporation Techniques for managing data in a cache memory of a question answering system
US11238090B1 (en) 2015-11-02 2022-02-01 Narrative Science Inc. Applied artificial intelligence technology for using narrative analytics to automatically generate narratives from visualization data
US11341338B1 (en) 2016-08-31 2022-05-24 Narrative Science Inc. Applied artificial intelligence technology for interactively using narrative analytics to focus and control visualizations of data
US10120844B2 (en) * 2014-10-23 2018-11-06 International Business Machines Corporation Determining the likelihood that an input descriptor and associated text content match a target field using natural language processing techniques in preparation for an extract, transform and load process
US9908051B2 (en) 2014-11-03 2018-03-06 International Business Machines Corporation Techniques for creating dynamic game activities for games
US9720963B2 (en) 2014-11-05 2017-08-01 International Business Machines Corporation Answer category data classifying using dynamic thresholds
US10691698B2 (en) * 2014-11-06 2020-06-23 International Business Machines Corporation Automatic near-real-time prediction, classification, and notification of events in natural language systems
US20160132501A1 (en) * 2014-11-07 2016-05-12 Google Inc. Determining answers to interrogative queries using web resources
US10387793B2 (en) 2014-11-25 2019-08-20 International Business Machines Corporation Automatic generation of training cases and answer key from historical corpus
US10061842B2 (en) 2014-12-09 2018-08-28 International Business Machines Corporation Displaying answers in accordance with answer classifications
US10176228B2 (en) * 2014-12-10 2019-01-08 International Business Machines Corporation Identification and evaluation of lexical answer type conditions in a question to generate correct answers
US10083002B2 (en) * 2014-12-18 2018-09-25 International Business Machines Corporation Using voice-based web navigation to conserve cellular data
US10108906B2 (en) * 2014-12-19 2018-10-23 International Business Machines Corporation Avoiding supporting evidence processing when evidence scoring does not affect final ranking of a candidate answer
US9652717B2 (en) * 2014-12-19 2017-05-16 International Business Machines Corporation Avoidance of supporting evidence processing based on key attribute predictors
US9684714B2 (en) 2014-12-22 2017-06-20 International Business Machines Corporation Using paraphrase metrics for answering questions
US9852136B2 (en) 2014-12-23 2017-12-26 Rovi Guides, Inc. Systems and methods for determining whether a negation statement applies to a current or past query
US9836452B2 (en) * 2014-12-30 2017-12-05 Microsoft Technology Licensing, Llc Discriminating ambiguous expressions to enhance user experience
US10585901B2 (en) 2015-01-02 2020-03-10 International Business Machines Corporation Tailoring question answer results to personality traits
US10147047B2 (en) 2015-01-07 2018-12-04 International Business Machines Corporation Augmenting answer keys with key characteristics for training question and answer systems
US10475043B2 (en) 2015-01-28 2019-11-12 Intuit Inc. Method and system for pro-active detection and correction of low quality questions in a question and answer based customer support system
US9854049B2 (en) 2015-01-30 2017-12-26 Rovi Guides, Inc. Systems and methods for resolving ambiguous terms in social chatter based on a user profile
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9165057B1 (en) 2015-03-10 2015-10-20 Bank Of America Corporation Method and apparatus for extracting queries from webpages
US10325212B1 (en) 2015-03-24 2019-06-18 InsideView Technologies, Inc. Predictive intelligent softbots on the cloud
WO2016156995A1 (en) * 2015-03-30 2016-10-06 Yokogawa Electric Corporation Methods, systems and computer program products for machine based processing of natural language input
US10083213B1 (en) * 2015-04-27 2018-09-25 Intuit Inc. Method and system for routing a question based on analysis of the question content and predicted user satisfaction with answer content before the answer content is generated
US10755294B1 (en) 2015-04-28 2020-08-25 Intuit Inc. Method and system for increasing use of mobile devices to provide answer content in a question and answer based customer support system
US10134050B1 (en) 2015-04-29 2018-11-20 Intuit Inc. Method and system for facilitating the production of answer content from a mobile device for a question and answer based customer support system
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10102275B2 (en) * 2015-05-27 2018-10-16 International Business Machines Corporation User interface for a query answering system
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US9727552B2 (en) * 2015-05-27 2017-08-08 International Business Machines Corporation Utilizing a dialectical model in a question answering system
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10447777B1 (en) 2015-06-30 2019-10-15 Intuit Inc. Method and system for providing a dynamically updated expertise and context based peer-to-peer customer support system within a software application
US10147037B1 (en) 2015-07-28 2018-12-04 Intuit Inc. Method and system for determining a level of popularity of submission content, prior to publicizing the submission content with a question and answer support system
US10170014B2 (en) * 2015-07-28 2019-01-01 International Business Machines Corporation Domain-specific question-answer pair generation
US10475044B1 (en) * 2015-07-29 2019-11-12 Intuit Inc. Method and system for question prioritization based on analysis of the question content and predicted asker engagement before answer content is generated
US10268956B2 (en) 2015-07-31 2019-04-23 Intuit Inc. Method and system for applying probabilistic topic models to content in a tax environment to improve user satisfaction with a question and answer customer support system
US10496716B2 (en) 2015-08-31 2019-12-03 Microsoft Technology Licensing, Llc Discovery of network based data sources for ingestion and recommendations
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US20170075985A1 (en) * 2015-09-16 2017-03-16 Microsoft Technology Licensing, Llc Query transformation for natural language queries
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10394804B1 (en) 2015-10-08 2019-08-27 Intuit Inc. Method and system for increasing internet traffic to a question and answer customer support system
US10242093B2 (en) 2015-10-29 2019-03-26 Intuit Inc. Method and system for performing a probabilistic topic analysis of search queries for a customer support system
US11222184B1 (en) 2015-11-02 2022-01-11 Narrative Science Inc. Applied artificial intelligence technology for using narrative analytics to automatically generate narratives from bar charts
US11232268B1 (en) 2015-11-02 2022-01-25 Narrative Science Inc. Applied artificial intelligence technology for using narrative analytics to automatically generate narratives from line charts
US11188588B1 (en) 2015-11-02 2021-11-30 Narrative Science Inc. Applied artificial intelligence technology for using narrative analytics to interactively generate narratives from visualization data
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US20170161386A1 (en) * 2015-12-02 2017-06-08 International Business Machines Corporation Adaptive product questionnaire
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US9514256B1 (en) 2015-12-08 2016-12-06 International Business Machines Corporation Method and system for modelling turbulent flows in an advection-diffusion process
US10146858B2 (en) 2015-12-11 2018-12-04 International Business Machines Corporation Discrepancy handler for document ingestion into a corpus for a cognitive computing system
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US9910912B2 (en) 2016-01-05 2018-03-06 International Business Machines Corporation Readability awareness in natural language processing systems
US9858336B2 (en) 2016-01-05 2018-01-02 International Business Machines Corporation Readability awareness in natural language processing systems
US9842161B2 (en) 2016-01-12 2017-12-12 International Business Machines Corporation Discrepancy curator for documents in a corpus of a cognitive computing system
US10176250B2 (en) 2016-01-12 2019-01-08 International Business Machines Corporation Automated curation of documents in a corpus for a cognitive computing system
CN106980624B (zh) 2016-01-18 2021-03-26 阿里巴巴集团控股有限公司 一种文本数据的处理方法和装置
US10127274B2 (en) * 2016-02-08 2018-11-13 Taiger Spain Sl System and method for querying questions and answers
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US10599699B1 (en) 2016-04-08 2020-03-24 Intuit, Inc. Processing unstructured voice of customer feedback for improving content rankings in customer support systems
US9785715B1 (en) * 2016-04-29 2017-10-10 Conversable, Inc. Systems, media, and methods for automated response to queries made by interactive electronic chat
US11599709B2 (en) * 2016-05-19 2023-03-07 Palo Alto Research Center Incorporated Natural language web browser
CN107402912B (zh) * 2016-05-19 2019-12-31 北京京东尚科信息技术有限公司 解析语义的方法和装置
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US10607146B2 (en) 2016-06-02 2020-03-31 International Business Machines Corporation Predicting user question in question and answer system
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10740401B2 (en) * 2016-06-10 2020-08-11 Local Knowledge-app Pty Ltd System for the automated semantic analysis processing of query strings
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10607153B2 (en) * 2016-06-28 2020-03-31 International Business Machines Corporation LAT based answer generation using anchor entities and proximity
CN106202285A (zh) * 2016-06-30 2016-12-07 北京百度网讯科技有限公司 搜索结果展示方法和装置
US10162734B1 (en) 2016-07-20 2018-12-25 Intuit Inc. Method and system for crowdsourcing software quality testing and error detection in a tax return preparation system
US10467541B2 (en) 2016-07-27 2019-11-05 Intuit Inc. Method and system for improving content searching in a question and answer customer support system by using a crowd-machine learning hybrid predictive model
US10460398B1 (en) 2016-07-27 2019-10-29 Intuit Inc. Method and system for crowdsourcing the detection of usability issues in a tax return preparation system
US10474703B2 (en) 2016-08-25 2019-11-12 Lakeside Software, Inc. Method and apparatus for natural language query in a workspace analytics system
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10902342B2 (en) * 2016-09-16 2021-01-26 International Business Machines Corporation System and method for scoring the geographic relevance of answers in a deep question answering system based on geographic context of an input question
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10445332B2 (en) 2016-09-28 2019-10-15 Intuit Inc. Method and system for providing domain-specific incremental search results with a customer self-service system for a financial management system
US10303683B2 (en) 2016-10-05 2019-05-28 International Business Machines Corporation Translation of natural language questions and requests to a structured query format
US10754886B2 (en) * 2016-10-05 2020-08-25 International Business Machines Corporation Using multiple natural language classifier to associate a generic query with a structured question type
US10572954B2 (en) 2016-10-14 2020-02-25 Intuit Inc. Method and system for searching for and navigating to user content and other user experience pages in a financial management system with a customer self-service system for the financial management system
US10733677B2 (en) 2016-10-18 2020-08-04 Intuit Inc. Method and system for providing domain-specific and dynamic type ahead suggestions for search query terms with a customer self-service system for a tax return preparation system
KR102589638B1 (ko) 2016-10-31 2023-10-16 삼성전자주식회사 문장 생성 장치 및 방법
US11244249B2 (en) 2016-11-11 2022-02-08 General Electric Company Machine learning templates in a machine learning framework
CN107038196A (zh) * 2016-11-28 2017-08-11 阿里巴巴集团控股有限公司 一种客服问题回答处理方法及装置
US10552843B1 (en) 2016-12-05 2020-02-04 Intuit Inc. Method and system for improving search results by recency boosting customer support content for a customer self-help system associated with one or more financial management systems
US10579728B2 (en) 2016-12-06 2020-03-03 International Business Machines Corporation Hidden cycle evidence booster
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
CN106649768B (zh) * 2016-12-27 2021-03-16 北京百度网讯科技有限公司 基于深度问答的问答澄清方法和装置
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10748157B1 (en) 2017-01-12 2020-08-18 Intuit Inc. Method and system for determining levels of search sophistication for users of a customer self-help system to personalize a content search user experience provided to the users and to increase a likelihood of user satisfaction with the search experience
CN106874441B (zh) * 2017-02-07 2024-03-05 腾讯科技（上海）有限公司 智能问答方法和装置
US10803249B2 (en) * 2017-02-12 2020-10-13 Seyed Ali Loghmani Convolutional state modeling for planning natural language conversations
US10860628B2 (en) 2017-02-16 2020-12-08 Google Llc Streaming real-time dialog management
US10943069B1 (en) 2017-02-17 2021-03-09 Narrative Science Inc. Applied artificial intelligence technology for narrative generation based on a conditional outcome framework
US11954445B2 (en) 2017-02-17 2024-04-09 Narrative Science Llc Applied artificial intelligence technology for narrative generation based on explanation communication goals
US11568148B1 (en) 2017-02-17 2023-01-31 Narrative Science Inc. Applied artificial intelligence technology for narrative generation based on explanation communication goals
US11068661B1 (en) 2017-02-17 2021-07-20 Narrative Science Inc. Applied artificial intelligence technology for narrative generation based on smart attributes
CN108509463B (zh) * 2017-02-28 2022-03-29 华为技术有限公司 一种问题的应答方法及装置
US10073831B1 (en) * 2017-03-09 2018-09-11 International Business Machines Corporation Domain-specific method for distinguishing type-denoting domain terms from entity-denoting domain terms
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
CN107977393A (zh) * 2017-05-22 2018-05-01 海南大学 一种面向5w问答的基于数据图谱、信息图谱、知识图谱和智慧图谱的推荐引擎设计方法
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10891295B2 (en) * 2017-06-04 2021-01-12 Apple Inc. Methods and systems using linear expressions for machine learning models to rank search results
US10901992B2 (en) * 2017-06-12 2021-01-26 KMS Lighthouse Ltd. System and method for efficiently handling queries
US10769138B2 (en) 2017-06-13 2020-09-08 International Business Machines Corporation Processing context-based inquiries for knowledge retrieval
US10853740B2 (en) 2017-06-23 2020-12-01 Microsoft Technology Licensing, Llc Natural language interface to interactive, operating-system shell and techniques for creating training data for the same
US10922367B2 (en) 2017-07-14 2021-02-16 Intuit Inc. Method and system for providing real time search preview personalization in data management systems
US11093709B2 (en) * 2017-08-10 2021-08-17 International Business Machine Corporation Confidence models based on error-to-correction mapping
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US11093951B1 (en) 2017-09-25 2021-08-17 Intuit Inc. System and method for responding to search queries using customer self-help systems associated with a plurality of data management systems
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US11055354B2 (en) * 2017-11-03 2021-07-06 Salesforce.Com, Inc. Omni-platform question answering system
US10776411B2 (en) * 2017-11-07 2020-09-15 International Business Machines Corporation Systematic browsing of automated conversation exchange program knowledge bases
US11157533B2 (en) * 2017-11-08 2021-10-26 International Business Machines Corporation Designing conversational systems driven by a semantic network with a library of templated query operators
US11238075B1 (en) * 2017-11-21 2022-02-01 InSkill, Inc. Systems and methods for providing inquiry responses using linguistics and machine learning
US10013654B1 (en) 2017-11-29 2018-07-03 OJO Labs, Inc. Cooperatively operating a network of supervised learning processors to concurrently distribute supervised learning processor training and provide predictive responses to input data
US10019491B1 (en) * 2017-11-29 2018-07-10 OJO Labs, Inc. Machine learning of response selection to structured data input
US10387576B2 (en) * 2017-11-30 2019-08-20 International Business Machines Corporation Document preparation with argumentation support from a deep question answering system
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10810215B2 (en) * 2017-12-15 2020-10-20 International Business Machines Corporation Supporting evidence retrieval for complex answers
US11481387B2 (en) 2017-12-28 2022-10-25 Microsoft Technology Licensing, Llc Facet-based conversational search
US11042708B1 (en) 2018-01-02 2021-06-22 Narrative Science Inc. Context saliency-based deictic parser for natural language generation
US11151464B2 (en) 2018-01-03 2021-10-19 International Business Machines Corporation Forecasting data based on hidden cycle evidence
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US11023689B1 (en) 2018-01-17 2021-06-01 Narrative Science Inc. Applied artificial intelligence technology for narrative generation using an invocable analysis service with analysis libraries
US11436642B1 (en) 2018-01-29 2022-09-06 Intuit Inc. Method and system for generating real-time personalized advertisements in data management self-help systems
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
JP6973515B2 (ja) * 2018-02-07 2021-12-01 日本電気株式会社 情報処理装置、情報処理方法及びプログラム
US11182556B1 (en) 2018-02-19 2021-11-23 Narrative Science Inc. Applied artificial intelligence technology for building a knowledge base using natural language processing
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10984784B2 (en) * 2018-03-07 2021-04-20 Google Llc Facilitating end-to-end communications with automated assistants in multiple languages
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
GB201804807D0 (en) * 2018-03-26 2018-05-09 Orbital Media And Advertising Ltd Interaactive systems and methods
US11269665B1 (en) 2018-03-28 2022-03-08 Intuit Inc. Method and system for user experience personalization in data management systems using machine learning
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US11106664B2 (en) * 2018-05-03 2021-08-31 Thomson Reuters Enterprise Centre Gmbh Systems and methods for generating a contextually and conversationally correct response to a query
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
CN108921743B (zh) * 2018-06-20 2020-12-22 大国创新智能科技(东莞)有限公司 基于大数据与人工智能的解惑方法和解惑教育机器人系统
US11042713B1 (en) 2018-06-28 2021-06-22 Narrative Scienc Inc. Applied artificial intelligence technology for using natural language processing to train a natural language generation system
US10803253B2 (en) 2018-06-30 2020-10-13 Wipro Limited Method and device for extracting point of interest from natural language sentences
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11288319B1 (en) * 2018-09-28 2022-03-29 Splunk Inc. Generating trending natural language request recommendations
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US20200159824A1 (en) * 2018-11-15 2020-05-21 International Business Machines Corporation Dynamic Contextual Response Formulation
US11055330B2 (en) * 2018-11-26 2021-07-06 International Business Machines Corporation Utilizing external knowledge and memory networks in a question-answering system
US11004095B2 (en) 2018-11-28 2021-05-11 International Business Machines Corporation Micro-service sequencing and recommendation
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US10949613B2 (en) 2019-01-11 2021-03-16 International Business Machines Corporation Dynamic natural language processing
US10909180B2 (en) * 2019-01-11 2021-02-02 International Business Machines Corporation Dynamic query processing and document retrieval
US10990767B1 (en) 2019-01-28 2021-04-27 Narrative Science Inc. Applied artificial intelligence technology for adaptive natural language understanding
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11887585B2 (en) 2019-05-31 2024-01-30 Apple Inc. Global re-ranker
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11200266B2 (en) * 2019-06-10 2021-12-14 International Business Machines Corporation Identifying named entities in questions related to structured data
US11157707B2 (en) 2019-07-23 2021-10-26 International Business Machines Corporation Natural language response improvement in machine assisted agents
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
US11797820B2 (en) * 2019-12-05 2023-10-24 International Business Machines Corporation Data augmented training of reinforcement learning software agent
US11748128B2 (en) 2019-12-05 2023-09-05 International Business Machines Corporation Flexible artificial intelligence agent infrastructure for adapting processing of a shell
TWI737101B (zh) * 2019-12-27 2021-08-21 財團法人工業技術研究院 問答學習方法、應用其之問答學習系統及其電腦程式產品
CN111125335B (zh) * 2019-12-27 2021-04-06 北京百度网讯科技有限公司 问答处理方法、装置、电子设备和存储介质
CN111241285B (zh) * 2020-01-15 2023-09-01 北京百度网讯科技有限公司 问题回答类型的识别方法、装置、设备及存储介质
US11562749B2 (en) 2020-05-01 2023-01-24 Adp, Inc. System and method for query authorization and response generation using machine learning
US20230107944A1 (en) * 2020-05-08 2023-04-06 Katapal, Inc. Systems and methods for conversational ordering
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
CN113392308A (zh) * 2021-06-22 2021-09-14 北京字节跳动网络技术有限公司 内容搜索方法、装置、设备及介质
CN113505207B (zh) * 2021-07-02 2024-02-20 中科苏州智能计算技术研究院 一种金融舆情研报的机器阅读理解方法及系统
US20230037894A1 (en) * 2021-08-04 2023-02-09 Accenture Global Solutions Limited Automated learning based executable chatbot

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090006345A1 (en) * 2007-06-28 2009-01-01 Microsoft Corporation Voice-based search processing
CN101339551A (zh) * 2007-07-05 2009-01-07 日电（中国）有限公司 自然语言查询需求扩展设备及其方法
US20100005081A1 (en) * 1999-11-12 2010-01-07 Bennett Ian M Systems for natural language processing of sentence based queries
US20120078636A1 (en) * 2010-09-28 2012-03-29 International Business Machines Corporation Evidence diffusion among candidate answers during question answering

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7610556B2 (en) * 2001-12-28 2009-10-27 Microsoft Corporation Dialog manager for interactive dialog with computer user
US7019749B2 (en) * 2001-12-28 2006-03-28 Microsoft Corporation Conversational interface agent
EP1797509A2 (en) * 2004-10-07 2007-06-20 Language Computer Corporation Natural language question answering system and method utilizing a multi-modal logic
US8832064B2 (en) * 2005-11-30 2014-09-09 At&T Intellectual Property Ii, L.P. Answer determination for natural language questioning
US7856350B2 (en) * 2006-08-11 2010-12-21 Microsoft Corporation Reranking QA answers using language modeling
US8484014B2 (en) * 2008-11-03 2013-07-09 Microsoft Corporation Retrieval using a generalized sentence collocation
US8326820B2 (en) * 2009-09-30 2012-12-04 Microsoft Corporation Long-query retrieval
US20110082848A1 (en) * 2009-10-05 2011-04-07 Lev Goldentouch Systems, methods and computer program products for search results management

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100005081A1 (en) * 1999-11-12 2010-01-07 Bennett Ian M Systems for natural language processing of sentence based queries
US20090006345A1 (en) * 2007-06-28 2009-01-01 Microsoft Corporation Voice-based search processing
CN101339551A (zh) * 2007-07-05 2009-01-07 日电（中国）有限公司 自然语言查询需求扩展设备及其方法
US20120078636A1 (en) * 2010-09-28 2012-03-29 International Business Machines Corporation Evidence diffusion among candidate answers during question answering

Cited By (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104699845B (zh) * 2015-03-31 2016-10-12 北京奇虎科技有限公司 基于提问类搜索词的搜索结果提供方法及装置
CN104699845A (zh) * 2015-03-31 2015-06-10 北京奇虎科技有限公司 基于提问类搜索词的搜索结果提供方法及装置
CN112527827A (zh) * 2015-06-29 2021-03-19 微软技术许可有限责任公司 用于多维数据的自动洞察
US11507834B2 (en) 2016-03-16 2022-11-22 Microsoft Technology Licensing, Llc Parallel-hierarchical model for machine comprehension on small data
CN108780445A (zh) * 2016-03-16 2018-11-09 马鲁巴公司 用于对小数据的机器理解的并行分层模型
CN105912629A (zh) * 2016-04-07 2016-08-31 上海智臻智能网络科技股份有限公司 一种智能问答方法及装置
TWI638274B (zh) * 2016-04-12 2018-10-11 芋頭科技(杭州)有限公司 一種語義匹配方法及智能設備
CN105912527A (zh) * 2016-04-19 2016-08-31 北京高地信息技术有限公司 根据自然语言输出答案的方法、装置及系统
CN109478204A (zh) * 2016-05-17 2019-03-15 马鲁巴公司 非结构化文本的机器理解
CN109478204B (zh) * 2016-05-17 2023-09-15 微软技术许可有限责任公司 非结构化文本的机器理解
CN106202476A (zh) * 2016-07-14 2016-12-07 广州安望信息科技有限公司 一种基于知识图谱的人机对话的方法及装置
CN106202476B (zh) * 2016-07-14 2017-06-06 广州安望信息科技有限公司 一种基于知识图谱的人机对话的方法及装置
CN108228637A (zh) * 2016-12-21 2018-06-29 中国电信股份有限公司 自然语言客户自动应答方法和系统
CN106789595A (zh) * 2017-01-17 2017-05-31 北京诸葛找房信息技术有限公司 信息推送方法和装置
CN108345612A (zh) * 2017-01-25 2018-07-31 北京搜狗科技发展有限公司 一种问题处理方法和装置、一种用于问题处理的装置
CN108345612B (zh) * 2017-01-25 2023-10-27 北京搜狗科技发展有限公司 一种问题处理方法和装置、一种用于问题处理的装置
CN111095234A (zh) * 2017-09-15 2020-05-01 国际商业机器公司 训练数据更新
CN111213140A (zh) * 2017-10-10 2020-05-29 尼根特罗匹克斯软件有限公司 大型数据库中语义搜索的方法和系统
CN111386686B (zh) * 2017-11-09 2022-10-18 微软技术许可有限责任公司 用于回答与文档相关的查询的机器阅读理解系统
US11409749B2 (en) 2017-11-09 2022-08-09 Microsoft Technology Licensing, Llc Machine reading comprehension system for answering queries related to a document
CN111386686A (zh) * 2017-11-09 2020-07-07 微软技术许可有限责任公司 用于回答与文档相关的查询的机器阅读理解系统
CN109960734A (zh) * 2017-12-22 2019-07-02 奥多比公司 用于数据可视化的问题回答
CN108256056A (zh) * 2018-01-12 2018-07-06 广州杰赛科技股份有限公司 智能问答方法与系统
CN111566652B (zh) * 2018-01-15 2024-02-27 微软技术许可有限责任公司 用于辅助用户完成任务的上下文感知的推荐
CN111566652A (zh) * 2018-01-15 2020-08-21 微软技术许可有限责任公司 用于辅助用户完成任务的上下文感知的推荐
CN110059165A (zh) * 2018-01-19 2019-07-26 国际商业机器公司 便利回答涉及对定量信息推理的问题
US11651010B2 (en) 2018-01-19 2023-05-16 International Business Machines Corporation Facilitating answering questions involving reasoning over quantitative information
CN111712836A (zh) * 2018-02-09 2020-09-25 易享信息技术有限公司 作为问答的多任务学习
CN111712836B (zh) * 2018-02-09 2023-09-19 硕动力公司 作为问答的多任务学习
CN110532376A (zh) * 2018-04-13 2019-12-03 国际商业机器公司 分类文本以确定用于选择机器学习算法结果的目标类型
CN110532376B (zh) * 2018-04-13 2024-03-19 玛雷迪夫美国公司 分类文本以确定用于选择机器学习算法结果的目标类型
CN108829757B (zh) * 2018-05-28 2022-01-28 广州麦优网络科技有限公司 一种聊天机器人的智能服务方法、服务器及存储介质
CN108829757A (zh) * 2018-05-28 2018-11-16 广州麦优网络科技有限公司 一种聊天机器人的智能服务方法、服务器及存储介质
US11748232B2 (en) * 2018-05-31 2023-09-05 Ukg Inc. System for discovering semantic relationships in computer programs
US20220035728A1 (en) * 2018-05-31 2022-02-03 The Ultimate Software Group, Inc. System for discovering semantic relationships in computer programs
CN108959529A (zh) * 2018-06-29 2018-12-07 北京百度网讯科技有限公司 问题答案类型的确定方法、装置、设备及存储介质
CN112313647A (zh) * 2018-08-06 2021-02-02 谷歌有限责任公司 Captcha自动助理
CN109272129A (zh) * 2018-09-20 2019-01-25 重庆先特服务外包产业有限公司 呼叫中心业务管理系统
CN110582761B (zh) * 2018-10-24 2023-05-30 创新先进技术有限公司 基于点击图上向量传播模型的智能客户服务
CN110582761A (zh) * 2018-10-24 2019-12-17 阿里巴巴集团控股有限公司 基于点击图上向量传播模型的智能客户服务
CN109800293A (zh) * 2018-12-20 2019-05-24 出门问问信息科技有限公司 一种基于问题分类获取答案的方法、装置及电子设备
CN110210021A (zh) * 2019-05-22 2019-09-06 北京百度网讯科技有限公司 阅读理解方法及装置
CN112199476A (zh) * 2019-06-23 2021-01-08 国际商业机器公司 在会话智能导师系统中部分正确答案后选择支架的自动决策
CN111177371B (zh) * 2019-12-05 2023-03-21 腾讯科技（深圳）有限公司 一种分类方法和相关装置
CN111177371A (zh) * 2019-12-05 2020-05-19 腾讯科技（深圳）有限公司 一种分类方法和相关装置
CN112818093A (zh) * 2021-01-18 2021-05-18 平安国际智慧城市科技股份有限公司 基于语义匹配的证据文档检索方法、系统及存储介质
CN112784600A (zh) * 2021-01-29 2021-05-11 北京百度网讯科技有限公司 信息排序方法、装置、电子设备和存储介质
CN112784600B (zh) * 2021-01-29 2024-01-16 北京百度网讯科技有限公司 信息排序方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
US20140006012A1 (en) 2014-01-02
EP2867802A1 (en) 2015-05-06
WO2014008272A1 (en) 2014-01-09

Similar Documents

Publication Publication Date Title
CN104471568A (zh) 对自然语言问题的基于学习的处理
CN110765244B (zh) 获取应答话术的方法、装置、计算机设备及存储介质
Sharif et al. Sentiment analysis of Bengali texts on online restaurant reviews using multinomial Naïve Bayes
Troussas et al. Sentiment analysis of Facebook statuses using Naive Bayes classifier for language learning
Bergsma et al. Stylometric analysis of scientific articles
US8386240B2 (en) Domain dictionary creation by detection of new topic words using divergence value comparison
CN111695033A (zh) 企业舆情分析方法、装置、电子设备及介质
Karadzhov et al. We built a fake news & click-bait filter: what happened next will blow your mind!
US20110231347A1 (en) Named Entity Recognition in Query
Barbosa et al. Evaluating hotels rating prediction based on sentiment analysis services
US20130159277A1 (en) Target based indexing of micro-blog content
CN112800170A (zh) 问题的匹配方法及装置、问题的回复方法及装置
US20200210442A1 (en) Identifying and extracting addresses within content
Kausar et al. ProSOUL: a framework to identify propaganda from online Urdu content
CN112307164A (zh) 信息推荐方法、装置、计算机设备和存储介质
Suchdev et al. Twitter sentiment analysis using machine learning and knowledge-based approach
CN114238573A (zh) 基于文本对抗样例的信息推送方法及装置
Zhu et al. Real-time personalized twitter search based on semantic expansion and quality model
KR102206781B1 (ko) 지식 기반 추론 및 신뢰도 분석을 이용한 가짜뉴스 판별 방법, 이를 수행하기 위한 기록매체 및 장치
Duşçu et al. Polarity classification of twitter messages using audio processing
Lucy et al. Words as gatekeepers: Measuring discipline-specific terms and meanings in scholarly publications
CN115878752A (zh) 文本情感的分析方法、装置、设备、介质及程序产品
US20140272842A1 (en) Assessing cognitive ability
CN111159405B (zh) 基于背景知识的讽刺检测方法
Eskandari et al. Predicting best answer using sentiment analysis in community question answering systems

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150325