CN104471568A - 对自然语言问题的基于学习的处理 - Google Patents
对自然语言问题的基于学习的处理 Download PDFInfo
- Publication number
- CN104471568A CN104471568A CN201380035865.5A CN201380035865A CN104471568A CN 104471568 A CN104471568 A CN 104471568A CN 201380035865 A CN201380035865 A CN 201380035865A CN 104471568 A CN104471568 A CN 104471568A
- Authority
- CN
- China
- Prior art keywords
- natural language
- candidate answers
- answer
- multiple search
- language problem
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
所描述的技术使得能够使用基于机器学习的方法来收集和分析来自web搜索的证据来回答自然语言问题。接收到的自然语言问题被分析以提取查询单元并使用基于规则的探试和/或通过机器学习训练的分类器来确定问题类型、答案类型和/或词汇答案类型。查询生成模板被用于生成多个经排序的查询,这多个经排序的查询被用于收集证据来确定对于自然语言问题的答案。基于暗暗类型和/或词汇答案类型来从结果中提取候选答案,并使用先前被离线训练的排序器对候选答案进行排序。计算候选答案的置信度水平,并且如果排名第一(前几)的回答的置信度水平超过阈值,则该排名第一(前几)的回答可被提供给用户。
Description
背景
在线搜索引擎向用户提供了用于在web上定位内容的功能强大的手段。也许由于搜索引擎是软件程序,所以它们被开发为更加高效地处理以诸如反映编程语言的形式的布尔查询之类的形式输入的查询。然而,许多用户可能偏好以自然语言形式输入查询,类似于他们在日常生活中可能正常交流的那样。例如,搜索web以知晓保加利亚的首都的用户可能偏好输入“保加利亚的首都是什么?”而非“首都AND保加利亚”。由于许多搜索引擎已经被优化来接受具有正式查询形式的用户查询,它们可能不太能够高效且准确地对自然语言查询进行响应。
以前的方案倾向于依赖经组织的数据知识库来回答自然语言查询。这个方式以创建的Watson问题回答计算系统为例,其出名地出现在美国的游戏节目上并取得了胜利。因为Watson和类似的方案依赖于知识库,所以它们所能回答的问题的范围可被限于知识库中经组织的数据的范围。此外,这样的知识库在用新数据来更新方面可能是昂贵且耗时的。
发明内容
描述了用于通过使用基于机器学习的方法来收集和分析来自web搜索的证据来回答由用户作为搜索查询输入的自然语言问题的技术。在一些示例中,在接收到由用户输入的自然语言问题后,执行分析来确定该问题的问题类型、答案类型和/或词汇答案类型(LAT)。该分析可采用基于规则的探试和/或使用机器学习来离线训练的分类器。也可使用组块、句子边界检测、句子模式检测、解析、指定实体检测、词性标记、标记化或其它工具来从自然语言问题中提取一个或多个查询单元。
在一些实现方式中,所提取的查询单元、答案类型、问题类型和/或LAT随后可被应用到一个或多个查询生成模板以生成多个查询,该多个查询将被用于收集证据来确定针对自然语言问题的答案。接着,可使用通过使用机器学习被离线训练的排序器对这些查询进行排序,排名前N的查询可被发送到搜索引擎。接着,可使用另一经机器学习训练的排序器对结果(例如,web文档的地址和/或片断)进行过滤和/或排序,并且基于答案类型和/或LAT从结果中提取候选回答。可使用通过使用机器学习被离线训练的排序器对候选答案进行排序,并且排名在前的回答可被提供给用户。也可确定候选答案的置信度水平,并且如果排名第一的答案的置信度水平超过阈值置信度,则该答案可被提供。
提供本概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本发明内容并不旨在标识所要求保护主题的关键特征或必要特征,也不旨在用于限制所要求保护主题的范围。
附图说明
参考附图来描述具体实施方式。在附图中,附图标记最左边的数字标识该附图标记首次出现的附图。在不同的附图中使用相同的附图标记指示类似或相同的项。
图1描绘了根据各实施例的用于回答自然语言问题的示例用例。
图2是描绘各实施例可在其中操作的示例环境的示意图。
图3是示出根据各实施例的示例计算系统的图。
图4描绘了根据各实施例的用于回答自然语言问题的说明性过程的流程图。
图5描绘了根据各实施例的用于分析自然语言问题来确定问题类型、答案类型、LAT和/或查询单元的说明性过程的流程图。
图6描绘了根据各实施例的用于确定多个搜索查询来收集用于回答自然语言问题的证据的说明性过程的流程图。
图7描绘了根据各实施例的用于分析搜索结果作为用于回答自然语言问题的证据的说明性过程的流程图。
图8描绘了根据各实施例的用于从搜索结果证据中提取可能的答案的说明性过程的流程图。
详细描述
概览
在此描述的各实施例提供了用于回答由用户作为搜索查询输入的自然语言问题的技术。在一些实施例中,从寻找对自然语言问题的答案的用户接收作为搜索查询的该自然语言问题(例如,通过搜索引擎)。如本文所描述的,自然语言问题包括字符序列,该字符序列至少部分可采用表现正常、日常讲话的语法和/或句法。例如,用户可询问问题“保加利亚的首都是什么?”或“大宪章是何时签署的?”。虽然本文给出的一些示例描述了包括特定问题形式(例如,谁,什么,哪里,何时,为何,如何等)的自然语言问题,但是各实施例并不被如此限制并可支持任何形式的自然语言问题。
为了标识针对自然问题的至少一个回答,各实施例采用四个阶段:问题理解,查询公式化,证据收集以及答案提取/排序。进一步参考图4-8来描述这四个阶段中的各个阶段。概览部分的其余部分参考图1中示出的示例情形简要地描述了这四个阶段。该示例情形开始于接收到自然语言问题102,“就在这个‘Gretchen am Spinnrade’作曲家遇见贝多芬后不久,他是在他的葬礼上的持火把者”。各实施例采用web搜索证据搜集和分析(至少部分地是基于机器学习的)来尝试查明答案。在该示例中的实际答案是“Franz Schubert”。
在一些实施例中,问题理解包括对自然语言问题进行分析来预测问题类型和答案类型。问题类型可包括仿真事实型(例如,“保加利亚的首都是什么?”)、定义型(例如,“‘ambidextrous’的含义是什么?”)、谜题型(例如,“我能用字母BYONGEO拼出什么单词?”)、数学型(例如,“最低的十个幸福数字(happy numbers)是什么?”)或任何其它类型的问题。答案类型可包括人、位置、时间/日期、数量、事件、生物(例如,动物、植物等)、物体、概念或任何其它答案类型。在一些实施例中,词汇答案类型(LAT)也可以被预测。LAT可更具体和/或可以是答案类型的子集。例如,具有答案类型“人”的问题可具有“作曲家”的LAT。对问题类型、答案类型和/或LAT的预测可使用基于规则的探试方法、(例如在在线接收到自然语言问题之前)使用机器学习来离线训练的分类器,或这两个方法的组合。在图1的示例中,自然语言问题102具有事实型的问题类型104、人的答案类型106以及作曲家的LAT 108。
问题理解也可包括从自然语言问题中提取查询单元。查询单元可以包括以下的一个或多个:单词、基本名词短语、句子、指定实体、引用、释义(例如,基于同义词、上位词等的重新阐述)以及事实。可使用对自然语言问题的基于语法的分析来提取查询单元,基于语法的分析包括以下的一个或多个:组块、句子边界检测、句子模式检测、解析、指定实体检测、词性标记以及标记化。在图1显示的示例中,自然语言问题102包括诸如以下的查询单元110:单词(例如,“不久”、“Gretchen”、“作曲家”等)、名词短语(例如,“作曲家遇见贝多芬”、“在他的葬礼上的持火把者”等)、指定实体(例如,“Gretchenam Spinnrade”、“贝多芬”等)、引用(例如,“‘Gretchen am Spinnrade’”)以及释义(例如,将作曲家改写为“音乐家”、“艺术家”等)。
在一些实施例中,第二阶段是查询公式化。在这个阶段,从问题理解阶段获取的信息可被用于生成一个或多个搜索查询以用于收集证据来确定针对自然语言问题的回答。在一些实施例中,所提取的查询单元以及问题类型、答案类型和/或LAT被应用到一个或多个查询生成模板来生成一组候选查询。可使用通过使用不受监督的机器学习技术或诸如支持向量机(SVM)等受监督的机器学习技术来离线训练的排序器对候选查询进行排序。在一些实施例中,排名在前的预定数量N(例如,25)个查询被发送以由诸如等一个或多个web搜索引擎执行。在图1显示的示例中,排名前三的搜索查询112被确定为:“Gretchen am Spinnrade作曲家”、“什么是Gretchen am Spinnrade”以及“作曲家遇见贝多芬”。
在一些实施例中,第三阶段是证据收集,其中排名前N个搜索查询被搜索引擎执行并且搜索结果被分析。在一些实施例中,每个搜索查询的前N个结果(例如,由执行搜索查询的搜索引擎排序的)可被相互合并以创建搜索结果的经合并的列表。在一些实施例中,搜索结果可包括结果网页的地址(诸如,统一资源定位符(URL)、统一资源标识符(URI)、网际协议(IP)地址、或其它标识符)和/或来自结果网页的内容的片断。经合并的搜索结果可被过滤来移除重复的结果和/或噪声结果。
在第四阶段答案提取/排序阶段,可从搜索结果中提取候选答案。在一些实施例中,候选答案提取包括对搜索结果页面中具有与在问题理解阶段确定的答案类型和/或LAT相匹配的类型的那些指定实体的基于词典的实体识别。在一些实施例中,所提取的指定实体被规范化以扩展缩写式、纠正搜索结果中的拼写错误、扩展适当的名称(例如,从Bill到William)等等。在图1的示例中,所提取的候选答案114包括Ludwig van Beethoven、Franz、Franz Grillparzer、Franz Schubert和Franz Liszt。
接着,可通过将为各个候选答案确定的一组特征应用到使用机器学习技术(例如,SVM)来离线训练的排序器来对候选答案进行排序。在图1的示例中,经排序的候选答案116是Franz Schubert、Franz Liszt、Franz Grillparzer、Franz和Ludwig van Beethoven。在一些实施例中,可为排名在前的候选答案中的一个或多个确定置信度水平。置信度水平可被规范化为从0到1,并且,在一些实施例中,当排名第一的候选答案具有超过预定的阈值置信度水平的置信度水平时,该排名第一的候选答案作为针对用户的问题的答案被提供。在图1的示例中,回答118是具有置信度水平0.85的Franz Schubert。以下参考图2-8进一步描述各实施例。
说明性环境
图2示出了各实施例可在其中操作的示例环境200。如所示,环境200的各种计算设备经一个或多个网络202彼此通信,网络可包括允许这种通信的任何类型的网络。例如,网络202可包括诸如因特网之类的公共网络、诸如机构和/或个人内联网、或专用和公开网络的某种组合。网络202还可包括任何类型的有线和/或无线网络,包括但不限于局域网(LAN)、广域网(WAN)、Wi-Fi、WiMax以及移动通信网络(如3G、4G等等)。网络202可利用通信协议,包括基于分组的和/或基于数据报的协议,如IP、传输控制协议(TCP)、用户数据报协议(UDP)或其他类型的协议。而且,网络202还可包括便于网络通信和/或形成网络的硬件基础的若干设备,如交换机、路由器、网关、接入点、防火墙、基站、中继器、主干设备等等。
环境200进一步包括诸如客户端设备204的一个或多个客户端计算设备。在一些实施例中,客户端设备204是与一个或多个可能向web搜索引擎或其它应用提供自然语言问题的终端用户相关联的。客户端设备204可包括用户可用来通过网络202发送和接收信息的任何类型的计算设备。例如,客户端设备204可包括但不限于台式计算机、膝上型计算机、平板计算机、电子书阅读器、可佩戴计算机、媒体播放器、车用计算机、移动计算设备、智能电话、个人数字助理(PDA)、游戏控制台、移动游戏设备、机顶盒等等。客户端设备204可包括使得用户能够浏览到在线搜索引擎或其它联网应用并输入可通过在此描述的各实施例来回答的自然语言问题的一个或多个应用、程序或软件组件(例如,web浏览器)。
如在图2中进一步显示的,环境200可包括一个或多个服务器计算设备,诸如自然语言问题处理服务器设备206、搜索引擎服务器设备208和机器学习服务器设备210。在一些实施例中,这些服务器计算设备中的一个或多个可由提供用于根据本文描述的各实施例回答自然语言问题的网络服务的个体、企业或其它实体进行管理、操作和/或一般地关联。这些服务器计算设备实质上可以是任何类型的联网计算设备或联网计算设备的群集。虽然在图2中单独地描绘了这三种类型的服务器,但是各实施例并不限于此。在一些实施例中,自然语言问题处理服务器设备206、搜索引擎服务器设备208和/或机器学习服务器设备210的功能可被组合到一个或多个服务器上或可被选择以最优化性能的任何组合中的服务器群集,以用于有效地使用物理空间、用于商业原因、用于可用性原因以及其它原因。
在一些实施例中,自然语言问题处理服务器设备206提供用于接收、分析和/或回答从客户端设备204的用户接收到的自然语言问题的服务。这些服务在此结合图4-8进一步描述。
在一些实施例中,搜索引擎服务器设备208提供用于执行在线web搜索的服务(例如,搜索引擎软件应用和用户界面)。同样地,这些服务器可接收web搜索查询并以满足搜索查询的网页的地址或标识符(例如,URL、URI、IP地址等)的形式和/或以来自所得到的网页的内容的至少一部分(例如,片断)的形式来提供结果。搜索引擎服务器设备208也可对搜索结果按照相关性或预测的用户兴趣的次序进行排序。在一些实施例中,自然语言问题处理服务器设备206可采用由搜索引擎服务器设备208主控的一个或多个搜索引擎来收集用于回答自然语言问题的证据,如在此进一步描述的。
在一些实施例中,机器学习服务器设备210提供用于训练分类器、排序器和/或其它用于本文描述的分类和/或排序的组件的服务。这些服务可包括不受监督的机器学习技术和/或受监督的机器学习技术,诸如SVM。
如图2中所示的,环境200还可包括一个或多个知识库212。这些知识库可被用于补充在此描述的基于web搜索的技术,并可包括一般兴趣的知识库(例如,)或覆盖指定的感兴趣的主题的更明确的知识库。
说明性计算系统架构
图3描绘了根据各实施例的示例计算系统300。在一些实施例中,计算系统300是图2中描绘的客户端设备204、自然语言问题处理服务器设备206、搜索引擎服务器设备208和/或机器学习服务器设备210的示例。计算系统300包括处理单元302。处理单元302可包含多个处理单元,并可被实现为硬件、软件或其某种组合。处理单元302可包括一个或多个处理器。如本文所使用的,处理器包括硬件组件。此外,处理单元302可包括以任何合适的编程语言编写的用以执行本文所描述的各种功能的计算机可执行的、处理器可执行的和/或机器可执行的指令。计算设备300还包括系统存储器304,系统存储器可包括诸如随机存取存储器(RAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)等之类的易失性存储器。RAM 306包括一个或多个执行中的操作系统(OS)308,以及一个或多个执行中的过程,包括可由处理单元302加载和执行的组件、程序或应用。这样的过程可包括自然语言问题处理组件310以执行接收、分析由用户提供的自然语言问题、收集关于该自然语言问题的证据和/或回答该自然语言问题的动作。这些功能在此结合图4-8进一步描述。RAM 306也可包括用于基于web查询来执行web搜索的搜索引擎组件312,以及用于使用受监督的或不受监督的机器学习方法来训练分类器或其它实体的机器学习组件314。
系统存储器304还可包括诸如只读存储器(ROM)316、闪存等之类的非易失性存储器。如显示的,ROM 316可包括用于引导计算系统300的基本输入/输出系统(BIOS)318。尽管未显示,但是系统存储器304可进一步存储由OS308或在系统存储器304中执行的任何组件、程序或应用生成和/或利用的程序或组件数据。系统存储器304还可包括高速缓存存储器。
如图3中所示,计算系统300还可包括诸如不可移动存储322(例如,硬盘驱动器)和/或可移动存储324的计算机可读存储介质320,包括但不限于磁盘存储、光盘存储、磁带存储等等。盘驱动器及相关联的计算机可读介质可为计算系统300的操作提供对计算机可读指令、数据结构、程序模块以及其它数据的非易失性存储。
一般来说,计算机可读介质包括计算机可读存储介质和通信介质。
计算机可读存储介质是包括以用于存储如计算机可读指令、数据结构、程序模块和其他数据等信息的任何方法或技术来实现的易失性和非易失性、可移动和不可移动介质的有形介质。计算机存储介质包括但不限于,RAM、ROM、可擦除可编程只读存储器(EEPROM)、SRAM、DRAM、闪存或其他存储器技术、紧致盘只读存储器(CD-ROM)、数字多功能盘(DVD)或其他光存储、磁带盒、磁带、磁盘存储或其他磁存储设备,或者可用于存储信息以供计算设备访问的任何其他非传输介质。
相反,是非有形的通信介质可在诸如载波的已调制数据信号或其他传输机制中体现计算机可读指令、数据结构、程序模块或其他数据。如本文所限定的,计算机可读存储介质不包括通信介质。
计算系统300还可包括输入设备326,包括但不限于键盘、鼠标、笔、游戏控制器、用于语音识别的语音输入设备、触摸屏、触摸输入设备、姿势输入设备、基于运动或基于对象的识别输入设备、生物信息输入设备等。计算系统300还可包括输出设备328,包括但不限于显示器、打印机、音频扬声器、触觉输出等等。计算系统300可进一步包括通信连接330,该通信连接300允许计算系统300与其它计算设备332进行通信,其它计算设备包括客户端设备、服务器设备、数据库和/或其它可通过一个或多个通信网络访问的联网设备。
示例操作
图4-8描绘了示出根据各种实施例的示例过程的流程图。这些过程的操作在单独的框中示出,并且参考这些框来概括。这些过程被示为逻辑流程图,其每个操作可表示可用硬件、软件或其组合实现的一个或多个操作。在软件的上下文中,这些操作表示存储在一个或多个计算机存储介质上的计算机可执行指令,这些指令在由一个或多个处理器执行时使得一个或多个处理器执行既定操作。一般而言,计算机可执行指令包括执行特定功能或实现特定抽象数据类型的例程、程序、对象、模块、组件、数据结构等。描述操作的次序并不旨在解释为限制,并且任何数量的所述操作可以按任何次序进行组合、细分成多个子操作、和/或并行执行,以实现所描述的过程。在一些实施例中,图4-8中示出的过程由自然语言问题处理服务器设备206和/或自然语言问题处理组件310中的一个或多个来执行。
图4描绘了根据各实施例的用于回答自然语言问题的说明性过程400的流程图。该过程可遵循以上描述的四个阶段:问题理解,查询公式化,证据收集以及答案提取/排序。在402,接收到自然语言问题。在一些实施例中,问题可在在线通信会话期间从用户(诸如客户端设备204的用户)接收,并且该问题可通过搜索网站或其它网络应用的用户界面提供给用户。在一些实施例中,也可接收分类。例如(例如,如在游戏中),可接收到指示自然语言问题属于一宽泛的分类(诸如地理、历史、科学、娱乐等)或一较窄的分类(诸如澳大利亚的地理、拜占庭帝国的历史、碳水化合物代谢的科学)的信息。
在404,分析自然语言问题和/或分类来预测或确定与自然语言问题相关联的问题类型和答案类型。在一些实施方式中,还为问题预测LAT。还可从自然语言问题中提取一个或多个查询单元。这些任务是问题理解阶段的一部分,并且结合图5进行进一步详细地描述。
在406,基于在404对自然语言问题的分析来公式化一个或多个搜索查询。在一些实施例中,该公式化包括将查询单元、问题类型、答案类型和/或LAT应用到一个或多个查询生成模板。这些任务是查询公式化阶段的一部分,并且结合图6进行进一步详细地描述。
在408,通过由至少一个搜索引擎执行一个或多个搜索查询来收集证据。该证据收集阶段结合图7进行进一步描述。
在410,分析从执行一个或多个搜索查询中得到的搜索结果以从该搜索结果中提取或以其它方式确定和排序一个或多个候选答案。该答案提取和排序阶段结合图8进行进一步描述。
在412,向用户提供一个或多个候选答案。在一些实施例中,某个预定数量个排名在前的候选答案被提供给用户。在一些实施例中,还可在每个候选答案旁提供置信度水平以提供系统对该候选答案可能是准确的置信度的测量。在一些实施例中,基于排名最高的候选答案的置信度水平高于预定的阈值置信度水平,该排名最高的候选答案被提供给用户作为针对自然语言问题的答案。此外,在一些实施例中,如果没有候选答案具有高于阈值置信度水平的置信度水平,那么可向用户提供没有候选答案达到最低置信度水平的消息或其它指示。
数学地,过程400可被描述为公式1:
[∑qP(q|Q,t,K)×P(r|q,S)]×P(R′|R)×P(h|t,R′K)×[P(h|e)×
P(e|h,t,QP,R′,K)] (公式1)
其中Q表示输入自然语言问题,表示候选答案的假设空间,h表示候选回答。各实施例旨在寻找最大化概率P(h|Q)的假设(例如,答案)h。
P(h|Q)可被进一步导出P(h|Q,S,K),其中S表示搜索引擎并且K表示知识库(在使用附属知识库的实施例中)。该公式可被进一步地分解成以下部分:
·P(t|Q)其中t表示答案类型(T表示答案类型集合),即,问题Q具有作为答案类型t的概率;
·P(q|Q,t,K)其中q表示从Q(以及作为答案类型的t以及知识库K)中生成的搜索查询,即,生成作为来自Q的搜索查询之一的q的概率;
·P(r|q,S),其中r表示在q作为搜索查询的情况下由搜索S返回的搜索结果;
·P(R′|R)其中R表示从不同的搜索查询中合并的搜索结果,R′表示经重新排序的前N个搜索结果;
·P(h|t,R′K):从搜索结果R′中提取h作为候选答案的概率;
·P(e|h,t,QP,R′K)其中e表示候选答案h的排序特征,QP是包括LAT和答案类型的问题简档;和或
·P(h|e),即,在给定特征集e的情况下排序结果h的概率。
用于问题理解的示例操作
图5描述了根据各实施例的用于分析自然语言问题来确定问题类型、答案类型、LAT和/或查询单元的说明性过程500的流程图。在502,基于对自然语言问题的分析来确定问题类型504。在还随自然语言问题接收到问题分类的实施例中,也对分类进行分析来确定问题类型。问题类型504可以是事实型、定义型、谜题型、数学型或任何其它类型的问题。在一些实施例中,问题类型分类器可被应用到自然语言问题来预测它的问题类型。可根据不受监督的机器学习技术或受监督的机器学习技术(诸如SVM)来使用多个特征对该分类器进行离线训练。在一些实施例中,被用于训练分类器的特征可包括但不限于以下中的一个或多个:
·自然语言问题是否与一个或多个预定义的常规表达式相对应或匹配;
·自然语言问题是否包括诸如以下的模式:“来自<语言>用于<短语>,<焦点>(from<language>for<phrase>,<focus>)”,“<焦点>是<短语>的<语言>(<focus>is<language>for<phrase>)”,“是用于什么的单词(is the word for)”和/或“意味着(means)”,其中焦点可指示是自然语言问题的焦点的经确定的关键词或短语;
·分类文本是否包括重复的分类类型;
·问题是否是没有焦点的短语;
·分类是否指定要翻译到或从其翻译的语言;
·问题文本是否包括单个实体或短列表的实体;和/或
·焦点是否是“do(做)”动词的对象。
在一些实施例中,探试方式可被用于基于一组预定的规则来确定问题类型。
在506,可基于对自然语言问题的分析来确定词汇答案类型(LAT)508。在一些实施例中,LAT 508是标识针对自然语言问题的答案的分类的单词或短语。在一些情况下,LAT可以是在自然语言问题本身中找到的单词或短语。在一些实施例中,探试、基于规则的方法被用于确定LAT。例如,二元线性判定树模型可结合各种规则而被采用,并且可通过遍历该判定树的自然语言问题中的各个名词短语(NP)来确定LAT。规则可以包括以下的一个或多个:
·如果[这个NP]([this NP])问题是1,那么[NP-头是LAT]([NP-headis LAT]);
·如果[这些NP]([these NP])问题是1,那么[NP-头是LAT];
·如果[它是NP]([it be NP])问题是1,那么[NP-头是LAT];
·如果[这个NP]([this NP])问题是0,[第三人称代词]([third-personpronoun])问题是1,那么[第三人称代词是LAT]([third-person pronounis LAT]);
·如果[这个NP]问题是0,[名词3释义]([Noun3paraphrase])主题是1,那么[名词3是LAT];和/或
·如果[这个NP1]([this NP1])问题是0,[NP2]主题是1,那么[NP2-头是LAT]([NP2-head is LAT])。
作为以上规则的示例应用,可接收到以下自然语言问题:“他于1963年在阿拉巴马州伯明翰的城市监狱中书写了他的‘来自伯明翰监狱的信’”。该问题已经随“囚犯的句子”分类被接收。对LAT的确定可遵循以上判定树中的规则:
·首先,自然语言问题包括单词“这个(this)”吗?否;
·第二,自然语言问题包括单词“这些(these)”吗?否;
·第三,自然语言问题包括“它是(it be)”结构吗?否;
·第四,自然语言问题包括任何代词单词吗?是,它包括“他(he)”;以及
·最后,至少部分基于以上确定,可为自然语言问题确定“他(he)”的LAT。
在一些实施例中,通过将离线训练的分类器应用到自然语言问题的一个或多个特征来经由机器学习过程预测LAT。在各实施例中,替代于以上描述的探试、基于规则的方法的组合,可采用用于确定LAT的基于机器学习的方法。
在510,基于对自然语言问题的分析来确定答案类型512。答案类型512可包括人、位置、时间/日期、数量、事件、生物(例如,动物、植物等)、物体、概念或任何其它答案类型。在一些实施例中,用机器学习训练的分类器被用于基于自然语言问题的多个特征来预测答案类型。在一些实施例中,可采用对数线性分类模型。该模型可被数学地表示为公式2:
其中t表示所确定的回答类型,xj表示j∈[1,K]的特征,并且ti表示i∈[1,N]的可能答案类型。特征可包括但不限于以下:
·LAT;
·LAT上下文,在自然语言问题中LAT之前和之后的最近的N个单词(例如,N=3);
·标题标签,LAT是否被包括在标题词典中(例如,如在外部知识库212中,或在诸如等商业的可用在线词典中);
·LAT的同义词,例如,如通过词典确定的;
·LAT的上位词,例如,如通过词典确定的;和/或
·特定的元语法,例如,问题是否包括特定的单词,诸如哪里(where)、谁(who)、什么(what)等。
在一些实施例中,可与以上描述的基于机器学习的技术相分开或组合地基于将多个规则应用到自然语言问题来执行对答案类型的预测。
在514,可基于对自然语言问题的基于语法和/或基于句法的分析来从自然语言问题中提取一个或多个查询单元516。查询单元可以包括以下的一个或多个:单词、基本名词短语、句子、指定实体、引用、释义(例如,基于同义词、上位词等的重新阐述)、依赖关系、时间和数量单元以及事实。此外,一些实施例可采用至少一个知识库作为对本文描述的基于搜索查询的方法的附属。在这样的情况下,所提取的查询单元也可包括在至少一个知识库中找到的自然语言问题的属性。查询单元的提取可包括以下各项中的一个或多个:句子边界检测518、句子模式检测520、解析522、指定实体检测524、词性标记526、标记化528以及组块530。
查询公式化的示例操作
图6描绘了根据各实施例的用于确定多个搜索查询来收集用于回答自然语言问题的证据的说明性过程600的流程图。在602,确定一个或多个候选搜索查询。在一些实施例中,候选搜索查询的公式化可采用一个或多个查询生成模板604,并可包括将问题类型504、LAT 508、答案类型510和/或查询单元516应用到查询生成模板604。查询生成模板604可包括使用一个查询单元(例如,元语法单元)的模板和/或使用多个查询单元(例如,多元语法单元)的模板。
在606,对一个或多个候选查询进行排序来确定预定数量N(例如,前20)个排名最高的候选查询。在一些实施例中,对候选查询的排序采用通过使用不受监督的机器学习技术或受监督的机器学习技术(例如,SVM)来对其进行离线训练的排序器,该排序器基于候选查询的一个或多个特征来对候选查询进行排序。在608,排名前N的候选查询被标识为要在证据收集阶段期间被一个或多个搜索引擎执行的一个或多个搜索查询610。
用于证据收集的示例操作
图7描绘了根据各实施例的用于分析搜索结果作为用于回答自然语言问题的证据的说明性过程700的流程图。在702,提供一个或多个搜索查询610以供一个或多个搜索引擎(诸如,)执行。在704,从一个或多个搜索引擎接收搜索结果,搜索结果是从基于各个搜索查询执行的搜索中得到的。在一些实施例中,搜索结果包括各个结果网页或web文档的地址或其它标识符(例如,URL、URI、IP地址等)和/或来自结果网页或文档的内容片断。
在一些实施例中,搜索结果可能已经根据相关性被搜索引擎进行了排序,可从各个搜索结果集中选择前N(例如,20)个搜索结果用于进一步处理。在706,来自各个搜索结果集的前N个搜索结果被合并以形成经合并的搜索结果集来用于进一步处理。在708,经合并的搜索结果可被过滤来移除重复的结果和/或噪声结果。在一些实施例中,可基于预定的web站点质量测量来确定噪声结果(例如,已知的低质量站点可被过滤)。在一些实施例中,过滤可进一步基于结果web站点的内容的内容可读性或一些其它质量测量。
在710,使用排序器对搜索结果进行排序。在一些实施例中,通过使用一组特征来使用不受监督的机器学习方法或受监督的机器学习方法(例如,SVM)来离线地训练排序器。例如,对于自然语言问题Q,在给定n个候选搜索结果页面d1...dn的情况下,排序可包括基于搜索结果对<di,dj>的二元分类,其中(1≤i,j≤n,i!=j)。可基于与d相关的特征和/或描述Q和d之间对应关系的特征来定义线性排序函数可接着使用诸如SVM的机器学习技术来训练权重向量在该示例中,接着可基于分数来对搜索结果列表进行排序,该分数是各个结果页面的特征函数值和它们的对应权重的点积。
在一些实施例中,被用于排序的特征可包括但不限于以下中的一个或多个:
·在从搜索查询中生成的结果集内的搜索页面的排序,如由搜索引擎排序的;
·结果的片断的域,例如,域的质量;
·结果片断和自然语言问题之间的相似性;
·结果页面的标题和自然语言问题之间的相似性;
·在结果片断中是否存在问题点;
·在结果的标题中是否存在问题点;
·查询生成策略,例如,用于生成查询的特定查询公式化模板;
·查询的长度(例如,单词的数量);
·由搜索引擎返回的搜索结果的数量;
·结果片断中指定实体的数量;
·结果的标题中指定实体的数量;
·结果片断中指定实体的类型;和/或
·结果的标题中指定实体的类型。
在712,排名前N个搜索结果被选择并标识为用于在回答提取和排序阶段期间的候选答案提取的搜索结果714。在一些实施例中,基于性能标准,排在搜索结果的前面的搜索结果的数量是可调的(例如,N可被调整)。
答案提取和排序的示例操作
图8描绘了根据各实施例的用于从搜索结果714中提取可能的答案的说明性过程的流程图。在802,可从搜索结果714中提取一个或多个指定实体。在一些实施例中,基于指定实体的与通过基于词典的匹配过程确定的答案类型和/或LAT的对应来提取指定实体。例如,如果自然语言问题具有预测的答案类型“人”,那么从搜索结果中提取“人”类型的指定实体。在804,所提取的指定实体被规范化以扩展缩写式、纠正搜索结果中的拼写错误、扩展适当的名称(例如,从Bill到William)等等。
在806,为候选答案提取一个或多个特征,并且在808,基于特征对候选答案进行排序。在一些实施例中,使用通过诸如SVM的机器学习过程来离线训练的排序器来执行排序。在一些实施例中,对于自然语言问题Q并在给定n个候选答案h1...hn的情况下,排序可包括候选对<hi,hj>的二元分类,其中(1≤i,j≤n,i!=j)。可基于与候选答案h相关的特征(例如,候选答案在搜索结果页面中出现的频率)和/或描述Q和h之间对应关系的特征(例如,LAT匹配)来定义线性排序函数可使用诸如SVM的机器学习方法来训练权重向量(例如,排序器)并且接着可根据每个候选的分数来对答案候选列表进行排序,其中每个候选的分数是特征函数值和对应的权重的点积。
使用的特征可包括对于所有答案类型通用的特征和/或对于特定答案类型指定的特征。在一些实施例中,通用特征包括但不限于:
·频率,例如,候选答案出现在搜索结果中的次数;
·排序,例如,候选答案在搜索结果中的平均排序;
·查询单词匹配,例如,在查询和包括候选答案的搜索结果之间多个匹配的单词;
·LAT匹配,例如,候选答案是否是LAT的子类或LAT的实例。在一些实施例中,该子类或其实例的关系是通过诸如或等语言数据库来确定的。
·是知识库文章标题,例如,候选是否是从搜索结果中的知识库(例如,)标题中提取的;
·暗暗索引,例如,候选的标签(候选的知识库文章页面中的锚文本)和针对在自然语言问题中出现的术语的所有知识库页面中的锚文本之间的多个匹配点;和/或
·LAT上下文,例如,在自然语言问题中靠近LAT的那些单词(例如,具有某个数量的单词,诸如5)和在搜索单词中靠近答案候选的那些单词之间的多个匹配的单词。在一些实施例中,当确定上下文时,某些单词(例如,结束字)被忽略。
在一些实施例中,特定于回答类型的特征包括但不限于在表1中的那些特征。
表1
在810,为候选答案中的一个或多个确定置信度水平。在一些实施例中,为排名最高的候选答案确定置信度水平。在一些实施例中,为排名前N的候选答案或为所有的候选答案确定置信度水平。在确定置信度水平后,可如以上结合图4描述的将答案提供给用户。在一些实施例中,可使用包括但不限于以下的特征来使用衰退SVM方法来执行置信度水平计算:
·自然语言问题中LAT的数量;
·由自然语言问题生成的查询的数量;
·各个搜索查询的类型;
·回答类型,例如,问题的预测答案类型;
·为自然语言问题生成的答案候选的数量;
·候选分数变化,例如,为每个候选答案计算的分数的变化;和/或
·所有候选答案的最大分数。
结语
虽然已经用对结构特征和/或方法动作专用的语言描述了各项技术,但是应该理解,所附权利要求不必限于所述的具体特征或动作。相反,这些具体特征和动作是作为实现这些技术的示例形式而公开的。
Claims (10)
1.一种计算机实现的方法,包括:
分析自然语言问题以预测所述自然语言问题的问题类型和答案类型;
至少部分基于所述问题类型以及至少部分基于从所述自然语言问题中提取的一个或多个查询单元来公式化经排序的多个搜索查询;
从经由搜索引擎执行所述经排序的多个搜索查询中的至少一些所得到的多个搜索结果中确定一个或多个候选答案,所述确定至少部分基于所述答案类型;
根据为所述一个或多个候选答案中的每一个确定的置信度水平来对所述一个或多个候选答案进行排序;以及
至少部分基于确定所述一个或多个候选答案中排名最高的候选答案具有高于预定的阈值置信度的置信度水平来提供所述排名最高的候选答案。
2.如权利要求1所述的方法,其特征在于,通过使用分类器来对所述问题类型进行预测,所述分类器是使用机器学习技术用多个特征来训练的。
3.如权利要求1所述的方法,其特征在于,至少部分基于多个预定的规则来预测所述答案类型。
4.如权利要求1所述的方法,其特征在于,还包括:
采用排序器来对所述多个搜索查询进行排序,所述排序器是使用机器学习技术来训练的;以及
确定所述多个搜索查询中排名最高的数个搜索查询以供所述搜索引擎执行。
5.如权利要求1所述的方法,其特征在于,还包括:
在确定所述一个或多个候选答案之前,过滤所述多个搜索结果以移除重复的搜索结果或噪声搜索结果中的至少一个。
6.如权利要求1所述的方法,其特征在于,确定所述一个或多个候选回答包括:
从所述多个搜索结果中提取一个或多个指定实体,所述一个或多个指定实体对应于所述答案类型,所述提取至少部分基于所述一个或多个指定实体与所述多个搜索结果的文本的词典匹配;以及
规范化所述一个或多个指定实体以确定所述一个或多个候选答案。
7.如权利要求1所述的方法,其特征在于,通过使用排序器对所述一个或多个候选答案进行排序,所述排序器是使用机器学习技术来被训练的。
8.一种系统,包括:
至少一个存储器;
与所述至少一个存储器通信的至少一个处理器;以及
自然语言问题处理组件,所述自然语言问题处理组件存储在所述至少一个存储器上并被所述至少一个处理器执行以:
分析接收到的自然语言问题以确定所述自然语言问题的问题类型和答案类型;
从所述自然语言问题中确定一个或多个查询单元;
至少部分基于所述问题类型和所述一个或多个查询单元来公式化多个搜索查询;
至少部分基于所述回答类型来从多个搜索结果中确定一个或多个候选答案,所述多个搜索结果得自于经由搜索引擎执行所述多个搜索查询中的至少一些;以及
至少部分基于为所述一个或多个候选答案中的每一个确定的置信度水平来对所述一个或多个候选答案进行排序。
9.如权利要求8所述的系统,其特征在于,进一步包括:
机器学习组件,所述机器学习组件存储在所述至少一个存储器中并被所述至少一个处理器执行来使用机器学习技术来训练排序器;
其中所述自然语言问题处理组件还用于:
使用所述排序器对所述多个搜索查询进行排序;以及
确定所述多个搜索查询中排名最高的数个搜索查询以供所述搜索引擎执行。
10.一种或多种存储指令的计算机可读存储介质,所述指令在由至少一个处理器执行时指令所述至少一个处理器执行以下动作:
分析接收到的自然语言问题以确定所述自然语言问题的问题类型和答案类型;
至少部分基于所述问题类型以及至少部分基于从所述自然语言问题中提取的一个或多个查询单元来公式化多个搜索查询;
从执行所述多个搜索查询中的至少一些得到的多个搜索结果中提取一个或多个候选答案;以及
根据为所述一个或多个候选答案中的每一个确定的置信度水平来对所述一个或多个候选答案进行排序。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/539,674 | 2012-07-02 | ||
US13/539,674 US20140006012A1 (en) | 2012-07-02 | 2012-07-02 | Learning-Based Processing of Natural Language Questions |
PCT/US2013/049085 WO2014008272A1 (en) | 2012-07-02 | 2013-07-02 | Learning-based processing of natural language questions |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104471568A true CN104471568A (zh) | 2015-03-25 |
Family
ID=48808519
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380035865.5A Pending CN104471568A (zh) | 2012-07-02 | 2013-07-02 | 对自然语言问题的基于学习的处理 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20140006012A1 (zh) |
EP (1) | EP2867802A1 (zh) |
CN (1) | CN104471568A (zh) |
WO (1) | WO2014008272A1 (zh) |
Cited By (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104699845A (zh) * | 2015-03-31 | 2015-06-10 | 北京奇虎科技有限公司 | 基于提问类搜索词的搜索结果提供方法及装置 |
CN105912629A (zh) * | 2016-04-07 | 2016-08-31 | 上海智臻智能网络科技股份有限公司 | 一种智能问答方法及装置 |
CN105912527A (zh) * | 2016-04-19 | 2016-08-31 | 北京高地信息技术有限公司 | 根据自然语言输出答案的方法、装置及系统 |
CN106202476A (zh) * | 2016-07-14 | 2016-12-07 | 广州安望信息科技有限公司 | 一种基于知识图谱的人机对话的方法及装置 |
CN106789595A (zh) * | 2017-01-17 | 2017-05-31 | 北京诸葛找房信息技术有限公司 | 信息推送方法和装置 |
CN108228637A (zh) * | 2016-12-21 | 2018-06-29 | 中国电信股份有限公司 | 自然语言客户自动应答方法和系统 |
CN108256056A (zh) * | 2018-01-12 | 2018-07-06 | 广州杰赛科技股份有限公司 | 智能问答方法与系统 |
CN108345612A (zh) * | 2017-01-25 | 2018-07-31 | 北京搜狗科技发展有限公司 | 一种问题处理方法和装置、一种用于问题处理的装置 |
TWI638274B (zh) * | 2016-04-12 | 2018-10-11 | 芋頭科技(杭州)有限公司 | 一種語義匹配方法及智能設備 |
CN108780445A (zh) * | 2016-03-16 | 2018-11-09 | 马鲁巴公司 | 用于对小数据的机器理解的并行分层模型 |
CN108829757A (zh) * | 2018-05-28 | 2018-11-16 | 广州麦优网络科技有限公司 | 一种聊天机器人的智能服务方法、服务器及存储介质 |
CN108959529A (zh) * | 2018-06-29 | 2018-12-07 | 北京百度网讯科技有限公司 | 问题答案类型的确定方法、装置、设备及存储介质 |
CN109272129A (zh) * | 2018-09-20 | 2019-01-25 | 重庆先特服务外包产业有限公司 | 呼叫中心业务管理系统 |
CN109478204A (zh) * | 2016-05-17 | 2019-03-15 | 马鲁巴公司 | 非结构化文本的机器理解 |
CN109800293A (zh) * | 2018-12-20 | 2019-05-24 | 出门问问信息科技有限公司 | 一种基于问题分类获取答案的方法、装置及电子设备 |
CN109960734A (zh) * | 2017-12-22 | 2019-07-02 | 奥多比公司 | 用于数据可视化的问题回答 |
CN110059165A (zh) * | 2018-01-19 | 2019-07-26 | 国际商业机器公司 | 便利回答涉及对定量信息推理的问题 |
CN110210021A (zh) * | 2019-05-22 | 2019-09-06 | 北京百度网讯科技有限公司 | 阅读理解方法及装置 |
CN110532376A (zh) * | 2018-04-13 | 2019-12-03 | 国际商业机器公司 | 分类文本以确定用于选择机器学习算法结果的目标类型 |
CN110582761A (zh) * | 2018-10-24 | 2019-12-17 | 阿里巴巴集团控股有限公司 | 基于点击图上向量传播模型的智能客户服务 |
CN111095234A (zh) * | 2017-09-15 | 2020-05-01 | 国际商业机器公司 | 训练数据更新 |
CN111177371A (zh) * | 2019-12-05 | 2020-05-19 | 腾讯科技(深圳)有限公司 | 一种分类方法和相关装置 |
CN111213140A (zh) * | 2017-10-10 | 2020-05-29 | 尼根特罗匹克斯软件有限公司 | 大型数据库中语义搜索的方法和系统 |
CN111386686A (zh) * | 2017-11-09 | 2020-07-07 | 微软技术许可有限责任公司 | 用于回答与文档相关的查询的机器阅读理解系统 |
CN111566652A (zh) * | 2018-01-15 | 2020-08-21 | 微软技术许可有限责任公司 | 用于辅助用户完成任务的上下文感知的推荐 |
CN111712836A (zh) * | 2018-02-09 | 2020-09-25 | 易享信息技术有限公司 | 作为问答的多任务学习 |
CN112199476A (zh) * | 2019-06-23 | 2021-01-08 | 国际商业机器公司 | 在会话智能导师系统中部分正确答案后选择支架的自动决策 |
CN112313647A (zh) * | 2018-08-06 | 2021-02-02 | 谷歌有限责任公司 | Captcha自动助理 |
CN112527827A (zh) * | 2015-06-29 | 2021-03-19 | 微软技术许可有限责任公司 | 用于多维数据的自动洞察 |
CN112784600A (zh) * | 2021-01-29 | 2021-05-11 | 北京百度网讯科技有限公司 | 信息排序方法、装置、电子设备和存储介质 |
CN112818093A (zh) * | 2021-01-18 | 2021-05-18 | 平安国际智慧城市科技股份有限公司 | 基于语义匹配的证据文档检索方法、系统及存储介质 |
US20220035728A1 (en) * | 2018-05-31 | 2022-02-03 | The Ultimate Software Group, Inc. | System for discovering semantic relationships in computer programs |
Families Citing this family (311)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
US10002189B2 (en) | 2007-12-20 | 2018-06-19 | Apple Inc. | Method and apparatus for searching using an active ontology |
US9330720B2 (en) | 2008-01-03 | 2016-05-03 | Apple Inc. | Methods and apparatus for altering audio output signals |
US8996376B2 (en) | 2008-04-05 | 2015-03-31 | Apple Inc. | Intelligent text-to-speech conversion |
US20100030549A1 (en) | 2008-07-31 | 2010-02-04 | Lee Michael M | Mobile device having human language translation capability with positional feedback |
US8676904B2 (en) | 2008-10-02 | 2014-03-18 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
US10255566B2 (en) | 2011-06-03 | 2019-04-09 | Apple Inc. | Generating and processing task items that represent tasks to perform |
US10241644B2 (en) | 2011-06-03 | 2019-03-26 | Apple Inc. | Actionable reminder entries |
US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
US9431006B2 (en) | 2009-07-02 | 2016-08-30 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
US8682667B2 (en) | 2010-02-25 | 2014-03-25 | Apple Inc. | User profiling for selecting user specific voice input processing information |
US10185477B1 (en) | 2013-03-15 | 2019-01-22 | Narrative Science Inc. | Method and system for configuring automatic generation of narratives from data |
US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
US9842168B2 (en) | 2011-03-31 | 2017-12-12 | Microsoft Technology Licensing, Llc | Task driven user intents |
US9244984B2 (en) | 2011-03-31 | 2016-01-26 | Microsoft Technology Licensing, Llc | Location based conversational understanding |
US10642934B2 (en) | 2011-03-31 | 2020-05-05 | Microsoft Technology Licensing, Llc | Augmented conversational understanding architecture |
US9760566B2 (en) | 2011-03-31 | 2017-09-12 | Microsoft Technology Licensing, Llc | Augmented conversational understanding agent to identify conversation context between two humans and taking an agent action thereof |
US9858343B2 (en) | 2011-03-31 | 2018-01-02 | Microsoft Technology Licensing Llc | Personalization of queries, conversations, and searches |
US9064006B2 (en) | 2012-08-23 | 2015-06-23 | Microsoft Technology Licensing, Llc | Translating natural language utterances to keyword search queries |
US10057736B2 (en) | 2011-06-03 | 2018-08-21 | Apple Inc. | Active transport based notifications |
US9117194B2 (en) | 2011-12-06 | 2015-08-25 | Nuance Communications, Inc. | Method and apparatus for operating a frequently asked questions (FAQ)-based system |
US10134385B2 (en) | 2012-03-02 | 2018-11-20 | Apple Inc. | Systems and methods for name pronunciation |
US9280610B2 (en) | 2012-05-14 | 2016-03-08 | Apple Inc. | Crowd sourcing information to fulfill user requests |
US10417037B2 (en) | 2012-05-15 | 2019-09-17 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
US9229974B1 (en) | 2012-06-01 | 2016-01-05 | Google Inc. | Classifying queries |
US9721563B2 (en) | 2012-06-08 | 2017-08-01 | Apple Inc. | Name recognition system |
KR101978297B1 (ko) * | 2012-06-11 | 2019-08-28 | 에스케이플래닛 주식회사 | 데이터 공유 서비스 시스템, 데이터 공유 서비스를 위한 장치 및 방법 |
US8577671B1 (en) | 2012-07-20 | 2013-11-05 | Veveo, Inc. | Method of and system for using conversation state information in a conversational interaction system |
US9465833B2 (en) | 2012-07-31 | 2016-10-11 | Veveo, Inc. | Disambiguating user intent in conversational interaction system for large corpus information retrieval |
US9547647B2 (en) | 2012-09-19 | 2017-01-17 | Apple Inc. | Voice-based media searching |
US9411803B2 (en) * | 2012-09-28 | 2016-08-09 | Hewlett Packard Enterprise Development Lp | Responding to natural language queries |
US9754215B2 (en) * | 2012-12-17 | 2017-09-05 | Sinoeast Concept Limited | Question classification and feature mapping in a deep question answering system |
US9141660B2 (en) | 2012-12-17 | 2015-09-22 | International Business Machines Corporation | Intelligent evidence classification and notification in a deep question answering system |
US9158772B2 (en) | 2012-12-17 | 2015-10-13 | International Business Machines Corporation | Partial and parallel pipeline processing in a deep question answering system |
US9015097B2 (en) * | 2012-12-19 | 2015-04-21 | Nuance Communications, Inc. | System and method for learning answers to frequently asked questions from a semi-structured data source |
DE112014000709B4 (de) | 2013-02-07 | 2021-12-30 | Apple Inc. | Verfahren und vorrichtung zum betrieb eines sprachtriggers für einen digitalen assistenten |
US10652394B2 (en) | 2013-03-14 | 2020-05-12 | Apple Inc. | System and method for processing voicemail |
US10748529B1 (en) | 2013-03-15 | 2020-08-18 | Apple Inc. | Voice activated device for use with a voice-based digital assistant |
US9064001B2 (en) | 2013-03-15 | 2015-06-23 | Nuance Communications, Inc. | Method and apparatus for a frequently-asked questions portal workflow |
US10121493B2 (en) | 2013-05-07 | 2018-11-06 | Veveo, Inc. | Method of and system for real time feedback in an incremental speech input interface |
WO2014197334A2 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
WO2014197335A1 (en) | 2013-06-08 | 2014-12-11 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
DE112014002747T5 (de) | 2013-06-09 | 2016-03-03 | Apple Inc. | Vorrichtung, Verfahren und grafische Benutzerschnittstelle zum Ermöglichen einer Konversationspersistenz über zwei oder mehr Instanzen eines digitalen Assistenten |
US9336485B2 (en) * | 2013-06-11 | 2016-05-10 | International Business Machines Corporation | Determining answers in a question/answer system when answer is not contained in corpus |
US9418066B2 (en) | 2013-06-27 | 2016-08-16 | International Business Machines Corporation | Enhanced document input parsing |
US9824161B1 (en) * | 2013-07-10 | 2017-11-21 | Google Inc. | Providing third party answers |
JP6163266B2 (ja) | 2013-08-06 | 2017-07-12 | アップル インコーポレイテッド | リモート機器からの作動に基づくスマート応答の自動作動 |
US9898554B2 (en) * | 2013-11-18 | 2018-02-20 | Google Inc. | Implicit question query identification |
US10296160B2 (en) | 2013-12-06 | 2019-05-21 | Apple Inc. | Method for extracting salient dialog usage from live data |
US9276939B2 (en) * | 2013-12-17 | 2016-03-01 | International Business Machines Corporation | Managing user access to query results |
US10642935B2 (en) * | 2014-05-12 | 2020-05-05 | International Business Machines Corporation | Identifying content and content relationship information associated with the content for ingestion into a corpus |
US9569503B2 (en) * | 2014-05-23 | 2017-02-14 | International Business Machines Corporation | Type evaluation in a question-answering system |
US9633004B2 (en) | 2014-05-30 | 2017-04-25 | Apple Inc. | Better resolution when referencing to concepts |
US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
EP3480811A1 (en) | 2014-05-30 | 2019-05-08 | Apple Inc. | Multi-command single utterance input method |
US9734193B2 (en) * | 2014-05-30 | 2017-08-15 | Apple Inc. | Determining domain salience ranking from ambiguous words in natural speech |
US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
US9697099B2 (en) | 2014-06-04 | 2017-07-04 | International Business Machines Corporation | Real-time or frequent ingestion by running pipeline in order of effectiveness |
US9542496B2 (en) | 2014-06-04 | 2017-01-10 | International Business Machines Corporation | Effective ingesting data used for answering questions in a question and answer (QA) system |
US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US9754207B2 (en) * | 2014-07-28 | 2017-09-05 | International Business Machines Corporation | Corpus quality analysis |
US10468126B1 (en) * | 2014-08-19 | 2019-11-05 | Multiscale Health Networks, Llc. | Clinical activity network generation |
US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
US11176201B2 (en) | 2014-10-07 | 2021-11-16 | International Business Machines Corporation | Techniques for managing data in a cache memory of a question answering system |
US11238090B1 (en) | 2015-11-02 | 2022-02-01 | Narrative Science Inc. | Applied artificial intelligence technology for using narrative analytics to automatically generate narratives from visualization data |
US10120844B2 (en) * | 2014-10-23 | 2018-11-06 | International Business Machines Corporation | Determining the likelihood that an input descriptor and associated text content match a target field using natural language processing techniques in preparation for an extract, transform and load process |
US9908051B2 (en) | 2014-11-03 | 2018-03-06 | International Business Machines Corporation | Techniques for creating dynamic game activities for games |
US9501525B2 (en) | 2014-11-05 | 2016-11-22 | International Business Machines Corporation | Answer sequence evaluation |
US10691698B2 (en) * | 2014-11-06 | 2020-06-23 | International Business Machines Corporation | Automatic near-real-time prediction, classification, and notification of events in natural language systems |
US20160132501A1 (en) * | 2014-11-07 | 2016-05-12 | Google Inc. | Determining answers to interrogative queries using web resources |
US10387793B2 (en) | 2014-11-25 | 2019-08-20 | International Business Machines Corporation | Automatic generation of training cases and answer key from historical corpus |
US10061842B2 (en) | 2014-12-09 | 2018-08-28 | International Business Machines Corporation | Displaying answers in accordance with answer classifications |
US10176228B2 (en) * | 2014-12-10 | 2019-01-08 | International Business Machines Corporation | Identification and evaluation of lexical answer type conditions in a question to generate correct answers |
US10083002B2 (en) * | 2014-12-18 | 2018-09-25 | International Business Machines Corporation | Using voice-based web navigation to conserve cellular data |
US9652717B2 (en) * | 2014-12-19 | 2017-05-16 | International Business Machines Corporation | Avoidance of supporting evidence processing based on key attribute predictors |
US10108906B2 (en) * | 2014-12-19 | 2018-10-23 | International Business Machines Corporation | Avoiding supporting evidence processing when evidence scoring does not affect final ranking of a candidate answer |
US9684714B2 (en) | 2014-12-22 | 2017-06-20 | International Business Machines Corporation | Using paraphrase metrics for answering questions |
US9852136B2 (en) | 2014-12-23 | 2017-12-26 | Rovi Guides, Inc. | Systems and methods for determining whether a negation statement applies to a current or past query |
US9836452B2 (en) * | 2014-12-30 | 2017-12-05 | Microsoft Technology Licensing, Llc | Discriminating ambiguous expressions to enhance user experience |
US10585901B2 (en) | 2015-01-02 | 2020-03-10 | International Business Machines Corporation | Tailoring question answer results to personality traits |
US10147047B2 (en) | 2015-01-07 | 2018-12-04 | International Business Machines Corporation | Augmenting answer keys with key characteristics for training question and answer systems |
US10475043B2 (en) | 2015-01-28 | 2019-11-12 | Intuit Inc. | Method and system for pro-active detection and correction of low quality questions in a question and answer based customer support system |
US9854049B2 (en) | 2015-01-30 | 2017-12-26 | Rovi Guides, Inc. | Systems and methods for resolving ambiguous terms in social chatter based on a user profile |
US10152299B2 (en) | 2015-03-06 | 2018-12-11 | Apple Inc. | Reducing response latency of intelligent automated assistants |
US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
US9165057B1 (en) | 2015-03-10 | 2015-10-20 | Bank Of America Corporation | Method and apparatus for extracting queries from webpages |
US10325212B1 (en) | 2015-03-24 | 2019-06-18 | InsideView Technologies, Inc. | Predictive intelligent softbots on the cloud |
WO2016156995A1 (en) * | 2015-03-30 | 2016-10-06 | Yokogawa Electric Corporation | Methods, systems and computer program products for machine based processing of natural language input |
US10083213B1 (en) * | 2015-04-27 | 2018-09-25 | Intuit Inc. | Method and system for routing a question based on analysis of the question content and predicted user satisfaction with answer content before the answer content is generated |
US10755294B1 (en) | 2015-04-28 | 2020-08-25 | Intuit Inc. | Method and system for increasing use of mobile devices to provide answer content in a question and answer based customer support system |
US10134050B1 (en) | 2015-04-29 | 2018-11-20 | Intuit Inc. | Method and system for facilitating the production of answer content from a mobile device for a question and answer based customer support system |
US10460227B2 (en) | 2015-05-15 | 2019-10-29 | Apple Inc. | Virtual assistant in a communication session |
US9727552B2 (en) * | 2015-05-27 | 2017-08-08 | International Business Machines Corporation | Utilizing a dialectical model in a question answering system |
US10200824B2 (en) | 2015-05-27 | 2019-02-05 | Apple Inc. | Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device |
US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
US10102275B2 (en) * | 2015-05-27 | 2018-10-16 | International Business Machines Corporation | User interface for a query answering system |
US9578173B2 (en) | 2015-06-05 | 2017-02-21 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
US20160378747A1 (en) | 2015-06-29 | 2016-12-29 | Apple Inc. | Virtual assistant for media playback |
US10447777B1 (en) | 2015-06-30 | 2019-10-15 | Intuit Inc. | Method and system for providing a dynamically updated expertise and context based peer-to-peer customer support system within a software application |
US10170014B2 (en) * | 2015-07-28 | 2019-01-01 | International Business Machines Corporation | Domain-specific question-answer pair generation |
US10147037B1 (en) | 2015-07-28 | 2018-12-04 | Intuit Inc. | Method and system for determining a level of popularity of submission content, prior to publicizing the submission content with a question and answer support system |
US10475044B1 (en) * | 2015-07-29 | 2019-11-12 | Intuit Inc. | Method and system for question prioritization based on analysis of the question content and predicted asker engagement before answer content is generated |
US10268956B2 (en) | 2015-07-31 | 2019-04-23 | Intuit Inc. | Method and system for applying probabilistic topic models to content in a tax environment to improve user satisfaction with a question and answer customer support system |
US10496716B2 (en) | 2015-08-31 | 2019-12-03 | Microsoft Technology Licensing, Llc | Discovery of network based data sources for ingestion and recommendations |
US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
US10740384B2 (en) | 2015-09-08 | 2020-08-11 | Apple Inc. | Intelligent automated assistant for media search and playback |
US10331312B2 (en) | 2015-09-08 | 2019-06-25 | Apple Inc. | Intelligent automated assistant in a media environment |
US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
US20170075985A1 (en) * | 2015-09-16 | 2017-03-16 | Microsoft Technology Licensing, Llc | Query transformation for natural language queries |
US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
US10394804B1 (en) | 2015-10-08 | 2019-08-27 | Intuit Inc. | Method and system for increasing internet traffic to a question and answer customer support system |
US10242093B2 (en) | 2015-10-29 | 2019-03-26 | Intuit Inc. | Method and system for performing a probabilistic topic analysis of search queries for a customer support system |
US11232268B1 (en) | 2015-11-02 | 2022-01-25 | Narrative Science Inc. | Applied artificial intelligence technology for using narrative analytics to automatically generate narratives from line charts |
US11222184B1 (en) | 2015-11-02 | 2022-01-11 | Narrative Science Inc. | Applied artificial intelligence technology for using narrative analytics to automatically generate narratives from bar charts |
US11170038B1 (en) | 2015-11-02 | 2021-11-09 | Narrative Science Inc. | Applied artificial intelligence technology for using narrative analytics to automatically generate narratives from multiple visualizations |
US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US10956666B2 (en) | 2015-11-09 | 2021-03-23 | Apple Inc. | Unconventional virtual assistant interactions |
US20170161386A1 (en) * | 2015-12-02 | 2017-06-08 | International Business Machines Corporation | Adaptive product questionnaire |
US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
US9514256B1 (en) | 2015-12-08 | 2016-12-06 | International Business Machines Corporation | Method and system for modelling turbulent flows in an advection-diffusion process |
US10146858B2 (en) | 2015-12-11 | 2018-12-04 | International Business Machines Corporation | Discrepancy handler for document ingestion into a corpus for a cognitive computing system |
US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
US9858336B2 (en) | 2016-01-05 | 2018-01-02 | International Business Machines Corporation | Readability awareness in natural language processing systems |
US9910912B2 (en) | 2016-01-05 | 2018-03-06 | International Business Machines Corporation | Readability awareness in natural language processing systems |
US10176250B2 (en) | 2016-01-12 | 2019-01-08 | International Business Machines Corporation | Automated curation of documents in a corpus for a cognitive computing system |
US9842161B2 (en) | 2016-01-12 | 2017-12-12 | International Business Machines Corporation | Discrepancy curator for documents in a corpus of a cognitive computing system |
CN106980624B (zh) | 2016-01-18 | 2021-03-26 | 阿里巴巴集团控股有限公司 | 一种文本数据的处理方法和装置 |
US10127274B2 (en) * | 2016-02-08 | 2018-11-13 | Taiger Spain Sl | System and method for querying questions and answers |
US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
US10599699B1 (en) | 2016-04-08 | 2020-03-24 | Intuit, Inc. | Processing unstructured voice of customer feedback for improving content rankings in customer support systems |
US9785715B1 (en) * | 2016-04-29 | 2017-10-10 | Conversable, Inc. | Systems, media, and methods for automated response to queries made by interactive electronic chat |
CN107402912B (zh) * | 2016-05-19 | 2019-12-31 | 北京京东尚科信息技术有限公司 | 解析语义的方法和装置 |
US11599709B2 (en) * | 2016-05-19 | 2023-03-07 | Palo Alto Research Center Incorporated | Natural language web browser |
US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
US10607146B2 (en) | 2016-06-02 | 2020-03-31 | International Business Machines Corporation | Predicting user question in question and answer system |
US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
US11227589B2 (en) | 2016-06-06 | 2022-01-18 | Apple Inc. | Intelligent list reading |
US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
DK179588B1 (en) | 2016-06-09 | 2019-02-22 | Apple Inc. | INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT |
US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
AU2017276360B2 (en) * | 2016-06-10 | 2018-05-10 | Local Knowledge-app Pty Ltd | A system for the automated semantic analysis processing of query strings |
DK179049B1 (en) | 2016-06-11 | 2017-09-18 | Apple Inc | Data driven natural language event detection and classification |
DK179343B1 (en) | 2016-06-11 | 2018-05-14 | Apple Inc | Intelligent task discovery |
DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
US10607153B2 (en) * | 2016-06-28 | 2020-03-31 | International Business Machines Corporation | LAT based answer generation using anchor entities and proximity |
CN106202285A (zh) * | 2016-06-30 | 2016-12-07 | 北京百度网讯科技有限公司 | 搜索结果展示方法和装置 |
US10162734B1 (en) | 2016-07-20 | 2018-12-25 | Intuit Inc. | Method and system for crowdsourcing software quality testing and error detection in a tax return preparation system |
US10460398B1 (en) | 2016-07-27 | 2019-10-29 | Intuit Inc. | Method and system for crowdsourcing the detection of usability issues in a tax return preparation system |
US10467541B2 (en) | 2016-07-27 | 2019-11-05 | Intuit Inc. | Method and system for improving content searching in a question and answer customer support system by using a crowd-machine learning hybrid predictive model |
US10353935B2 (en) * | 2016-08-25 | 2019-07-16 | Lakeside Software, Inc. | Method and apparatus for natural language query in a workspace analytics system |
US10853583B1 (en) | 2016-08-31 | 2020-12-01 | Narrative Science Inc. | Applied artificial intelligence technology for selective control over narrative generation from visualizations of data |
US10474753B2 (en) | 2016-09-07 | 2019-11-12 | Apple Inc. | Language identification using recurrent neural networks |
US10902342B2 (en) * | 2016-09-16 | 2021-01-26 | International Business Machines Corporation | System and method for scoring the geographic relevance of answers in a deep question answering system based on geographic context of an input question |
US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
US10445332B2 (en) | 2016-09-28 | 2019-10-15 | Intuit Inc. | Method and system for providing domain-specific incremental search results with a customer self-service system for a financial management system |
US10303683B2 (en) | 2016-10-05 | 2019-05-28 | International Business Machines Corporation | Translation of natural language questions and requests to a structured query format |
US10754886B2 (en) * | 2016-10-05 | 2020-08-25 | International Business Machines Corporation | Using multiple natural language classifier to associate a generic query with a structured question type |
US10572954B2 (en) | 2016-10-14 | 2020-02-25 | Intuit Inc. | Method and system for searching for and navigating to user content and other user experience pages in a financial management system with a customer self-service system for the financial management system |
US10733677B2 (en) | 2016-10-18 | 2020-08-04 | Intuit Inc. | Method and system for providing domain-specific and dynamic type ahead suggestions for search query terms with a customer self-service system for a tax return preparation system |
KR102589638B1 (ko) | 2016-10-31 | 2023-10-16 | 삼성전자주식회사 | 문장 생성 장치 및 방법 |
US11244249B2 (en) | 2016-11-11 | 2022-02-08 | General Electric Company | Machine learning templates in a machine learning framework |
CN107038196A (zh) * | 2016-11-28 | 2017-08-11 | 阿里巴巴集团控股有限公司 | 一种客服问题回答处理方法及装置 |
US10552843B1 (en) | 2016-12-05 | 2020-02-04 | Intuit Inc. | Method and system for improving search results by recency boosting customer support content for a customer self-help system associated with one or more financial management systems |
US10579728B2 (en) | 2016-12-06 | 2020-03-03 | International Business Machines Corporation | Hidden cycle evidence booster |
US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
CN106649768B (zh) * | 2016-12-27 | 2021-03-16 | 北京百度网讯科技有限公司 | 基于深度问答的问答澄清方法和装置 |
US11204787B2 (en) | 2017-01-09 | 2021-12-21 | Apple Inc. | Application integration with a digital assistant |
US10748157B1 (en) | 2017-01-12 | 2020-08-18 | Intuit Inc. | Method and system for determining levels of search sophistication for users of a customer self-help system to personalize a content search user experience provided to the users and to increase a likelihood of user satisfaction with the search experience |
CN106874441B (zh) * | 2017-02-07 | 2024-03-05 | 腾讯科技(上海)有限公司 | 智能问答方法和装置 |
US10803249B2 (en) * | 2017-02-12 | 2020-10-13 | Seyed Ali Loghmani | Convolutional state modeling for planning natural language conversations |
US10860628B2 (en) | 2017-02-16 | 2020-12-08 | Google Llc | Streaming real-time dialog management |
US11068661B1 (en) | 2017-02-17 | 2021-07-20 | Narrative Science Inc. | Applied artificial intelligence technology for narrative generation based on smart attributes |
US11568148B1 (en) | 2017-02-17 | 2023-01-31 | Narrative Science Inc. | Applied artificial intelligence technology for narrative generation based on explanation communication goals |
US10943069B1 (en) | 2017-02-17 | 2021-03-09 | Narrative Science Inc. | Applied artificial intelligence technology for narrative generation based on a conditional outcome framework |
US11954445B2 (en) | 2017-02-17 | 2024-04-09 | Narrative Science Llc | Applied artificial intelligence technology for narrative generation based on explanation communication goals |
US10713442B1 (en) | 2017-02-17 | 2020-07-14 | Narrative Science Inc. | Applied artificial intelligence technology for interactive story editing to support natural language generation (NLG) |
CN108509463B (zh) * | 2017-02-28 | 2022-03-29 | 华为技术有限公司 | 一种问题的应答方法及装置 |
US10073831B1 (en) * | 2017-03-09 | 2018-09-11 | International Business Machines Corporation | Domain-specific method for distinguishing type-denoting domain terms from entity-denoting domain terms |
DK201770383A1 (en) | 2017-05-09 | 2018-12-14 | Apple Inc. | USER INTERFACE FOR CORRECTING RECOGNITION ERRORS |
US10417266B2 (en) | 2017-05-09 | 2019-09-17 | Apple Inc. | Context-aware ranking of intelligent response suggestions |
US10395654B2 (en) | 2017-05-11 | 2019-08-27 | Apple Inc. | Text normalization based on a data-driven learning network |
DK180048B1 (en) | 2017-05-11 | 2020-02-04 | Apple Inc. | MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION |
DK201770439A1 (en) | 2017-05-11 | 2018-12-13 | Apple Inc. | Offline personal assistant |
US10726832B2 (en) | 2017-05-11 | 2020-07-28 | Apple Inc. | Maintaining privacy of personal information |
DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
US11301477B2 (en) | 2017-05-12 | 2022-04-12 | Apple Inc. | Feedback analysis of a digital assistant |
DK201770428A1 (en) | 2017-05-12 | 2019-02-18 | Apple Inc. | LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT |
DK201770432A1 (en) | 2017-05-15 | 2018-12-21 | Apple Inc. | Hierarchical belief states for digital assistants |
DK201770431A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
DK201770411A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | MULTI-MODAL INTERFACES |
US20180336892A1 (en) | 2017-05-16 | 2018-11-22 | Apple Inc. | Detecting a trigger of a digital assistant |
US20180336275A1 (en) | 2017-05-16 | 2018-11-22 | Apple Inc. | Intelligent automated assistant for media exploration |
US10311144B2 (en) | 2017-05-16 | 2019-06-04 | Apple Inc. | Emoji word sense disambiguation |
US10403278B2 (en) | 2017-05-16 | 2019-09-03 | Apple Inc. | Methods and systems for phonetic matching in digital assistant services |
DK179560B1 (en) | 2017-05-16 | 2019-02-18 | Apple Inc. | FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES |
CN107977393A (zh) * | 2017-05-22 | 2018-05-01 | 海南大学 | 一种面向5w问答的基于数据图谱、信息图谱、知识图谱和智慧图谱的推荐引擎设计方法 |
US10657328B2 (en) | 2017-06-02 | 2020-05-19 | Apple Inc. | Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling |
US10891295B2 (en) * | 2017-06-04 | 2021-01-12 | Apple Inc. | Methods and systems using linear expressions for machine learning models to rank search results |
US10901992B2 (en) * | 2017-06-12 | 2021-01-26 | KMS Lighthouse Ltd. | System and method for efficiently handling queries |
US10769138B2 (en) | 2017-06-13 | 2020-09-08 | International Business Machines Corporation | Processing context-based inquiries for knowledge retrieval |
US10853740B2 (en) | 2017-06-23 | 2020-12-01 | Microsoft Technology Licensing, Llc | Natural language interface to interactive, operating-system shell and techniques for creating training data for the same |
US10922367B2 (en) | 2017-07-14 | 2021-02-16 | Intuit Inc. | Method and system for providing real time search preview personalization in data management systems |
US11093709B2 (en) | 2017-08-10 | 2021-08-17 | International Business Machine Corporation | Confidence models based on error-to-correction mapping |
US10445429B2 (en) | 2017-09-21 | 2019-10-15 | Apple Inc. | Natural language understanding using vocabularies with compressed serialized tries |
US11093951B1 (en) | 2017-09-25 | 2021-08-17 | Intuit Inc. | System and method for responding to search queries using customer self-help systems associated with a plurality of data management systems |
US10755051B2 (en) | 2017-09-29 | 2020-08-25 | Apple Inc. | Rule-based natural language processing |
US11055354B2 (en) * | 2017-11-03 | 2021-07-06 | Salesforce.Com, Inc. | Omni-platform question answering system |
US10776411B2 (en) * | 2017-11-07 | 2020-09-15 | International Business Machines Corporation | Systematic browsing of automated conversation exchange program knowledge bases |
US11157533B2 (en) * | 2017-11-08 | 2021-10-26 | International Business Machines Corporation | Designing conversational systems driven by a semantic network with a library of templated query operators |
US11238075B1 (en) * | 2017-11-21 | 2022-02-01 | InSkill, Inc. | Systems and methods for providing inquiry responses using linguistics and machine learning |
US10013654B1 (en) | 2017-11-29 | 2018-07-03 | OJO Labs, Inc. | Cooperatively operating a network of supervised learning processors to concurrently distribute supervised learning processor training and provide predictive responses to input data |
US10019491B1 (en) | 2017-11-29 | 2018-07-10 | OJO Labs, Inc. | Machine learning of response selection to structured data input |
US10387576B2 (en) * | 2017-11-30 | 2019-08-20 | International Business Machines Corporation | Document preparation with argumentation support from a deep question answering system |
US10636424B2 (en) | 2017-11-30 | 2020-04-28 | Apple Inc. | Multi-turn canned dialog |
US10810215B2 (en) * | 2017-12-15 | 2020-10-20 | International Business Machines Corporation | Supporting evidence retrieval for complex answers |
US11210286B2 (en) * | 2017-12-28 | 2021-12-28 | Microsoft Technology Licensing, Llc | Facet-based conversational search |
US11042708B1 (en) | 2018-01-02 | 2021-06-22 | Narrative Science Inc. | Context saliency-based deictic parser for natural language generation |
US11151464B2 (en) | 2018-01-03 | 2021-10-19 | International Business Machines Corporation | Forecasting data based on hidden cycle evidence |
US10733982B2 (en) | 2018-01-08 | 2020-08-04 | Apple Inc. | Multi-directional dialog |
US11023689B1 (en) | 2018-01-17 | 2021-06-01 | Narrative Science Inc. | Applied artificial intelligence technology for narrative generation using an invocable analysis service with analysis libraries |
US11436642B1 (en) | 2018-01-29 | 2022-09-06 | Intuit Inc. | Method and system for generating real-time personalized advertisements in data management self-help systems |
US10733375B2 (en) | 2018-01-31 | 2020-08-04 | Apple Inc. | Knowledge-based framework for improving natural language understanding |
US11625531B2 (en) * | 2018-02-07 | 2023-04-11 | Nec Corporation | Information processing apparatus, information processing method, and computer-readable recording medium |
US11126798B1 (en) | 2018-02-19 | 2021-09-21 | Narrative Science Inc. | Applied artificial intelligence technology for conversational inferencing and interactive natural language generation |
US10789959B2 (en) | 2018-03-02 | 2020-09-29 | Apple Inc. | Training speaker recognition models for digital assistants |
KR102048030B1 (ko) | 2018-03-07 | 2019-11-22 | 구글 엘엘씨 | 자동화 어시스턴트와의 단대단 다국어 통신 촉진 |
US10592604B2 (en) | 2018-03-12 | 2020-03-17 | Apple Inc. | Inverse text normalization for automatic speech recognition |
GB201804807D0 (en) * | 2018-03-26 | 2018-05-09 | Orbital Media And Advertising Ltd | Interaactive systems and methods |
US10818288B2 (en) | 2018-03-26 | 2020-10-27 | Apple Inc. | Natural assistant interaction |
US11269665B1 (en) | 2018-03-28 | 2022-03-08 | Intuit Inc. | Method and system for user experience personalization in data management systems using machine learning |
US10909331B2 (en) | 2018-03-30 | 2021-02-02 | Apple Inc. | Implicit identification of translation payload with neural machine translation |
US11106664B2 (en) * | 2018-05-03 | 2021-08-31 | Thomson Reuters Enterprise Centre Gmbh | Systems and methods for generating a contextually and conversationally correct response to a query |
US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
US11145294B2 (en) | 2018-05-07 | 2021-10-12 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
US10984780B2 (en) | 2018-05-21 | 2021-04-20 | Apple Inc. | Global semantic word embeddings using bi-directional recurrent neural networks |
US11386266B2 (en) | 2018-06-01 | 2022-07-12 | Apple Inc. | Text correction |
DK180639B1 (en) | 2018-06-01 | 2021-11-04 | Apple Inc | DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT |
DK179822B1 (da) | 2018-06-01 | 2019-07-12 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
DK201870355A1 (en) | 2018-06-01 | 2019-12-16 | Apple Inc. | VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS |
US10892996B2 (en) | 2018-06-01 | 2021-01-12 | Apple Inc. | Variable latency device coordination |
US10496705B1 (en) | 2018-06-03 | 2019-12-03 | Apple Inc. | Accelerated task performance |
CN108921743B (zh) * | 2018-06-20 | 2020-12-22 | 大国创新智能科技(东莞)有限公司 | 基于大数据与人工智能的解惑方法和解惑教育机器人系统 |
US11042713B1 (en) | 2018-06-28 | 2021-06-22 | Narrative Scienc Inc. | Applied artificial intelligence technology for using natural language processing to train a natural language generation system |
US10803253B2 (en) | 2018-06-30 | 2020-10-13 | Wipro Limited | Method and device for extracting point of interest from natural language sentences |
US11010561B2 (en) | 2018-09-27 | 2021-05-18 | Apple Inc. | Sentiment prediction from textual data |
US11170166B2 (en) | 2018-09-28 | 2021-11-09 | Apple Inc. | Neural typographical error modeling via generative adversarial networks |
US11288319B1 (en) * | 2018-09-28 | 2022-03-29 | Splunk Inc. | Generating trending natural language request recommendations |
US10839159B2 (en) | 2018-09-28 | 2020-11-17 | Apple Inc. | Named entity normalization in a spoken dialog system |
US11462215B2 (en) | 2018-09-28 | 2022-10-04 | Apple Inc. | Multi-modal inputs for voice commands |
US11475898B2 (en) | 2018-10-26 | 2022-10-18 | Apple Inc. | Low-latency multi-speaker speech recognition |
US20200159824A1 (en) * | 2018-11-15 | 2020-05-21 | International Business Machines Corporation | Dynamic Contextual Response Formulation |
US11055330B2 (en) * | 2018-11-26 | 2021-07-06 | International Business Machines Corporation | Utilizing external knowledge and memory networks in a question-answering system |
US11004095B2 (en) | 2018-11-28 | 2021-05-11 | International Business Machines Corporation | Micro-service sequencing and recommendation |
US11638059B2 (en) | 2019-01-04 | 2023-04-25 | Apple Inc. | Content playback on multiple devices |
US10949613B2 (en) | 2019-01-11 | 2021-03-16 | International Business Machines Corporation | Dynamic natural language processing |
US10909180B2 (en) * | 2019-01-11 | 2021-02-02 | International Business Machines Corporation | Dynamic query processing and document retrieval |
US11341330B1 (en) | 2019-01-28 | 2022-05-24 | Narrative Science Inc. | Applied artificial intelligence technology for adaptive natural language understanding with term discovery |
US11348573B2 (en) | 2019-03-18 | 2022-05-31 | Apple Inc. | Multimodality in digital assistant systems |
US11423908B2 (en) | 2019-05-06 | 2022-08-23 | Apple Inc. | Interpreting spoken requests |
US11307752B2 (en) | 2019-05-06 | 2022-04-19 | Apple Inc. | User configurable task triggers |
US11475884B2 (en) | 2019-05-06 | 2022-10-18 | Apple Inc. | Reducing digital assistant latency when a language is incorrectly determined |
DK201970509A1 (en) | 2019-05-06 | 2021-01-15 | Apple Inc | Spoken notifications |
CN110163281B (zh) * | 2019-05-20 | 2024-07-12 | 腾讯科技(深圳)有限公司 | 语句分类模型训练方法和装置 |
US11140099B2 (en) | 2019-05-21 | 2021-10-05 | Apple Inc. | Providing message response suggestions |
US11289073B2 (en) | 2019-05-31 | 2022-03-29 | Apple Inc. | Device text to speech |
DK180129B1 (en) | 2019-05-31 | 2020-06-02 | Apple Inc. | USER ACTIVITY SHORTCUT SUGGESTIONS |
DK201970511A1 (en) | 2019-05-31 | 2021-02-15 | Apple Inc | Voice identification in digital assistant systems |
US11887585B2 (en) | 2019-05-31 | 2024-01-30 | Apple Inc. | Global re-ranker |
US11496600B2 (en) | 2019-05-31 | 2022-11-08 | Apple Inc. | Remote execution of machine-learned models |
US11227599B2 (en) | 2019-06-01 | 2022-01-18 | Apple Inc. | Methods and user interfaces for voice-based control of electronic devices |
US11360641B2 (en) | 2019-06-01 | 2022-06-14 | Apple Inc. | Increasing the relevance of new available information |
US11200266B2 (en) * | 2019-06-10 | 2021-12-14 | International Business Machines Corporation | Identifying named entities in questions related to structured data |
US11157707B2 (en) | 2019-07-23 | 2021-10-26 | International Business Machines Corporation | Natural language response improvement in machine assisted agents |
US11488406B2 (en) | 2019-09-25 | 2022-11-01 | Apple Inc. | Text detection using global geometry estimators |
US11797820B2 (en) * | 2019-12-05 | 2023-10-24 | International Business Machines Corporation | Data augmented training of reinforcement learning software agent |
US11748128B2 (en) | 2019-12-05 | 2023-09-05 | International Business Machines Corporation | Flexible artificial intelligence agent infrastructure for adapting processing of a shell |
TWI737101B (zh) * | 2019-12-27 | 2021-08-21 | 財團法人工業技術研究院 | 問答學習方法、應用其之問答學習系統及其電腦程式產品 |
US12014284B2 (en) | 2019-12-27 | 2024-06-18 | Industrial Technology Research Institute | Question-answering learning method and question-answering learning system using the same and computer program product thereof |
CN111125335B (zh) | 2019-12-27 | 2021-04-06 | 北京百度网讯科技有限公司 | 问答处理方法、装置、电子设备和存储介质 |
CN111241285B (zh) * | 2020-01-15 | 2023-09-01 | 北京百度网讯科技有限公司 | 问题回答类型的识别方法、装置、设备及存储介质 |
US11562749B2 (en) | 2020-05-01 | 2023-01-24 | Adp, Inc. | System and method for query authorization and response generation using machine learning |
US20230107944A1 (en) * | 2020-05-08 | 2023-04-06 | Katapal, Inc. | Systems and methods for conversational ordering |
US11061543B1 (en) | 2020-05-11 | 2021-07-13 | Apple Inc. | Providing relevant data items based on context |
US11043220B1 (en) | 2020-05-11 | 2021-06-22 | Apple Inc. | Digital assistant hardware abstraction |
US11755276B2 (en) | 2020-05-12 | 2023-09-12 | Apple Inc. | Reducing description length based on confidence |
US11490204B2 (en) | 2020-07-20 | 2022-11-01 | Apple Inc. | Multi-device audio adjustment coordination |
US11438683B2 (en) | 2020-07-21 | 2022-09-06 | Apple Inc. | User identification using headphones |
CN113392308B (zh) * | 2021-06-22 | 2024-06-25 | 抖音视界有限公司 | 内容搜索方法、装置、设备及介质 |
CN113505207B (zh) * | 2021-07-02 | 2024-02-20 | 中科苏州智能计算技术研究院 | 一种金融舆情研报的机器阅读理解方法及系统 |
US12026467B2 (en) * | 2021-08-04 | 2024-07-02 | Accenture Global Solutions Limited | Automated learning based executable chatbot |
US20240220709A1 (en) * | 2022-12-28 | 2024-07-04 | Tencent America LLC | Unifying text segmentation and long document summarization |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090006345A1 (en) * | 2007-06-28 | 2009-01-01 | Microsoft Corporation | Voice-based search processing |
CN101339551A (zh) * | 2007-07-05 | 2009-01-07 | 日电(中国)有限公司 | 自然语言查询需求扩展设备及其方法 |
US20100005081A1 (en) * | 1999-11-12 | 2010-01-07 | Bennett Ian M | Systems for natural language processing of sentence based queries |
US20120078636A1 (en) * | 2010-09-28 | 2012-03-29 | International Business Machines Corporation | Evidence diffusion among candidate answers during question answering |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7019749B2 (en) * | 2001-12-28 | 2006-03-28 | Microsoft Corporation | Conversational interface agent |
US7610556B2 (en) * | 2001-12-28 | 2009-10-27 | Microsoft Corporation | Dialog manager for interactive dialog with computer user |
EP1797509A2 (en) * | 2004-10-07 | 2007-06-20 | Language Computer Corporation | Natural language question answering system and method utilizing a multi-modal logic |
US8832064B2 (en) * | 2005-11-30 | 2014-09-09 | At&T Intellectual Property Ii, L.P. | Answer determination for natural language questioning |
US7856350B2 (en) * | 2006-08-11 | 2010-12-21 | Microsoft Corporation | Reranking QA answers using language modeling |
US8484014B2 (en) * | 2008-11-03 | 2013-07-09 | Microsoft Corporation | Retrieval using a generalized sentence collocation |
US8326820B2 (en) * | 2009-09-30 | 2012-12-04 | Microsoft Corporation | Long-query retrieval |
US20110082848A1 (en) * | 2009-10-05 | 2011-04-07 | Lev Goldentouch | Systems, methods and computer program products for search results management |
-
2012
- 2012-07-02 US US13/539,674 patent/US20140006012A1/en not_active Abandoned
-
2013
- 2013-07-02 CN CN201380035865.5A patent/CN104471568A/zh active Pending
- 2013-07-02 EP EP13739555.4A patent/EP2867802A1/en not_active Withdrawn
- 2013-07-02 WO PCT/US2013/049085 patent/WO2014008272A1/en active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100005081A1 (en) * | 1999-11-12 | 2010-01-07 | Bennett Ian M | Systems for natural language processing of sentence based queries |
US20090006345A1 (en) * | 2007-06-28 | 2009-01-01 | Microsoft Corporation | Voice-based search processing |
CN101339551A (zh) * | 2007-07-05 | 2009-01-07 | 日电(中国)有限公司 | 自然语言查询需求扩展设备及其方法 |
US20120078636A1 (en) * | 2010-09-28 | 2012-03-29 | International Business Machines Corporation | Evidence diffusion among candidate answers during question answering |
Cited By (51)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104699845B (zh) * | 2015-03-31 | 2016-10-12 | 北京奇虎科技有限公司 | 基于提问类搜索词的搜索结果提供方法及装置 |
CN104699845A (zh) * | 2015-03-31 | 2015-06-10 | 北京奇虎科技有限公司 | 基于提问类搜索词的搜索结果提供方法及装置 |
CN112527827A (zh) * | 2015-06-29 | 2021-03-19 | 微软技术许可有限责任公司 | 用于多维数据的自动洞察 |
CN112527827B (zh) * | 2015-06-29 | 2024-08-27 | 微软技术许可有限责任公司 | 用于多维数据的自动洞察 |
CN108780445A (zh) * | 2016-03-16 | 2018-11-09 | 马鲁巴公司 | 用于对小数据的机器理解的并行分层模型 |
US11507834B2 (en) | 2016-03-16 | 2022-11-22 | Microsoft Technology Licensing, Llc | Parallel-hierarchical model for machine comprehension on small data |
CN105912629A (zh) * | 2016-04-07 | 2016-08-31 | 上海智臻智能网络科技股份有限公司 | 一种智能问答方法及装置 |
TWI638274B (zh) * | 2016-04-12 | 2018-10-11 | 芋頭科技(杭州)有限公司 | 一種語義匹配方法及智能設備 |
CN105912527A (zh) * | 2016-04-19 | 2016-08-31 | 北京高地信息技术有限公司 | 根据自然语言输出答案的方法、装置及系统 |
CN109478204A (zh) * | 2016-05-17 | 2019-03-15 | 马鲁巴公司 | 非结构化文本的机器理解 |
CN109478204B (zh) * | 2016-05-17 | 2023-09-15 | 微软技术许可有限责任公司 | 非结构化文本的机器理解 |
CN106202476A (zh) * | 2016-07-14 | 2016-12-07 | 广州安望信息科技有限公司 | 一种基于知识图谱的人机对话的方法及装置 |
CN106202476B (zh) * | 2016-07-14 | 2017-06-06 | 广州安望信息科技有限公司 | 一种基于知识图谱的人机对话的方法及装置 |
CN108228637A (zh) * | 2016-12-21 | 2018-06-29 | 中国电信股份有限公司 | 自然语言客户自动应答方法和系统 |
CN106789595A (zh) * | 2017-01-17 | 2017-05-31 | 北京诸葛找房信息技术有限公司 | 信息推送方法和装置 |
CN108345612B (zh) * | 2017-01-25 | 2023-10-27 | 北京搜狗科技发展有限公司 | 一种问题处理方法和装置、一种用于问题处理的装置 |
CN108345612A (zh) * | 2017-01-25 | 2018-07-31 | 北京搜狗科技发展有限公司 | 一种问题处理方法和装置、一种用于问题处理的装置 |
CN111095234A (zh) * | 2017-09-15 | 2020-05-01 | 国际商业机器公司 | 训练数据更新 |
CN111213140A (zh) * | 2017-10-10 | 2020-05-29 | 尼根特罗匹克斯软件有限公司 | 大型数据库中语义搜索的方法和系统 |
US11409749B2 (en) | 2017-11-09 | 2022-08-09 | Microsoft Technology Licensing, Llc | Machine reading comprehension system for answering queries related to a document |
CN111386686A (zh) * | 2017-11-09 | 2020-07-07 | 微软技术许可有限责任公司 | 用于回答与文档相关的查询的机器阅读理解系统 |
CN111386686B (zh) * | 2017-11-09 | 2022-10-18 | 微软技术许可有限责任公司 | 用于回答与文档相关的查询的机器阅读理解系统 |
CN109960734A (zh) * | 2017-12-22 | 2019-07-02 | 奥多比公司 | 用于数据可视化的问题回答 |
CN108256056A (zh) * | 2018-01-12 | 2018-07-06 | 广州杰赛科技股份有限公司 | 智能问答方法与系统 |
CN111566652A (zh) * | 2018-01-15 | 2020-08-21 | 微软技术许可有限责任公司 | 用于辅助用户完成任务的上下文感知的推荐 |
CN111566652B (zh) * | 2018-01-15 | 2024-02-27 | 微软技术许可有限责任公司 | 用于辅助用户完成任务的上下文感知的推荐 |
CN110059165A (zh) * | 2018-01-19 | 2019-07-26 | 国际商业机器公司 | 便利回答涉及对定量信息推理的问题 |
US11651010B2 (en) | 2018-01-19 | 2023-05-16 | International Business Machines Corporation | Facilitating answering questions involving reasoning over quantitative information |
CN111712836A (zh) * | 2018-02-09 | 2020-09-25 | 易享信息技术有限公司 | 作为问答的多任务学习 |
CN111712836B (zh) * | 2018-02-09 | 2023-09-19 | 硕动力公司 | 作为问答的多任务学习 |
CN110532376A (zh) * | 2018-04-13 | 2019-12-03 | 国际商业机器公司 | 分类文本以确定用于选择机器学习算法结果的目标类型 |
CN110532376B (zh) * | 2018-04-13 | 2024-03-19 | 玛雷迪夫美国公司 | 分类文本以确定用于选择机器学习算法结果的目标类型 |
CN108829757A (zh) * | 2018-05-28 | 2018-11-16 | 广州麦优网络科技有限公司 | 一种聊天机器人的智能服务方法、服务器及存储介质 |
CN108829757B (zh) * | 2018-05-28 | 2022-01-28 | 广州麦优网络科技有限公司 | 一种聊天机器人的智能服务方法、服务器及存储介质 |
US20220035728A1 (en) * | 2018-05-31 | 2022-02-03 | The Ultimate Software Group, Inc. | System for discovering semantic relationships in computer programs |
US11748232B2 (en) * | 2018-05-31 | 2023-09-05 | Ukg Inc. | System for discovering semantic relationships in computer programs |
CN108959529A (zh) * | 2018-06-29 | 2018-12-07 | 北京百度网讯科技有限公司 | 问题答案类型的确定方法、装置、设备及存储介质 |
CN112313647B (zh) * | 2018-08-06 | 2024-06-11 | 谷歌有限责任公司 | Captcha自动助理 |
US12002474B2 (en) | 2018-08-06 | 2024-06-04 | Google Llc | Captcha automated assistant |
CN112313647A (zh) * | 2018-08-06 | 2021-02-02 | 谷歌有限责任公司 | Captcha自动助理 |
CN109272129A (zh) * | 2018-09-20 | 2019-01-25 | 重庆先特服务外包产业有限公司 | 呼叫中心业务管理系统 |
CN110582761A (zh) * | 2018-10-24 | 2019-12-17 | 阿里巴巴集团控股有限公司 | 基于点击图上向量传播模型的智能客户服务 |
CN110582761B (zh) * | 2018-10-24 | 2023-05-30 | 创新先进技术有限公司 | 基于点击图上向量传播模型的智能客户服务 |
CN109800293A (zh) * | 2018-12-20 | 2019-05-24 | 出门问问信息科技有限公司 | 一种基于问题分类获取答案的方法、装置及电子设备 |
CN110210021A (zh) * | 2019-05-22 | 2019-09-06 | 北京百度网讯科技有限公司 | 阅读理解方法及装置 |
CN112199476A (zh) * | 2019-06-23 | 2021-01-08 | 国际商业机器公司 | 在会话智能导师系统中部分正确答案后选择支架的自动决策 |
CN111177371A (zh) * | 2019-12-05 | 2020-05-19 | 腾讯科技(深圳)有限公司 | 一种分类方法和相关装置 |
CN111177371B (zh) * | 2019-12-05 | 2023-03-21 | 腾讯科技(深圳)有限公司 | 一种分类方法和相关装置 |
CN112818093A (zh) * | 2021-01-18 | 2021-05-18 | 平安国际智慧城市科技股份有限公司 | 基于语义匹配的证据文档检索方法、系统及存储介质 |
CN112784600B (zh) * | 2021-01-29 | 2024-01-16 | 北京百度网讯科技有限公司 | 信息排序方法、装置、电子设备和存储介质 |
CN112784600A (zh) * | 2021-01-29 | 2021-05-11 | 北京百度网讯科技有限公司 | 信息排序方法、装置、电子设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
EP2867802A1 (en) | 2015-05-06 |
WO2014008272A1 (en) | 2014-01-09 |
US20140006012A1 (en) | 2014-01-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104471568A (zh) | 对自然语言问题的基于学习的处理 | |
CN110765244B (zh) | 获取应答话术的方法、装置、计算机设备及存储介质 | |
Sharif et al. | Sentiment analysis of Bengali texts on online restaurant reviews using multinomial Naïve Bayes | |
Bergsma et al. | Stylometric analysis of scientific articles | |
Troussas et al. | Sentiment analysis of Facebook statuses using Naive Bayes classifier for language learning | |
US8386240B2 (en) | Domain dictionary creation by detection of new topic words using divergence value comparison | |
US9009134B2 (en) | Named entity recognition in query | |
Karadzhov et al. | We built a fake news & click-bait filter: what happened next will blow your mind! | |
CN111695033A (zh) | 企业舆情分析方法、装置、电子设备及介质 | |
CN112800170A (zh) | 问题的匹配方法及装置、问题的回复方法及装置 | |
Lopez Barbosa et al. | Evaluating hotels rating prediction based on sentiment analysis services | |
US20200210442A1 (en) | Identifying and extracting addresses within content | |
CN114238573A (zh) | 基于文本对抗样例的信息推送方法及装置 | |
Kausar et al. | ProSOUL: a framework to identify propaganda from online Urdu content | |
CN111159405B (zh) | 基于背景知识的讽刺检测方法 | |
Suchdev et al. | Twitter sentiment analysis using machine learning and knowledge-based approach | |
Zhu et al. | Real-time personalized twitter search based on semantic expansion and quality model | |
KR102206781B1 (ko) | 지식 기반 추론 및 신뢰도 분석을 이용한 가짜뉴스 판별 방법, 이를 수행하기 위한 기록매체 및 장치 | |
Lucy et al. | Words as gatekeepers: Measuring discipline-specific terms and meanings in scholarly publications | |
CN115878752A (zh) | 文本情感的分析方法、装置、设备、介质及程序产品 | |
US20140272842A1 (en) | Assessing cognitive ability | |
CN114372454B (zh) | 文本信息抽取方法、模型训练方法、装置及存储介质 | |
Hussain et al. | A technique for perceiving abusive bangla comments | |
Eskandari et al. | Predicting best answer using sentiment analysis in community question answering systems | |
Briciu et al. | AutoAt: A deep autoencoder-based classification model for supervised authorship attribution |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150325 |