CN111247778A - 使用web智能的对话式/多回合的问题理解 - Google Patents

使用web智能的对话式/多回合的问题理解 Download PDF

Info

Publication number
CN111247778A
CN111247778A CN201880046046.3A CN201880046046A CN111247778A CN 111247778 A CN111247778 A CN 111247778A CN 201880046046 A CN201880046046 A CN 201880046046A CN 111247778 A CN111247778 A CN 111247778A
Authority
CN
China
Prior art keywords
query
reformulation
reformulations
context
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201880046046.3A
Other languages
English (en)
Inventor
M·马里克
任家瑞
柯启发
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN111247778A publication Critical patent/CN111247778A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3344Query execution using natural language analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2457Query processing with adaptation to user needs
    • G06F16/24575Query processing with adaptation to user needs using context
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/338Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • G06F16/9032Query formulation
    • G06F16/90332Natural language query formulation or dialogue systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9537Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/253Grammatical analysis; Style critique
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/289Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295Named entity recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/564Enhancement of application control based on intercepted application data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/565Conversion or adaptation of application format or content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/901Indexing; Data structures therefor; Storage structures
    • G06F16/9024Graphs; Linked lists
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/02User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages

Abstract

提供了使用web智能的对话式或多回合的问题理解。智能查询理解系统被提供,以用于接收来自用户的取决于上下文的查询,获得与取决于上下文的查询相关的上下文信息,并且基于上下文信息,将取决于上下文的查询重新格式化为一个或多个重新制定。智能查询理解系统还可操作以利用一个或多个重新制定来查询搜索引擎,接收一个或多个候选结果,以及基于候选结果选择排名最高的重新制定。系统能够提供排名最高的重新制定作为响应。

Description

使用WEB智能的对话式/多回合的问题理解
背景技术
随着诸如聊天机器人、数字个人助理、对话代理、扬声器设备等的问答(QnA)技术变得越来越普遍,计算设备用户越来越多地使用自然语言与他们的计算设备交互。例如,当使用计算设备来搜索信息时,用户越来越多地使用对话式的搜索,而不是传统的关键词或关键短语查询方法。在对话式的搜索中,用户可以按照用户的意图被明确定义的方式来制定(formulate)问题或查询。例如,用户可以提问,“今天华盛顿州西雅图的天气预报是什么?”在这个问题中,在标识查询中实体(天气预报、今天、西雅图、华盛顿州)时没有不明确,在理解查询背后的意图时也没有不明确。
备选地,用户的查询可以是取决于上下文的,其中用户按照上下文信息被需要以推断用户意图的方式提出问题。例如,用户可以使用有限数目的词语以尝试找到关于话题的信息,并且搜索引擎或其他QnA技术面临着以下挑战:试图理解该搜索背后的意图,以及尝试找到作为响应的网页或其他结果。作为一个示例,用户可能提问,“明天会下雨吗?”在这个示例中,接收查询的系统可能需要使用上下文信息,诸如用户的当前位置,以帮助理解用户的意图。
作为另一示例,用户可能提出包括不定代词的问题,该不定代词涉及一个或多个未被指定的物体、生物、地方,并且该不定代词涉及的实体可能未在当前查询中被指定,但是可能在先前的查询或回答中被提到。例如,用户可能提问,“谁在Star Saga第五集中扮演R3D3?”,跟着“谁导演了它?”,通过此用户的意图是为了知道“谁导演了Star Saga第五集?”人类通常能够容易地理解和回顾对话中早先提到的上下文实体信息。然而,搜索引擎或者其他QnA系统通常难以解决该问题,尤其在较长的或者多回合的对话中,并且可能不能适当地重新制定多回合的问题,或者可能将每个搜索视作它未与先前搜索连接。
如可以被理解的,当QnA系统不能处理多回合对话时,用户可能变得沮丧。当系统不能理解用户的意图时,用户可能不得不按照另一方式重新提出问题,试图获得所期望的回答。这不仅对于用户是无效率的,而且处理附加的查询也涉及附加的计算机处理和网络带宽使用。
发明内容
本发明内容被提供以用简化的形式介绍一些概念,其在下面的具体实施方式部分中被进一步描述。该发明内容既不旨在标识所要求保护的主题的所有特征,也不旨在限制所要求保护的主题的范围。
各方面涉及用于使用web智能提供对话式的或多回合问题理解的系统、方法和计算机可读存储设备。根据各方面,对于取决于上下文的问题,智能查询理解系统能够理解用户的意图,并且能够以对话的方式向用户提供语义上相关的响应,因此提供改善的用户体验和改善的用户交互效率。如本文中使用的,术语“取决于上下文的”被用来定义不包括直接引用的问题或查询,或者对于其附加的上下文被需要用于回答问题的问题或查询。例如,附加的上下文可以在对话中先前的问题或回答中,或者在用户的环境(例如,用户偏好、一天的时刻、用户的位置、用户的当前活动)中。智能查询理解系统被提供用于接收来自用户的取决于上下文的查询,获得与取决于上下文的查询有关的上下文信息,以及基于上下文信息将取决于上下文的查询重新格式化为一个或多个重新制定(reformulation)。智能查询理解系统还可操作以利用一个或多个重新制定查询搜索引擎,接收一个或多个候选结果,并且基于最高排名的重新制定向用户返回响应。
一个或多个方面的细节在以下的附图和描述中被阐述。其他特征和优点通过阅读以下详细描述和评阅相关联的附图将是明显的。应当理解,以下详细描述仅是解释性的,而不是限制性的;本公开的适当范围由权利要求设置。
附图说明
并入本公开且构成本公开的一部分的附图,图示了本公开的各种方面。在附图中:
图1A是图示示例环境的框图,在该环境中智能查询理解系统能够被实现用于提供对话式的或者多回合问题的理解;
图1B是图示智能查询理解系统的组件和功能性的框图;
图2是使用智能查询理解系统的各方面的示例查询和响应会话的图示;
图3是示出在示例方法中涉及的通用阶段的流程图,该示例方法用于提供对话式的或多回合问题的理解;
图4是图示计算设备的物理组件的框图,利用该计算设备,示例可以被实践;
图5A和图5B是移动计算设备的框图,利用该计算设备,各方面可以被实践;以及
图6是分布式计算系统的框图,在该系统中各方面可以被实践。
具体实施方式
以下的详细描述参考附图。在可能的情况下,相同的附图标记被使用在附图和以下描述中,以指代相同或相似的元件。尽管本公开的各方面可以被描述,但是修改、适配和其他实现是可能的。例如,可以对附图中图示的元件进行替换、添加或修改,并且可以通过替换、重排序、或添加阶段到所公开的方法来修改本文中所描述的方法。相应地,以下详细描述没有限制本公开,但是相反,本公开的适当范围由所附权利要求限定。示例可以采取硬件实现、或完全软件实现、或结合软件和硬件方面的实现的形式。因此,以下详细描述不应当以限制性的意义被采用。
本公开的各方面涉及用于在对话中提供智能响应的系统、方法和计算机可读存储设备。图1A图示了计算环境100的表示的框图,在该环境中提供智能的对话式的响应可以被实现。如所图示的,示例环境100包括智能查询理解系统106,其可操作以接收来自用户102的查询124、理解用户的意图、并且提供对查询的智能响应132。根据示例,用户102使用信息检索系统138,其在客户端计算设备104或远程计算设备或服务器计算机134上被执行,并且该信息检索系统通过网络136或网络的组合(例如,广域网(例如,互联网)、局域网、私用网络、公用网络、分组网络、电路交换网络、有线网络或无线网络)被通信地附接到计算设备104。计算设备104可以是各种类型的计算设备(例如,平板计算设备、台式计算机、移动通信设备、膝上型计算机、膝上型/平板混合计算设备、大屏幕多点触控显示器、游戏设备、智能电视、可穿戴设备、连接的汽车、智能家居设备、扬声器设备或其他类型的计算设备)中的一种。这些计算设备的硬件关于图4、图5A、图5B和图6被更详细地讨论。
根据示例,信息检索系统138可以被实施为各种类型的信息检索系统中的一种,诸如web浏览器应用、数字个人助理、消息应用、聊天机器人、或其他类型的问答系统。正如应当被理解的,信息检索系统138的其他类型是可能的,并且在本公开的范围内。根据一个方面,用户102被使能指定关于感兴趣的项目或话题的标准,其中该标准被称为搜索查询124。搜索查询124通常被表述为一组词语,该组词语标识一个或多个内容项目可能包含的所期望的实体或概念。在一些示例中,信息检索系统138采用用户界面(UI),通过它用户102可以提交查询124,并且通过它,对查询、对话式的对话或其他信息的响应132可以被递送给用户。在示例中,UI被配置为接收音频消息或文本消息形式的用户输入(例如,问题、请求、命令),以及以音频消息或可显示的消息的形式向用户102递送响应132。在一个示例中,UI被实现为与软件应用、移动应用、网站或web服务集成的小部件,其被采用以提供计算机-人类界面,以用于获得查询124和向用户102递送响应132。根据一个示例,当输入经由音频消息被接收时,该输入可以包括由计算设备104的麦克风捕获的用户语音。其他输入方法是可能的并且在本公开的范围内。例如,计算设备104可操作以经由各种输入方法接收来自用户的输入,诸如文本输入、画图输入、署名输入、选择输入等,各种输入方法诸如那些依赖于鼠标、键盘和远程控制的方法,以及使用户能够以“自然”的方式与设备交互的自然用户界面(NUI)方法,诸如经由语音识别、触摸和手写笔识别、屏幕上和与屏幕相邻的姿势识别、空中手势、头部和眼部跟踪、声音和语音、视觉、触摸、悬停、姿势和机器智能。
根据一个方面,信息检索系统138包括或被可操作地连接到智能查询理解系统106。在一些示例中,智能查询理解系统106作为API(应用程序接口)被暴露给信息检索系统138。在一些示例中,智能查询理解系统106被问答系统调用,以重新制定查询以包括正确的上下文,然后智能查询理解系统106将经重新制定的查询传递到问答系统,以用于找到该查询的答案。根据一个方面,智能查询理解系统106包括实体提取模块108、查询重新制定引擎110和排名器112。在一些示例中,智能查询理解系统106包括一个或多个计算设备104,其被编程以提供服务,该服务支持提供响应于查询的智能对话式响应的操作。例如,智能查询理解系统106的组件可以位于单个计算机(例如,服务器计算机134)上,或者智能查询理解系统106的一个或多个组件可以跨多个设备分布。
根据一个方面,实体提取模块108说明软件模块、系统或者设备,其可操作以检测查询124、对话中的先前查询以及对于先前查询的回答或响应中的实体或概念(本文中被统称为实体/概念126)。当智能查询理解系统106(经由信息检索系统138)接收搜索查询124时,智能查询理解系统106调用实体提取模块108以用于获得会话上下文。例如,实体提取模块108可操作以在当前查询124、以及(如果适用的话)对话中的先前查询和回答中检测实体/概念126。实体提取模块108还可操作以检测或接收关于查询124的隐式信息,诸如关于用户102或用户的环境(例如,用户偏好、一天的时刻、用户的位置、用户的当前活动)的信息。
在一些示例中,查询124由用户102按照用户的意图在查询中被显式定义的方式来形成。例如,查询124包括可以位于文本字符串内和在其中被分类的一个或多个实体/概念126。根据一个方面,关于其数据可以被捕获或存储的对象(例如,人、地方、事物)被认为是实体。例如,在问题“今天华盛顿州西雅图的天气预报是什么?”中,“天气”、“预报”、“今天”“西雅图”和“华盛顿州”可以被标识为实体。根据另一方面,如本文中使用的,概念被定义为文本字符串中具有语义含义的词语或术语。例如,在以下对话中,“在密歇根大学的全职学生的学费是多少?”和其后的“兼职学生的情况怎么样?”词语“密歇根大学”可以被标识为实体,并且“全职学生”和“兼职学生”可以被标识为概念。
在其他示例中,所接收的查询124是取决于上下文的。如上所述,如本文中使用的,术语“取决于上下文的”被用来定义不包括直接引用的问题或查询,或者对于其需要附加的上下文用于回答问题的问题或查询。例如,附加的上下文可以在对话中先前的问题或回答中,或在用户的环境(例如,用户偏好、一天的时刻、用户的位置、用户的当前活动)中。在一些示例中,查询124不包括直接引用(例如,第一查询“Star Saga第五集”,其后是第二查询“导演是谁?”)。在其他示例中,查询124包括引用当前查询的上下文之外的实体/概念126的一个或多个词语或语法标记。例如,查询124可以包括外指的引用,其中该外指的引用是涉及未在查询中出现的主语的代词或其他词语。根据一个示例,被包括在查询124中的外指的引用指的是涉及使用上下文信息的隐式信息,诸如用户的当前位置、一天的时刻、用户偏好、用户的当前活动等,以帮助理解用户意图或查询意图。根据另一示例,查询124可以是由多个查询124和至少一个响应132组成的对话的一部分,并且可以包括涉及对话中早先提到的实体的外指的引用。例如,用户102可能在第一查询中提问,“女王伊丽莎白的年纪多大?”,其次在相同对话的第二查询中提问“她多高?”,其中第二查询中的术语“她”指的是第一查询中提到的“女王伊丽莎白”。
根据一个方面,关于当前查询对话会话的上下文信息包括物理上下文数据,诸如用户的当前位置、一天的时刻、用户偏好或用户的当前活动。物理上下文数据被存储在会话存储库114中。根据另一方面,关于当前查询对话会话的上下文信息包括语言上下文信息,诸如在对话中的先前的查询124和响应132中检测到的实体/概念126。会话存储库114还可操作以存储语言上下文数据(例如,在对话中的先前查询124和响应132中检测到的实体/概念126)。实体提取模块108可操作以与会话存储库114通信,以检索关于当前对话的上下文信息。在一些示例中,一条或多条上下文信息被用以理解用户意图或查询意图。根据一些方面,实体提取模块108与一个或多个认知服务118通信,其操作以提供用于检测查询124中的实体/概念126的语言理解服务。在一些示例中,一个或多个认知服务118可以提供用于重新制定当前查询的语言理解服务。在一些示例中,一个或多个认知服务118是API。
在一些示例中,实体提取模块108与知识图谱116通信。当一个或多个实体/概念126在查询124中被标识时,实体提取模块108向知识图谱116查询所标识的实体/概念的性质。考虑这样一个示例,多回合对话包括第一查询“谁在Star Saga第五集中扮演了R3D3”,其后是回答“Kent Barker”,其后是第二查询“谁导演了它”。实体提取模块108可以向知识图谱116查询实体“R3D3”、“Star Saga第五集”、“导演了”和“Kent Barker”(第一查询的回答)。知识图谱查询的结果可以帮助提供对于当前查询的附加的上下文。知识图谱116说明了实体和实体之间的关系的库。在知识图谱116中,实体/概念126被表示为节点,并且实体/概念之间的属性和关系被表示为连接节点的边。因此,知识图谱116提供实体和它们与其他实体的关系的结构化的原理图。根据示例,节点之间的边可以表示推论的关系或显式关系。根据一个方面,知识图谱116利用从多个内容源122(例如,网页或其他联网数据存储库)挖掘出的内容不断地被更新。
根据一个方面,实体提取模块108可操作以将当前查询124中被标识的实体/概念126传递到查询重新制定引擎110。在一些示例中,实体提取模块108还可操作以将关联于所标识的实体/概念的性质传递到查询重新制定引擎110。在一些示例中,实体提取模块108还可操作以将关于当前对话会话的上下文信息传递到查询重新制定引擎110。查询重新制定引擎110说明了软件模块、系统或设备,该软件模块、系统或设备可操作以接收来自实体提取模块108的实体/概念126、实体/概念的性质、以及上下文信息,并且将当前查询重新格式化为多个经重新制定的查询(本文中被称为重新制定128a-n(被统称为128))。根据一个方面,重新制定128是不取决于先前查询中用于理解用户意图或查询意图的信息的单回合的查询。
在一些示例中,查询重新制定引擎110操作以基于上下文信息将当前查询124重新格式化。如上文描述的,在一些示例中,上下文信息包括物理上下文,诸如用户偏好、一天的时刻、用户的位置、用户的当前活动等。在其他示例中,上下文信息包括语言的上下文,诸如当前对话的先前查询或响应132中所标识的实体/概念126。根据一些方面,查询重新制定引擎110与深度学习服务120通信,深度学习服务120操作以提供机器学习模型以用于确定当前查询124的可能的重新制定。在一些示例中,深度学习服务120是被暴露给智能查询理解系统106的API。
图2中图示了示例多回合对话智能查询理解系统和基于上下文信息确定的重新制定128。现在参考图2,用户102提交第一查询124a,“在Star Saga第五集中谁扮演了R3D3?”并且“Kent Barker”被提供作为第一查询的回答或响应132a。随后,用户102在第二及当前查询124b中提问,“谁导演了它?”根据一个方面,查询重新制定引擎110使用一条或多条上下文信息,并且将当前查询124b重新格式化为基于一条或多条上下文信息的多个重新制定128a-c。根据一个方面,多个重新制定128a中的一个重新制定是当前查询124b(例如,“谁导演了它?”)。如图示的,基于上下文信息,其他重新制定128b、128c包括“谁导演了R3D3”和“谁导演了Star Saga第五集”。
再次参考图1A,在针对当前查询124生成可能的重新制定128之后,智能查询理解系统106可操作以利用重新制定128查询搜索引擎140。例如,智能查询理解系统106将每个重新制定128作为单独的查询向搜索引擎140发出。根据一个方面,搜索引擎140在各种内容源122(例如,网页、数据库、开放式目录、或其他联网数据存储库)中挖掘可用的数据。响应于搜索引擎查询,多个候选结果130a-n(统称为130)被提供给智能查询理解系统106。
排名器112说明了软件模块、系统或设备,其可操作以接收多个候选结果130(例如,web文档、URL),并且基于发布的web信号对重新制定128进行排名。例如,排名器112分析每个候选结果130以用于确定相关性得分。在一些示例中,相关性得分指示文档或URL对于相关联的重新制定128的质量的度量,其中排名靠前的重新制定具有在语义上有意义的候选结果130。例如,在图2中图示的示例中,重新制定128a“谁导演了它”将可能不会返回高质量的文档。同样,重新制定128b“谁导演了R3D3”将可能不会返回高质量的文档,考虑到R3D3是一个角色而不是一部电影,因此提问谁导演了角色R3D3在语义上没有意义。重新制定128c“谁导演了Star Saga第五集”确实在语义上有意义并且将可能会产生包括MarrvinKushner作为电影Star Saga第五集导演的高质量的结果。
在一些示例中,对于给定的重新制定128的候选结果130的一致性被分析,并且被用作确定对于重新制定的相关性得分的因素。例如,高质量或者排名靠前的重新制定将具有大体上一致的多个候选结果130。在早先提到的多回合对话示例中,其中用户102在第一查询中提问“女王伊丽莎白多大年纪?”,跟着在相同对话的第二查询中提问“她多高”,第一重新制定128“她多高”将可能产生不一致的结果,而第二重新制定128“女王伊丽莎白多高”可能产生大体上一致的语义上有意义的结果。相应地,第二重新制定128将具有比第一重新制定更高的相关性得分。根据一个方面,排名最高的重新制定128基于相关性得分而被选择,并且对当前查询124的响应132经由用于提供查询的信息检索系统138被生成和提供给用户102。例如,响应132包括响应于排名最高的重新制定128而从一个或多个候选结果130生成的回答。根据一个方面,响应132经由查询被接收的通信通道被提供给用户102(例如,以文本形式被显示在图形用户界面(GUI)中,或者以经由计算设备的(多个)扬声器或与计算设备连接的(多个)扬声器被回放的可听响应被说出)。
图1B是图示智能查询理解系统106的组件和功能性的框图。现在参考图1B,当前查询124b(“他什么时候担任总统的?”)被接收,其被实体提取模块108分析以用于检测实体/概念126以及获得会话上下文。例如,实体提取模块108可以从当前查询124b中检测和提取“总统”。此外,实体提取模块108获得关于当前查询124b的上下文信息,诸如在来自会话存储库114的先前查询124a和先前响应132a和/或物理上下文数据(例如,用户偏好、用户的当前位置、一天的时刻、用户的当前活动)中被检测到的实体/概念126。例如,实体提取模块108可以获得来自先前查询124a和回答或结果132a的“abraham lincoln”和“john wilkesbooth”。实体提取模块108还可操作以针对实体/概念126的性质查询知识图谱116,诸如,Abraham Lincoln是男性实体,John Wilkes Booth是男性实体,以及关联于AbrahamLincoln和John Wilkes Booth的其他陈述。
接下来,查询重新制定引擎110重新制定当前查询124b。在一些示例中,一个或多个认知服务118用于提供语言理解服务,并且深度学习服务120被用于提供机器学习模型以用于将当前查询124b重新制定为多个单回合的重新制定128。根据一个方面,一个重新制定128a是处于未重新制定状态的当前查询124b(即,R00 128a是未重新制定的)。即,一个重新制定128a是处于其原始状态或形式的当前查询124b。多个重新制定128中的每个重新制定作为单独的查询被发出到搜索引擎140。排名器112基于公布的web信号分析和对重新制定128进行排名,该公布的web信号指示对于相关联的重新制定128的搜索结果文档或URL的质量的度量,其中排名靠前的重新制定在语义上有意义,具有在语义上有意义的并且大体上一致的候选结果130。在一些示例中,排名靠前的重新制定142是处于其原始形式的当前查询124b,并且相应地,当前查询不是取决于上下文的确定可以被做出。在一些示例中,排名靠前的重新制定142被提供作为对用于理解当前查询124b的API查询的响应。在其他示例中,对排名靠前的重新制定142的排名靠前的回答被提供作为对当前查询124b的响应132b。
已经关于图1A、图1B和图2描述了操作环境100、智能查询理解系统106的组件、以及用例示例,图3是示出在用于提供对话式的或多回合的问题理解的示例方法300中涉及的通用阶段的流程图。现在参考图3,方法300在开始操作(START OPERATION)302处开始,并且前进到查询124被接收的操作304。例如,用户102经由文本输入、语音输入等向信息检索系统138提供查询。根据一个方面,查询124是取决于上下文的,并且用户意图或查询意图未被明确地定义。例如,查询124没有包括对实体或概念的直接引用,或包括涉及未在当前查询中出现的主语的外指的引用。在一些示例中,查询124取决于物理的上下文数据(例如,用户偏好、用户的当前位置、一天的时刻、用户的当前活动)。在其他示例中,查询124取决于被包括在当前多回合对话内的先前查询或响应132中的语言的上下文数据。根据一个示例,查询124不取决于上下文并且被视为独立的问题。
方法300前进到操作306,此处当前查询124中的实体/概念126被检测并且关联于当前对话会话的上下文信息被获得。在当前查询124中检测实体/概念126时,认知服务118可以被用于语言理解。此外,知识图谱116可以被用于获得在查询中所标识的或所检测到的实体/概念126的性质。在一些示例中,物理的上下文数据可以被存储在会话存储库114中或者从其中被收集。在其他示例中,当前查询124是包括至少一个先前查询和响应132的对话的一部分,并且包括被包括在至少一个先前查询和响应中的实体/概念126的语言的上下文数据被收集。
方法300前进到操作308,此处当前查询124基于上下文信息被重新格式化为多个重新制定128。例如,重新制定128可以包括在当前对话会话中的先前查询或响应中提到的实体/概念126。根据一个方面,一个重新制定128包括原始查询124(即,一个重新制定是以其原始的、未被重新制定的形式的当前查询)。
方法300前进到操作310,此处搜索引擎140利用多个重新制定128被查询。例如,每个重新制定被提供作为单独的搜索引擎查询。在操作312处,多个候选结果130被返回到智能查询理解系统106。在一些示例中,多个候选结果130针对每个重新制定128被提供。
方法300前进到操作314,此处多个重新制定128基于它们的相关联的候选结果130的所确定的质量而被排名。例如,对于特定重新制定128的相关性得分可以部分地基于该重新制定是否在语义上有意义。作为另一示例,对于特定重新制定128的相关性得分可以基于搜索结果的质量,该搜索结果是基于web智能的。作为另一示例,对于特定重新制定128的相关性得分可以部分地基于其相关联的候选结果130一致的程度。根据一个方面,排名靠前的重新制定128在语义上有意义,将具有高质量的结果,并且将具有在搜索引擎查询候选结果130之间的一致的信息。
在操作316处,排名最高的重新制定128被选择,并且对当前查询124的响应132基于与所选择的重新制定相关联的一个或多个候选结果130中的信息而被生成。在一些示例中,原始查询(未被重新格式化的查询124)被选择作为最好的重新制定,例如当它具有强的信号形成它的搜索引擎结果时。相应地,查询124可以被视为独立的问题或者作为不取决于上下文的查询,而不是上下文的或对话式的问题。响应132然后作为被显示在GUI中的回答被提供给用户102,或者以通过计算设备104的、或与计算设备连接的一个或多个扬声器的可听格式而被提供。在一些示例中,排名最高的重新制定响应于另一系统而被提供,诸如响应API调用的问答系统。方法300在操作398处结束。
尽管实现已经在程序模块的通用上下文中被描述,该程序模块与运行在计算机上的操作系统上的应用程序一起执行,但是本领域的技术人员将认识到,各方面也可以结合其他程序模块被实现。通常,程序模块包括例程、程序、组件、数据结构以及执行特定任务或实现特定抽象数据类型的其他类型的结构。
本文中描述的方面和功能性可以经由大量计算系统操作,该计算系统包括但不限于台式计算机系统、有线和无线计算系统、移动计算系统(例如,移动电话、上网本、平板或板式计算机、笔记本计算机和膝上型计算机)、手持式设备、多处理器系统、基于微处理器的或可编程的消费电子产品、小型计算机和大型计算机。
另外,根据一个方面,本文中描述的方面和功能性在分布式系统(例如,基于云的计算系统)上操作,其中应用功能性、存储器、数据存储和检索以及各种处理功能在分布式计算网络(诸如因特网或内联网)上远离彼此被操作。根据一个方面,用户界面和各种类型的信息经由板上计算设备显示器或经由与一个或多个计算设备相关联的远程显示单元而被显示。例如,用户界面和各种类型的信息在用户界面和各种类型的信息被投影到的壁表面上被显示和交互。与利用其实现被实践的大量计算系统的交互包括:击键录入、触摸屏录入、声音或其他音频的录入、姿势录入等,在姿势录入中,相关联的计算设备被配备有用于捕获和解译用户姿势的检测(例如,相机)功能性以用于控制计算设备的功能性。
图4-图6和相关联的描述提供其中示例被实践的各种操作环境的讨论。然而,关于图4-图6的被图示和讨论的设备和系统是出于示例和图示的目的,并且不限制被用于实践本文中描述的各方面的大量的计算设备配置。
图4是图示计算设备400的物理组件(即,硬件)的框图,利用该计算设备400本公开的示例被实践。在基础的配置中,计算设备400包括至少一个处理单元402和系统存储器404。根据一个方面,取决于计算设备的配置和类型,系统存储器404包括但不限于:易失性存储装置(例如,随机存取存储器)、非易失性存储装置(例如,只读存储器)、闪存或这些存储器的任何组合。根据一个方面,系统存储器404包括操作系统405和适用于运行软件应用450的一个或多个程序模块406。根据一个方面,系统存储器404包括智能查询理解系统106的一个或多个组件。例如,操作系统405适用于控制计算设备400的操作。此外,各方面连同图形库、其他操作系统或任何其他应用程序被实践,并且不限于任何特定的应用或系统。该基础的配置在图4中通过虚线408内的那些组件被图示。根据一个方面,计算设备400具有附加的特征或功能性。例如,根据一个方面,计算设备400包括附加的数据存储设备(可移除的和/或不可移除的),诸如,例如,磁盘、光盘或磁带。这些附加的存储装置在图4中由可移除的存储设备409和不可移除的存储设备410图示。
如上文陈述的,根据一个方面,多个程序模块和数据文件被存储在系统存储器404中。当在处理单元402上执行时,程序模块406(例如,智能查询理解系统106的一个或多个组件)执行包括但不限于图3中图示的方法300的一个或多个阶段的过程。根据一个方面,其他程序模块依照示例被使用,并且包括应用450,诸如电子邮件和联系人应用、文字处理应用、电子表格应用、数据库应用、幻灯片演示应用、画图或计算机辅助的制图应用程序等。
根据一个方面,各方面在包括分立电子元件的电路中、含有逻辑门的封装或集成的电子芯片、使用微处理器的电路、或者在含有电子元件或微处理器的单个芯片上被实践。例如,各方面经由片上系统(SOC)被实践,其中图4中所示的每个或许多组件被集成到单个集成电路上。根据一个方面,这样的SOC设备包括一个或多个处理单元、图形单元、通信单元、系统虚拟化单元和各种应用功能性,它们全部被集成(或者“烧制”)到芯片基板上作为单个集成电路。当经由SOC操作时,本文中描述的功能性经由与计算设备400的其他组件集成在单个集成电路(芯片)上的专用逻辑而被操作。根据一个方面,本公开的各方面使用能够执行诸如例如AND、OR和NOT的逻辑运算的其他技术而被实践,这些技术包括但不限于:机械的、光学的、流体的和量子技术。另外,各方面在通用计算机内或任何其他电路或系统中被实践。
根据一个方面,计算设备400具有一个或多个输入设备412,诸如键盘、鼠标、笔、声音输入设备、触摸输入设备等。根据一个方面,诸如显示器、扬声器、打印机等的(多个)输出设备414也被包括。前述设备是示例,并且其他示例也可以被使用。根据一个方面,计算设备400包括允许与其他计算设备418通信的一个或多个通信连接416。适合的通信连接416的示例包括但不限于:射频(RF)发射器、接收器和/或收发器电路装置;通用串行总线(USB),并行和/或串行端口。
如本文中使用的,术语计算机可读介质包括计算机存储介质。计算机存储介质包括以用于信息存储的任何方法或技术实现的易失性的和非易失性的、可移除的和不可移除的介质,该信息诸如计算机可读指令、数据结构或程序模块。系统存储器404、可移除的存储设备409和不可移除的存储设备410都是计算机存储介质示例(即存储器存储装置)。根据一个方面,计算机存储介质包括RAM、ROM、电可擦除可编程只读存储器(EEPROM)、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光学存储装置、磁盘、磁带、磁盘存储装置或其他磁存储设备、或能够用于存储信息和能够由计算设备400访问的任何其他制品。根据一个方面,任何这样的计算机存储介质是计算设备400的一部分。计算机存储介质不包括载波或其他传播的数据信号。
根据一个方面,通信介质由计算机可读指令、数据结构、程序模块或经调制的数据信号中的其他数据(诸如载波或其他运输机制)实施,并且包括任何信息递送介质。根据一个方面,术语“经调制的数据信号”描述具有一个或多个特性集合或按照便于在信号中编码信息这样的方式而被改变的信号。通过示例而非限制,通信介质包括诸如有线网络或直接有线连接之类的有线介质,以及诸如声学的、射频、红外和其他无线介质之类的无线介质。
图5A和图5B图示利用其各方面可以被实践的移动计算设备500,例如移动电话、智能电话、平板个人计算机、膝上型计算机等。参考图5A,用于实现各方面的移动计算设备500的一个示例被图示。在基础的配置中,移动计算设备500是具有输入元件和输出元件两者的手持式计算机。移动计算设备500通常包括显示器505和允许用户将信息录入到移动计算设备500中的一个或多个输入按钮510。根据一个方面,移动计算设备500的显示器505充当输入设备(例如,触摸屏显示器)。如果被包括,则可选的侧输入元件515允许进一步的用户输入。根据一个方面,侧输入元件515是旋转开关、按钮、或任何其他类型的手动输入元件。在备选的示例中,移动计算设备500合并或多或少的输入元件。例如,在一些示例中,显示器505可以不是触摸屏。在备选的示例中,移动计算设备500是便携式电话系统,诸如蜂窝电话。根据一个方面,移动计算设备500包括可选的按键535。根据一个方面,可选的按键535是物理的按键。根据另一方面,可选的按键535是在触摸屏显示器上被生成的“软”按键。在各种方面中,输出元件包括用于示出图形用户界面(GUI)的显示器505、视觉指示器520(例如,发光二极管),和/或音频转换器525(例如,扬声器)。在一些示例中,移动计算设备500合并振动转换器以用于向用户提供触觉反馈。在又一示例中,移动计算设备500合并输入和/或输出端口,诸如音频输入(例如,麦克风插孔)、音频输出(例如,耳机插孔)、视频输出(例如,HDMI端口),以用于发送信号到外部设备或者从外部设备接收信号。在又一示例中,移动计算设备500合并外围设备端口540,诸如音频输入(例如,麦克风插孔)、音频输出(例如,耳机插孔)和视频输出(例如,HDMI端口),以用于发送信号到外部设备或从外部设备接收信号。
图5B是图示移动计算设备的一个示例的架构的框图。即,移动计算设备500合并系统(即架构)502以实现一些示例。在一个示例中,系统502被实现为能够运行一个或多个应用(例如,浏览器、电子邮件、日历、联系人管理器、消息传递客户端、游戏和媒体客户端/播放器)的“智能电话”。在一些示例中,系统502被集成为计算设备,诸如集成的个人数字助理(PDA)和无线电话。
根据一个方面,一个或多个应用程序550被加载到存储器562中,并且在操作系统564上运行或与操作系统564相关联地运行。应用程序的示例包括电话拨打程序、电子邮件程序、个人信息管理(PIM)程序、文字处理程序、电子表格程序、互联网浏览器程序、消息传递程序等。根据一个方面,智能查询理解系统106的一个或多个组件被加载进入存储器562中。系统502还包括存储器562内的非易失性的存储区域568。非易失性的存储区域568用于存储如果系统502断电不应该丢失的持久性信息。应用程序550可以使用和存储非易失性存储区域568中的信息,诸如电子邮件或由电子邮件应用使用的其他消息等。同步应用(未示出)也驻留在系统502上,并且被编程为与驻留在主机计算机上的对应的同步应用交互,以保持存储在非易失性存储区域568中的信息与存储在主机计算机的对应的信息同步。如应该被理解的,其他应用可以被加载进入存储器562中并且在移动计算设备500上运行。
根据一个方面,系统502具有被实现为一个或多个电池的电源570。根据一个方面,电源570还包括外部电源,诸如AC适配器或者补充电池或给电池重新充电的上电的对接底座。
根据一个方面,系统502包括执行发送和接收射频通信的功能的无线电572。无线电572经由通信运营商或服务提供方有助于系统502和“外部世界”之间的无线连接性。去往无线电572的传输和来自无线电572的传输在操作系统564的控制下进行。换言之,无线电572接收的通信可以经由操作系统564被散布到应用程序550,反之亦然。
根据一个方面,视觉指示器520用于提供视觉通知,并且/或者音频接口574用于经由音频转换器525产生可听的通知。在图示的示例中,视觉指示器520是发光二极管(LED)并且音频转换器525是扬声器。这些设备可以被直接耦合到电源570,使得当它们被激活时,即使处理器560和其他组件可能为了节约电池电源而关闭,它们根据通知机制维持接通一段时间。LED可以被编程以无限期地维持接通直到用户采取行动以指示设备的通电状态。音频接口574被使用以提供可听信号给用户和接收来自用户的可听信号。例如,除了被耦合到音频转换器525,音频接口574也可以被耦合到麦克风以接收可听的输入,诸如以有助于电话对话。根据一个方面,系统502还包括使能板上相机530的操作以记录静止图像、视频流等的视频接口576。
根据一个方面,实现系统502的移动计算设备500具有附加的特征或功能性。例如,移动计算设备500包括附加的数据存储设备(可移除的和/或不可移除的),诸如磁盘、光盘或磁带。这样的附加存储装置在图5B中由非易失性存储区域568图示。
根据一个方面,如上文描述的,由移动计算设备500生成或捕获并且经由系统502被存储的数据/信息被本地存储在移动计算设备500上。根据另一方面,数据被存储在任意数目的存储介质上,该存储介质经由无线电572或经由移动计算设备500和关联于移动计算设备500的单独的计算设备(例如,诸如互联网的分布式计算网络中的服务器计算机)之间的有线连接由设备可访问。如应该被理解的,这样的数据/信息经由移动计算设备500经由无线电572或经由分布式计算网络是可访问的。类似地,根据一个方面,这样的数据/信息在用于存储和使用的计算设备之间容易地根据公知的数据/信息转移和存储手段被转移,转移和存储手段包括电子邮件和协同数据/信息分享系统。
图6图示如上文描述的用于在对话中提供智能响应的系统的架构的一个示例。与智能查询理解系统106相关联地被发展的、与其交互的、或被编辑的内容被使能以被存储在不同的通信通道或其他存储类型中。例如,各种文档可以使用目录服务662、门户网站624、邮箱服务626、即时消息存储库628、或社交网站630被存储。如本文中描述的,智能查询理解系统106可操作以使用任何一个这些类型的系统等以用于在对话中提供智能响应。根据一个方面,服务器620向客户端605a、605b、605c提供智能查询理解系统106。作为一个示例,服务器620是通过web提供智能查询理解系统106的web服务器。服务器620通过网络640通过web向客户端605提供智能查询理解系统106。通过示例,客户端计算设备被实现和实施在个人计算机605a、平板计算设备605b或移动计算设备605c(例如,智能电话)或其他计算设备中。客户端计算设备的任何这些示例可操作以获得来自存储库616的内容。
例如,实现在上文中参考框图和/或方法、系统和计算机程序产品的操作性说明根据各方面而被描述。在方框中被注释的功能/动作可能不按照任何流程图中示出的顺序而乱序地发生。例如,连续示出的两个方框事实上可能大体上同时被执行,或者方框有时可能以逆序被执行,这取决于所涉及的功能性/动作。
本申请中提供的一个或多个示例的描述和图示不旨在以任何方式限制或约束所要求保护的范围。本申请中提供的各方面、示例和细节被认为足以传达占用以及使能其他人进行和使用最佳模式。实现不应该被解释为限制于本申请中提供的任何方面、示例或细节。不管是否被组合或单独地示出和描述,各种特征(结构和方法论两者的)旨在选择性地被包括或省略,以产生具有特定的特征集合的示例。已经提供了本申请的描述和图示,本领域的技术人员可以设想落入在本申请中实施的大体的发明构思的更广泛的方面的精神内的、不脱离更广泛的范围的变型、修改和替换的示例。

Claims (15)

1.一种用于提供查询理解的系统,包括:
处理单元;以及
存储器,包括计算机可读指令,所述计算机可读指令在由所述处理单元执行时可操作以:
接收查询;
获得与所述查询相关的上下文信息;
基于所述上下文信息,将所述查询重新格式化为一个或多个重新制定,其中所述一个或多个重新制定中的一个重新制定包括处于其原始形式的所述查询;
利用所述一个或多个重新制定来查询搜索引擎;
接收一个或多个候选结果;以及
基于所述一个或多个重新制定的排名最高的重新制定,返回对所述查询的响应。
2.根据权利要求1所述的系统,其中所述查询包括一个或多个词语或语法标记,所述一个或多个词语或语法标记对在当前查询的上下文之外的实体/概念进行引用。
3.根据权利要求2所述的系统,其中:
所述查询是对话会话或多回合问题的一部分;并且
所述一个或多个词语或语法标记指的是被包括在所述对话会话中的先前查询或响应中的实体/概念。
4.根据权利要求1所述的系统,其中所述系统还可操作以标识被包括在所述查询中的一个或多个实体/概念。
5.根据权利要求4所述的系统,其中在获得与所述查询相关的上下文信息时,所述系统可操作以向知识图谱查询与所述一个或多个实体/概念相关联的性质。
6.根据权利要求1所述的系统,其中在将所述查询重新格式化为一个或多个重新制定时,所述系统可操作以将所述查询重新格式化为多个单回合自主的查询。
7.根据权利要求1所述的系统,其中所述排名最高的重新制定是符合以下要求的重新制定,其:
在语义上有意义;
具有基于web智能的质量候选结果;以及
具有大体上一致的、与其相关联的候选结果。
8.根据权利要求1所述的系统,其中:
当确定所述排名最高的重新制定是处于其原始形式的所述查询时,所述查询不是取决于上下文的;并且
当确定所述排名最高的重新制定为不是处于其原始形式的所述查询的所述一个或多个重新制定中的一个重新制定时,所述查询是取决于上下文的。
9.一种用于提供查询理解的方法,包括:
接收查询;
获得与所述查询相关的上下文信息;
基于所述上下文信息,将所述查询重新格式化为一个或多个重新制定;
利用所述一个或多个重新制定来查询搜索引擎;
接收一个或多个候选结果;以及
基于所述一个或多个重新制定的排名最高的重新制定,返回对所述查询的响应。
10.根据权利要求9所述的方法,其中接收所述查询包括以下中的至少一项:
接收查询,针对所述查询,当前查询之外的上下文被需要以用于理解所述查询;以及
接收查询,所述查询是对话会话或多回合问题的一部分,并且其中所述查询对被包括在所述对话会话中的先前查询或响应中的实体/概念进行引用。
11.根据权利要求9所述的方法,其中获得与所述查询相关的上下文信息包括以下中的至少一项:
获得语言的上下文数据,所述语言的上下文数据包括被包括在当前对话会话中的先前查询或响应中的一个或多个实体/概念;以及
获得与所述当前对话会话相关的物理的上下文数据,其中物理的上下文数据包括以下中的至少一项:
用户偏好;
用户的当前位置;
一天的时刻;以及
所述用户的当前活动。
12.根据权利要求9所述的方法,其中将所述查询重新格式化为一个或多个重新制定包括:
将所述查询重新格式化为多个单回合自主的查询;以及
包括处于其原始形式的所述查询作为所述一个或多个重新制定中的一个重新制定。
13.根据权利要求12所述的方法,其中基于所述一个或多个重新制定中的所述排名最高的重新制定返回对所述查询的所述响应包括:
确定所述排名最高的重新制定是否是处于其原始形式的所述查询;
响应于确定所述排名最高的重新制定是处于其原始形式的所述查询,确定所述查询是不取决于上下文的;以及
响应于确定所述排名最高的重新制定不是处于其原始形式的所述查询,确定所述查询是取决于上下文的。
14.根据权利要求9所述的方法,其中基于所述排名最高的重新制定返回对所述查询的所述响应包括以下中的至少一项:
将在语义上有意义的重新制定选择作为所述排名最高的重新制定;
将具有与其相关联的基于web智能的质量候选结果的重新制定选择作为所述排名最高的重新制定;以及
将具有大体上一致的、与其相关联的候选结果的重新制定选择作为所述排名最高的重新制定。
15.一种包括计算机可读指令的计算机可读存储设备,所述计算机可读指令在由处理单元执行时可操作以:
接收第一查询;
返回对所述第一查询的第一响应;
接收第二查询,其中所述第二查询不包括上下文信息,所述上下文信息被需要以理解所述查询的意图;
获得上下文信息;
基于所述上下文信息,将所述第二查询重新格式化为一个或多个重新制定,其中在重新格式化所述第二查询时,所述设备可操作以包括处于其原始形式的所述第二查询作为所述一个或多个重新制定中的一个重新制定;
利用所述第二查询的所述一个或多个重新制定来查询搜索引擎;
接收多个候选结果;
部分地基于所述候选结果,对所述重新制定进行排名;以及
基于排名最高的重新制定,返回对所述第二查询的第二响应。
CN201880046046.3A 2017-07-10 2018-05-25 使用web智能的对话式/多回合的问题理解 Withdrawn CN111247778A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/645,529 2017-07-10
US15/645,529 US20190012373A1 (en) 2017-07-10 2017-07-10 Conversational/multi-turn question understanding using web intelligence
PCT/US2018/034530 WO2019013879A1 (en) 2017-07-10 2018-05-25 UNDERSTANDING CONVERSATIONAL / MULTIPLE-TURN QUESTIONS USING WEB INTELLIGENCE

Publications (1)

Publication Number Publication Date
CN111247778A true CN111247778A (zh) 2020-06-05

Family

ID=62778990

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880046046.3A Withdrawn CN111247778A (zh) 2017-07-10 2018-05-25 使用web智能的对话式/多回合的问题理解

Country Status (4)

Country Link
US (1) US20190012373A1 (zh)
EP (1) EP3652655A1 (zh)
CN (1) CN111247778A (zh)
WO (1) WO2019013879A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113377943A (zh) * 2021-08-16 2021-09-10 中航信移动科技有限公司 多轮智能问答数据处理系统

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9792281B2 (en) 2015-06-15 2017-10-17 Microsoft Technology Licensing, Llc Contextual language generation by leveraging language understanding
US20190065498A1 (en) * 2017-08-29 2019-02-28 Chirrp, Inc. System and method for rich conversation in artificial intelligence
US11409961B2 (en) * 2018-10-10 2022-08-09 Verint Americas Inc. System for minimizing repetition in intelligent virtual assistant conversations
US10949613B2 (en) * 2019-01-11 2021-03-16 International Business Machines Corporation Dynamic natural language processing
US10909180B2 (en) 2019-01-11 2021-02-02 International Business Machines Corporation Dynamic query processing and document retrieval
CN110096567B (zh) * 2019-03-14 2020-12-25 中国科学院自动化研究所 基于qa知识库推理的多轮对话回复选择方法、系统
US11256868B2 (en) 2019-06-03 2022-02-22 Microsoft Technology Licensing, Llc Architecture for resolving ambiguous user utterance
US20210125610A1 (en) * 2019-10-29 2021-04-29 Facebook Technologies, Llc Ai-driven personal assistant with adaptive response generation
US10966000B1 (en) * 2019-12-05 2021-03-30 Rovi Guides, Inc. Method and apparatus for determining and presenting answers to content-related questions
US11086862B2 (en) 2019-12-05 2021-08-10 Rovi Guides, Inc. Method and apparatus for determining and presenting answers to content-related questions
US11481510B2 (en) * 2019-12-23 2022-10-25 Lenovo (Singapore) Pte. Ltd. Context based confirmation query
US11238076B2 (en) 2020-04-19 2022-02-01 International Business Machines Corporation Document enrichment with conversation texts, for enhanced information retrieval
US10818293B1 (en) 2020-07-14 2020-10-27 Drift.com, Inc. Selecting a response in a multi-turn interaction between a user and a conversational bot
US11720615B2 (en) 2021-07-30 2023-08-08 DSilo Inc. Self-executing protocol generation from natural language text
US20230177277A1 (en) * 2021-12-06 2023-06-08 International Business Machines Corporation Contextual dialogue framework over dynamic tables

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1410258A4 (en) * 2001-06-22 2007-07-11 Inc Nervana SYSTEM AND METHOD FOR RECALLING, MANAGING, DELIVERING AND PRESENTING KNOWLEDGE
US7774333B2 (en) * 2003-08-21 2010-08-10 Idia Inc. System and method for associating queries and documents with contextual advertisements
US20110302149A1 (en) * 2010-06-07 2011-12-08 Microsoft Corporation Identifying dominant concepts across multiple sources
US8606739B2 (en) * 2010-06-30 2013-12-10 Microsoft Corporation Using computational engines to improve search relevance
GB2489488B (en) * 2011-03-31 2015-07-08 Step Ahead Corp Ltd Collapsible pushchair
US9183257B1 (en) * 2013-03-14 2015-11-10 Google Inc. Using web ranking to resolve anaphora
US9514221B2 (en) * 2013-03-14 2016-12-06 Microsoft Technology Licensing, Llc Part-of-speech tagging for ranking search results
US9852226B2 (en) * 2015-08-10 2017-12-26 Microsoft Technology Licensing, Llc Search engine results system using entity density

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113377943A (zh) * 2021-08-16 2021-09-10 中航信移动科技有限公司 多轮智能问答数据处理系统
CN113377943B (zh) * 2021-08-16 2022-03-25 中航信移动科技有限公司 多轮智能问答数据处理系统

Also Published As

Publication number Publication date
US20190012373A1 (en) 2019-01-10
WO2019013879A1 (en) 2019-01-17
EP3652655A1 (en) 2020-05-20

Similar Documents

Publication Publication Date Title
CN111247778A (zh) 使用web智能的对话式/多回合的问题理解
US11157490B2 (en) Conversational virtual assistant
US10802709B2 (en) Multi-window keyboard
CN109478196B (zh) 用于对在线用户查询进行响应的系统和方法
US10061843B2 (en) Translating natural language utterances to keyword search queries
US11593613B2 (en) Conversational relevance modeling using convolutional neural network
US10845950B2 (en) Web browser extension
US10565303B2 (en) Word order suggestion processing
KR20160127810A (ko) 온스크린 아이템 선택 및 명확화를 위한 모델 기반 방식
US20140379323A1 (en) Active learning using different knowledge sources
US20160335261A1 (en) Ranking for efficient factual question answering
US20140350931A1 (en) Language model trained using predicted queries from statistical machine translation
US20180322155A1 (en) Search system for temporally relevant social data
WO2023003675A1 (en) Enterprise knowledge base system for community mediation
US10534780B2 (en) Single unified ranker
CN110140120B (zh) 上下文洞察系统
US20190057401A1 (en) Identifying market-agnostic and market-specific search queries
US20210406270A1 (en) Leveraging Interlinking Between Information Resources to Determine Shared Knowledge
US11900926B2 (en) Dynamic expansion of acronyms in audio content

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200605