CN110121706A - 提供会话中的响应 - Google Patents

提供会话中的响应 Download PDF

Info

Publication number
CN110121706A
CN110121706A CN201780081598.3A CN201780081598A CN110121706A CN 110121706 A CN110121706 A CN 110121706A CN 201780081598 A CN201780081598 A CN 201780081598A CN 110121706 A CN110121706 A CN 110121706A
Authority
CN
China
Prior art keywords
information
emotion
message
user
response
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780081598.3A
Other languages
English (en)
Other versions
CN110121706B (zh
Inventor
吴先超
A·马丁内斯
佟航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN110121706A publication Critical patent/CN110121706A/zh
Application granted granted Critical
Publication of CN110121706B publication Critical patent/CN110121706B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24575—Query processing with adaptation to user needs using context
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/44—Statistical methods, e.g. probability models

Abstract

本公开内容提供了用于在问答会话中向用户提供响应的方法和装置。可以在会话中接收消息，该会话在用户和电子对话代理之间。至少基于该消息，从上下文数据库中提取上下文信息。事实信息和情感信息是从消息和上下文信息中的至少一个获得的。事实信息与至少一个事实相关联，情感信息与针对所述至少一个事实的情感相关联。至少基于事实信息和情感信息来生成响应。将该响应提供给用户。

Description

提供会话中的响应
背景技术
人工智能(AI)聊天机器人变得越来越流行，并且正在越来越多的场景中得到应用。聊天机器人被设计用于模拟人类对话，并且可以通过文本、语音、图像等与用户聊天。通常，聊天机器人可以扫描用户输入的消息中的关键词，或者对该消息进行自然语言处理，并向用户提供匹配最多的关键词或者最相似的措辞模式的响应。
发明内容
提供本发明内容以便介绍一组概念，这组概念将在以下的具体实施方式中做进一步描述。本发明内容并非旨在标识所保护主题的关键特征或必要特征，也不旨在用于限制所保护主题的范围。
本公开内容的实施例提出了用于在问答会话中向用户提供响应的方法和装置。可以在会话中接收消息，该会话在用户和电子对话代理之间。至少基于该消息，从上下文数据库中提取上下文信息。事实信息和情感信息是从该消息和上下文信息中的至少一个获得的。事实信息与至少一个事实相关联，情感信息与针对所述至少一个事实的情感相关联。至少基于事实信息和情感信息来生成响应。将该响应提供给用户。
应当关注，以上一个或多个方面包括以下详细描述以及在权利要求中具体指出的特征。下面的说明书及附图详细阐述了所述一个或多个方面的某些说明性特征。这些特征仅仅指示可以实施各个方面的原理的多种方式，并且本公开内容旨在包括所有这些方面和其等同变换。
附图说明
以下将结合附图描述所公开的多个方面，这些附图被提供用以说明而非限制所公开的多个方面。
图1示出了根据实施例的部署聊天机器人的示例性网络架构。
图2示出了根据实施例的示例性聊天机器人系统。
图3示出了根据实施例的示例性用户界面。
图4A-图4C示出了根据实施例的用户和聊天机器人之间的示例性聊天窗口。
图5示出了根据实施例的用于提供情感响应的示例性整体过程。
图6示出了根据实施例的示例性用户话题转移模型。
图7根据实施例，示出了用于建立通用知识图和知识问答(QA)对集合的示例性过程。
图8A-图8C示出了根据实施例的示例性依存句法分析。
图9根据实施例，示出了用于生成事实向量的示例性模型。
图10根据实施例，示出了用于生成情感向量的示例性模型。
图11示出了根据实施例的情感分类器的示例性结构。
图12示出了根据实施例的示例性推理模型的架构。
图13根据实施例，示出了用于在问答会话中向用户提供响应的示例性方法的流程图。
图14根据实施例，示出了用于在问答会话中向用户提供响应的示例性装置。
图15根据实施例，示出了用于在问答会话中向用户提供响应的示例性装置。
具体实施方式
现在将参考多种示例性实施方式来讨论本公开内容。应当理解，这些实施方式的讨论仅仅用于使得本领域技术人员能够更好地理解并从而实施本公开内容的实施例，而并非教导对本公开内容的范围的任何限制。
对话式AI聊天系统近年来一直是AI领域最令人印象深刻的方向之一。通过语音和/或文本，对话被再开发为许多产品或应用的统一入口。例如，电子商务网上购物定制通用的聊天机器人，以适应衣服、鞋子、照相机、化妆品等等的相应商店，并提供在线和即时的对话式消费者服务。但是，在对话式AI聊天系统中，在给定对话上下文的开放式自由聊天期间仍然存在自动准备响应的挑战，这是因为在聊天期间来自用户的问题是开放的，而不限于某些预先定义的模式。
本公开内容的实施例提出了一种推理模型，其可以在问答会话中，基于相关的上下文信息，自动提供针对来自用户的消息的情感响应。该问答会话可以指代两个聊天参与者之间的时间连续的对话，其指导用于通过聊天机器人回答来自用户的问题，并且可以在对话中包括消息和响应。本文的“消息”是指用户输入的任何信息，例如，来自用户的查询/问题、用户对来自聊天机器人的问题的回答、用户指示的文档、用户的意见等等，“响应”是指由聊天机器人提供的任何信息，例如，聊天机器人对来自用户的问题的回答、聊天机器人的评论等等。术语“消息”和术语“查询”也可以互换地使用。
考虑到用户对话题的个性化情感，可以至少基于当前查询、上下文信息来生成情感响应。例如，在用户与聊天机器人对话的场景下，推理模型可以将上下文信息嵌入到密集的向量空间中，并进行多次推理，例如，基于上下文信息进行多轮推理，以推断出新的线索，以便为当前查询提供情感响应。每次执行推理过程时，推理模型都可以推断出可以附加到当前查询的一些新线索，以限制响应范围或者在下一轮推理中进一步使用。例如，通过这样的多轮对话，可以以感性的方式对用户的问题进行回答。与传统的基于搜索引擎的单轮问答服务相比，这种类型的自动聊天服务是更加用户友好的。
图1示出了根据实施例的部署聊天机器人的示例性网络架构100。
在图1中，网络110被应用于在终端设备120和聊天机器人服务器130之间进行互连。
网络110可以是能够对网络实体进行互连的任何类型的网络。网络110可以是单个网络或各种网络的组合。在覆盖范围方面，网络110可以是局域网(LAN)、广域网(WAN)等。在承载介质方面，网络110可以是有线网络、无线网络等。在数据交换技术方面，网络110可以是电路交换网络、分组交换网络等。
终端设备120可以是能够连接到网络110、访问网络110上的服务器或网站、处理数据或信号等的任何类型的电子计算设备。例如，终端设备120可以是台式计算机、笔记本电脑、平板电脑、智能电话、AI终端等。尽管在图1中仅示出了一个终端设备，但是应当理解，可以有不同数量的终端设备连接到网络110。
在一种实现中，终端设备120可以由用户使用。终端设备120可以包括聊天机器人客户端122，其可以向用户提供自动聊天服务。在一些情况下，聊天机器人客户端122可以与聊天机器人服务器130进行交互。例如，聊天机器人客户端122可以将由用户输入的消息发送到聊天机器人服务器130，并且从聊天机器人服务器130接收与该消息相关联的响应。然而，应当理解，在其它情况下，聊天机器人客户端122也可以本地生成对用户输入的消息的响应，而不是与聊天机器人服务器130进行交互。
聊天机器人服务器130可以连接到或者合并聊天机器人数据库140。聊天机器人数据库140可以包括聊天机器人服务器130能够用于生成响应的信息。
应当理解，图1中所示的所有网络实体都是示例性的，根据具体的应用需求，应用场景100可以涉及任何其它网络实体。
图2示出了根据实施例的示例性聊天机器人系统200。
聊天机器人系统200可以包括呈现聊天窗口的用户界面(UI)210。聊天机器人可以使用该聊天窗口与用户进行交互。
聊天机器人系统200可以包括核心处理模块220。核心处理模块220被配置用于通过与聊天机器人系统200的其它模块的协作，在聊天机器人的运行期间提供处理能力。
聊天机器人系统200可以获得用户在聊天窗口中输入的消息，并将消息存储在消息队列232中。消息可以采用各种多媒体形式，例如文本、语音、图像、视频等。
核心处理模块220可以用先进先出的方式处理消息队列232中的消息。核心处理模块220可以调用应用程序接口(API)模块240中的处理单元来处理各种形式的消息。API模块240可以包括文本处理单元242、语音处理单元244、图像处理单元246等。
对于文本消息，文本处理单元242可以对文本消息执行文本理解，并且核心处理模块220可以进一步确定文本响应。
对于语音消息，语音处理单元244可以对语音消息执行语音到文本转换以获得文本语句，文本处理单元242可以对所获得的文本语句执行文本理解，并且核心处理模块220可以进一步确定文本响应。如果确定以语音提供响应，则语音处理单元244可以对文本响应执行文本到语音转换以生成相应的语音响应。
对于图像消息，图像处理单元246可以对图像消息执行图像识别以生成相应的文本，并且核心处理模块220可以进一步确定文本响应。在一些情况下，图像处理单元246也可以用于基于文本响应来获得图像响应。
此外，尽管在图2中未示出，但API模块240还可以包括任何其它处理单元。例如，API模块240可以包括视频处理单元，该视频处理单元用于与核心处理模块220协作以处理视频消息并确定响应。
核心处理模块220可以通过数据库250来确定响应。数据库250可以包括可由核心处理模块220提取以确定响应的多个索引项。
数据库250可以包括纯聊天索引集251。纯聊天索引集251可以包括准备用于聊天机器人和用户之间的自由聊天的索引项，以及可以使用来自于例如社交网络的数据来建立。纯聊天索引集251中的索引项可以采用也可以不采用问答(QA)对的形式(例如，<问题、答案>)。问答对还可以称为消息-响应对。
数据库250可以包括通用知识图252。这里，通用知识图252可以指代各种领域中的单个知识图或者多个知识图。可以根据网络上的网站(例如，维基百科、百度百科、互动百科等等)来建立通用知识图252。通用知识图252中的知识信息可以是元组的形式。
数据库250可以包括用户简档253。用户简档253可以包括用户的个性化信息。例如，用户简档253可以包括用户的性别、年龄、位置信息、感兴趣的话题、针对感兴趣的话题的情感等等。
数据库250可以包括会话日志254。会话日志254可以包括聊天机器人和用户之间的会话中的对话内容的记录，例如，来自用户的消息、聊天机器人的响应等等。
数据库250可以包括产品数据集255。产品数据集255可以包括来自各个伙伴实体的各种类型的产品信息。这里，“产品”可以指代商品或服务，伙伴实体可以是聊天机器人可以从其获得产品信息的商品的生产者或销售者，或者服务的提供者，“产品信息”可以包括商品信息、服务信息、伙伴实体的信息等等。在一种实施方式中，产品数据集255中的产品信息可以包括与要推荐给用户的产品有关的文档。
聊天机器人系统200可以包括模块集260，模块集是可以由核心处理模块220操作以生成或者获得响应的功能模块的集合。
模块集260可以包括上下文信息获得模块261，其可以被配置为获得上下文信息。这里，“上下文信息”可以指代：例如，用户指示的文档、与来自伙伴实体的产品相关的文档、会话日志等等。在一些情况下，用户可以在与聊天机器人的会话中上载或提及文档，因此，上下文信息获得模块261可以从会话、网络或者预先建立的数据库中获得作为上下文信息的文档，其中该文档可以是诸如文章、新闻、书籍等等之类的各种纯文本样式的文档。在一些情况下，聊天机器人和用户之间的会话中可能涉及产品，因此文档获得模块261可以从相应的伙伴实体获得与产品相关的文档作为上下文信息，其中该文档可以是产品的文本描述等等。在一些情况下，文档获得模块261可以直接利用为用户维护的会话日志来作为上下文信息。应当理解的是，可以应用上下文数据库来维护如上所述的各种上下文信息，因此，上下文信息获得模块261可以从上下文数据库中检索上下文信息。虽然没有示出，但是上下文数据库也可以合并到数据库250中。
模块集260可以包括事实编码模块262。事实编码模块262可以被配置为通过使用诸如双向递归神经网络(BiRNN)对上下文信息和/或当前查询进行编码以生成事实向量。
模块集260可以包括情感编码模块263。情感编码模块263可以被配置为通过使用诸如BiRNN以及SoftMax层对上下文信息和/或当前查询进行编码以生成情感向量。
模块集260可以包括推理模块264。推理模块264可以被配置为通过推理网络，来推理出对用户当前查询的响应，其中该响应可以提供有意义的信息，同时对用户的个性化感同身受。在一些情况下，“有意义的信息”可以指示至少基于例如当前的查询、上下文信息、外部通用知识等等，通过推理网络来推理的信息。例如，外部通用知识可以是诸如通用知识图。
核心处理模块220可以将生成的响应提供给响应队列或响应高速缓存234。例如，响应高速缓存234可以确保能够以预定义的时间流来显示响应序列。假设对于一个消息，由核心处理模块220生成了不少于两个的响应，则对响应的时间延迟设置可能是必要的。例如，如果用户输入的消息是“你吃早餐了吗？”，则可能生成两种响应，例如，第一响应是“是的，我吃了面包”，第二响应是“你呢？还觉得饿吗？”。在这种情况下，通过响应高速缓存234，聊天机器人可以确保立即向用户提供第一响应。此外，聊天机器人可以确保以例如1或2秒的时间延迟来提供第二响应，使得第二响应将在第一响应之后的1或2秒被提供给用户。由此，响应高速缓存234可以管理将要发送的响应以及针对每个响应的适当定时。
可以将响应队列或响应高速缓存234中的响应进一步传送到UI 210，以便可以在聊天窗口中将响应显示给用户。
应当理解，图2中的聊天机器人系统200中所示的所有元素都是示例性的，并且根据具体的应用需求，在聊天机器人系统200中可以省略任何所示的元素并且可以涉及任何其它元素。
图3示出了根据实施例的示例性用户界面300。
用户界面300可以包括在终端设备中，其可以包括聊天机器人图标310、呈现区域320、控制区域330和输入区域340。聊天机器人图标310可以是表示聊天机器人的照片或图片，比如，聊天机器人的标识、名称和主页URL。呈现区域320可以显示聊天窗口，其中该聊天窗口可以包含用户与聊天机器人之间的会话中的消息和响应。控制区域330可以包括用于用户执行消息输入设置的多个虚拟按钮。例如，用户可以通过控制区域330，选择进行语音输入、附加图像文件、选择表情符号、制作当前屏幕的快捷方式、激活相机、与聊天机器进行语音通话或视频对话等等。用户可以使用输入区域340来输入消息。例如，用户可以通过输入区域340来键入文本。用户界面300还可以包括用于确认发送了输入消息的虚拟按钮350。如果用户触摸虚拟按钮350，则在输入区域340中输入的消息可以发送到呈现区域320。
应当理解的是，图3中所示出的所有元素及其布局都是示例性的。根据具体的应用需求，图3中的用户界面可以省略或添加任何元素，并且图3的用户界面中的元素的布局也可以以各种方式改变。例如，虽然在呈现区域320中以文本形式示出了消息和响应，但消息和响应也可以是语音形式。因此，聊天机器人和用户可以通过语音进行聊天。
图4A示出了根据实施例的示例性聊天窗口410。该聊天窗口示出了用于至少基于从伙伴实体获得的文档，来由聊天机器人向用户提供情感响应的示例性过程。
当在会话中从用户接收到消息“你好！”时，聊天机器人可以基于纯聊天索引集来给出响应“早上好！”。
当在会话中接收到消息“有什么推荐的节食食品吗？”时，聊天机器人可以使用各种产品推荐方法来确定产品“SOYJOY”适合于用户。因此，聊天机器人可以向用户推荐SOYJOY。
用户可以进一步输入消息“SOYJOY的原料是什么？”。当在消息中接收到这样的问题时，聊天机器人可以基于该消息，从上下文数据库中提取上下文信息。例如，聊天机器人可以从上下文数据库中提取SOYJOY的制作者所提供的SOYJOY产品介绍文档，其中该文档可以包括SOYJOY的原料信息。根据来自用户的消息、SOYJOY产品介绍文档以及用户与聊天机器人之间的先前会话日志中的至少一个，聊天机器人可以通过推理网络，确定对用户的问题的回答“SOYJOY是由大豆、坚果和水果来制成的”，连同情感表达“对你目前的节食有好处”，其中该情感表达与会话中前面提及的“节食”的话题有关。
图4B示出了根据实施例的示例性聊天窗口420。该聊天窗口420示出了用于至少基于用户提供的文档，来由聊天机器人向用户提供情感响应的示例性过程。
在发送消息“你好！有一份文档给你”之后，用户可以在聊天窗口420中上传文档“Donald John Trump传记”。聊天机器人可以将该文档存储在上下文数据库中，使用“已收到。你有什么问题吗？”进行响应。
当在消息中从用户接收到问题“美国现任总统多大了？”时，聊天机器人可以在上下文数据库中存储的文档中进行搜索，以查看在该文档中是否记载有关于“美国总统”和/或年龄的任何信息。例如，如果在文档中记载了美国现任总统是Donald John Trump，Donald John Trump出生于“1946年”，则聊天机器人可以根据该文档确定美国现任总统71岁了。再举一个例子，如果在文档中记载的信息不足以回答用户的问题，则聊天机器人可以从外部通用消息(例如，从通用知识图或者从类似于Bing、Google、Baidu等等之类的网站)获得另外的信息，以将消息扩展成“美国现任总统是Donald John Trump，Donald JohnTrump多大了”，以及至少部分地基于该文档和/或外部通用消息来进一步确定Donald JohnTrump是71岁了。聊天机器人可以使用推理网络来推导针对消息的情感响应。举例而言，如果聊天机器人至少基于上下文数据库中的上下文信息和所接收的消息，发现用户没有表现出针对Donald John Trump的特定情感，则聊天机器人可以生成响应“他今年71岁。美国现任总统是一个年龄大的男人”，其中语句“美国现任总统是一个年龄大的男人”具有中性情感。应当理解的是，再举一个例子，如果用户在会话日志中表现出针对Donald John Trump的“厌恶”情感，则聊天机器人还可以生成诸如“他今年71岁。美国现任总统太老了”的响应。
在一些情况下，用户可能在上传文档之后不会询问任何问题。在这些情况下，聊天机器人可以要求用户输入一个问题。如果用户仍然不输入任何问题，则聊天机器人可以什么也不返回，或者返回某种预定的消息，比如“由于没有指定问题/查询，所以无法提供应答。”替代地，聊天机器人可以至少部分地基于该文档和/或会话日志，向用户主动地提出一个问题，例如，“你想知道美国现任总统多大年龄吗？”，以判断用户是否想要询问该问题。
图4C示出了根据实施例的示例性聊天窗口430。该聊天窗口430示出了用于至少基于用户的会话日志，来由聊天机器人向用户提供情感响应的示例性过程。
在聊天窗口430中，用户可以表达他非常喜欢曼联队，曼联队是一个非常著名的足球队。转而，用户可以关于足球话题与聊天机器人进行聊天。
当从用户接收到消息“曼联队今天的比分是多少？”时，聊天机器人可以从网络中发现答案“0-2”。同时，聊天机器人根据会话日志中的先前对话，已经知道该用户喜欢曼联队。那么聊天机器人可以使用推理网络来生成响应“0-2。很糟糕，他们输了”，其中语句“很糟糕，他们输了”显示出“悲伤”情感，其反映出用户的当前心情。
应当理解的是，上面所讨论的用于提供情感响应的图4A-图4C中的例子只是示例性的，根据本公开内容的实施例，可以存在任何其它的聊天场景。
图5示出了根据实施例的用于提供情感响应的示例性整体过程500。通过过程500，可以通过推理来生成针对用户输入的消息的情感响应。
可以从用户接收消息502。这里，消息502可以指代来自用户的一个或多个当前或者最新消息。消息502可以具有文本、语音、图像等等的形式。由于可以将语音或图像消息转换成相应的文本消息，因此下面的讨论采用文本消息作为例子。
在504处，可以对消息502进行扩展。通过504处的扩展操作，可以将隐含的、省略的或者另外的信息添加到消息502中，使得重写的消息可以具有完整的语义表达。在一种实现中，可以将通用知识图506视作为针对504处的扩展操作的输入。通用知识图506可以包括从诸如网络上的网站获得的通用知识。例如，如果用户利用消息502“美国现任总统多大了？”进行查询，则504处的扩展操作可以根据该消息，识别事实“美国现任总统”。在504处的扩展操作还可以基于所识别的事实“美国现任总统”，从通用知识图中检索扩展的事实，例如，通用知识图506中的一条知识显示美国现任总统是Donald John Trump。因此，可以通过基于通用知识图506，将该消息重写成“美国现任总统Donald John Trump多大？”，对该消息进行扩展。
通过504处的扩展操作，可以获得扩展的消息508。如上面所讨论的，可以通过添加隐含的、省略的或者另外的信息，对消息502进行重写来获得扩展的消息508。扩展的消息508还可以用于过程500中的后续操作。应当理解的是，在一些实现中，还可以从过程500中省略504处的扩展操作，因此可以在过程500中的后续操作里直接使用消息502来替代扩展的消息508。
在510处，可以至少基于扩展的消息，从上下文数据库中提取上下文信息512。
在一种实现中，上下文信息512可以包括会话日志514。会话日志514可以存储在上下文数据库中。如图4C中的示例性聊天窗口中所示，用户可以在会话中询问问题，因此，聊天机器人可以从上下文数据库中提取会话日志514作为上下文信息，以用于生成响应。
在一种实现中，上下文信息512可以包括用户在会话期间指示的文档516。例如，用户可以在会话期间上传文档，如图4B中的示例性聊天窗口中所示，或者在会话期间只是简单地提及文档的名称或者来源。聊天机器人可以从会话或者网络中获得该文档，将该文档存储在上下文数据库中。在该情况下，当用户在扩展的消息中询问与该文档有关的问题时，聊天机器人可以从上下文数据库中提取该文档作为上下文信息，以用于生成响应。
在一种实现中，上下文信息512可以包括来自伙伴实体的文档518。该文档可以与伙伴实体提供的、要推荐给用户的产品相关联。可以将该文档存储在上下文数据库中。如图4A中的示例性聊天窗口所示，当用户在扩展的消息中询问与产品有关的问题时，聊天机器人可以从上下文数据库中提取相应的产品介绍文档作为上下文信息，以用于生成响应。
应当理解的是，在一些实现中，上下文信息512还可以用于504处的扩展操作，以便以与通用知识图相类似的方式，对消息502进行扩展。例如，如果上下文信息512中的会话日志514指示用户正在与聊天机器人讨论曼联队的话题，并且从用户接收到消息“我喜欢该队”，则可以基于会话日志514，将该消息扩展成“我喜欢曼联队”。例如，如果用户在上下文信息512中指示的文档516是“Donald John Trump传记”，其记载了Donald John Trump是美国现任总统，用户正在消息502中查询“美国现任总统多大了？”，则可以基于用户所指示的文档516，将该消息扩展成“美国现任总统Donald John Trump多大了？”。例如，如果在上下文信息512中来自伙伴实体的文档518是关于NIKE公司提供的NIKE鞋的产品介绍文档，并且用户正在消息502中查询“购买NIKE进行跑步是否是个好主意？”，则可以基于来自伙伴实体的文档518，将该消息扩展成“购买NIKE鞋进行跑步是否是个好主意？”。
当提取出上下文信息514时，聊天机器人可以对上下文信息512应用事实编码520和情感编码522，以分别获得事实信息和情感信息。例如，可以通过事实编码520，获得针对上下文信息512的事实向量，以及可以通过情感编码522，获得针对上下文信息512的情感向量。针对上下文信息512的事实信息可以反映上下文信息512中的事实内容，例如，话题、关键词等等，针对上下文信息512的情感信息可以反映在上下文信息512中表达的情感，例如，正面的、负面的和中性的情感。尤其是，还可以将情感分类成例如愤怒、轻蔑、厌恶、恐惧、高兴、中性、悲伤、吃惊等等。此外，如图5中所示，还可以对扩展的消息508应用事实编码520和情感编码522，以便分别获得相应的事实信息和情感信息，例如，针对扩展的消息的事实向量和情感向量。
在524处，可以至少部分地基于在520和522处获得的事实信息和情感信息来执行推理操作，以便生成响应528。在一种实现中，524处的推理操作可以是具有关注机制(attention mechanism)的多轮推理。在每轮推理中，可以通过重新计算事实信息和情感信息来更新关注机制中的关注向量。通过524处的推理操作，所生成的响应528可以是情感响应。
在一种实现中，还可以将用户简档526视作为524处的推理操作的输入。如上面所讨论的，用户简档526可以包括用户性别、年龄、位置信息、感兴趣的话题、以及针对感兴趣的话题的情感等等。
在一个方面，可以根据例如用户的历史查询的信息，使用用户简档模型来预测性别、年龄和位置信息。可以手动地生成用于用户简档模型的训练数据。
对于性别分类模型而言，输入可以是<用户id，查询>，输出可以是“男性”或“女性”标签。可以使用查询中的多条线索，例如，“我妻子不做任何家务”很可能是已婚男士讲的话，“我丈夫最近非常忙”则更多是已婚女士讲的话等等。
对于年龄分类模型而言，输入可以是<用户id，查询>，输出可以是例如“10+”、“20+”、“30+”、“40+”、“50+”或“60+”的标签，其中“10+”指示年龄在10到20岁之间，“20+”指示年龄在20到30岁之间，“30+”指示年龄在30到40岁之间，依此类推。可以使用自然语言查询中的多条线索。年龄分类模型可以基于这些查询来确定年龄信息。例如，如果用户在会话中说“我是一名高中生”，则可以确定该用户的年龄是“10+”。如果用户在会话中说“明年我可能毕业，但求职真的很困难”，则可以确定该用户的年龄是“20+”。如果用户在会话中说“最后，我现在可以喝酒了”，则可以确定该用户的年龄是“20+”，例如，这是由于在日本的饮酒年龄是20岁。如果用户在会话中说“我工作非常忙”，则可以确定该用户的年龄是“30+”、“40+”或者甚至“50+”。如果用户在会话中说“我已经退休了，但是我还没有一个孙子，所以感到孤独”，则可以确定该用户的年龄非常可能是“60+”。因此，可以使用这些类型的信息来识别用户的年龄，使得可以以自动方式来收集和过滤它们关注的话题。
对于位置检测模型而言，输入可以是<用户id，查询>，输出可以是位置的至少一种标签，其包括多个地方，例如，东京、京都、北海道等等。存在可以用于预测位置的多种线索。位置检测模型可以基于查询来确定位置信息。例如，如果用户在会话中说“从东京到京都的新干线往返车票”，则可以确定用户生活在东京。如果用户在会话中说“我每天感觉很累，上野周边有什么地方有趣吗？”，则可以确定用户在东京的上野附近活动。
可以基于<用户id，查询，目标标签>的训练数据，对上面的三种分类或者检测模型进行训练。用于该训练的特征可以包括：
·查询词，比如查询的目标类别或公司：例如，女性可能更趋向于化妆品领域以及它们相关的公司(例如，SK-II、LANCOME等等)；但对于男性而言，他们感兴趣的话题词可能更多涉及高尔夫、汽车、旅游、体育、国际象棋等等。
·用户的历史查询中包括的疾病关键词：例如，男性和女性可能都具有一些性别敏感的疾病，例如，针对女性的乳房相关疾病和针对男性的前列腺相关疾病。
·用户提及最多的与位置有关的词语列表：可以使用现有的位置词典来检测用户的查询中与位置有关的词语。
·词语N元组(Ngrams)：查询中的词语的一元组和二元组。
·字符N元组：对于查询中的每一个词语，提取字符N元组。例如，在该模型中使用四元组和五元组。
·词语跳跃元组：对于查询中的所有三元组和四元组，一个词语可以被一个符号如“*”取代，以指示存在非连续的词语。
·布朗聚类N元组：布朗聚类用于表示查询中的词语，然后将一元组和二元组作为特征进行提取。
·词性(POS)标签：将POS标签的存在或不存在使用成二进制特征。
·社交网络相关词语：将查询中的主题标签的数量、表情符号、拉长词和标点符号使用成特征。
·Word2vec聚类N元组：现有的word2vec工具可以用于从社交网络数据集中学习100维度词语嵌入。然后，可以应用K均值算法和词向量的L2距离，以将百万级词汇聚类成200种类型。这些类型用于在查询中表示广义词。
可以使用上面的示例性特征，对多类型支持向量机(SVM)模型进行训练。这三种模型可以共享类似的特征模板。应当理解的是，上面讨论的用于SVM模型的特征只是说明性的而不是限制性的，并且根据实际要求，SVM模型可以使用更多或更少的特征。
在另一个方面，可以将用户简档526中的感兴趣话题和针对感兴趣话题的情感组织成个性化的知识图。该个性化知识图中的知识信息可以以<用户、话题、情感>的元组来表示。在建立个性化知识图的过程中，可以利用用户话题转移模型。图6根据一个实施例，示出了一种示例性用户话题转移模型600。该用户-话题转移模型600可以用于用户话题检测和话题-话题连接。
在用户-话题检测的情况下，模型600可以应用于两个场景，一个用于个人用户，另一个用于群组用户。
对于个人用户的场景：在这种场景下，当收集当前用户的“话题A”，例如，一个“事件”或“偏好”，并上传到个性化知识图时，存在着从当前用户的“节点”开始，通过“话题A”到达其它用户的“转移”动作。可以存在从“话题A”向其它用户发送的活动信号，例如，用户1到群组5。该“转移”动作的目标是在其他用户在相对较长的时间对于“话题A”都是不“活动”的情况下，再次激活这些用户。可以执行后续的动作。一种后续动作可以包括：主动选择一部分用户，用户1到群组5，询问关于他或者她是否仍然对“话题A”有意见的问题。例如，这种用户的主动触发可以帮助更新个性化的知识图，以及帮助构建相对“新鲜”的个性化知识图，以用于及时的新用户/群组推荐。另一种后续动作可以包括：从选择的用户中执行到除了“话题A”之外的话题(如，“话题B”)的深度传播。当越来越多的用户链接“话题A”和“话题B”时，则可以将“话题A”和“话题B”之间的相似度分数更新为更高。例如，假设“话题A”是“Chihuahua”，“话题B”是“Pomeranian”，如果越来越多的用户共享这两个话题，则他们的“相似性”可以增加，其与用户的数量成线性关系。
对于群组用户的场景：模型600可以检测由一个用户引入或者涉及一个用户的话题，并跟踪其它用户对这些话题的意见/评论。此外，还可以基于上下文信息来检测时间点/时段和位置信息。用于群组用户的个性化知识图的更新与个人用户的相似。
基于上面的讨论，模型600的一种类型的输出可以是<用户、话题>元组。替代地，这种类型的输出还可以是<用户、话题、感兴趣程度、时间、位置>的形式。
在话题-话题连接的情况下，模型600可以对每两个话题(例如，“话题A”和“话题B”)之间的关系进行评分。因此，模型600的另一种类型的输出可以是<话题1、话题2>或者<话题1、话题2、关系分数>的元组。由于每个话题都与多个用户相关联，所以通过链接两个话题，可以进一步隐式地连接两个用户群组。模型600可以提高新用户/群组对于聊天机器人的各个用户的“新鲜度”推荐。例如，可以对所获得的元组进行附加和/或主动地删除，以保持个性化知识图的新鲜。
在如上所述地获得元组<用户、话题>或者<用户、话题、感兴趣程度、时间、位置>、以及元组<话题1、话题2>或者<话题1、话题2、关系分数>之后，可以将情感权重附加到<用户、话题>以构成具有<用户、话题、情感>形式的当前用户的个性化知识图。
在一种实现中，对于当前用户而言，针对给定的话题关键词，可以收集当前用户的所有相关查询，并将其输入到情感分析分类器以获得相对应的情感分布，其中该情感分布可以包括情感标签和附加到每个情感标签的概率。随后，可以将情感分布附加到当前<用户、话题>记录，以形成<用户、话题、情感>的元组。
在一种实现中，由于一个用户提及的话题的数量或者范围是相当有限的，所以可以在每个话题对之间使用元组<话题1、话题2、关系分数>或者<话题1、话题2>，以进一步将针对一个话题的情感扩展到另一相关话题。例如，如果一个用户喜欢喝“沙拉”，例如，对于喝“沙拉”具有正面的情感，那么话题“沙拉”可以扩展到“沙拉果汁”，具有相同“正面”情感的折扣概率可以分配给新的话题“沙拉果汁”。
在一种实现中，当两个或更多“相似”用户，例如，用户A和用户B共享针对共享话题列表的共同情感时，可以将具有类似情感标签的折扣概率分配给与用户A而不是用户B链接的话题。当执行该动作时，可能需要首先通过下式来找到“相似”用户：
在该式中，n是与用户A连接的话题的数量，每个话题通过topic.k来注释，m是与用户B连接的话题的数量，每个话题通过topic.l来注释。两个给定话题，例如，话题1和话题2，的相似分数正是预先提取的并包括在元组<话题1、话题2、关系分数>中的“关系分数”。
图7根据实施例，示出了用于建立通用知识图和知识QA配对集的示例性过程700。
当构建通用知识图时，在通用知识图中通常会有几种类型的数据作为知识信息进行输入。例如，一种类型的数据可以是<实体、实体、关系>的元组，另一种类型的数据可以是QA对<问题、回答>。由于推理网络的最终目标是为用户的自然语言风格问题提供自然语言风格的响应，所以需要自动地将<实体、实体、关系>的元组改变成多个自然语言风格的QA对。通用知识图中的知识信息是推理网络的重要依据，其可以在推理过程期间提供外部知识。过程700示出了提取元组式知识图，并将知识元组传递到QA对。
可以使用<用户、话题、情感>702的元组来获得种子词典704。种子词典704可以进一步用于为搜索引擎706提供搜索关键词。应当理解的是，任何其它类型的词典都可以用于提供搜索关键字。
种子词典704中的每个条目都可以被提供给搜索引擎706。搜索引擎706可以通过使用该条目作为搜索关键词，来从网络708爬取相关的网页710。假定所得到的网页包含至少一个种子，例如，包含在种子词典中的话题词。
另外地或替代地，网页710还可以由伙伴实体712来提供。伙伴实体712可以是例如能够提供网页710或者相关数据的商店、药品制造商、产品提供商、生产商、销售商、餐馆等等，相关数据例如是文本描述或者它们的产品的关键词。
可以将网页710分类成两种类型，一种类型为QA对样式，另一种类型为纯文本样式。在714处，可以判断网页是否处于QA对样式，例如，具有<问题、回答>的形式。如果是，则可以将该网页中的QA对添加到知识QA对集合716中。如果不是，也就是说，网页是纯文本形式，则可以在718处对纯文本执行依存句法分析。可以通过718处的依存句法分析来识别纯文本中的语句的语义结构，然后可以在720处，从语句的依存关系树中提取知识元组。这些知识元组还可以形成知识图722。在724处，可以将来自知识图的知识元组转换成QA对，转而在716处，可以将这些QA对输入到知识QA对集合中。
图8A和图8B根据实施例，示出了用于从语句的依存树中提取知识元组的示例性依存句法分析。图8A示出了关于语句“Manchester United agree Victor Lindeloftransfer from Benfica.(曼联同意维克托·林德尔夫从本菲卡转会。)”的示例性依存句法分析810，图8B示出了关于语句“Manchester United have agreed a30.7m deal forBenfica defender Victor Lindelof as Jose Mourinho kicks off his summerspending.(曼联已经同意了本菲卡后卫维克多·林德洛夫的三千七百万英镑的交易，因为穆里尼奥开启了他的夏季开支。)”的示例性依存句法分析820。通过对这些语句执行依存句法分析810和820来获得依存树。应当理解的是，这里可以使用各种依存句法分析技术来执行依存句法分析。
可以从语句的依存树中提取知识元组。该提取过程可以遵循将具有参数的谓语与具有句法关系的链接实体链接在一起的依存弧。
假定图7中的种子词典704包含实体“Manchester United(曼联)”、“VictorLindelof(维克多·林德洛夫)”和“Benfica(本菲卡)”。转而，可以通过如图8A和图8B中所示出的以下依存弧，在语句中的实体之间提取句法关系：<Victor Lindelof,Benfica,transfer from/nmod:from>，其中nmod代表该弧线的名词形式修饰词，其指示“Benfica”更详细地修饰了实体“Victor Lindelof”；<Manchester United,Victor Lindelof,agree/nsubj-dobj>，其中nsubj是谓语“agree”的名词式参数，dobj是谓语“agree”的直接宾语参数，因此两个实体“Manchester United”和“Victor Lindelof”通过谓语词“agree”连接在一起；<Benfica defender,Victor Lindelof,compound>，其中compound(混合)是将两个名词短语作为一个复合短语链接在一起的依存关系。
上面示出了<实体、实体、关系>形式的示例性知识元组。通过这种方式，可以收集以纯文本出现的实体的各种可用的关系。
如图7中所示，在724处，可以将知识图722中的知识元组转换成QA对。以元组<Manchester United,Victor Lindelof,agree-transfer>(<曼联、维克多·林德洛夫、同意转会>)为例，该元组描述了实体“Manchester United”(其是一个足球队)和实体“VictorLindelof”(他是一个足球运动员)之间的关系“agree–transfer(同意转会)”。可以将该元组转换成以下的QA对：
问题＝曼联同意谁的转会？
回答＝维克多·林德洛夫。
问题＝曼联同意维克多·林德洛夫的转会？
回答＝是的。
问题＝哪个队同意维克多·林德洛夫转会？
回答＝曼联。
用此方式，可以将一个元组自动地转换成自然语言的多个QA对。这些自然语言风格的QA对可以用于向用户提供自然语言风格的响应。从知识元组变换来的QA对可以被添加到知识QA对集合716中。
通过给出用户的查询，可以使用学习排序(LTR)模型将知识QA对集合716中的候选答案排序。在一些实现中，可以采用潜在的语义特征，以在密集向量空间中比较查询和候选<问题、应答>对。
在一种实现中，可以将一个查询解析成依存树，并且可以使用弧线来从元组样式知识图中寻找“知识元组”。每个候选<问题、回答>对可以对应于“知识元组”。在LTR模型中，可以采用“依存弧匹配”得分。可以对每个候选<问题、回答>对中的查询和问题或回答执行依存句法分析，然后可以对查询和问题或回答的依存弧进行比较，以获得相似度分数。
假定查询“Who will transfer to Manchester United？(谁将转会到曼联？)”，图8C根据实施例，示出了关于该查询的示例性依存句法分析830。比较依存树830与依存树810，可以找到相同的依存弧对，例如“Manchester-compound-United”，它是完全相同的单词和弧匹配。此外，这两棵树之间也共有相似的依存弧，如“transfer–nmod:to–ManchesterUnited”和“Manchester United–nsubj–agree–dobj–transfer”，这些是隐式密集向量空间匹配。可以在潜在向量空间中执行依存弧的比较，通过将依存弧投影到密集空间向量中，然后通过诸如余弦函数来计算两个向量的相似性分数。
在一种实现中，针对查询，LTR模型可以使用梯度提升决策树(GBDT)算法来对候选QA对排序，可以在GBDT算法中使用以下特征。
·查询和候选问题的依存树之间的隐式/显式依存弧相似性分数。
·查询和候选回答的依存树之间的隐式/显式依存弧相似性分数。
·针对查询q和候选问题Q的信息检索的语言模型：给定查询q和候选问题Q，该特征通过以下方式测量q和Q之间的相关性：
P(q|Q)＝∏w∈q[(1-λ)Pml(w|Q)+λPml(w|C)]式(2)
其中，Pml(w|Q)是根据Q估计的词语w的最大可能性，Pml(w|C)是作为大规模语料库C中的最大似然估计而计算的平滑项。这里，语料库C可以是知识QA对集合。该平滑项避免了出现在候选问题Q中而不是查询q中的那些词的零概率。λ是充当为可能性和平滑项之间的平衡的参数，其中λ∈(0,1)。当查询和候选问题之间存在多个重叠的词语时，该功能运作良好。
·针对查询q和候选回答A的信息检索的语言模型。在该语言模型中，通过将候选回答A替代式(1)中的Q，也使用式(1)来计算查询和候选回答之间的相似性分数。
·针对查询q和候选问题Q的基于转换的语言模型。该特征从诸如问答对中学习词到词和/或短语到短语的转换概率，并将学习的信息包含到最大可能性中。
给定查询q和候选问题Q，将基于转化的语言模型规定成：
Ptrb(q|Q)＝∏w∈q[(1-λ)Pmx(w|Q)+λPml(w|C)]式(3)
Pmx(w|Q)＝αPml(w|Q)+βPtr(w|Q) 式(4)
Ptr(w|Q)＝∑v∈QPtp(w|v)Pml(v|Q) 式(5)
这里，λ、α和β是满足λ∈(0,1)和α+β＝1的参数。Ptp(w|v)是从Q中的词语v到q中的词语w的转换概率。因此，Ptr(.)和Pmx(.)以及甚至Ptrb(.)是使用Ptp(.)和Pml(.)来逐步构造的另外的相似函数。
·针对查询q和候选回答A的基于转换的语言模型。在该语言模型中，通过将候选回答A替代式(3)-(5)中的Q，也使用式(3)-(5)来计算查询和候选回答之间的相似性分数。
·查询与候选问题之间的在单词或字符级别的编辑距离。
·查询与候选问题之间的最大的子序列比率。
·通过使用门控递归单元(GRU)作为编码的递归神经网络(RNN)。该编码将一系列词语、一系列短语或者一系列依存弧线投影到密集向量空间中，其中该向量空间是该序列的潜在语义表示。查询和候选问题或者回答可以被分别提供给RNN-GRU层以获得对应的密集向量，转而可以计算这两个密集向量之间的相似分数。RNN-GRU层可以是双向的，其可以从左到右和/或从右到左应用于“查询”和“响应”序列。RNN-GRU的定义是一个特殊的递归神经网络构建模块，其通过函数ht+1＝GRU(ht,xt)，以序列x和前一个状态ht作为输入，预测下一个状态ht+1。这里，通过使用下式来计算GRU函数：
zt＝σ(W(z)xt+U(z)ht-1+b(z)) 式(6)
rt＝σ(W(r)xt+U(r)ht-1+b(r)) 式(7)
其中，是逐元素乘积，W(z)、W(r)、W、U(z)、U(r)、U是通过训练W(z),W(r),和U(z),U(r),的权重矩阵。这里，维度nH和nI是超参数。上面的等式也可以缩写为：
ht＝GRU(xt,ht-1) 式(10)
应当理解的是，GBDT算法中的所有上述特征都是示例性的，在各种实现中，可以在GBDT算法中采用更多或更少的特征。
图9根据实施例，示出了用于事实编码的示例性模型900。可以通过模型900的事实编码来获得事实向量。可以将事实向量解释成事实信息。在一种实现中，可以使用通过BiRNN的事实分类器来生成事实向量。
对于从上下文数据库获得的上下文信息和/或来自用户的查询，可以将上下文信息和查询中的文本转换成数字表示，以便由神经网络来处理。这可以通过将文本语句中的每个词语表示成连续向量来实现。每个词语的最佳表示可以由神经网络来学习。
一个语句可以包含多条信息。每条单独的信息可以通过使用RNN提取的向量来表示。可以将从上下文信息中的文本中提取的所有这些向量收集到“上下文矩阵”中。类似地，可以将从查询中的文本中提取的向量收集到“查询矩阵”中。
RNN可以沿着任一方向或两个方向来迭代词语向量，例如，从左到右或者从右到左，这称为BiRNN。当使用BiRNN时，可以将在每个方向上计算的向量连接成一个新的向量。例如，RNN单元可以是长短期记忆单元(LSTM)、门控递归单元(GRU)等等。在下文以GRU单元的处理为例进行说明。
输入是语句序列，其中每个语句以“</s>”结束，以注释一个语句的结尾。假设如果对所有语句进行了连接，则从W1到WT将会有T个词语。通过使用双向GRU编码器对输入进行编码。对于左到右方向或者右到左方向上的八个时间步长，在每个时间步长t，该模型可以更新其隐藏状态ht＝GRU(L[wt],ht-1)，其中L是嵌入矩阵，wt是输入序列的第t个词语的词语索引。因此，在每个“</s>”处针对输入序列的结果表示向量是两个向量的组合，每个向量来自一个方向。通过式(6)到(9)来规定GRU的内部机制。除了对词语序列进行编码之外，还利用了具有双向GRU的位置编码来表示输入语句的“事实”。也就是说，ft＝GRUl2r(L[St],ft-1)+GRUr2l(L[St],ft-1)，其中St是当前语句t的嵌入式表达，ft-1、ft是前一语句和当前语句的事实。
图10根据实施例，示出了用于情感编码的示例性模型1000。可以通过模型1000的情感编码来获得情感向量。可以将情感向量解释成情感信息。在一种实现中，可以使用通过BiRNN连同Softmax层一起的情感分类器，来生成情感向量。可以通过在从左至右和/或从右至左的RNN的最后注释上应用SoftMax层来训练情感分类器。可以使用单独的数据集来训练情感分类器。
图11示出了根据实施例的情感分类器1100的示例性结构。情感分类器1100可以基于情感分类模型，其中情感分类模型可以采用例如具有门控递归单元的递归神经网络(RNN-GRU)。通过式(6)到(9)规定了GRU的内部机制。
当输入文本1102时，可以在1104处，对于文本1102的词语嵌入应用RNN-GRU编码，其中，可以沿着单个方向或者双向(例如，从右到左和/或从左到右)来通过RNN-GRU的一层或多层。来自RNN-GRU编码的结果可以被馈送到全连接层1106以执行向量连接。转而，可以应用Softmax层1108来输出用于指示几种类型的情感之间的概率的情感向量。在一种实现中，可以将输入文本的情感分类成8种类型的情感中的一种，其包括愤怒、轻蔑、厌恶、恐惧、高兴、中性、悲伤和吃惊。例如，诸如“你怎么敢忽略这个”、“这不是有趣的”等等语句可以被分类为“愤怒”情感；诸如“AI鄙视我”、“仅计算机不能成为Swagger”等等语句可以被分类为“轻蔑”情感；诸如“我不在乎，你是我所厌恶的”、“你比我预想的更愚蠢”等等语句可以被分类为“厌恶”情感；诸如“从现在开始，有一个恐怖的电视节目”、“说10次吓人的语句”等等语句可以被分类为“恐惧”情感；诸如“我喜欢你”、“我相信我很可爱”等等语句可以被分类为“高兴”情感；诸如“确定明天的日程安排”、“我想知道东京下周的天气”等等语句可以被分类成“中性”情感；诸如“我不喜欢它，想哭”、“我感到悲伤”等等语句可以被分类为“悲伤”情感；诸如“台风带来如此强风”、“什么？真的吗？”等等语句可以被分类为“吃惊”情感。在一种实现中，还可以将以上类型的情感确定成负面的情感或者不是负面的情感。例如，可以将愤怒、恐惧、轻蔑、悲伤和厌恶情感中的任何一个确定成负面的情感，而将高兴情感确定成正面的情感，将吃惊和中性情感确定成中性的情感。替代地，也可以将吃惊情感确定为负面的情感。
应当理解的是，虽然以上讨论显示了8种类型的情感或者3种类型的情感，但是本公开内容的实施例并不限于这些类型的情感。相反，根据本公开内容的概念，还可以获得并应用具有任何其它数量的情感类型的情感分类器。此外，虽然图11示出了情感分类器将文本作为输入，但是也可以将语音、图像或者视频用作输入。
此外，应当理解的是，对于文本而言，针对文本通过图9获得的事实向量和针对文本通过图10获得的情感向量也可以连接在一起。如下面所讨论的，可以将与文本相对应的级联向量提供给推理模型。
图12示出了根据实施例的示例性推理模型1200的架构。
推理模型1200被配置为：为用户的查询提供有意义的信息，同时对用户的个性有共鸣，比如用户对话题的意见或情感，甚至用户的性别、年龄、位置等等。
推理模型1200可以针对来自用户的当前查询/消息来提供响应。该响应需要在语法上是正确的，并且使用用户使用的语言。为了产生自然的语句，训练了语言模型。这种语言模型可以通过一次估计一个可能的词语，来生成语句。可以通过使用贪婪搜索或者集束搜索算法来整合每个词语的概率，来获得响应的概率。
可以基于递归神经网络(例如，GRU)来有效地建立语言模型，这是因为RNN可以包含语句中的词语之间的距离关系。响应中的语句应当包含上下文信息以便有意义。可以通过关注机制来并入这种信息，其中关注机制对可用信息进行加权，并在每个RNN步骤将其整合成单个向量。许多文本生成模型都使用浅单轮关注机制，其在单次操作中将关注向量计算成加权和。直观上，对会话模型进行训练以近似函数p(yt|y<t,q,c)，其中yt表示要输出的下一个词语，y<t表示先前输出的词语，q表示查询，c表示上下文。上下文可以是会话日志、用户指示的文档或者来自伙伴实体的文档。
如图12中的示例性会话所示，存在六个语句(1)到(6)，其中，语句(1)、(3)、(5)是聊天机器人的响应，语句(2)、(4)、(6)是用户的查询，语句(6)是针对将要生成的响应的当前查询。通过BiRNN，对这六个语句进行独立地编码。可以将每个语句输入到事实编码模块和情感编码模块中，以分别生成事实向量和情感向量。例如，语句(1)到(6)的事实向量和情感向量分别示出成(F1，E1)、(F2，E2)、(F3，E3)、(F4，E4)、(F5，E5)、(F6，E6)。
(F6，E6)是针对当前查询的向量对，F6和E6的组合可以形成当前查询存储器向量或者当前查询向量Mh。可以对这六个向量对(F，E)中的每一个进行组合以形成一个向量，例如，C1至C6，并且C1至C6可以由单向RNN进行顺序迭代，以在上下文存储器向量或上下文向量Mc中产生六个上下文注释。可以对语句(2)、(4)、(6)的(F2，E2)、(F4，E4)和(F6，E6)的向量对分别进行组合，还可以形成查询存储器向量或查询向量Mq。可以对语句(1)、(3)、(5)的(F1，E1)、(F3，E3)和(F5，E5)的向量对分别进行组合，还可以形成响应存储器向量或者响应向量Mr。
如上面所讨论的，Mh表示用于当前查询的存储器，Mc表示用于上下文信息的存储器，Mq表示用于来自用户的所有查询的存储器，Mr表示用于聊天机器人的所有响应的存储器。Mh是语句级别存储器，Mr、Mq和Mc是会话级别存储器。
当用于当前查询、上下文信息、查询和响应的存储器收集到相应的事实向量和情感向量时，基于这些存储器来应用关注机制以生成关注向量。在一些情况下，该关注机制将根据其属性相关性加权的不同信息片段整合起来。在一些情况下，该关注机制是一种多轮的推理关注。这种多轮推理包括经过多个推理“回合”，推断可能在下一步推理回合中考虑的新信息，以达到有意义的状态。
所生成的关注向量的连接可以用于更新RNN。推理RNN的一个例子可以是GRU。对于每一轮推理，“终止门”估计该推理停止的概率。当终止门达到诸如“1”的值时，该推理机制停止并输出其最新状态。在一些情况下，推理迭代的次数可以是预先规定的数量，或者通过最大数量进行限制，终止门的输出将相加的RNN的不同状态进行加权，以形成该推理机制的输出向量。在一些其它情况下，推理迭代的次数可以是任意数。
给定Mc中的一组上下文向量和Mq中的一组查询向量，该推理机制可以生成用于对信息进行压缩的状态向量sτ。可以将推理机制s的状态初始化成初始值θinitial，其中，将步长τ设置为1。将终止状态tτ的概率初始化为零，tτ＝1意味着生成响应并终止推理。
可以通过下面的过程来计算状态sτ。
将初始状态获得为：
s1＝θinitial 式(11)
对于每个Mu∈{Mq,Mc,Mh,Mr}，其中，u是q、c、h、r中的任何一个，将一个关注向量计算成：
其中，Wr和Ur是矩阵，sτ-1是解码部分的内部状态，hk是编码部分的隐藏状态，v是该模型中的随机向量，e是sτ-1和hk之间的关注分数。
当计算每个关注向量时，将四个关注向量连接成一个向量：
通过应用如式(6)-(9)中所描述的GRU，可以将新状态sτ计算成：
sτ＝GRU(ht-1＝sτ-1,x＝cτ,θr) 式(16)
其中，参数θr＝{W,U,b}是特定于推理机制的。
所获得的状态sτ可以用于更新终止概率，如下所示：
tτ+1＝(1-tτ)σ(Wtsτ) 式(17)
其中，σ是Sigmoid函数。
如果终止概率t高于门限或者τ高于最大迭代参数τmax，则终止推理过程。否则，将τ更新为τ+1，并且从式(12)重复该推理过程。
当终止推理过程时，可以至少基于所获得的最新的状态s，来生成响应。例如，在图12中，可以将该响应生成为“很糟糕，他们输了！”，这是对于用户的当前查询“曼联今天的比分是多少？”的情感式响应。
在另一种实现中，可以将用于上下文信息的存储器作为纯文本样式文档中的语句列表而不是会话，如图12所示，比如，用户指示的文档或者来自伙伴实体的文档。在这种情况下，可以从推理过程中省略Mq和Mr，可以基于该文档中的语句来生成上下文信息的事实向量和情感向量。
另外地或替代地，在推理过程中还可以考虑用户简档。例如，用户简档中的个性化知识图可以指示用户针对话题的情感，因此，推理过程可以采用该个性化知识图中的知识信息来提供情感式响应，其考虑了用户针对当前会话中的话题的情感。例如，如果用户是曼联的球迷，则当曼联输掉比赛时，有很高的概率产生一个悲伤情感的响应“很糟糕，他们输了！”。此外，推理过程还可以采用用户简档中的性别、年龄和位置信息，以提供适合于用户的性别、年龄和位置信息的情感式响应。
图13根据实施例，示出了用于在问答会话中向用户提供响应的示例性方法1300的流程图。
在1310处，可以在会话中接收到消息。该会话在用户和电子会话代理之间。
在1320处，以如上面结合图5中的510处的操作所讨论的方式，可以至少基于该消息，从上下文数据库中提取上下文信息。该上下文信息可以包括下面中的至少一个：会话日志、用户指示的文档、以及来自伙伴实体的文档。
在1330处，可以从消息和上下文信息中的至少一个获得事实信息和情感信息。在一些情况下，事实信息与至少一个事实相关联，情感信息与针对所述至少一个事实的情感相关联。
在1340处，可以至少基于事实信息和情感信息来生成响应。
在1350处，可以将生成的响应提供给用户。
在一种实现中，该消息可以包括文本消息、图像消息、语音消息和视频消息中的至少一个。
在一种实现中，生成响应可以进一步基于用户简档，其中该用户简档包括性别、年龄、位置信息、感兴趣的话题、以及针对感兴趣的话题的情感中的至少一个。
在一种实现中，所述至少一个事实可以包括：所述消息和上下文信息中的至少一个的话题和/或关键词。
在一种实现中，情感可以包括正面的情感、负面的情感和中性的情感中的至少一种。
该方法还可以包括：通过上下文信息和/或通用知识图来扩展所述消息。
在一种实现中，扩展所述消息可以包括：从所述消息中识别所述至少一个事实；从上下文信息和/或通用知识图中，检索与所述至少一个事实相关联的至少一个扩展的事实；基于所述至少一个扩展的事实来重写所述消息。
在一种实现中，事实信息可以包括事实向量，其中该事实向量通过使用事实分类器来获得。
在一种实现中，情感信息可以包括情感向量，其中该情感向量通过使用情感分类器来获得。
在一种实现中，生成响应还可以包括：利用关注向量执行多轮推理，其中在每轮推理中，通过重新计算事实信息和情感信息来更新所述关注向量。
应当理解的是，方法1300还可以包括：用于根据本公开内容的实施例，在问答会话中向用户提供响应的任何步骤/处理，如上面所提及的。
图14根据实施例，示出了用于在问答会话中向用户提供响应的示例性装置1400。
装置1400可以包括：消息接收模块1410，用于在会话中接收消息，其中该会话在用户和电子会话代理之间；上下文信息提取模块1420，用于至少基于该消息，从上下文数据库中提取上下文信息；事实和情感信息获得模块1430，用于从消息和上下文信息中的至少一个获得事实信息和情感信息，其中事实信息与至少一个事实相关联，情感信息与针对所述至少一个事实的情感相关联；响应生成模块1440，用于至少基于事实信息和情感信息来生成响应；响应提供模块1450，用于将该响应提供给用户。
在一种实现中，上下文信息可以包括下面中的至少一个：会话日志、用户指示的文档、以及来自伙伴实体的文档。
在一种实现中，响应生成模块1440还可以被配置为实现下面中的任何一种或多种操作：基于用户简档来生成响应，其中该用户简档包括性别、年龄、位置信息、感兴趣的话题、以及针对感兴趣的话题的情感中的至少一个；利用关注向量执行多轮推理，其中在每轮推理中，通过重新计算事实信息和情感信息来更新所述关注向量。
在一种实现中，所述至少一个事实可以包括：所述消息和上下文信息中的至少一个的话题和/或关键词。
消息接收模块1410还可以被配置为：通过上下文信息和/或通用知识图来扩展所述消息。例如，消息接收模块1410可以被配置为：从所述消息中识别所述至少一个事实；从上下文信息和/或通用知识图中，检索与所述至少一个事实相关联的至少一个扩展的事实；基于所述至少一个扩展的事实来重写所述消息。
在一种实现中，事实信息可以包括事实向量，其中该事实向量通过使用事实分类器来获得，情感信息可以包括情感向量，其中该情感向量通过使用情感分类器来获得。
此外，装置1400还可以包括：被配置为根据本公开内容的实施例，在问答会话中向用户提供响应的任何其它模块，如上面所提及的。
图15根据实施例，示出了用于在问答会话中向用户提供响应的示例性装置1500。装置1500可以包括一个或多个处理器1510和存储计算机可执行指令的存储器1520。当执行所述计算机可执行指令时，所述一个或多个处理器1510可以：在会话中接收消息，该会话在用户和电子会话代理之间；至少基于该消息，从上下文数据库中提取上下文信息；从消息和上下文信息中的至少一个获得事实信息和情感信息，其中事实信息与至少一个事实相关联，情感信息与针对所述至少一个事实的情感相关联；至少基于事实信息和情感信息来生成响应；以及将该响应提供给用户。
本公开内容的实施例可以实施在非暂时性计算机可读介质中。该非暂时性计算机可读介质可以包括指令，当所述指令被执行时，使得一个或多个处理器根据如上面所述的本公开内容的实施例，执行用于在问答会话中向用户提供响应的方法的任何操作。
应当理解，以上描述的方法中的所有操作都仅仅是示例性的，本公开内容并不受限于方法中的任何操作或这些操作的顺序，而是应当涵盖在相同或相似构思下的所有其它等同变换。
还应当理解，以上描述的装置中的所有模块都可以通过各种方式来实施。这些模块可以被实施为硬件、软件、或其组合。此外，这些模块中的任何模块可以在功能上被进一步划分成子模块或组合在一起。
已经结合各种装置和方法描述了处理器。这些处理器可以使用电子硬件、计算机软件或其任意组合来实施。这些处理器是实施为硬件还是软件将取决于具体的应用以及施加在系统上的总体设计约束。作为示例，本公开内容中给出的处理器、处理器的任意部分、或者处理器的任意组合可以实施为微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、状态机、门逻辑、分立硬件电路、以及配置用于执行遍及本公开内容描述的各种功能的其它适合的处理部件。本公开内容中给出的处理器、处理器的任意部分、或者处理器的任意组合的功能可以实施为由微处理器、微控制器、DSP或其它适合的平台所执行的软件。
软件应当被广泛地视为表示指令、指令集、代码、代码段、程序代码、程序、子程序、软件模块、应用、软件应用、软件包、例程、子例程、对象、运行线程、过程、函数等。软件可以驻留在计算机可读介质中。计算机可读介质可以包括例如存储器，存储器可以例如为磁性存储设备(如，硬盘、软盘、磁条)、光盘、智能卡、闪存设备、随机存取存储器(RAM)、只读存储器(ROM)、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、寄存器或者可移动盘。尽管在本公开内容给出的多个方面中将存储器示出为是与处理器分离的，但是存储器也可以位于处理器内部，如，缓存或寄存器。
以上描述被提供用于使得本领域任何技术人员可以实施本文所描述的各个方面。这些方面的各种修改对于本领域技术人员是显而易见的，本文限定的一般性原理可以应用于其它方面。因此，权利要求并非旨在被局限于本文示出的方面。关于本领域技术人员已知或即将获知的、对本公开所描述各个方面的元素的所有结构和功能上的等同变换，都将通过引用而明确地包含到本文中，并且旨在由权利要求所覆盖。

Claims (20)

1.一种用于在问答会话中向用户提供响应的方法，包括：
在所述会话中接收消息，所述会话在所述用户和电子对话代理之间；
至少基于所述消息，从上下文数据库中提取上下文信息；
从所述消息和所述上下文信息中的至少一个，获得事实信息和情感信息，其中，所述事实信息与至少一个事实相关联，以及所述情感信息与针对所述至少一个事实的情感相关联；
至少基于所述事实信息和所述情感信息来生成响应；以及
将所述响应提供给所述用户。
2.根据权利要求1所述的方法，其中，所述消息包括文本消息、图像消息、语音消息和视频消息中的至少一个。
3.根据权利要求1所述的方法，其中，所述上下文信息包括下面中的至少一个：会话日志、所述用户指示的文档、以及来自伙伴实体的文档。
4.根据权利要求1所述的方法，其中，所述生成所述响应还基于用户简档，所述用户简档包括性别、年龄、位置信息、感兴趣的话题、以及针对所述感兴趣的话题的情感中的至少一个。
5.根据权利要求1所述的方法，其中，所述至少一个事实包括：所述消息和所述上下文信息中的所述至少一个的话题和/或关键词。
6.根据权利要求1所述的方法，其中，所述情感包括正面的情感、负面的情感、和中性的情感中的至少一种。
7.根据权利要求1所述的方法，还包括：
通过所述上下文信息和/或通用知识图，来扩展所述消息。
8.根据权利要求7所述的方法，其中，所述扩展所述消息包括：
从所述消息中识别所述至少一个事实；
从所述上下文信息和/或所述通用知识图中，检索与所述至少一个事实相关联的至少一个扩展的事实；以及
基于所述至少一个扩展的事实来重写所述消息。
9.根据权利要求1所述的方法，其中，所述事实信息包括事实向量，所述事实向量是通过使用事实分类器来获得的。
10.根据权利要求1所述的方法，其中，所述情感信息包括情感向量，所述情感向量是通过使用情感分类器来获得的。
11.根据权利要求1所述的方法，其中，所述生成所述响应还包括：
利用关注向量执行多轮推理，其中在每轮推理中，通过重新计算所述事实信息和所述情感信息来更新所述关注向量。
12.一种用于在问答会话中向用户提供响应的装置，包括：
消息接收模块，用于在所述会话中接收消息，所述会话在所述用户和电子对话代理之间；
上下文信息提取模块，用于至少基于所述消息，从上下文数据库中提取上下文信息；
事实和情感信息获得模块，用于从所述消息和所述上下文信息中的至少一个获得事实信息和情感信息，其中，所述事实信息与至少一个事实相关联，以及所述情感信息与针对所述至少一个事实的情感相关联；
响应生成模块，用于至少基于所述事实信息和所述情感信息来生成响应；以及
响应提供模块，用于将所述响应提供给所述用户。
13.根据权利要求12所述的装置，其中，所述上下文信息包括下面中的至少一个：会话日志、所述用户指示的文档、以及来自伙伴实体的文档。
14.根据权利要求12所述的装置，其中，所述响应生成模块还用于基于用户简档来生成所述响应，所述用户简档包括性别、年龄、位置信息、感兴趣的话题、以及针对所述感兴趣的话题的情感中的至少一个。
15.根据权利要求12所述的装置，其中，所述至少一个事实包括：所述消息和所述上下文信息中的所述至少一个的话题和/或关键词。
16.根据权利要求12所述的装置，其中，所述消息接收模块还用于：
通过所述上下文信息和/或通用知识图，来扩展所述消息。
17.根据权利要求16所述的装置，其中，所述消息接收模块还用于：
从所述消息中识别所述至少一个事实；
从所述上下文信息和/或所述通用知识图中，检索与所述至少一个事实相关联的至少一个扩展的事实；以及
基于所述至少一个扩展的事实来重写所述消息。
18.根据权利要求12所述的装置，其中，
所述事实信息包括事实向量，所述事实向量是通过使用事实分类器来获得的，以及
所述情感信息包括情感向量，所述情感向量是通过使用情感分类器来获得的。
19.根据权利要求12所述的装置，其中，所述响应生成模块还用于：
利用关注向量执行多轮推理，其中在每轮推理中，通过重新计算所述事实信息和所述情感信息来更新所述关注向量。
20.一种用于在问答会话中向用户提供响应的装置，包括：
一个或多个处理器；以及
存储计算机可执行指令的存储器，当执行所述计算机可执行指令时，使得所述一个或多个处理器执行以下操作：
在所述会话中接收消息，所述会话在所述用户和电子对话代理之间；
至少基于所述消息，从上下文数据库中提取上下文信息；
从所述消息和所述上下文信息中的至少一个，获得事实信息和情感信息，其中，所述事实信息与至少一个事实相关联，以及所述情感信息与针对所述至少一个事实的情感相关联；
至少基于所述事实信息和所述情感信息来生成响应；以及
将所述响应提供给所述用户。
CN201780081598.3A 2017-10-13 2017-10-13 提供会话中的响应 Active CN110121706B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/106152 WO2019071599A1 (en) 2017-10-13 2017-10-13 PROVIDING AN ANSWER IN A SESSION

Publications (2)

Publication Number Publication Date
CN110121706A true CN110121706A (zh) 2019-08-13
CN110121706B CN110121706B (zh) 2022-05-03

Family

ID=66101218

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780081598.3A Active CN110121706B (zh) 2017-10-13 2017-10-13 提供会话中的响应

Country Status (4)

Country Link
US (1) US11487986B2 (zh)
EP (1) EP3679472A4 (zh)
CN (1) CN110121706B (zh)
WO (1) WO2019071599A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113572677A (zh) * 2020-04-28 2021-10-29 阿瓦亚管理有限合伙公司 用于基于自适应情感的自动回复的系统和方法
CN113810265A (zh) * 2020-06-11 2021-12-17 阿瓦亚管理有限合伙公司 用于指示和测量多通道联系中心中的回应的系统和方法

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018214164A1 (en) * 2017-05-26 2018-11-29 Microsoft Technology Licensing, Llc Recommending friends in automated chatting
CN111095259B (zh) * 2017-10-25 2023-08-22 谷歌有限责任公司 使用n-gram机器的自然语言处理
KR102016678B1 (ko) * 2017-12-29 2019-08-30 주식회사 카카오 챗봇과 사용자 단말 간의 컨텍스트 정보를 저장하는 서버 및 방법
US20190220777A1 (en) * 2018-01-16 2019-07-18 Jpmorgan Chase Bank, N.A. System and method for implementing a client sentiment analysis tool
JP6818706B2 (ja) * 2018-02-13 2021-01-20 日本電信電話株式会社 情報提供装置、情報提供方法、およびプログラム
US11551042B1 (en) * 2018-08-27 2023-01-10 Snap Inc. Multimodal sentiment classification
US11023470B2 (en) * 2018-11-14 2021-06-01 International Business Machines Corporation Voice response system for text presentation
US11032217B2 (en) * 2018-11-30 2021-06-08 International Business Machines Corporation Reusing entities in automated task-based multi-round conversation
CN110335596A (zh) * 2019-06-19 2019-10-15 深圳壹账通智能科技有限公司 基于语音识别的产品推荐方法、装置、设备和存储介质
CN110232118A (zh) * 2019-08-08 2019-09-13 中山大学 一种新型的基于gru注意力机制的答案选择模型
CN111263326B (zh) * 2020-01-09 2022-11-04 中国人民解放军国防科技大学 基于多重融合卷积gru的车辆位置预测方法
CN111382256B (zh) * 2020-03-20 2024-04-09 北京百度网讯科技有限公司 信息推荐方法及装置
CN111460172A (zh) * 2020-03-31 2020-07-28 北京小米移动软件有限公司 产品问题的答案确定方法、装置和电子设备
CN111984759B (zh) * 2020-06-29 2023-12-12 百度在线网络技术（北京）有限公司 问答处理方法、装置、电子设备和存储介质
CN111797321B (zh) * 2020-07-07 2021-04-27 山东大学 一种面向不同场景的个性化知识推荐方法及系统
US11711558B2 (en) * 2020-08-04 2023-07-25 Samsung Electronics Co., Ltd. User classification based on user content viewed
US11049510B1 (en) * 2020-12-02 2021-06-29 Lucas GC Limited Method and apparatus for artificial intelligence (AI)-based computer-aided persuasion system (CAPS)
US11295731B1 (en) 2020-12-02 2022-04-05 Lucas GC Limited Artificial intelligence (AI) enabled prescriptive persuasion processes based on speech emotion recognition and sentiment analysis
US11683283B2 (en) 2021-03-30 2023-06-20 International Business Machines Corporation Method for electronic messaging
US11533279B2 (en) * 2021-03-30 2022-12-20 International Business Machines Corporation Method for electronic messaging using image based noisy content
US20220351716A1 (en) * 2021-04-28 2022-11-03 Robert Bosch Gmbh System and method for a personalized dialogue system using knowledge-based entity services
DE102021112061A1 (de) * 2021-05-08 2022-11-10 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Kommunikationseinheit zur Augmentation einer Kommunikation
CN113806506B (zh) * 2021-09-15 2023-04-18 电子科技大学 一种面向常识推理的生成式人机对话回复生成方法
CN113688212B (zh) * 2021-10-27 2022-02-08 华南师范大学 句子情感分析方法、装置以及设备
US11516158B1 (en) 2022-04-20 2022-11-29 LeadIQ, Inc. Neural network-facilitated linguistically complex message generation systems and methods
EP4276693A1 (en) * 2022-05-13 2023-11-15 DeepMind Technologies Limited Selection-inference neural network systems
WO2023218040A1 (en) * 2022-05-13 2023-11-16 Deepmind Technologies Limited Selection-inference neural network systems
CN117556832B (zh) * 2023-11-23 2024-04-09 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种基于语义约束的情感支持对话双向生成方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1419686A (zh) * 2000-10-30 2003-05-21 皇家菲利浦电子有限公司 模拟人际交互并利用相关数据装载外部数据库的用户接口/娱乐设备
CN1637740A (zh) * 2003-11-20 2005-07-13 阿鲁策株式会社 对话控制设备和对话控制方法
CN101075435A (zh) * 2007-04-19 2007-11-21 深圳先进技术研究院 一种智能聊天系统及其实现方法
CN101246687A (zh) * 2008-03-20 2008-08-20 北京航空航天大学 一种智能语音交互系统及交互方法
US20140046876A1 (en) * 2010-06-29 2014-02-13 Morf Dynamics Pty Ltd System and method of providing a computer-generated response
WO2017112496A1 (en) * 2015-12-22 2017-06-29 Microsoft Technology Licensing, Llc Emotionally intelligent chat engine
CN106934452A (zh) * 2017-01-19 2017-07-07 深圳前海勇艺达机器人有限公司 机器人对话方法与系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080096533A1 (en) * 2006-10-24 2008-04-24 Kallideas Spa Virtual Assistant With Real-Time Emotions
EP2821943A1 (en) * 2013-07-03 2015-01-07 Accenture Global Services Limited Query response device
US9786299B2 (en) * 2014-12-04 2017-10-10 Microsoft Technology Licensing, Llc Emotion type classification for interactive dialog system
US10796217B2 (en) * 2016-11-30 2020-10-06 Microsoft Technology Licensing, Llc Systems and methods for performing automated interviews
US10771529B1 (en) * 2017-08-04 2020-09-08 Grammarly, Inc. Artificial intelligence communication assistance for augmenting a transmitted communication
US10574597B2 (en) * 2017-09-18 2020-02-25 Microsoft Technology Licensing, Llc Conversational log replay with voice and debugging information

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1419686A (zh) * 2000-10-30 2003-05-21 皇家菲利浦电子有限公司 模拟人际交互并利用相关数据装载外部数据库的用户接口/娱乐设备
CN1637740A (zh) * 2003-11-20 2005-07-13 阿鲁策株式会社 对话控制设备和对话控制方法
CN101075435A (zh) * 2007-04-19 2007-11-21 深圳先进技术研究院 一种智能聊天系统及其实现方法
CN101246687A (zh) * 2008-03-20 2008-08-20 北京航空航天大学 一种智能语音交互系统及交互方法
US20140046876A1 (en) * 2010-06-29 2014-02-13 Morf Dynamics Pty Ltd System and method of providing a computer-generated response
WO2017112496A1 (en) * 2015-12-22 2017-06-29 Microsoft Technology Licensing, Llc Emotionally intelligent chat engine
CN106934452A (zh) * 2017-01-19 2017-07-07 深圳前海勇艺达机器人有限公司 机器人对话方法与系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113572677A (zh) * 2020-04-28 2021-10-29 阿瓦亚管理有限合伙公司 用于基于自适应情感的自动回复的系统和方法
CN113572677B (zh) * 2020-04-28 2023-06-20 阿瓦亚管理有限合伙公司 用于基于自适应情感的自动回复的系统和方法
CN113810265A (zh) * 2020-06-11 2021-12-17 阿瓦亚管理有限合伙公司 用于指示和测量多通道联系中心中的回应的系统和方法

Also Published As

Publication number Publication date
US20200202194A1 (en) 2020-06-25
CN110121706B (zh) 2022-05-03
EP3679472A4 (en) 2021-04-07
WO2019071599A1 (en) 2019-04-18
EP3679472A1 (en) 2020-07-15
US11487986B2 (en) 2022-11-01

Similar Documents

Publication Publication Date Title
CN110121706A (zh) 提供会话中的响应
Cheng et al. Aspect-aware latent factor model: Rating prediction with ratings and reviews
CN111602147B (zh) 基于非局部神经网络的机器学习模型
CN109564572A (zh) 生成用于自动聊天的问题-答案对
CN110114764B (zh) 在会话中提供饮食帮助
WO2018227462A1 (en) Method and apparatus for intelligent automated chatting
CN109844741A (zh) 在自动聊天中生成响应
CN109753566A (zh) 基于卷积神经网络的跨领域情感分析的模型训练方法
CN109416695B (zh) 在自动聊天中提供本地服务信息
CN109844743A (zh) 在自动聊天中生成响应
CN110476169B (zh) 在会话中提供情感关怀
CN110088747A (zh) 健身辅助聊天机器人
CN109643325A (zh) 在自动聊天中推荐朋友
CN112307351A (zh) 用户行为的模型训练、推荐方法、装置和设备
CN109313650A (zh) 在自动聊天中生成响应
US20230129464A1 (en) Computer implemented method for the automated analysis or use of data
Demchuk et al. Commercial Content Distribution System Based on Neural Network and Machine Learning.
Sun Music Individualization Recommendation System Based on Big Data Analysis
Rasheed et al. Cover-based multiple book genre recognition using an improved multimodal network
Ling Coronavirus public sentiment analysis with BERT deep learning
Patel et al. CNNRec: Convolutional Neural Network based recommender systems-A survey
Liao et al. Crowd knowledge enhanced multimodal conversational assistant in travel domain
Aguado Sarrió MAS-based affective state analysis for user guiding in on-line social environments
Pozzi Probabilistic Relational Models for Sentiment Analysis in Social Networks
Wang et al. KddRES: A Multi-level Knowledge-driven Dialogue Dataset for Restaurant Towards Customized Dialogue System

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant