CN108781175B - 用于消息交换题绪的自动建议的方法、介质及系统 - Google Patents

用于消息交换题绪的自动建议的方法、介质及系统 Download PDF

Info

Publication number
CN108781175B
CN108781175B CN201680082643.2A CN201680082643A CN108781175B CN 108781175 B CN108781175 B CN 108781175B CN 201680082643 A CN201680082643 A CN 201680082643A CN 108781175 B CN108781175 B CN 108781175B
Authority
CN
China
Prior art keywords
user
entity
suggestion
conversation
message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680082643.2A
Other languages
English (en)
Other versions
CN108781175A (zh
Inventor
蒂莫西·西兹·米利甘
希拉·舍默尔
丹尼斯·基勒里希
纪刚
奥利·格尔肖尼
谢尔盖·纳扎罗夫
普拉纳夫·柯海坦
苏尚特·普拉卡什
安东·沃尔科夫
里卡多·埃斯库蒂亚
大卫·西特伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN108781175A publication Critical patent/CN108781175A/zh
Application granted granted Critical
Publication of CN108781175B publication Critical patent/CN108781175B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21Monitoring or handling of messages
    • H04L51/216Handling conversation history, e.g. grouping of messages in sessions or threads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/02User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/046Interoperability with other network applications or services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/06Message adaptation to terminal or network requirements
    • H04L51/063Content adaptation, e.g. replacement of unsuitable content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/53Network services using third party service providers

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Machine Translation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种用于从消息交换题绪识别实体并且生成针对于所述实体的建议—诸如对于用户对所述实体采取动作的建议—的系统和方法。建议应用从消息交换题绪接收至少一条电子消息,从所述电子消息识别可为可动作的实体,确定所述实体的场境指示符,基于所述场境指示符来确定所述实体是否为可动作的,并且响应于所述实体为可动作的,向所述消息交换题绪的参与者提供针对于所述实体的建议。

Description

用于消息交换题绪的自动建议的方法、介质及系统
背景技术
移动设备正明显地赶超桌面得到用户注意。用户在其移动设备上将其大量时间或者也许其大部分时间花在聊天上。同时,随着用户的联系人列表在社交网络中变得越来越大或者甚至无法管理,用户越来越担心隐私并且开始将越来越多的信息共享转移到聊天对话。因而,我们所关心的更多信息现在包含在我们的对话中。需要一种用于以更直观且有效的方式处置对话的方法。
用户每天共享许多信息,例如,时间、位置、地方、人物、事件、视频。然而,他们所共享的大多数信息是静态的。用户需要去别的地方得到更多信息或完成动作。例如,用户正在谈论去影剧院看电影,但需要查看所述影剧院的网站来订票。
用户通过键入(这可能在移动设备的触摸屏上特别困难)或通过从用户找到回答的其它地方复制粘贴来回复消息。上两者都无法为用户回复提供良好体验。
用户无法追踪他们在对话中共享的事物。对话可能无法容易地搜索,例如,用户可能需要从大量搜索结果上下滚动来找出用户真正想要的一条信息。
另外,无法容易地从对话中进行了解,例如,判定场境(context) 或情感。也不存在从对话将信息馈送到不同应用。
发明内容
本公开涉及用于从消息交换题绪(message excheange thread)(本文中还称为“对话”)识别实体并且生成建议以供经由参与者的计算设备呈现给所述对话的参与者的系统和方法,其中所述建议是用于参与者对所述实体采取动作的建议。在一些实施方式中,实体是单一的、定义明确的且可区别的事物或概念。例如,实体可为人员、地点、物品、想法或其任何组合。
在一些实施方式中,所述建议基于从消息交换题绪的一个或多个消息识别实体来针对于实体。在那些实施方式中的一些实施方式中,还确定实体的一个或多个场境指示符,利用所述场境指示符来确定所述实体是否为可动作的,并且仅当确定所述实体为可动作时提供所述建议以用于向参与者呈现。可通过确定所述实体是否在消息交换题绪的场境中位于用户将要对所述实体采取动作之处来确定所述实体为可动作的。可利用各种场境指示符,诸如基于在消息交换题绪本身外部的内容(例如,先前消息交换题绪中的参与者的先前电子消息)的场境指示符、基于(所述消息交换题绪和/或先前消息交换题绪的)消息的自然语言处理的场境指示符、基于消息交换题绪的对话流的场境指示符、以基于(所述消息交换题绪和/或先前消息交换题绪)的消息所确定的情感为基础的场境指示符等。本文中更详细地描述额外和替选场境指示符。仅当(基于场境指示符)确定所述实体为可动作时来提供建议可防止参与者被不相关建议分心和/或可通过不传输不相关建议和/或不提供不相关建议用于呈现来节省各种计算资源。例如,可仅在建议被确定为场境相关时提供该建议,这在与不管场境相关性来提供建议进行比较时可导致减少建议提供并且相应地节省计算资源。另外,根据本文所述的技术的提供建议的一些实施方式可对具有低灵巧性的用户或者以其它方式在向设备做出用户输入方面有困难的用户特别有益。对于至少这些用户,将可选建议并入到消息交换题绪中可增大设备的可靠性和使用速度,例如,通过挽救用户由于低灵活性而犯错。
在一些实施方式中,所述建议是可选建议。在那些实施方式中的一些实施方式中,响应于对话的参与者对所述建议的选择,可将所述建议(和/或相关内容)并入到对话的转录中和/或可执行针对于所述实体的基于计算机的动作(例如,在所述消息交换题绪内和/或与所述消息交换题绪分开)。例如,可首先将所述建议提供作为非静态图形元素以用于呈现给参与者中的一个或多个,并且仅在参与者中的一个或多个选择所述建议后才将所述建议(和/或相关内容)静态地并入到对话的转录中。例如,一旦被静态地并入,所述建议便可形成转录的一部分,并且即使在已经提交另外消息用于包括在对话的转录中之后,仍继续在对话中查看(例如,通过滚动)。另外,例如,一旦被静态地并入,所述建议可与对话相关联地建立索引,从而使得参与者能够在将来基于所述建议来搜索所述对话。在建议为可选的一些实施方式中,可包括肯定界面元素和否定界面元素。响应于选择肯定界面元素,可将所述建议并入到转录中,并且响应于选择否定界面元素,可丢弃所述建议而不将所述建议静态并入到转录中。
在一些实施方式中,在持续进行的消息交换题绪期间提供场境相关建议可使得参与者能够以简单方式(例如,经由单击(one-tap)和/ 或其它单选界面动作)将所述建议(或相关内容)添加到消息交换题绪。另外或替选地,场境相关建议可向参与者提供针对于场境相关实体的内容,而不需要参与者从渲染所述消息交换题绪的应用切换到另一个应用以便获取这样的内容。例如,提供建议用于经由消息交换客户端呈现和/或将基于所述建议的内容并入(例如,响应于用户选择所述建议)到消息交换题绪的转录中可避免需要从消息交换客户端切换以获取这样的内容。这可减少对原本将在切换到另一个应用以满足信息需要中所消耗的某些计算资源的使用。例如,切换到另一个应用可经由应用的启动和/或显现而需要使用处理器、存储器和/或电池资源。另外,切换到另一个应用以获得内容来代替在消息交换题绪中获得所述内容可增大参与者需要花在获得所述内容上的时间量,这可导致获得所述内容的计算资源消耗的对应增大。
此外,在向参与者呈现是否将建议静态地并入到对话的转录中的选项的实施方式中,可向参与者呈现场境相关建议,但仍允许参与者控制那些建议是否形成对话的一部分。这可减轻渲染消息交换题绪的用户界面的杂乱和/或可减少各个计算资源的使用(例如,减小索引或以其它方式存储消息交换题绪的转录所需要的存储空间,因为所有建议均不被自动存储)。
在一些实施方式中,提供一个或多个处理器所实现的方法,并且所述方法包括接收第一用户所提交的电子消息以用于在消息交换题绪的转录中显示。响应于第一用户经由第一用户的客户端设备提供的用户界面输入来提交所述电子消息。所述消息交换题绪至少在第一用户与第二用户之间经由第一用户的第一消息交换客户端和第二用户的第二消息交换客户端进行。所述方法进一步包括:从电子消息识别实体,确定所述实体的场境指示符,并且基于所述场境指示符来确定所述实体是否为可动作的。所述方法进一步包括响应于确定所述实体为可动作的:提供针对于所述实体的建议以用于经由第一消息交换客户端和第二消息交换客户端中的至少一个呈现。
这些和其它实施方式可任选地包括一个或多个以下特征。
在一些实施方式中,响应于确定所述实体为可动作的,提供所述建议以用于经由第二消息交换客户端向第二用户呈现,而不提供给第一用户。在那些实施方式中的一些实施方式中,所述方法进一步包括:经由第二消息交换客户端接收第二用户对所述建议的肯定选择;以及响应于所述肯定选择,提供基于所述建议的内容以用于经由第一消息交换客户端向第一用户呈现。在那些实施方式的一些版本中,基于所述建议的所述内容是所述建议本身。这些实施方式中的一些实施方式因此仅首先向消息交换题绪的参与者子集呈现建议,并且响应于所述子集的参与者对所述建议的肯定选择而进一步仅将基于该建议的内容呈现给不属于所述子集的其他参与者。这可通过在未提供肯定选择的情形中避免提供建议和/或内容来避免不属于所述子集的其他参与者的客户端设备的各个计算资源的消耗。
在一些实施方式中,响应于确定所述实体为可动作的,提供所述建议以用于呈现而不将所述建议并入到消息交换题绪的转录中。在那些实施方式中的一些实施方式中,所述方法进一步包括:接收对所述建议的肯定选择;以及响应于所述肯定选择,将基于所述建议的内容并入到消息交换题绪的转录中。这些实施方式中的一些实施方式因此仅响应于对建议的肯定选择而将基于建议的内容并入到消息交换题绪的转录中。这可避免消耗各个计算资源,诸如存储转录所需要的资源和/或提供和/或渲染消息交换题绪中的内容所需要的资源。
在一些实施方式中,响应于确定所述实体为可动作的,提供所述建议以用于呈现而不将所述建议并入在消息交换题绪的转录中,并且所述建议包括肯定界面元素和否定界面元素。在那些实施方式中的一些实施方式中,所述方法进一步包括:监视对肯定界面元素或否定界面元素的选择;以及仅响应于对肯定界面元素的选择而将基于所述建议的内容并入到消息交换题绪的转录中。这些实施方式中的一些实施方式因此仅响应于对建议的肯定选择而将基于建议的内容并入到消息交换题绪的转录中。这可避免消耗各个计算资源,诸如存储转录所需要的资源和/或提供和/或渲染消息交换题绪中的内容所需要的资源。
在一些实施方式中,所述方法进一步包括:响应于确定所述实体为可动作的:将所述实体传输到第三方服务器;以及响应于传输所述实体而从第三方服务器接收所述建议。
在一些实施方式中,确定场境指示符包括:基于涉及第一用户和第二用户中的至少一个的单独先前消息交换题绪来确定至少一个场境指示符。在那些实施方式中的一些实施方式中,所述至少一个场境指示符是基于第一用户和第二用户中的至少一个在先前消息交换题绪的一个或多个先前消息中表达的情感。在那些实施方式的一些版本中,所述情感针对于所述实体,并且确定所述至少一个场境指示符包括基于针对于所述实体的情感来确定所述至少一个场境指示符。
在一些实施方式中,确定所述场境指示符包括基于执行对第一用户或第二用户的先前消息的情感分析来确定至少一个场境指示符。所述先前消息在所述消息交换题绪中或在先前消息交换题绪中。在那些实施方式中的一些实施方式中,执行所述情感分析是至少部分地基于先前消息中所包括的非文本图形元素。在那些实施方式的一些版本中,所述先前消息在先前消息交换题绪中,并且所述至少一个场境指示符是基于先前消息中的针对于所述实体的情感来选择的。
在一些实施方式中,提供所述建议以用于向第二用户呈现,并且所述场境指示符是基于第一用户的先前消息。在那些实施方式中的一些实施方式中,所述先前消息是由第一用户在不涉及第二用户的先前消息交换题绪中提交的。
在一些实施方式中,所述方法进一步包括基于机器学习模型来对所述至少一个电子消息执行自然语言分析,并且从所述电子消息识别是可动作的实体以及确定所述实体的场境指示符是基于自然语言分析。
在一些实施方式中,所述方法进一步包括追踪来自所述消息交换题绪的每个参与者的对话流以创建追踪信息,并且基于所述追踪信息来生成场境指示符。
在一些实施方式中,所述方法进一步包括使用经过训练的机器学习模型和场境指示符来确定所述建议。在那些实施方式中的一些实施方式中,所述方法进一步包括:接收对针对所述实体提供的建议的用户反应;生成训练示例,其中训练示例输入是基于场境指示符并且其中训练示例输出是基于所述用户反应;以及在基于所述训练示例进一步训练所述经过训练的机器学习模型的基础上修正所述经过训练的机器学习模型。
在一些实施方式中,所述方法进一步包括在计算机可读介质中基于所述场境指示符来对所述消息交换题绪进行索引。
这些和其它方法的其它实施方式可包括对应系统、装置以及在计算机存储设备上编码的被配置为执行所述方法的动作的计算机程序。
一般来说,本公开中所描述的主题的其它实施方式可在以下方法中体现,所述方法包括使用一个或多个处理器从对话接收至少一条对话消息,使用一个或多个处理器从对话消息识别可为可动作的实体,使用一个或多个处理器确定所述实体的场境指示符,使用一个或多个处理器基于所述场境指示符确定所述实体是否为可动作的,并且响应于所述实体为可动作的,向用户提供建议以对所述实体采取动作。
这些和其它实施方式可各自任选地包括一个或多个以下特征。例如,所述特征可包括基于机器学习模型来对所述至少一条对话消息执行自然语言分析,并且其中从所述对话消息识别可为可动作的实体以及确定所述实体的场境指示符是基于所述分析。所述特征可包括追踪来自对话的每个参与者的对话流并且基于所述追踪信息来优化所述场境指示符。所述特征可包括基于机器学习模型和场境指示符来确定对于用户采取动作的建议。所述特征可包括从用户接收用于将所述实体标示为可动作的指示,将所述用户指示作为训练信号发送到机器学习模型,搜索与所述实体相关的信息,并且将所述信息提供给所述用户。所述特征可包括:从包括查询和文档检索的多种来源接收数据;从所述数据提取特征;基于所提取的特征来生成机器学习模型;接收用户动作,所述用户动作包括对针对所述实体提供的建议的反应;以及基于所述用户动作来训练机器学习模块。所述特征可包括:将实体信息馈送到应用,所述实体信息包括对话的参与者;应用生成建议以及将所述建议提供给对话的参与者。所述特征可包括:在所述对话中检测对于用户的问题,所述问题与所述实体相关;确定对所述问题的潜在用户回复;以及将所述潜在用户回复以单击形式提供给用户。所述特征可包括基于所述场境指示符来组织所述至少一个对话以及对所述至少一个对话进行索引。
这些和其它方法的其它实施方式可包括对应系统、装置以及在计算机存储设备上编码的被配置为执行所述方法的动作的计算机程序。
以上和/或其它实施方式中的一些实施方式可在许多方面中为有利的。例如,可基于随时间流逝进行学习来理解对话的语义并且从实时对话导出含义的机器学习模型来生成建议,并且因此,建议是有效率且准确的。还可基于包括情感分析的场境分析和对话流来生成建议。在适当场境条件下生成适当建议,并且因此,建议是智能的。例如,不会向悲伤用户发送庆祝消息。此外,建议可提供丰富场境和可供用户直接用于完成动作的接下来的步骤。另外,在一处的其它服务可为对话的所有参与者提供重要建议和更新。另外,组织和摘要机制可允许用户容易地回顾对话中所共享的一串有意义信息。
然而,应当理解,以上特征和优点不是详尽的,并且设想到许多额外特征和优点且其落在本公开的范围内。此外,应当理解,本公开中所使用的语言主要是出于可读性和指导性目的来选择的,而不是为了限制本文所公开的主题的范围。
附图说明
在附图图式中通过示例而非作为限制来图示说明书,其中相似的附图标记用于指代相似元素。
图1是示出用于从对话识别实体并且生成对于用户对实体采取动作的建议的示例系统的框图。
图2是示出示例建议应用的框图。
图3是用于从对话识别实体并且生成对于用户对实体采取动作的建议的示例方法的流程图。
图4是用于从对话识别实体并且生成对于用户对实体采取动作的建议的特定示例方法的流程图。
图5是用于从对话手动确定可动作实体的示例方法的流程图。
图6是用于生成并更新机器学习模型的示例方法的流程图。
图7是用于从第一应用将实体信息馈送到第二应用以生成建议的示例方法的流程图。
图8是用于预测对话中的潜在用户回复的示例方法的流程图。
图9是用于响应于搜索请求而选择性地检索对话和/或对话消息的示例方法的流程图。
图10包括示出建议的示例对话界面的图形表示。
图11A是示出第一应用所生成的对话的示例对话界面的图形表示。
图11B是示出第二应用所生成的建议的示例对话界面的图形表示。
图12是示出单击回复的示例对话界面的图形表示。
图13是示出对话报告的示例对话界面的图形表示。
图14是示出对话摘要的示例对话界面的图形表示。
图15包括示出建议的并列呈现的示例对话界面的图形表示。
具体实施方式
本发明公开用于自动建议生成的系统、方法和界面。在一些实施方式中,用于自动建议生成的系统、方法和界面是基于对话分析。当用户在对话中发送消息时,分析所述消息以确定用户可对之采取动作的一个或多个实体。然后分析所述对话或甚至涉及所述用户和/或所述对话的其他参与者的其它对话的其它消息以确定场境指示符。基于所述场境指示符生成建议。例如,如果两个用户想要在商店见面,则可建议地图和日历以将所述用户引导到所述商店并且设定见面时间。基于场境指示符,地图可仅指示去往靠近两个用户的特定商店的指引,并且日历可突出显示两个用户的可用时间。在一些情况下,所述建议提供所述动作的接下来步骤。
建议生成过程在许多方面中为自动的。例如,本公开的实施方式确定是否要生成建议以及:何时何处在对话中插入所述建议;和/或何时向一个或多个参与者推荐所述建议以用于潜在插入于所述对话中。例如,对于从用户A到用户B的问题“meet at coffeehouse?(在咖啡屋见面?)”,如果用户B对所述问题回答“great!(太棒了!)”,则可向所述两个用户中的一者或两者建议包括所述咖啡屋的地图,而如果用户B回答“I'd like to go,but…(我想去,但……)”,则将不向所述两个用户中的任一者提供地图建议。在一些实施方式中,可向所述用户中的每一者提供建议地图的不同版本,诸如具有从第一用户的当前位置到咖啡屋的路线指引的提供给第一用户的第一版本以及具有从第二用户的当前位置到咖啡屋的路线指引的提供给第二用户的第二版本。本公开的实施方式还基于场境指示符来确定什么建议是恰当的和/或何时提供所述建议是恰当的。例如,如果用户刚刚接收到坏消息(例如,如基于对所述用户的另一个对话的分析来确定),则可确定不适合在所述对话中向用户提供庆祝建议。作为另一个示例,如果确定用户讨厌某事物(例如,基于用户在所述对话和/或先前对话中关于这样的事物所表达的情感),则可确定不适合在所述对话中向用户提供这样的事物的建议。
尽管现在在客户端-服务器系统的场境中描述本公开的系统、方法和界面,但应当理解,所述系统、方法和界面可应用于通过网络可操作地连接的除了单个客户端-服务器系统之外的系统。例如,客户端设备、第三方服务器、电子邮件服务器和/或存储建议应用的服务器可提供本文所述的一些或所有功能性,并且可采用服务器集群以便提供这样的功能性。作为额外示例,客户端硬件可为移动电话或平板设备。
现在转向附图,图1示出用于从对话识别实体并且生成对于用户对所述实体采取动作的建议的系统100的框图。所示出的系统100包括用户104a、104n访问的客户端设备102a、102n、服务器106、电子邮件服务器108、第三方服务器110和搜索服务器112。在所示出的示例中,这些实体经由网络114以通信方式耦合。在图1和剩余图式中,字母跟在附图标记之后(例如,“102a”)是对具有那个特定附图标记的元素的引用。文中没有跟随字母的附图标记(例如,“102”)是对具有那个附图标记的元素的不同实例的一般参考。虽然仅示出两个客户端设备102a、102n,但本领域的普通技术人员将认识到,任意数目的客户端设备102n是可用于任意数目的用户104n。
网络114可为常规类型,有线的或无线的,并且可具有许多不同配置,包括星形配置、令牌环配置或其它配置。此外,网络114可包括局域网(LAN)、广域网(WAN)(例如,互联网)和/或多个设备可跨其进行通信的其它互连数据路径。在一些情况下,网络114可为对等网络。网络114还可耦合到或包括电信网络的若干部分以用于以多种不同通信协议发送数据。在一些其它情况下,网络114包括蓝牙通信网络或蜂窝式通信网络以用于发送和接收数据,包括经由短消息收发服务(SMS)、多媒体消息收发服务(MMS)、超文本传送协议 (HTTP)、直接数据连接、无线应用协议(WAP)、电子邮件等。虽然图1示出一个网络114耦合到客户端设备102a、102n、电子邮件服务器108、第三方服务器110和搜索服务器112,但实际上,一个或多个网络114可连接到这些实体。
借助于示例示例使用图1中的客户端设备102a、102n。虽然仅示出两个客户端设备102,但本公开适用于具有任何数目的客户端设备 102的系统架构。在所示出的实施方式中,用户104a、104n分别经由信号线116a、116n与客户端设备102a、102n交互。客户端设备102a、 102n分别经由信号线120a、120n以通信方式耦合到网络114,并且与服务器106、电子邮件服务器108、第三方服务器110和搜索服务器112 交换信息。例如,客户端设备102a将对话消息(本文中还称为“电子消息”)发送到服务器106。服务器106处理对话消息并且基于该对话消息来生成建议。在一些情况下,服务器106接收一个或多个对话消息并且基于所述一个或多个对话消息来生成建议。在其它情况下,服务器106还使用其它输入(例如,先前用户活动、用户简档信息等) 来生成建议。在使用用户的任何简档信息或个人信息之前获得核准。客户端设备102a在没有非意图延迟的情况下从服务器106接收建议。例如,客户端设备102在发送消息“has John’s flight landed?(John的航班已经着陆?)”之后立刻接收到包括到达时间和航班状态的建议。在一些情况下,延迟可为期望的,例如,当建议在所述对话中在将来时间处最佳适配时或当服务器106等待更多对话消息来获得场境并确认发送建议时。例如,当客户端设备102a向客户端设备102n发送消息“let’s grab coffee(我们去喝杯咖啡吧)”时,服务器106可在生成和/或提供建议之前等待来自客户端设备102n的消息(例如,“I hate coffee(我讨厌咖啡)”),而非立即建议咖啡店地图。
在一些情况下,客户端设备102可为包括存储器和处理器的任何计算设备。例如,客户端设备102可为膝上型计算机、台式计算机、平板计算机、移动电话、个人数字助理、移动电子邮件设备、便携式游戏机、便携式音乐播放器、具有嵌入在其中或耦合到其的一个或多个处理器的电视机、或能够接入网络114的任何其它电子设备等。
服务器106可为包括处理器、存储器和网络通信能力的硬件服务器。服务器106经由信号线122以通信方式耦合到网络114。在一些情况下,服务器106经由网络114向客户端设备102、电子邮件服务器 108、第三方服务器110和搜索服务器112中的一个或多个发送数据并且从其接收数据。服务器106任选地包括社交网络应用124。
社交网络可为用户可通过共同特征连接的网络。共同特征可包括关系/联系(connection),例如,朋友、家庭、工作、兴趣等。共同特征可由一个或多个社交网络系统提供,包括明确定义的关系以及由与其他在线用户的社交联系暗示的关系,其中所述关系形成社交图谱。在一些示例中,社交图谱可反映这些用户的映射以及其可如何相关。服务器106中的社交网络应用124通过处置用户的注册、内容(例如,帖子、评论、照片、链接、签到等)的发布、托管多用户通信会话、群组管理、管理不同共享级别、更新社交图谱等来管理社交网络。社交网络应用124通过接收诸如用户名和密码等信息来注册用户并且生成与所述用户相关联并且存储为社交图谱的一部分的用户简档。在一些情况下,用户简档包括关于用户的额外信息,包括兴趣(例如,足球、阅读、食物、订阅等)、活动(例如,搜索历史、指示赞成、帖子、评论、多用户通信会话等)、群体特征资料(例如,年龄、民族、位置等)以及简档评级和声誉(例如,智商评级、幽默评级等)。系统100可包括多个服务器106,其包括传统社交网络服务器、电子邮件服务器、微博服务器、博客服务器、论坛服务器、消息服务器等。
此外,服务器106和社交网络应用124可表示一个社交网络。可存在耦合到网络114的多个社交网络,其各自具有其自己的服务器、应用和社交图谱。例如,第一社交网络可更针对于企业联网,第二社交网络可更针对于或集中于学术,并且第三社交网络可更针对于本地商业。
电子邮件服务器108可为包括处理器、存储器和网络通信能力的硬件服务器。电子邮件服务器108经由信号线126以通信方式耦合到网络114。在一些情况下,电子邮件服务器108与服务器106交换用户数据,使得服务器106可基于用户数据来生成用于对话消息中的实体的建议。例如,当用户在对话中谈论买玩具时,服务器106可与电子邮件服务器108通信以得到用户的购买历史(例如,来自电子邮件中的玩具的购买收据),并且至少部分地基于购买历史来确定建议。在使用所述用户的任何购买历史或其它个人信息之前获得核准。
第三方服务器110可为包括处理器、存储器和网络通信能力的计算设备。第三方服务器110经由信号线128耦合到网络114。第三方服务器110经由网络114向系统100的客户端设备102、服务器106和搜索服务器112发送数据并且从其接收数据。第三方服务器110可存储不同应用。例如,服务器106可从存储在第三方服务器110上的对话应用接收对话消息。在另一个示例中,服务器106将实体信息馈送到存储在第三方服务器110上的应用(例如,经由第三方服务器110的应用编程接口(API)),使得应用可基于实体信息来生成建议。可提供多个第三方服务器,并且服务器106可基于各种因素来选择适当的第三方服务器(用于提供实体信息以及接收响应性建议)。例如,实体的语义类型和/或与对话中的实体相关联提到的动作可用于选择给定第三方服务器来代替其它可用第三方服务器。例如,第三方服务器110可提供用于餐厅预约的建议,并且可基于实体为“餐厅”语义类型和/ 或基于与所述实体相关联提到的“预约”、“预定”和/或其它“预订”词项来被选择。此外,在一些实施方式中,本文所述的场境指示符可用于确定实体是否为可动作的,并且服务器106可仅在确定实体为可动作时任选地向第三方服务器提供实体信息。这可通过在实体不被认为可动作时防止向第三方服务器传输实体的实体信息来减小网络流量。
搜索服务器112可为包括处理器、存储器和网络通信能力的计算设备。搜索服务器112经由信号线130耦合到网络114。搜索服务器 112包括响应于来自用户的搜索请求来向用户提供搜索结果的搜索引擎。在一些情况下,服务器106与搜索服务器112通信以搜索与实体相关的信息并且基于搜索服务器112响应于所述搜索所返回的信息来生成用于对所述实体采取动作的建议。
在一些情况下,服务器106包括建议应用132b。在其它情况下,建议应用132b可额外或替选地存储在客户端设备102上。例如,建议应用132b可为瘦客户端应用,其包括客户端设备102上的建议应用 132b的一部分和服务器106上的建议应用132b的一部分,以从对话识别实体并且生成对于用户对所述实体采取动作的建议。
建议应用132b从对话接收至少一条对话消息并且从对话消息识别实体。实体可为对话消息的一部分,例如,对话消息中的人员或对象。在一些情况下,建议应用132b基于分析对话消息的语法成分来解析对话消息并且从所解析的对话消息识别一个或多个实体。例如,建议应用132b基于解析消息来识别到消息“great weather!(好天气!)”包括“great(好)”、“weather(天气)”和“!”,并且从所述消息确定第一实体“great”和第二实体“weather”。
在一些实施方式中,建议应用132b将所述分析进一步延伸到整个对话或甚至其它对话(例如,先前对话、来自第三方应用的对话)以确定场境指示符。例如,从消息“wouldyou like to meet at ABC coffee store?(您愿意在ABC咖啡店见面吗?)”和用户简档信息,建议应用132b确定实体“ABC coffee store”在用户办公室附近。在使用用户的任何简档信息或个人信息之前获得核准。其它场境指示符包括情感指示符、对话流、消息的时态、消息的新近性、发送消息的日和/或时间、与实体相关联的日和/或时间、对话元数据等。
在一些实施方式中,建议应用132b进一步基于确定实体是否处于用户打算对所述实体采取动作的对话场境中来确定实体是否为可动作的。例如,建议应用132b确定消息“Ilike A(我喜欢A)”中的A实体为不可动作的,但确定消息“I am going to buy A(我将要购买A)”中的A实体为可动作的。建议应用132b基于包括对话流、时态、情感指示符(例如,基于表情符号)、消息中所使用的动词、是否在消息中问问题、对话元数据等的场境指示符来确定实体是否为可动作的。如果用户A问用户B“meet at XYZ?(在XYZ处见面?)”,则建议应用132b将仅在对话流中接收到用户B的肯定回答之后确定位置“XYZ”为可动作的。
在一些实施方式中,建议应用132b基于场境指示符来生成用于可动作实体的建议。例如,建议应用132b在第二用户邀请第一用户吃晚饭时使用来自第一用户的消息“Ihate A restaurant(我讨厌A餐厅)”、“I like B restaurant(我喜欢B餐厅)”、“Crestaurant is ok(C餐厅还可以)”作为场境指示符来确定建议B。例如,基于相对于消息中的那些实体中的每一者表达的对应情感,所述建议可针对于B餐厅和/或 C餐厅,而不是A餐厅。如本文所述,所述消息可来自第二用户邀请第一用户吃晚饭的对话和/或可来自其它对话,所述其它对话可包括或不包括第二用户。另外,并且也如本文描述,可提供基于第一用户的消息来确定的建议B以用于向第一用户和/或第二用户呈现(如果获得适当核准)。换言之,在一些实施方式中,可基于第一用户的消息来生成建议B,并且提供所述建议B以用于向第二用户呈现。在那些实施方式中的一些实施方式中,可仅在确定第一用户的消息来自还包括第二用户的对话的情况下将基于第一用户的消息的建议提供给第二用户。在一些其它实施方式中,即使第一用户的消息中的一个或多个来自不包括第二用户的对话,也可将基于第一用户的消息的建议提供给第二用户。
另外,在一些实施方式中,建议应用132b可将实体信息馈送到单独应用(例如,由第三方服务器110托管的应用),并且作为响应,从单独应用得到建议。将实体信息馈送到单独应用可包括:利用一个或多个网络并且任选地利用单独应用的API来将实体信息传输到单独应用。响应于馈送实体信息来接收建议可包括响应于传输实体信息来经由一个或多个网络接收建议,并且可任选地利用API(例如,传输实体信息所利用的相同API)。
作为一个示例,如果用户在与其他用户的对话中提到天气,则天气服务可向用户发送每小时天气报告。例如,每小时天气报告可并入到对话的转录中以供所有用户查看和/或可经由除了用于参与所述对话的消息交换客户端/应用之外的单独应用提供给用户。以此方式,建议应用132b将用户与单独应用进行连接而无需用户在客户端设备上手动安装所述单独应用,并且在用于向对话的所有参与者呈现之处(例如,在对话的转录中)提供重要建议。在一些情况下,建议应用132b额外或替选地预测用户回答对话中的问题的可能回复,并且因此节省用户时间。在其它情况下,建议应用132b额外或替选地组织对话的信息,使得用户可容易地回询所述对话中的其想要的任何信息。本文中进一步详细论述建议应用132b的各个实施方式,例如,参考图2。
现在参看图2,更详细地示出建议应用132b的示例。图2是根据一些实施方式的计算设备200的框图,所述计算设备200包括处理器 202、存储器204、通信单元208、存储210和建议应用132b。在一些情况下,计算设备200是服务器106。在其它情况下,所述计算设备是客户端设备102。在另外其它情况下,所述计算设备是分布式计算设备,诸如在服务器106和客户端设备102两者上操作的分布式计算设备。计算设备200的组件在图2中示出为通过总线206以通信方式耦合。
处理器202包括算术逻辑单元、微处理器、通用控制器或某种其它处理器阵列中的一些或全部以执行计算且向显示设备提供电子显示信号。处理器202耦合到总线206以用于与其它组件通信。处理器202 处理数据信号并且可包括各种计算架构,包括复杂指令集计算机 (CISC)架构、精简指令集计算机(RISC)架构或实施指令集组合的架构。虽然图2包括单个处理器,但可包括多个处理器。处理能力可限于支持图像的显示以及图像的捕获和传输。处理能力可能足以执行更复杂的任务,包括各种类型的特征提取和取样。本领域的技术人员将明白,其它处理器、操作系统、传感器、显示器和物理配置也是可能的。
存储器204存储可由处理器202执行的指令和/或数据。存储器204 耦合到总线206以用于与其它组件通信。所述指令和/或数据可包括用于执行本文所述的任何和/或所有技术的代码。存储器204可为动态随机存取存储器(DRAM)设备、静态随机存取存储器(SRAM)设备、闪存存储器或本领域已知的某种其它存储器设备。在一些情况下,存储器204还包括非易失性存储器或类似的持久存储和介质,例如,硬盘驱动器、软盘驱动器、CD-ROM设备、DVD-ROM设备、DVD-RAM 设备、DVD-RW设备、闪存存储器设备或用于更持久地存储信息的本领域已知的某种其它大容量存储。
通信单元208向客户端设备102、服务器106、电子邮件服务器 108、第三方服务器110和搜索服务器112中的至少一者传输数据并且从其接收数据。通信单元208耦合到总线206。例如,通信单元208从客户端设备102接收包括对话消息的数据并且将数据传输到服务器 106。服务器106使用存储在服务器106上的建议应用132b基于对话消息生成建议,并且将所述建议传输到客户端设备102。
在一些情况下,通信单元208包括用于直接物理连接到客户端设备206或另一个通信信道的端口。例如,通信单元208包括用于与客户端设备206的有线通信的RJ45端口或类似端口。在其它情况下,通信单元208包括用于使用一种或多种无线通信方法(诸如IEEE1502.11、IEEE 1502.16、
Figure BDA0001770585620000181
)或另一种合适无线通信方法与客户端设备206或任何其它通信信道交换数据的无线收发器(未示出)。
在一些其它情况下,通信单元208包括蜂窝式通信收发器以用于通过蜂窝式通信网络诸如经由短消息服务(SMS)、多媒体消息服务 (MMS)、超文本传送协议(HTTP)、直接数据连接、无线应用协议 (WAP)、电子邮件或另一种合适类型的电子通信发送和接收数据。在又一种情况下,通信单元208包括有线端口和无线收发器。通信单元208还提供去往网络114的其它常规连接以用于使用标准网络协议 (诸如TCP/IP、HTTP、HTTPS和SMTP)分发文件和/或媒体对象,如本领域的技术人员将理解。
存储210是存储用于提供本文所述的功能性的数据的非暂时性存储器。存储210耦合到总线206。存储210可为动态随机存取存储器 (DRAM)设备、静态随机存取存储器(SRAM)设备、闪存存储器或某些其它存储器设备。在一些情况下,存储210还包括非易失性存储器或类似持久存储和介质,包括硬盘驱动器、软盘驱动器、CD-ROM 设备、DVD-ROM设备、DVD-RAM设备、DVD-RW设备、闪存存储器设备或用于更持久地存储信息的某种其它大容量存储。
在一些情况下,存储210存储与社交网络中的用户相关联的社交网络简档、对话中的对话消息、从所述对话识别的可动作实体、从所述对话和/或其它对话确定的场境指示符、基于所述对话的可动作实体来生成的建议等。
在一些情况下,建议应用132b包括控制器220、对话管理模块222、模型构建器224、对话分析器226、确定引擎228、建议生成器230和用户界面引擎236。
控制器220可为用于接收数据并且将数据传输到适当组件的代码和例程。在一些情况下,控制器220可为能够由处理器202执行以提供用于接收和传输数据的下文所述的功能性的一组指令。在其它情况下,控制器220可存储在计算设备200的存储器204中并且可由处理器202访问和执行。在一些情况下,控制器220可适于与处理器202 和计算设备200的其它组件协作和通信。
在一些情况下,控制器220经由通信单元208接收数据并且将数据传输到建议应用132的适当模块。例如,控制器220经由通信单元 208从客户端设备102接收用户信息并且将用户信息传输到模型构建器 224以构建并更新机器学习模型。在另一个示例中,控制器220从对话分析器226接收对话中的实体的场境指示符并且从确定引擎228接收对所述实体为可动作的确定,并且将可动作实体的场境指示符传输到建议生成器230以生成对于用户对所述实体采取动作的建议。
对话管理模块222可为用于生成并管理对话会话的代码和例程。在一些情况下,对话管理模块222可为能够由处理器202执行以提供用于生成并管理对话会话的下文所述的功能性的一组指令。在其它情况下,对话管理模块222可存储在计算设备200的存储器204中并且可由处理器202访问和执行。在一些情况下,对话管理模块222可适于与处理器202和计算设备200的其它组件协作和通信。
在一些情况下,对话管理模块222生成对话会话并且指令用户界面引擎236生成图形数据以用于在对话界面中显示对话会话。对话会话或对话是包括视频会议、音频会议和即时消息收发中的至少一者的多用户通信会话。对话包括至少一条对话消息。对话消息可包括视频消息、音频消息、文本消息、照片、超链接等。在一些情况下,对话管理模块222通过与客户端设备102的音频和视频捕获设备交互以获得用户104的实时音频-视频同步通信数据流来生成对话。例如,对话管理模块222与控制客户端设备102中所包括的麦克风和视频相机(例如,网络相机或前置相机)的功能性的存储在客户端设备102上的软件驱动器对接,并且基于客户端设备102所捕获的音频-视频数据来生成对话。所述音频-视频数据可使用各种音频和视频编解码器来编码。在其它情况下,对话管理模块222生成允许参与所述对话的用户彼此共享文档、便签簿和/或计算设备屏幕的对话。
在一些情况下,对话管理模块222接收建议生成器230基于对话的对话消息来自动生成的建议,并且与用户界面引擎236通信以生成用于显示所述建议连同所述对话中的对话消息的图形数据。在其它情况下,对话管理模块222在对话中提供一个或多个应用或服务并且指令用户界面引擎236在对话界面中生成一个或多个工具以供用户与所述一个或多个应用或服务交互。例如,对话管理模块222指令用户界面引擎236在对话界面中生成搜索框以供用户基于话题、时间等来搜索对话。
在一些情况下,对话管理模块222还经由通信单元208与其它服务器(例如,第三方服务器110)通信以接收来自其它对话的对话消息。其它对话可由其它服务器上的其它应用生成。对话管理模块222将对话消息转发到建议应用132b的其它组件(例如,224至236)以生成建议。在一些情况下,对话管理模块222还将所述对话消息存储在存储210中。
模型构建器224可为用于生成和/或更新机器学习模型的代码和例程。在一些情况下,模型构建器224可为能够由处理器202执行以提供用于生成和/或更新机器学习模型的下文所述的功能性的一组指令。在其它情况下,模型构建器224可存储在计算设备200的存储器204 中并且可由处理器202访问和执行。在一些情况下,模型构建器224 可适于与处理器202和计算设备200的其它组件协作和通信。
模型构建器224接收来自由对话管理模块222生成和接收的对话的信息,从所述信息提取特征,并且基于所提取的特征来生成模型。所述模型包括与用户相关的项目,诸如位置、兴趣列表等。兴趣可从用户对其喜欢什么的指示而变得明确。兴趣还可为从用户活动推断的信息。例如,如果用户在若干对话中谈论徒步旅行装备,则模型构建器224推断出用户对户外活动感兴趣。在一些情况下,模型构建器224 还从多种来源(例如,包括查询、文档检索、用户交互、电子邮件等) 接收用户信息,并且基于所述信息来构建模型。例如,模型构建器224 将用户的搜索历史包括到所述模型中。在另一个示例中,在接收到针对查询所返回的一批文档和与每个文档相关联的排名后,模型构建器 224将所述模型构建为包括所述排名以示出文档与查询之间的相关性。
在一些情况下,模型构建器224生成所述模型来包括用户统计资料和用户行为模式数据,例如,用户参加对话的频繁程度、用户在对话中与谁谈得最多、用户喜欢在什么时间与别人对话、用户是否喜欢在对话中共享照片、用户喜欢共享什么种类的照片等。在其它情况下,模型构建器224将所述模型生成为包括用于做出关于用户动作的预测的一系列权重和乘数。在一些情况下,模型构建器224基于用户之间的社交关系来确定权重和乘数。例如,模型构建器224从对话管理模块222接收对话消息。所述对话消息包括在对话中提出的问题以及第一用户和第二用户对所述问题的回复。模型构建器224与社交网络应用124通信以基于社交网络应用124所管理的社交图谱来确定第一用户是第三用户的亲密朋友并且第二用户私下里不知道第三用户。模型构建器224向第一用户指派比第二用户高的权重。稍后,当使用所述模型来基于类似用户的动作预测用户的行为时,第一用户的回复将在预测第三用户对所述问题的潜在回答中被更大加权。在其它情况下,模型构建器224基于对话消息的新近性来确定权重和乘数。例如,如果用户在上个月的对话中谈论游戏A并且在这个月的对话中谈论游戏 B,则当预测用户将要订阅哪个游戏论坛时,模型构建器224针对游戏 B确定比游戏A高的权重。在一些其它情况下,模型构建器224基于包括用户参加对话的频繁程度、用户喜欢在什么时间与别人进行对话等的其它因素来确定权重和乘数。
在一些情况下,模型构建器224生成模型并且基于所述模型将用户映射到一个或多个类别。所述类别可为对话分析器226所识别的实体,如下文所述。例如,模型构建器224确定用户喜欢打篮球,并且将用户分类为类别“运动员”和类别“篮球”。或者,模型构建器224 将每天与其他用户谈论的用户分类为类别“健谈者”。
在一些实施方式中,模型构建器224生成机器学习模型。模型构建器224从包括至少一个对话的多种来源收集数据并且使用机器学习算法来从所收集的数据学习某些性质。机器学习算法可包括但不限于回归技术、基于示例的算法、决策树、贝叶斯算法、核方法、聚类方法、关联规则学习、人工神经网络等。模型构建器224随时间流逝训练模型以理解对话的语义并从实时对话导出含义。随着模型演化,使用所述模型做出建议、行为预测等的效率和准确性得到改善。
模型构建器224使用用户动作作为训练信号来训练所述模型。在一些情况下,模型构建器224追踪先前对话中的用户的动作并且训练所述模型从那些用户动作进行学习。例如,模型构建器224学习到用户从未使用购买工具购买在对话界面中所提供的任何东西,或者从两个用户之间的先前对话学习到两个用户总是选择特定咖啡屋作为其见面点。在其它情况下,模型构建器224追踪用户的非聊天动作并且训练所述模型从所述非聊天动作进行学习。例如,模型构建器224从用户的购买历史学习用户喜爱的巧克力品牌。基于模型学习到的内容,可为用户做出建议。例如,当用户在对话中谈论飞去佛罗里达度假时,可向用户做出航班行程(例如,时间和航线)的建议,因为模型构建器224从用户的先前动作学习到用户喜欢这条航线并且经常乘坐那个时间附近的航班。在一些情况下,模型构建器224接收对在对话中提供给用户的建议的用户反应并且进而使用所述反应(和来自所述对话的其它数据)作为训练信号来训练所述模型(例如,使用所述反应来生成用于通过进一步训练来优化所述模型的训练示例)。继续以上示例,如果所述用户丢弃所述航班行程建议或在对话中明确声明不喜欢所述航线(例如,通过书写“I do not like this airline(我不喜欢这条航线)”),则模型构建器224可将这个否定反应作为信号来训练所述模型。因而,将来可向用户建议不同航线。
在一些情况下,模型构建器224在接收到请求时更新所述模型。例如,建议生成器230在使用所述模型生成建议时请求模型构建器224 更新模型。在其它情况下,模型构建器224周期性地(每小时一次、每天一次、每周一次等)和/或非周期性地从多种来源接收数据和/或非周期性数据以用于更新所述模型并且相应地更新所述模型。在一些其它情况下,一旦接收到对话中的用户动作、非聊天动作或用户反应,模型构建器224便更新所述模型。
对话分析器226可为用于分析对话以从对话消息识别用户可对之采取动作的实体并且在所述对话中确定所述实体的场境指示符的代码和例程。在一些情况下,对话分析器226可为能够由处理器202执行以提供用于分析对话以从对话消息识别用户可对之采取动作的实体并且在所述对话中确定所述实体的场境指示符的下文所述的功能性的一组指令。在其它情况下,对话分析器226可存储在计算设备200的存储器204中并且可由处理器202访问和执行。在一些情况下,对话分析器226可适于与处理器202和计算设备200的其它组件协作和通信。
对话分析器226基于模型构建器224所生成的机器学习模型来处理从对话管理模块222接收的对话的一条或多条对话消息。在一些情况下,对话分析器226使用自然语言处理(NLP)技术分析每条对话消息。在一些情况下,对话分析器226解析所述对话消息并且对所解析的对话消息实施NLP实体提取以获得实体。所述实体可为对话消息的一部分,例如,所述对话中的人员或对象,并且所述实体可处于各种粒度水平(例如,餐厅、意大利餐厅、特定意大利餐厅)。在一些情况下,NLP实体提取是基于在机器学习模型中工作的文本语义标注 (SAFT)库。例如,模型构建器224接收航班号,将标注器构建到所述模型中以基于航班号的一般格式来在对话中辨识航班号,并且训练所述标注器。当在对话消息中提到这个航班号时,对话分析器226与模型构建器224通信以使用标注器来确定所述对话消息中的一个实体是所述航班号。在另一个示例中,对话分析器226从对话消息解析并提取实体“beautiful(漂亮的)”、“weather(天气)”和“Store A (商店A)”。对话分析器226接着使用SAFT库基于语言语义分析来确定“beautiful”是形容词,“weather”是名词,并且“商店A”是位置和名词。对话分析器226所识别的实体可为可动作或不可动作的,这取决于用户是否可对其采取动作。参考确定引擎228更详细地描述对实体是可动作还是不可动作的确定。
结合识别实体(例如,之前、之后和/或期间),对话分析器226 在所述对话中确定所述实体的场境指示符。例如,对于位置实体,对话分析器226确定何时在所述对话中提到所述位置、谁在所述对话中提到所述位置、所述对话的哪些内容包括所述位置、哪个种类的内容在所述对话中跟随在所述位置之后和/或其它场境指示符。在一些情况下,对话分析器226分析多个对话(例如,先前对话、其它应用所生成的对话)以确定对话中的实体的场境指示符。
在某些实施方式中,对话分析器226执行NLP以确定对话中的实体的场境指示符。在那些实施方式中的一些实施方式中,所述NLP是基于模型构建器224所生成的机器学习模型并且可在许多方面中比常规NLP更复杂。在一些情况下,对话分析器226结合对话中的一个或多个用户的用户信息基于模式匹配来执行NLP。例如,对话分析器226 可基于模式匹配来从对话消息检测到短语“Basil Thai restaurant(Basil Thai餐厅)”,并且基于一个或多个用户的用户信息将那个短语匹配到名为“Basil Thai”的一个或多个特定餐厅(例如,最靠近用户的位置的“Basil Thai”餐厅)。作为另一个示例,对话分析器226可结合用户信息基于模式匹配来从对话消息检测在用户A附近的特定“Coffee house(咖啡屋)”。在一些实施方式中,使用用户信息来选择一个或多个特定实体可导致改善的建议。例如,在没有用户信息的情况下,基于“Basil Thai restaurant”,可识别到3家名为“Basil Thai”的餐厅,并且如果在对话中向参与者建议行车指引,则所述建议可包括去往所有三家“Basil Thairestaurant”的三个地图。参与者接着必须选择哪个地图是相关且准确的。另一方面,在利用用户信息的情况下,可提供仅一条去往“Basil Thai restaurant”的相关且准确的行车路线指引(例如,对所述对话的所有参与者最方便的餐厅和/或参与者最常去的餐厅)。
在其它情况下,对话分析器226额外或替选地通过对对话消息执行情感分析并且使对话消息与权重相关联来确定场境指示符。例如,对话分析器226从用户A接收到消息“Ihate coffee(我讨厌咖啡)”、“tea is ok(茶可以)”和“coke is my favorite(可乐是我的最爱)”,并且将最赞同到最不赞同情感权重分别关联到包括可乐、茶和咖啡的消息。所述权重指示用户A的饮料口味。换言之,所述权重可各自指示用户A相对于对应于实体“咖啡”、“茶”和“可乐”的每个“饮料”实体的情感。所述消息可来自将在其中提供建议的当前对话和/或来自包括所述用户的先前对话(具有或没有当前对话的其他参与者)。在一些情况下,对话分析器226指派正数以指示肯定情感,指派负数以指示否定情感,并且指派零以指示不关心。对话分析器226可使用数字量值作为情感的权重或强度,并且可将情感指派给对应实体。对于以上示例,对话分析器226分别向包括可乐、茶和咖啡的消息加权 +2、+1和-2。在一些情况下,对话分析器226从对话消息中所包括的表情符号和/或其它非文本元素确定情感并且向所述情感指派权重。例如,对话分析器226可从消息“mom is coming
Figure BDA0001770585620000261
(妈妈来了
Figure BDA0001770585620000262
)”确定用户是快乐且兴奋的(例如,基于存在表情符号
Figure BDA0001770585620000269
以及那个符号被指派给快乐情感),并且可从消息“I wish mom is still here
Figure BDA0001770585620000264
(我希望妈妈还在这里
Figure BDA0001770585620000265
)”确定用户是不高兴的(例如,基于存在表情符号
Figure BDA0001770585620000268
以及那个符号被指派给悲伤情感)。对话分析器226可使每条消息与正数(或其它量度)或负数(或其它量度)相关联以指示用户有多快乐。在一些情况下,对话分析器226可基于对话消息的权重和数目来确定整体情感。这样的信息成为场境指示符并且有助于生成建议。例如,如果用户说“I wish mom is still here
Figure BDA0001770585620000267
”、“Amy is not here too(Amy也不在这里)”和“I should go see a movie(我该去看电影)”,对话分析器226确定总体上用户是不高兴的。因而,可建议喜剧电影代替悲剧电影来使用户高兴起来。因此,对对话的情感分析使得建议更明智。
在某些示例中,对话分析器226通过采用一条以上对话消息用于分析来确定场境指示符。可生成标准和常规对话语义,例如,响应于对话中的询问“Who is the presidentof the USA?(美国总统是谁?)”而生成“Barack Obama”,并且响应于所述对话中的询问“Who is the wife of Barack Obama?(Barack Obama的妻子是谁?)”而生成“MichelleObama”。稍后,当在所述对话中提到“他”和“她”时,对话分析器 226使用共指消解用“Barack Obama”指代他并且用“Michelle Obama”指代她。在一些实施方式中,对话NLP可类似于常规对话语义学。常规对话语义学和对话NLP两者可基于对各个消息的语义分析。对话分析器226可进一步分析对话中的毗连和/或不毗连消息而不是仅分析单条消息。在一些情况下,对话分析器226分析多条对话消息以追踪来自对话的每个参与者的对话流。对话分析器226追踪用户以查看对话的可能参与者并且确定对话流,即,哪个参与者以什么次序发送哪条消息。对话分析器226基于追踪信息来优化场境指示符。例如,对话分析器226可分析对话的两条毗连消息“would you like to meet?(您愿意见面吗?)”和“how about ABC?(ABC怎么样?)”。对话分析器226追踪对话的参与者,并且确定第一参与者发送第一消息并且第二参与者发送第二消息。另外,对话分析器226确定第二参与者提议位置实体“ABC”以对来自第一参与者的问题做出响应。在其它情况下,对话分析器226基于从多个对话追踪的信息来优化场境指示符。对话分析器226可基于已经在多个对话中出现的共同词项来优化场境指示符。例如,对话分析器226从用户A今天在与用户B谈话时发送的消息“do you want togo hiking?(您想要去徒步旅行吗?)”识别到实体“hiking”。对话分析器226追踪对话流并且确定在先前对话中来自用户B的消息“I prefer fishing to hiking(比起徒步旅行,我更喜欢钓鱼)”应当用作用于实体“hiking”的场境指示符。对话分析器226 可基于在多个对话中出现的术语概念聚类来优化场境指示符。例如,对话分析器226确定来自多个对话的包括“mountain bike(山地自行车)”、“backpack(背包)”、“comping(露营)”的消息可用作用于在持续进行的对话中接收到的消息“do you want to go hiking”的场境指示符,因为词项“mountain bike”、“backpack”、“comping”和“hiking”可基于概念聚类来分类为集群“户外活动”。
在一些情况下,对话分析器226还分析对话以确定时态(例如,对话消息是否为过去时态)、新近性(例如,对话消息是否为新的,如何加权新或旧对话消息)等。对话分析器226进一步收集包括用户简档信息(例如,年龄、性别)、对话元数据(例如,对话的开始时间和结束时间、对话的参与者、与每条对话消息相关联的时间戳)的数据,并且使用所收集的数据作为场境指示符。在使用用户的任何简档信息或个人信息之前获得核准。
确定引擎228可为用于确定实体是否为可动作的代码和例程。在一些情况下,确定引擎228可为能够由处理器202执行以提供用于确定实体是否为可动作的本文所述的功能性的一组指令。在其它情况下,确定引擎228可存储在计算设备200的存储器204中并且可由处理器 202访问和执行。在一些情况下,确定引擎228可适于与处理器202和计算设备200的其它组件协作和通信。
对话分析器226从对话的对话消息识别实体并且确定所述对话中的所述实体的场境指示符,而确定引擎228确定所确定的实体是否为可动作的。如果用户很可能对实体采取动作,则所述实体为可动作的。当实体在用户很可能对所述实体采取动作的对话场境中时,确定引擎 228确定所述实体是可动作实体。如本文所述,用户是否很可能对实体采取动作由确定引擎228利用各种技术中的一个或多个来确定并且是基于本文所述的一个或多个场境参数。在一些情况下,确定引擎228 检测一个或多个动作动词、一个或多个动词的主语和/或宾语以及相关联场境,并且基于所检测到的信息来确定可动作实体。动作动词是表达身体或精神动作的动词,诸如走、读、想要、思考等。例如,如果对话分析器226从对话中的用户A与用户B之间的消息“meet at supermarket C(在超市C处见面)”识别到位置实体“supermarket C”,则确定引擎228可检测到动作动词“meet”、动词“meet”的宾语“supermarket C”,并且确定这个位置实体“supermarket C”为可动作的,因为用户A和B可在所述地点处见面。然而,如果对话分析器226因为用户A在所述对话中评论“supermarketC is super good(超市C是超级好的)”而识别到位置实体“supermarket C”,则确定引擎228未能检测到动作动词和相关联宾语/主语。因而,确定引擎228可能不确定位置实体“supermarket C”是可动作的,因为没有检测到动作。每当实体出现在对话中时,确定引擎228就将所述实体分类为可动作的或不可动作的。当实体被分类为可动作的时,确定引擎228突出显示或以其它方式标注所述可动作实体以供一个或多个其它组件使用,如本文所述。
在一些情况下,对话分析器226分析所述对话中的所有对话消息以确定从所述对话的对话消息识别的实体的场境指示符。确定引擎228 基于所述场境指示符来确定所述实体是否为可动作的。在一些情况下,确定引擎228基于对话流来确定实体是否为可动作的。例如,用户A 输入问题“meet at ABC?(在ABC处见面?)”。在某些示例中,确定引擎228可能不确定位置“ABC”是否为可动作的,直到在对话流中接收到用户B的回答。如果用户B说“Sure”,则确定引擎228接着确定“ABC”为可动作的。否则,确定引擎可确定“ABC”为不可动作的。在另一个示例中,如果对话流包括来自用户A的第一消息“where would you like tomeet?(您想要在哪里见面?)”、来自用户B的第二消息“how about ABC?(ABC怎么样?)”、来自用户A的第三消息“I like DEF better(我更喜欢DEF)”以及来自用户B的第四消息“DEFis good(DEF很好)”,则确定引擎228可确定“DEF”而非“ABC”作为可动作实体。在其它情况下,确定引擎228基于消息的时态来确定实体是否为可动作的。例如,确定引擎228可确定消息“I used to take 1234to New York(我过去经常乘坐1234去纽约)”中的航班号1234 为不可动作的,因为所述消息为过去时态。在一些其它情况下,确定引擎228基于情感指示符来确定实体是否为可动作的。例如,确定引擎228基于来自用户A的消息“want pasta fordinner?(晚饭想吃意大利面吗?)”和来自用户B的消息“I hate pasta(我讨厌意大利面)”来确定“pasta”为不可动作的。然而,确定引擎228仍可确定“dinner”为可动作的。仍可向用户A提供给予更多细节或完成动作的建议(例如,披萨餐厅)。确定引擎228还基于对话分析器226所确定的其它场境指示符来确定实体是否为可动作的。
确定引擎228基于场境指示符来确定实体是否为可动作的,这使本公开不同于一些方法并且可因此为有利的。例如,常规方法可基于 Alice与她的朋友之间的先前对话来确定今天是Alice的生日,并且自动向她发送“Happy Birthday(生日快乐)”消息和有趣的视频剪辑来庆祝她的生日。本公开的实施方式仅在场境条件被确定为适当的情况下向Alice发送这样的自动庆祝消息。如果Alice在几小时之前说“my house was bum down(我的房子被烧毁了)”,则确定引擎228决定不向Alice发送任何庆祝消息,因为所述消息可对于Alice来说仅仅是烦人的垃圾信息。作为另一个示例,如果用户A在先前对话中提供消息“I love Coffee Shop A(我爱咖啡店A)”,接着在当前对话中向用户 B提供消息“(Want tograb some coffee)想要去喝点咖啡”,则可向用户B提供针对于“Coffee Shoop A(咖啡店A)”的建议以供并入在当前对话中。可基于用户A针对“Coffee Shoop A”的肯定情感的先前表达来提供所述建议,并且即使用户B不涉及在先前对话中,仍可任选地提供所述建议。
在一些实施方式中,除了基于对话中的场境指示符来自动确定可动作实体之外,确定引擎228还允许用户手动确定哪个实体为可动作的。即使确定引擎228未检测到实体为可动作的,确定引擎228也允许用户使得所述实体为可动作的。因而,对话中的任何消息可为可动作的。在一些情况下,确定引擎228从用户接收指示以将对话消息中的实体标示为可动作的,并且向用户返回与所述实体相关的信息。例如,用户在对话消息中提到“panda(熊猫)”。所述用户(或另一个用户)确定这个词是所述消息中的最重要实体,并且指示这个词是可动作的(例如,通过经由用户界面输入(诸如“轻击”或其它方式选择所述词)来标记所述词)。响应于接收到这个指示,确定引擎228 与其它服务器或应用(例如,搜索服务器112和/或第三方服务器110) 通信以向所述用户检索与“panda”相关的信息(例如,来自搜索服务器112的第一搜索结果)。在一些情况下,响应于接收到对用户想要对实体采取动作的指示,确定引擎228还将所述指示作为训练信号发送到模型构建器224以基于所述指示来训练机器学习模型。例如,模型构建器224可基于所述指示来生成肯定训练示例,其中训练示例输出指示可动作实体并且训练示例输入是基于在其中做出所述指示的消息、作为所述指示的焦点的词、和/或与所述对话相关联的场境指示符。模型构建器224可通过基于肯定训练示例进一步训练所述模型来优化机器学习模型。
建议生成器230可为用于生成对于用户对实体采取动作的建议的代码和例程。在一些情况下,建议生成器230可为能够由处理器202 执行以提供用于生成对于用户对实体采取动作的建议的本文所述的功能性的一组指令。在其它情况下,建议生成器230可存储在计算设备200的存储器204中并且可由处理器202访问和执行。在一些情况下,建议生成器230可适于与处理器202和计算设备200的其它组件协作和通信。
响应于从确定引擎228接收到可动作实体,建议生成器230生成对于所述可动作实体的建议以提供更丰富场境和接下来的步骤。所述建议是对使得实体对于用户更为可动作或为用户完成动作有用的信息。例如,当用户建议在餐厅处见面时,建议生成器230可提供关于所述餐厅的更多细节并且提供订位。当用户谈论看电影时,建议生成器230可提供放映时间或指向电影媒体流的链接。当用户提到来自网站的视频剪辑时,建议生成器230可将其调出以供用户在所述对话中播放。在一些情况下,建议生成器230生成实时建议。例如,当用户正在谈论在餐厅吃午饭时,建议生成器230实时生成地图以指引用户去往所述餐厅。
在一些情况下,建议生成器230指令用户界面引擎236将至少一个建议工具并入到对话界面中。建议生成器230使用建议工具来显示建议并且接收与所述建议的用户交互。例如,建议生成器230指令用户界面引擎236生成至少一个建议工具以显示地图以供用户查看和选择,显示日历以供用户查看和安排行程,找出并共享联系人信息,共享文件,设置提醒,显示视频或发起视频呼叫,共享标贴,显示天气信息,显示体育比分,显示产品或服务(例如,服装、电影、医疗服务)购买信息,显示航班信息,提供交通数据,提供本地事件信息,提供本地商户信息(例如,餐厅、电影院),共享用户状态(例如,开车、骑车、跑步),找出并共享产品(例如,移动应用、游戏),为产品或服务支付或接收支付等等。本领域的技术人员将认识到其它类型的建议也为可能的。
在一些实施方式中,建议生成器230所提供的建议是可选建议。在那些实施方式中的一些实施方式中,响应于所述对话的参与者选择所述建议,建议生成器可将所述建议(和/或相关内容)并入到所述对话的转录中。例如,响应于对所述建议的选择,建议生成器230可致使其(和/或相关内容)为所述对话的所有参与者静态地显示在转录中。例如,所述建议可首先被提供到用户界面引擎236以用于在其对应对话界面中作为非静态图形元素向接收者中的一个或多个呈现(例如,在所述界面中呈现,而不完全并入在转录中)。接着,响应于参与者中的一个或多个选择所述建议,可将所述建议(和/或相关内容)静态地并入到所述对话的转录中。在建议为可选的一些实施方式中,其可包括肯定界面元素和否定界面元素。响应于选择肯定界面元素,可将所述建议并入在转录中,并且响应于选择否定界面元素,可丢弃所述建议而不将所述建议静态并入到转录中。
在一些情况下,建议生成器230基于来自模型构建器224的机器学习模型从用户动作学习到的内容来生成建议。在一些情况下,模型构建器224训练机器学习模型以从用户的非聊天动作学习,并且建议生成器230基于所述机器学习模型来生成建议。例如,如果用户谈论下周末乘坐航班去拉斯维加斯,则确定引擎228确定可动作实体“flight (航班)”,并且建议生成器230基于在机器学习模型中学习到的用户先前购买历史来提供航班行程(例如,时间和航线)的建议。在其它情况下,模型构建器224训练机器学习模型以从用户对先前建议的反应学习,并且建议生成器230基于机器学习模型来生成建议。建议生成器230可与用户界面引擎236通信以基于对在对话界面中所提供的先前建议工具采取的用户动作来在对话界面中定制新建议工具。例如,模型构建器224训练机器学习模型以学习到用户从未使用先前在向所述用户显示的对话界面中提供的购买工具做出任何购买。因而,建议生成器230确定不再在所述对话界面中并入购买工具。类似地,建议生成器230过去经常向用户提供交通地图工具和公共运输工具。建议生成器230从机器学习模型学习到所述用户总是与公共运输工具交互,并且因此确定将来仅向所述用户生成并提供公共运输工具。在另一个示例中,用户A和用户B总是讨论或选择咖啡屋作为见面点。当用户A问用户B“meet today?(今天见面?)”时,建议生成器230 生成地图建议并且指示用户界面引擎236包括地图工具并在地图工具中突出显示附近的咖啡屋。
在其它情况下,建议生成器230基于从对话分析器226确定的对话分析(例如,NLP)和场境指示符来生成建议。建议生成器230基于情感分析来生成建议。例如,用户A问“Coffee house,8am tomorrow (咖啡屋,明天8am?)”,并且用户B回答“really?early birdon Sunday? (真的?星期天还早起?)”。当建议生成器230针对可动作实体“Coffee house”生成地图和日历时,建议生成器230可基于情感分析来在日历上突出显示中午附近的可用时间。建议生成器230基于在对话中传达的用户信息来生成建议。例如,如果用户A说“let’smeet tomorrow(我们明天见面吧)”并且用户B说“"great!I'll be in San Francisco(太好了!我将在旧金山)”,则建议生成器230可向用户A 和B提供旧金山的地图,即使当所述对话发生时用户均不在旧金山。建议生成器230基于用户简档信息来生成建议。在使用用户的任何简档信息或个人信息之前获得核准。
在一些情况下,建议生成器230通过将数据从搜索引擎和/或其它应用拉到对话中来生成建议。例如,建议生成器230在对话中从地图服务接收在某个位置周围的地图数据并且针对所述可动作位置实体生成地图建议。图10中描绘包括建议的示例对话界面。在其它情况下,代替其自己生成对于用户对实体采取动作的建议,建议生成器230将所述实体信息馈送到其它应用和服务。其它应用和服务可自己任选地直接提供对于用户对所述实体采取动作的建议。例如,如果在对话中提到航班号,则建议生成器230通知第三方服务器在所述对话中向一个或多个参与者提供航班馈送(例如,延误信息)(例如,通过将那些航班馈送并入到所述对话的转录中和/或经由通过另一个应用提供的通知)。如果用户在所述对话中提到所述用户喜欢的朋友,则建议生成器230与广告应用通信以使用这个信息来将所述用户作为广告的目标。如果用户在所述对话中提到体育赛事,则建议生成器230与第三方服务通信以向用户提供所述体育赛事的体育比分。图11A和11B中描绘包括不同应用所提供的建议的示例对话界面。
在一些情况下,实体信息包括从中识别所述实体的所述对话的参与者。当建议生成器230将所述实体信息馈送到其它服务中时,其它服务可向所述对话的所述参与者的全部(或子集)提供建议。例如,如果用户A在与用户B和用户C的对话中提到天气,则天气服务可在从建议生成器230接收到“weather”的实体信息之后向用户A、B和C 发送每小时天气报告。在其它情况下,在建议生成器230将实体信息馈送到其它服务中时,建议生成器230还与对话管理模块222和用户界面引擎236通信以在对话界面中发起实况对话。其它服务在实况对话中提供对于用户对所述实体采取动作的建议。在以上示例中,其它服务可在其它服务所提供的界面中或在对话管理模块222和用户界面引擎236所提供的实况对话中提供每小时天气报告。
通过理解对话的场境并且连接用户与其它服务,建议生成器230 可向用户提供更智能、更相关、更可搜索的建议,并且因此是更有用且有效的。建议生成器230进一步采取步骤并且大胆进入个人协助空间。代替接收用户问题“can you recommend me of a showthis weekend in San Francisco?can you book a flight to Seattle on Tuesdaymorning?(您能向我推荐旧金山这周末的演出吗?您能预定星期二早上去西雅图的航班吗?)”并且基于多个应用、搜索、比较和填表来回答所述问题,建议生成器230为用户问问题并且代表他们回答所述问题。随着聊天正成为用户的智能电话上的跳转(go to)应用,并入有其它模块和引擎的建议生成器230现在通过从聊天提取信息并且提供相关更新来很好地适应这个区域。明确地说,建议生成器230与其它服务通信以针对所有参与者在一个地方提供重要更新。建议生成器230将用户与其它服务连接还可驱使更多用户接受其它服务,因为其将不需要用户针对另一个服务下载单独的移动应用。此外,建议生成器230向开发者提供用于构建不同类型的服务的组件,所述服务包括理解用户的对话并将其转变为动作,例如语音命令和穿戴装备。
在一些情况下,建议生成器230包括响应预测器232和报告模块 234。
响应预测器232可为用于在对话中检测对于用户的问题并且确定对所述问题的潜在用户回复的代码和例程。在一些情况下,响应预测器232可为能够由处理器202执行以提供用于在对话中检测对于用户的问题并且确定对所述问题的潜在用户回复的下文所述的功能性的一组指令。在其它情况下,响应预测器232可存储在计算设备200的存储器204中并且可由处理器202访问和执行。在一些情况下,响应预测器232可适于与处理器202和计算设备200的其它组件协作和通信。
用户通过键入(这可能在客户端设备的触摸屏上特别困难)或通过从用户找到回答的其它地方复制粘贴来回复问题。响应预测器232 预测用户的潜在回答并且向用户供应接下来的回复,这比键入或复制粘贴更好。例如,当在对话中问用户其航班将何时着陆时,响应预测器232可使得航班信息可用作为用于可动作实体“flight”的回复。
在一些情况下,响应预测器232基于来自对话分析器226的场境指示符和对话分析以及来自模型构建器224的机器学习模型来预测用户将想要如何回复问题。例如,响应预测器232基于机器学习模型已经从对话历史学习到的内容来确定用户往往会如何回复某个类型的问题,并且接着为用户提供一个或多个潜在回复。如果响应预测器232 从机器学习模型学习到30%的时间人们对问题做出响应A并且70%的时间人们对问题做出响应B,则响应预测器232可为将要回答相同问题的用户供应回答B。响应预测器232由于从对话分析器226接收的场境指示符和对话分析而处于特定优势。知道用户的位置、场境和其它个人信息使得响应预测器232能够更容易地和/或更准确地预测回复。例如,给定在先前对话中来自用户A的消息“I hate coffee”和“the tea house on the X street is the best(X街上的茶楼是最好的)”,当用户B问用户A“which is your favorite place for coffee or tea?(喝咖啡或茶,哪家是你最喜爱的地方?)”时,响应预测器232可容易地为用户A供应“thetea house on the X street”的地址作为潜在回答。
在其它情况下,响应预测器232还基于问题类型来确定回答类型。响应预测器232基于来自对话分析器226的句子结构的理解来确定该类型的问题。例如,如果问题为“A orB?(A还是B?)”,则响应预测器232提供A和B作为潜在回答。或者,当问题为“do you like A?(您喜欢A吗?)”时,响应预测器232提供“yes(是)”和“no(否)”作为潜在回答。响应预测器232还基于对话分析器226所确定的其它场境指示符来确定问题类型。例如,问用户A“willyou be in Los Angeles tomorrow?(您明天将在洛杉矶吗?)”。如果先前对话显示用户A具有去洛杉矶的票,则响应预测器232将确定这为是或否问题并且为用户A提供“yes”或“no”作为潜在回答。然而,如果先前对话显示用户A已经订票但在几天后尚未接收到确认号码,则响应预测器232可不认为这为是或否问题而是改为提供“I don’t know(我不知道)”作为潜在回答。
在一些情况下,响应预测器232以单击形式和/或其它单选形式提供潜在用户回复。例如,假设问题是“can I send your contact info?(我能发送您的联系人信息吗?)”。所述问题包括可动作实体“contact info”。进一步假设先前对话包括“your(您的)”联系人信息。响应预测器232可提供单击联系人信息作为回答。响应预测器232基于对话的场境来提供的单击建议在许多方面(例如,时间、安全性)中对用户为便利的。例如,当用户A向用户B发送聊天对话时,响应预测器232可为用户B发送单击建议说“I am driving(我正在开车)”或甚至发送“I will be home in 20minutes(我将20分钟后到家)”以对用户A做出响应。当用户B正在飞行并且未开启手机时,响应预测器 232仍可基于日历为用户B自动做出响应“I will be available four hours later(我将在四小时后有空)”。图10中描绘示出单击回复的示例界面。
报告模块234可为用于基于组织对话来生成与所述对话相关的一个或多个报告的代码和例程。在一些情况下,报告模块234可为能够由处理器202执行以提供用于基于组织对话来生成与所述对话相关的一个或多个报告的下文所述的功能性的一组指令。在其它情况下,报告模块234可存储在计算设备200的存储器204中并且可由处理器202 访问和执行。在一些情况下,报告模块234可适于与处理器202和计算设备200的其它组件协作和通信。
用户无法追踪他们在对话中共享的事物。对话可能无法容易地搜索,例如,用户可能需要从大量搜索结果上下滚动来找出用户真正想要的一条信息。报告模块234跨对话聚合信息,组织对话,并且使得所述对话可容易地通过话题、对象和/或其它元数据来搜索。
报告模块234接收对话以及对话分析器226从所述对话确定的场境指示符,并且基于所述场境指示符来组织所述对话。在一些情况下,报告模块234基于内容来组织所述对话。例如,报告模块234组织所述对话以找出谈论电影或提到位置的对话。在其它情况下,报告模块 234基于时间线来组织所述对话。例如,报告模块234以时间降序来组织提到位置的对话。在其它情况下,报告模块234基于对话流来组织所述对话。例如,报告模块234从所述对话检索包括位置的对话消息,使每条消息与发送所述消息的特定用户相关联,并且以时间降序排列所述对话消息。在另一个示例中,如果用户说“click the search box(点击搜索框)”,则报告模块234可确定所述对话流中的下一条消息将是用户在所述搜索框中指定的词并且以这个次序组织对话。在其它情况下,报告模块234基于情感和/或其它特征来组织所述对话。例如,报告模块234基于将人们分类为电子书读者或纸质书读者来组织对话。本领域的技术人员在受益于本公开之后将理解报告模块234可基于其它场境指示符来组织对话。
在一些情况下,报告模块234还标记重要消息(例如,可动作实体)以供稍后跟踪。标签可为旗标、星号等。当用户提到这个消息或搜索所述消息时,报告模块234可容易地检索到它。报告模块234通过标记所述消息来获得额外信息,例如,提到这条消息的频繁程度、用户何时提到这条消息等。
报告模块234基于组织所述对话来对所述对话进行索引(例如,在存储于存储210中的数据库中)。当报告模块234接收对所述对话的搜索请求时,报告模块234使用索引搜索所述对话,生成报告,并且将所述报告返回给用户。例如,响应于接收到针对谈论电影的对话的搜索请求,报告模块234搜索关于所述电影的对话内容。报告模块 234基于以下来组织搜索结果:根据对话的时间线将对话排序、将对话中的每条对话消息与用户和时间相关联、突出显示重要实体(例如,电影名称、影剧院名称、演出时间等)并且基于索引提供对先前对话的回询。报告模块234基于组织所述对话来为用户生成报告。图13中描绘示出对话报告的示例对话界面。在一些情况下,报告模块234还通过组织并概述某个时间段内的会话来生成摘要。例如,报告模块234 为用户生成摘要以示出用户在一个星期内参与多少对话、用户在那个星期内与谁谈话、用户在那个星期内谈论什么话题、用户在那个星期内共享多少照片等。图14中描绘示出对话摘要的示例对话界面。
报告模块234所做的不止是人员可以做的琐碎的对话搜索或简单的对话摘要。报告模块234可在不需要用户翻遍和/或滚动遍历对话的逐字转录的情况下为用户检索详情。报告模块234还为用户得到所述对话中所论述的话题的更新(例如,赛事比分或演出)。在一些实施方式中,报告模块234不仅提供搜索结果,因为用户可回顾基于事件、地方、人物来共享的一串有意义信息。报告模块234还允许用户与他们已经共享或讨论的事物集合(诸如他们已经在过去几个月中谈论的所有餐厅的列表)交互。另外,报告模块234提供用于从对话获得见解并且判定场境、情感和/或其它特征的方式。例如,报告模块234可得到有价值的见解来判定对某些品牌的情感并且识别热门话题。
用户界面引擎236可为用于生成显示对话的对话消息和建议的对话界面的代码和例程。在一些情况下,用户界面引擎236可为能够由处理器202执行以提供用于生成显示对话的对话消息和建议的用户界面的下文所述的功能性的一组指令。在其它情况下,用户界面引擎236 可存储在计算设备200的存储器204中并且可由处理器202访问和执行。在一些情况下,用户界面引擎236可适于与处理器202和计算设备200的其它组件协作和通信。
在一些情况下,对话管理模块222指令用户界面引擎236生成用于在对话界面中显示对话和对话消息的图形数据。在其它情况下,建议生成器230生成用于对话中的可动作实体的建议。对话管理模块222 指令用户界面引擎236生成用于在对话界面中显示所述建议连同对话消息的图形数据。在一些情况下,用户界面引擎236在对话界面中生成多个建议工具以用于显示一个或多个建议并且接收与所述建议的用户交互。
建议包括用户对实体采取动作的信息。在一些情况下,用户界面引擎236生成多个建议工具以用于与包括所述实体的消息并行地呈现所述建议。例如,用户界面引擎236在相同屏幕上连同消息“go skiing (去滑雪)”一起示出滑雪场的地图工具和雪场报告。用户可使用地图工具查看并选择地图。或者,用户界面引擎236可示出用于两个用户的两个日历工具连同讨论第二天见面的消息。用户可使用日历工具查看并排程日历。或者,用户界面引擎236可示出用于衣服和鞋子的不同购买工具连同讨论名人服装的消息。或者,用户界面引擎236可连同消息“meet for coffee next day?(第二天见面喝咖啡?)一起示出示出突出显示两个用户第二天有空的时间的日历工具并且突出显示在两个用户的地址附近的咖啡店的地图工具”。或者,用户界面引擎236 可连同消息“go from A to B?(从A去往B?)”一起示出交通地图工具和公共运输工具。在一些情况下,如果建议工具无法放入屏幕(例如,智能电话的小屏幕)中,则用户界面引擎236将首先示出多个工具的工具选项。
在其它情况下,用户界面引擎236生成用于依次呈现一个或多个建议的多个建议工具。例如,在接收到消息“meet up for a meal(见面吃饭)”后,用户界面引擎236示出午饭或晚饭的选项。在用户选择午饭后,用户界面引擎236示出午饭营业的餐厅。或者,在接收到消息“meet for coffee next day”后,用户界面引擎236首先示出日历工具。当所有用户有空时,用户界面引擎236还可在日历上突出显示时间。一旦选好时间,用户界面引擎236便示出在那个时间营业的咖啡店的地图。或者,在接收到消息“buy skiing equipment inLos Angeles(在洛杉矶购买滑雪装备)”后,用户界面引擎236首先示出洛杉矶的体育商店的地图。在选好商店之后,用户界面引擎236示出用于那个商店中的装备的购买工具。图15中描绘示出建议的并列呈现的示例对话界面。
在以上和以下描述中,出于解释的目的,陈述许多特定细节以便提供说明书的透彻理解。然而,本领域的技术人员在受益于本公开之后将明白可在没有这些特定细节的情况下实践所述技术。在其它情况下,以框图形式示出结构和设备以便避免模糊所述描述。例如,上文在一些情况下参考用户界面和特定硬件描述说明书。然而,所述描述适用于可接收数据和命令的任何类型的计算设备以及提供服务的任何外围设备。
图3包括用于从对话识别实体并且生成对于用户对所述实体采取动作的建议的示例方法300的流程图。所述方法300从接收302对话中的至少一条对话消息来开始。对话消息可包括视频消息、音频消息、文本消息等。所述方法300接着从对话消息识别304可为可动作的实体并且确定306所述实体的场境指示符。所述实体可为对话消息中的人员、对话消息中的对象等。在一个示例中,上文参考图2进一步详细论述的对话分析器226可识别所述实体并且确定场境指示符。例如,对话分析器226可从对话消息识别位置实体并且确定所述位置实体的场境指示符。例如,对于所述位置实体,对话分析器226可基于何时提到所述位置、谁在所述对话中提到所述位置、所述对话的哪些内容致使感知到所述位置、哪个种类的内容在所述对话中跟随在所述位置之后、针对所述实体所表达的先前情感和/或先前对话中的相关实体等来确定场境指示符。
所述方法300接下来基于所述场境指示符来确定308所述实体是否为可动作的。在一个示例中,参考图2进一步详细论述的确定引擎 228可确定可动作实体。例如,如果对话分析器226从所述对话中的用户A与用户B之间的消息“meet at supermarket C”识别到位置实体“supermarket C”,则确定引擎228可确定这个位置实体“supermarket C”为可动作的,因为用户A和B将在所述地点见面。如果确定引擎228 确定所述实体为可动作的,则所述方法300移动到步骤310。否则,所述方法300结束。所述方法300向用户提供310建议以对所述实体采取动作。在一个示例中,上文参考图2进一步详细论述的建议生成器 230可提供建议。例如,建议生成器230提供去往“supermarket C”的地图和公共运输工具以指引用户可如何到达“supermarket C”。在一些实施方式中,向所述对话的所有参与者提供所述建议。在一些其它实施方式中,向所述对话的参与者的子集提供所述建议。此外,在一些实施方式中,可首先向一个或多个参与者提供所述建议而不立即将所述建议并入到所述对话的转录中。在那些实施方式中的一些实施方式中,可仅响应于一个或多个(例如,至少阈值量的)提供针对于所述建议的“肯定”用户界面输入而将所述建议并入到所述转录中。
图4是用于从对话识别实体并且生成对于用户对所述实体采取动作的建议的特定示例方法400的流程图。所述方法400接收402对话中的至少一条对话消息。所述方法接着基于机器学习模型来对所述至少一条对话消息执行404自然语言分析(NLP),并且基于所述分析来从对话消息识别406可为可动作的实体。例如,对话分析器226通过解析、提取和模式匹配来从对话消息确定实体“beautiful”、“weather”和”Store A”。对话分析器226接着使用SAFT库基于语言语义分析来确定“beautiful”是形容词,“weather”是名词,并且”Store A”是位置。对话分析器226所识别的实体可为可动作的或不可动作的,这取决于是否确定用户可对其采取动作。
接下来,所述方法400基于所述分析来确定408所述实体的场境指示符。例如,对话分析器226结合用户信息基于模式匹配来执行所述NLP。例如,对话分析器226可结合用户A的用户信息基于模式匹配来从对话消息检测在用户A附近的“Coffee house”代替城市中的任何任意“Coffee house”。对话分析器226可额外或替选地通过对对话消息执行情感分析并且使所述对话消息与权重相关联来确定场境指示符。例如,对话分析器226从用户A接收到消息“I hate coffee”、“tea is ok”和“coke is my favorite”,并且分别将最赞同到最不赞同的情感权重相关联到可乐、茶和咖啡。所述权重指示用户A的饮料口味。对话分析器226可额外和/或替选地分析对话以确定时态(例如,对话消息是否为过去时态)和/或对话消息的新近性(例如,对话消息是否为新的,如何加权新或旧的对话消息);和/或收集用户简档信息(例如,年龄、性别)和/或对话元数据(例如,对话的开始时间和结束时间、对话的参与者、与每条对话消息相关联的时间戳)作为场境指示符。
所述方法400进一步追踪410来自所述对话的每个参与者的对话流并且基于追踪信息来优化412场境指示符。例如,对话分析器226 追踪用户以查看对话的可能参与者并且确定哪个参与者以什么次序发送哪条消息。例如,对话分析器226从用户A今天在与用户B谈话时发送的消息“do you want to go hiking?”识别实体“hiking”。对话分析器226追踪对话流并且确定在先前对话中来自用户B的消息“I prefer fishing to hiking”应当用作用于实体“hiking”的场境指示符。
所述方法400基于场境指示符来确定414所述实体是否为可动作的。确定引擎228基于对话流来确定实体是否为可动作的。例如,用户A输入问题“meet at ABC?”。确定引擎228将不确定位置“ABC”是否为可动作的,直到在对话流中接收到用户B的回答。确定引擎228 基于消息的时态来确定实体是否为可动作的。例如,确定引擎228可确定过去时态消息中的实体为不可动作的。确定引擎228还基于情感指示符和其它场境指示符来确定实体是否为可动作的。如果确定引擎 228确定所述实体为可动作的,则所述方法400移动到步骤416。否则,所述方法400结束。
所述方法400基于机器学习模型和场境指示符来确定416对于用户对所述实体采取动作的建议。例如,如果用户谈论下周末乘坐航班去拉斯维加斯,则确定引擎228确定可动作实体“flight”,并且建议生成器230基于在机器学习模型中学习到的用户先前购买历史来提供航班行程(例如,时间和航线)的建议。所述方法400将所述建议提供 418给用户以对所述实体采取动作。
图5是用于从对话手动确定可动作实体的示例方法的流程图500。所述方法500接收502对将对话消息中的实体标示为可动作的指示。在一些情况下,从用户接收对将对话消息中的实体标示为可动作的指示(例如,基于针对于所述对话消息中的与所述实体相对应的词项的用户界面输入)。所述方法500将用户指示以及任选地将额外数据(例如,对话消息、场境指示符)作为训练信号发送504到机器学习模型。所述方法500搜索506与所述实体相关的信息并且将所述信息提供508 给所述用户。例如,用户确定“Green Park Museum(格林公园博物馆)”是消息中的最重要词并且通过标记所述词来指示这个词为可动作的。响应于接收到这个指示,确定引擎228搜索与“Green Park Museum”相关的信息并且向用户检索前五个结果。确定引擎228还发送所述指示作为训练信号以训练机器学习模型。
图6是用于生成并更新机器学习模型的示例方法的流程图600。在一个示例中,上文参考图2进一步详细论述的模型构建器224可生成并更新机器学习模型。所述方法600从包括查询和文档检索的多种来源接收602数据,从所述数据提取604特征,并且基于所提取的特征来生成606机器学习模型。例如,模型构建器224将用户的搜索历史包括到所述模型中。在另一个示例中,在接收到针对查询所返回的一批文档和与每个文档相关联的排名后,模型构建器224构建所述模型来包括所述排名以示出文档与查询之间的相关性。模型构建器224 还可生成所述模型来包括用于做出关于用户动作的预测的用户统计资料、用户行为模式数据、一系列权重和乘数。模型构建器224生成机器学习模型并且随时间流逝训练所述模型以理解对话的语义并从实时对话导出含义。随着模型演化,使用所述模型做出建议、行为预测等的效率和准确性得到改善。
所述方法600接收608用户动作,所述用户动作包括对针对实体提供的建议的反应,并且基于所述用户动作来训练610机器学习模型。这可包括基于用户动作和其它相关联数据来生成训练示例,并且基于所述训练示例来训练所述机器学习模型。例如,模型构建器224学习到用户从未使用购买工具购买过对话界面中所提供的任何东西。在另一个示例中,模型构建器224接收关于航班行程建议的评论“I do not like this airline”。模型构建器224将这个否定反应作为信号来训练所述模型。因而,将来可向用户建议不同航线。
图7是用于从第一应用将实体信息馈送到第二应用以生成建议的示例方法的流程图700。所述方法700接收第一应用所托管的对话中的 702至少一条对话消息并且确定704对话消息中的实体为可动作的。所述方法700将实体信息馈送706到第二应用,所述实体信息包括第一应用中的所述对话的参与者。接下来,所述方法移动到步骤708,在该处第二应用生成对于用户对所述实体采取动作的建议。例如,如果在对话中提到航班号,则建议生成器230通知第三方服务器向用户提供航班馈送(例如,延误信息)。如果用户在所述对话中提到所述用户喜欢的朋友,则建议生成器230与广告应用通信以使用这个信息来将所述用户作为广告的目标。所述方法700将所述建议提供710给第一应用中的所述对话的参与者。例如,如果用户A在与用户B和用户C 的对话中提到天气,则天气服务可在从建议生成器230接收到“weather”的实体信息之后向用户A、B和C发送每小时天气报告。
图8是用于预测对话中的潜在用户回复的示例方法的流程图800。所述方法800接收对话802中的至少一条对话消息并且确定804对话消息中的实体为可动作的。所述方法800接着检测806所述对话中的对于用户的问题,所述问题与所述实体相关,并且确定808对所述问题的潜在用户回复。在一个示例中,下文参考图2进一步详细论述的响应预测器232可检测问题并且确定潜在用户回复。例如,如果响应预测器232学习到30%的时间人们对问题做出响应A并且70%的时间人们对问题做出响应B,则响应预测器232可为将要回答相同问题的用户供应回答B。响应预测器232还基于场境指示符(例如,用户的位置、场境和其它个人信息)来确定潜在回复。例如,给定在先前对话中来自用户A的消息“I hate coffee”和“the tea house on the X streetis the best”,当用户B问用户A“which is yourfavorite place for coffee or tea?”时,响应预测器232可容易地为用户A供应“the teahouse on the X street”的地址作为潜在回答。
所述方法800以单击形式向用户提供810潜在用户回复。例如,当用户A向用户B发送聊天对话时,响应预测器232可为用户B发送单击建议说“I am driving”或甚至发送“Iwill be home in 20minutes”以对用户A做出响应。响应于对所述单击建议的单击选择,可接着将所述建议并入到聊天对话的转录中。当用户B正在飞行并且未开启手机时,响应预测器232仍可基于日历为用户B自动做出响应“I will be available four hours later”。
图9是用于响应于搜索请求而选择性地检索对话和/或对话消息的示例方法的流程图900。所述方法900接收902至少一个对话并且从所述至少一个对话确定904场境指示符。所述方法900基于所述场境指示符来组织906所述至少一个对话并且对所述至少一个对话进行索引 908。在一个示例中,上文参考图2进一步详细论述的报告模块234可对所述对话进行组织和进行索引。报告模块234可基于参与者身份、所述对话中提到的实体、对话消息的时间、其它对话内容等来组织所述对话。在一个示例中,报告模块234可以时间降序组织提到位置的对话。报告模块234还可基于对话流来组织所述对话。例如,如果用户说“Iwill search it(我将搜索其)”,则报告模块234可确定对话流中的下一条消息将是用户在搜索框中指定的词并且可以这个次序组织对话。报告模块234还可基于情感和其它场境指示符来对所述对话进行组织和进行索引。
所述方法900接收910针对所述至少一个对话的搜索请求并且基于对所述至少一个对话进行索引来检索912所述至少一个对话的一部分。例如,响应于接收到针对谈论电影的对话的搜索请求,报告模块 234基于通过以下组织所述对话而为用户生成报告:搜索关于所述电影的对话内容、根据所述对话的时间线排列对话、使对话中的每条对话消息与用户和时间相关联、突出显示重要实体(例如,电影名称、影剧院名称、演出时间等)并且基于所述索引提供对先前对话的回询。
图10包括示出建议的示例对话界面的图形表示。在所示出的示例中,在Aaron的移动设备屏幕上显示对话界面1000、1050。Aaron从 Bob接收到消息1002“Want to eat atPark Chow?(想要去Park Chow 吃饭吗?)”。上文参考图1和2描述的建议应用132b确定位置“Park Chow”为可动作的。因此,可为Aaron和Bob生成建议以对所述位置采取动作。在这个示例中,建议应用132b为Aaron和/或Bob生成位置“Park Chow”的地图1004。Aaron和/或Bob可查看地图1004或使用共享按钮1006共享地图1004。在这个场景中,在Aaron发送消息1008“Sure”以对消息1002做出响应之前和之后两次显示地图1004。在不同场景中,只有Aaron肯定回答问题1002——例如,使用消息1008 “Sure”来回答,确定引擎228才确定位置“Park Chow”为可动作的。因而,位置建议(例如,地图1004)可仅在Aaron发送消息1008之后显示一次。换言之,位置建议可不被并入到所述对话的转录中,直到 Aaron经由与肯定交互元素“Sure”交互来发送所述消息1008。Aaron 和Bob可替选地选择“Umm,nope(呃,不要)”选项1010以指示所述地图不是用户想要的建议或者所述地图是错误的或其它否定反应。在那些情形中,可丢弃所述建议而不静态实施到所述对话的转录中。在图10中,整个建议生成过程由建议应用132处理。
图11A是示出对话服务所生成的对话的示例对话界面的图形表示。在用户MelissaG.、Alice Z.、Chris B.之间的持续进行的对话在对话界面1100上显示。用户Melissa G.、Alice Z.、Chris B可在这个非限制性示例中为社交网络的成员。在社交网络中由第一应用(例如,建议应用132)生成并管理所述用户之间的对话会话。可在Melissa的计算机屏幕上显示对话界面1100。在这个示例中,所述用户谈论那晚的计划,Melissa表达对购物的兴趣并且陈述“Dress Factory is good.I am wondering if they have any discount rightnow(Dress Factory很好。我想知道现在他们有没有任何折扣。)”当建议应用132b识别到这条消息中的重要实体是“Dress Factory”和“discount”时,建议应用132b基于这些重要实体来生成建议。然而,代替如在图10中建议应用132b 生成建议,建议应用132b将信息“Dress Factory”和“discount”馈送到另一个服务(例如,第三方促销服务)以生成建议。
现在参看图11B,其为示出第三方促销服务所生成的建议的示例对话界面的图形表示。在所示出的示例中,在Melissa的移动设备屏幕上显示对话界面1150。对话界面1150包括建议1152“Dress Factory has 20%off for dress and jewelry until May 30(在5月30日之前,Dress Factory对衣服和珠宝有20%折扣)”。促销服务在图11A中基于建议应用132b所识别的实体“Dress Factory”和“discount”生成建议1152 (例如,在处置所述对话的单独服务器馈送那个信息之后)。在一个示例中,促销服务可在互联网上执行对所述实体的搜索以生成建议 1152。建议生成器132b可接收所述建议1152并且接着将所述建议1152 提供给图11A中的所述对话的参与者的全部或子集,例如,Melissa G、 Alice Z.和/或Chris B。图11B在Melissa的移动设备屏幕上显示建议 1152,其与向Alice或Chris示出的建议相同。
图12是示出单击回复的示例对话界面的图形表示。在所示出的图 12中,在Aaron的移动屏幕上显示对话界面1200。响应于从Bob接收到问题1202“when is mom’s flightgoing to land?(妈妈的航班将什么时候着陆?)”,建议应用132b可基于Aaron的先前用户动作(例如,购买历史)来预测来自Aaron的潜在响应,并且为Aaron生成单击回复1204。所述自动回复1004列举航班号、到达时间和航班状态。Aaron 因此节省了向Bob输入回答的时间。类似地,当Bob发送另一个问题 1206“will you pick her up at the airport?(您将在机场接她吗?)”时,建议应用132b确定这是一个是或否问题,并且生成单击自动回复1008以包括两个选项“yes”或“no”供Aaron选择。
图13是示出对话报告的示例对话界面的图形表示。所述对话界面 1300包括搜索框1302,在该处用户可基于参与者名称、话题、时间、其组合等来搜索对话。在图13所示出的示例中,所述用户搜索关于电影“star wars(星球大战)”的对话。响应于来自所述用户的搜索请求,建议应用132b可生成报告。在某些示例中,所述报告可以对用户何时讨论所述话题和所述对话中的其他参与者的摘要1304(例如,Mellissa、 Alice和Jenny在星期三的7:10到7:30pm之间讨论了“star wars”)来开始。所述报告还可以时间次序包括来自每个参与者的对话消息。所述报告还可突出显示所述用户所搜索的关键词“star wars”1306。另外,所述报告可突出显示某些实体(例如,演员“AA”1108和“BB”1310),以使得用户能够检索关于实体的更多信息(例如,档案、照片)。每个突出显示的和识别的实体可与使得用户能够在互联网上针对所述实体执行搜索的超链接相关联。
图14是示出对话摘要的示例对话界面的图形表示。在所示出的示例中,对话界面1400包括建议应用132b为用户生成的对话摘要1402,其概述所述用户在一个星期期间参与的对话。所述对话摘要可包括两个示例性部分1402和1404。在第一部分1402中,所述摘要可包括所述用户在过去一个星期期间参与的对话的数目以及关于所述对话的一些基本信息,例如,日内时间、日期、其他参与者的身份等。第一部分1402还可包括每个对话的详情选项1406,其提供关于每个对话的进一步详情,包括来自每个参与者的对话消息、发送每条消息时的时间等。第二部分1404可包括关于在过去的星期中进行的对话的突出信息,包括例如在对话中所讨论的话题(任选地,描述每个话题在所述对话中的百分比的饼状图1408)、在对话中共享的视/听内容(任选地,用于播放所述内容的链接1410)、在两个对话中共享的照片1412。
图15包括示出建议的并列呈现的示例对话界面的图形表示。在所示出的图15中,在用户的移动屏幕上显示对话界面1500。响应于接收到消息1502“meet up for a meal?”,建议应用132b生成并显示用于“lunch(午饭)”、“dinner(晚饭)”、“brunch(早午饭)”等的选项1504。用户可选择首先向所述用户建议的所述选项1504中的一者并且触发生成第二建议。图15显示响应于接收到如选项1506中所示的用户选择而生成的对话界面1550。在用户在选项1506中选择午饭后,建议应用132b生成并显示午饭营业的某些餐厅。在某些实施方式中,建议应用132b可仅显示在所述对话中的所有参与者的某个距离范围内的那些餐厅。在一些示例中,餐厅信息1508可包括餐厅名称、餐厅类型、评论和价格。
在某些实施方式中,所显示的餐厅信息可为可选择的且可动作的。在一个示例中,用户可选择特定餐厅并且将其向所述对话中的其他参与者显示,例如,作为包括餐厅名称的消息、作为包括餐厅名称和适合所述对话的预填默认词(例如,“let’s meet at…(我们在……见面)”) 的消息。在另一个示例中,用户可选择特定餐厅来在互联网上执行针对所述餐厅的搜索,从网站检索商家信息,检索餐厅位置的地图,等等。用户可接着选择向所述对话中的其他参与者显示所检索的信息,例如,通过将餐厅位置的地图插入到对话界面中。
说明书中的对“一些情况”或“实施例”的引用意味着结合所述实施例描述的特定特征、结构或特性包括在所述描述的至少一些情况下。在说明书中的各种地方中出现短语“在一些情况下”不一定全部指代相同实施例。
依据对计算机存储器内的数据位的算法和运算的符号表示呈现所述详细描述的一些部分。这些算法描述和表示是数据处理领域的技术人员用来最有效地将其工作的实质传达给本领域的其他技术人员的方式。此处并且通常将算法构想为导致所需结果的自相一致的步骤序列。所述步骤是需要物理量的物理操纵的操作。通常,虽然不一定,这些量采用能够存储、传送、组合、比较和以其它方式操纵的电信号或磁信号的形式。已经不时地证明将这些信号称为位、值、元素、符号、字符、词项、数字等为便利的,主要出于常见用法的原因。
然而,应当记住所有这些和相似术语应当与适当物理量相关联并且仅仅作为应用于这些量的便利标签。除非如从以下论述显而易见的另外地特殊陈述,否则应当了解,贯穿所述描述,利用诸如“处理”或“计算”或“运算”或“确定”或“显示”等术语的论述是指操纵计算机系统的寄存器和存储器内的被表示为物理(电子)量的数据并且将其变换为类似地表示为计算机系统存储器或寄存器或者其它这样的信息存储、传输或显示设备内的物理量的其它数据的计算机系统或类似电子计算设备的动作和过程。
说明书还涉及一种用于执行本文的操作的装置。这种装置可被专门构造用于所需要的目的,或者其可包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算机。这样的计算机程序可存储在非暂时性计算机可读存储介质中,诸如但不限于任何类型的磁盘 (包括软盘、光盘、CD-ROM和磁盘)、只读存储器(ROM)、随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、磁卡或光卡、包括USB密钥的闪存存储器以及非易失性存储器或适于存储电子指令的任何类型的介质,其各自耦合到计算机系统总线。
说明书可采用完全硬件实施例、完全软件实施例或含有硬件和软件元素两者的实施例的形式。在一些情况下,说明书以软件来实施,其包括但不限于固件、常驻软件、微码等。
此外,所述描述可采用能够从非暂时性计算机可用或计算机可读介质存取的计算机程序产品的形式,其提供程序代码以供计算机或任何指令执行系统使用或结合计算机或任何指令执行系统使用。出于这个描述的目的,非暂时性计算机可用或计算机可读介质可为能够包含、存储、传送、传播或传输所述程序以供指令执行系统、装置或设备使用或结合指令执行系统、装置或设备使用的任何装置。
适合于存储和/或执行程序代码的数据处理系统将包括通过系统总线直接或间接耦合到存储器元素的至少一个处理器。所述存储器元素可包括在程序代码的实际执行期间采用的本地存储器、大容量存储和高速缓存存储器,其提供至少一些程序代码的临时存储以便减少在执行期间必须从大容量存储检索代码的次数。
输入/输出或I/O设备(包括但不限于键盘、显示器、指示设备等) 可直接或通过中间I/O控制器耦合到所述系统。
网络适配器还可耦合到所述系统以使得所述数据处理系统能够通过中间的专用或公用网络耦合到其它数据处理系统或远程打印机或社交网络数据存储区。调制解调器、电缆调制解调器和以太网卡仅仅是几种当前可用类型的网络适配器。
最后,本文所呈现的算法和显示不固有地与任何特定计算机或其它装置相关。各种通用系统可与根据本文教示的程序一起使用,或可证明构造较专门的装置以执行所需要的方法步骤是便利的。用于多种这些系统的所需结构将从以下描述呈现。另外,未参考任何特定编程语言描述所述说明书。将了解,多种编程语言可用于实施如本文所述的说明书的教示。
在本文所论述的系统收集关于用户的个人信息或可利用个人信息的情形下,可向用户提供机会来控制程序或特征是否收集用户信息(例如,关于用户的社交网络、社交动作或活动、职业、用户偏好或用户当前位置的信息)或控制是否和/或如何从内容服务器接收可与用户较相关的内容。另外,某些数据可在存储或使用之前以一种或多种方式进行处理,使得移除个人可识别信息。例如,用户的身份可被处理以使得无法针对用户确定个人识别信息,或者可在获得位置信息的情况下泛化用户的地理位置(诸如泛化为城市、邮政编码或州级),使得无法确定用户的特定位置。因此,用户可对如何收集并且由所述系统的各种组件使用关于用户的信息加以控制。
已经出于说明和描述的目的来呈现对说明书的实施例的前述描述。其不希望是穷举的或将说明书限于所公开的精确形式。鉴于以上教示有可能做出许多修改和变型。希望本公开的范围不受这个具体实施方式限制,而是受本申请的权利要求书限制。如熟悉本领域的技术人员将理解,所述说明书可在不脱离其精神或基本特性的情况下以其它特定形式来体现。同样,所述模块、例程、特征、属性、方法和其它方面的特定命名和划分不是强制或重要的,并且实施所述说明书或其特征的机制可具有不同名称、划分和/或格式。此外,如相关领域的普通技术人员将明白,本公开的模块、例程、特征、属性、方法和其它方面可被实施为软件、硬件、固件或所述三者的任何组合。另外,在说明书的组件(其示例为模块)被实施为软件的任何情况下,所述组件便可被实施作为独立程序,作为较大程序的一部分,作为多个单独程序,作为静态或动态链接库,作为内核可加载模块,作为设备驱动程序,和/或以计算机编程领域的普通技术人员现在或将来知道的每种或任何其它方式来实施。另外,本公开决不限于呈任何特定编程语言或用于任何特定操作系统或环境的实施方式。因此,本公开意图说明而非限制所述说明书的范围,所述范围在所附权利要求书中陈述。

Claims (17)

1.一种计算机实现的方法,包括:
使用一个或多个处理器接收由第一用户提交的电子消息以用于在消息交换题绪的转录中显示,
所述电子消息是响应于所述第一用户经由客户端设备提供的用户界面输入而提交的,以及
所述消息交换题绪是至少在所述第一用户与第二用户之间经由所述第一用户的第一消息交换客户端和所述第二用户的第二消息交换客户端进行的;
使用所述一个或多个处理器从所述电子消息识别实体;
使用所述一个或多个处理器确定所述实体的场境指示符;
使用所述一个或多个处理器基于所述场境指示符来确定所述实体是否为可动作的;以及
响应于确定所述实体为可动作的:
确定针对于所述实体的建议;
提供所述建议以用于经由所述第二消息交换客户端向所述第二用户呈现;
经由所述第二消息交换客户端接收所述第二用户对所述建议的肯定选择;以及
响应于所述肯定选择,提供所述建议以用于经由所述第一消息交换客户端向所述第一用户呈现。
2.根据权利要求1所述的方法,其中,所述建议包括针对所述第一消息交换客户端的第一建议和针对所述第二消息交换客户端的第二建议,其中,所述第一建议和所述第二建议中的每一个针对于所述实体,其中,所述第一建议是基于所述第一消息交换客户端的地理位置并且所述第二建议是基于所述第二消息交换客户端的地理位置。
3.根据权利要求1所述的方法,其中,所述建议被提供以用于呈现而不将所述建议并入到所述消息交换题绪的所述转录中,所述方法进一步包括:
响应于所述肯定选择,将所述建议并入到所述消息交换题绪的所述转录中。
4.根据权利要求1所述的方法,其中,所述建议被提供以用于呈现而不将所述建议并入到所述消息交换题绪的所述转录中,其中,所述建议包括肯定界面元素和否定界面元素,所述方法进一步包括:
监视对所述肯定界面元素或所述否定界面元素的选择;以及
仅响应于对所述肯定界面元素的选择而将所述建议并入到所述消息交换题绪的所述转录中。
5.根据权利要求1至4中的任一项所述的方法,进一步包括:
响应于确定所述实体为可动作的:
将所述实体传输到第三方服务器;以及
响应于传输所述实体而从所述第三方服务器接收所述建议。
6.根据权利要求1至4中的任一项所述的方法,其中,确定所述场境指示符包括:基于涉及所述第一用户和所述第二用户中的至少一个的单独先前消息交换题绪来确定至少一个场境指示符。
7.根据权利要求6所述的方法,其中,所述至少一个场境指示符是基于所述第一用户和所述第二用户中的至少一个在所述单独先前消息交换题绪的一条或多条先前消息中表达的情感。
8.根据权利要求7所述的方法,其中,所述情感是针对于所述实体,并且其中,确定所述至少一个场境指示符包括:基于所述情感是针对所述实体来确定所述至少一个场境指示符。
9.根据权利要求1至4中的任一项所述的方法,其中,确定所述场境指示符包括:基于执行对所述第一用户或所述第二用户的先前消息的情感分析来确定至少一个场境指示符,所述先前消息是在所述消息交换题绪或先前消息交换题绪中,其中,执行所述情感分析包括:
基于所述先前消息的内容,将所述先前消息与相应权重大小相关联;以及
基于所述先前消息的所述相应权重大小的组合来确定整体情感,其中,所述整体情感在确定所述至少一个场境指示符时被使用。
10.根据权利要求9所述的方法,其中,执行所述情感分析是至少部分地基于所述先前消息中所包括的非文本图形元素,其中,所述先前消息是在所述先前消息交换题绪中,并且其中,所述至少一个场境指示符是基于所述情感是针对所述先前消息中的所述实体来选择的。
11.根据权利要求1至4中的任一项所述的方法,其中,所述场境指示符是基于所述第一用户的先前消息,所述先前消息是由所述第一用户在不涉及所述第二用户的先前消息交换题绪中提交的。
12.根据权利要求1至4中的任一项所述的方法,进一步包括:
追踪来自所述消息交换题绪的每个参与者的对话流以创建追踪信息;以及
基于所述追踪信息来生成所述场境指示符,其中,所述场境指示符包括指示响应于所述消息交换题绪中的用户问题而在所述消息交换题绪中是否提供用户回答的指示符,
其中,基于所述场境指示符来确定所述实体是否为可动作的包括:基于指示所述用户回答在所述消息交换题绪中被提供的指示符来确定所述实体是可动作的。
13.根据权利要求1至4中的任一项所述的方法,其中,确定所述场境指示符包括基于所述消息交换题绪的一个或多个消息中的一个或多个词的时态来确定至少一个场境指示符。
14.根据权利要求1至4中的任一项所述的方法,进一步包括:
经由指定所述电子消息中的第二实体作为可动作的所述第一消息交换客户端或所述第二消息交换客户端接收用户输入;
提供针对于所述第二实体的不同建议以用于经由所述第一消息交换客户端和所述第二消息交换客户端中的至少一个呈现。
15.根据权利要求1至4中的任一项所述的方法,进一步包括:
在计算机可读存储介质中基于所述场境指示符来对所述消息交换题绪进行索引。
16.一种存储指令的非暂时性计算机可读存储介质,所述指令当在计算机上执行时使所述计算机:
接收由第一用户提交的电子消息以用于在消息交换题绪的转录中显示,
所述电子消息是响应于所述第一用户经由客户端设备提供的用户界面输入而提交的,以及
所述消息交换题绪是至少在所述第一用户与第二用户之间经由所述第一用户的第一消息交换客户端和所述第二用户的第二消息交换客户端进行的;
从所述电子消息识别实体;
确定所述实体的场境指示符;
基于所述场境指示符来确定所述实体是否为可动作的;以及
响应于确定所述实体为可动作的:
确定针对于所述实体的建议;
提供所述建议以用于经由所述第二消息交换客户端向所述第二用户呈现;
经由所述第二消息交换客户端接收所述第二用户对所述建议的肯定选择;以及
响应于所述肯定选择,提供所述建议以用于经由所述第一消息交换客户端向所述第一用户呈现。
17.一种系统,包括:
一个或多个处理器;以及
存储器,存储指令,所述指令在被执行时使所述系统:
接收由第一用户提交的电子消息以用于在消息交换题绪的转录中显示,
所述电子消息是响应于所述第一用户经由客户端设备提供的用户界面输入而提交的,以及
所述消息交换题绪是至少在所述第一用户与第二用户之间经由所述第一用户的第一消息交换客户端和所述第二用户的第二消息交换客户端进行的;
从所述电子消息识别实体;
确定所述实体的场境指示符;
基于所述场境指示符来确定所述实体是否为可动作的;以及
响应于确定所述实体为可动作的:
确定针对于所述实体的建议;
提供所述建议以用于经由所述第二消息交换客户端向所述第二用户呈现;
经由所述第二消息交换客户端接收所述第二用户对所述建议的肯定选择;以及
响应于所述肯定选择,提供所述建议以用于经由所述第一消息交换客户端向所述第一用户呈现。
CN201680082643.2A 2015-12-21 2016-12-21 用于消息交换题绪的自动建议的方法、介质及系统 Active CN108781175B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562270454P 2015-12-21 2015-12-21
US62/270,454 2015-12-21
PCT/US2016/068059 WO2017112786A1 (en) 2015-12-21 2016-12-21 Automatic suggestions for message exchange threads

Publications (2)

Publication Number Publication Date
CN108781175A CN108781175A (zh) 2018-11-09
CN108781175B true CN108781175B (zh) 2021-09-21

Family

ID=59066635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680082643.2A Active CN108781175B (zh) 2015-12-21 2016-12-21 用于消息交换题绪的自动建议的方法、介质及系统

Country Status (6)

Country Link
US (2) US10530723B2 (zh)
EP (1) EP3395018A1 (zh)
JP (1) JP6638087B2 (zh)
KR (1) KR20180093040A (zh)
CN (1) CN108781175B (zh)
WO (1) WO2017112786A1 (zh)

Families Citing this family (104)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2440198B1 (en) 2009-06-09 2016-01-06 Cimas Limited Halogenated aliphatic carboxylic acids, oligomers and/or polymers thereof and their use in devitalizing external and internal neoplasms
US10430894B2 (en) 2013-03-21 2019-10-01 Khoros, Llc Gamification for online social communities
US9213941B2 (en) 2014-04-22 2015-12-15 Google Inc. Automatic actions based on contextual replies
KR20180093040A (ko) 2015-12-21 2018-08-20 구글 엘엘씨 메시지 교환 스레드들에 대한 자동적인 제안들
KR20180070659A (ko) 2015-12-21 2018-06-26 구글 엘엘씨 메시징 애플리케이션들을 위한 자동적인 제안들 및 다른 콘텐츠
CN106910513A (zh) * 2015-12-22 2017-06-30 微软技术许可有限责任公司 情绪智能聊天引擎
US10846475B2 (en) * 2015-12-23 2020-11-24 Beijing Xinmei Hutong Technology Co., Ltd. Emoji input method and device thereof
US10212119B2 (en) * 2016-01-13 2019-02-19 Pooja Bisarya Method and system for enabling messaging between users
US20170222956A1 (en) * 2016-02-01 2017-08-03 Priya Jain Method and system for enabling an auto response facility between users
US10158593B2 (en) * 2016-04-08 2018-12-18 Microsoft Technology Licensing, Llc Proactive intelligent personal assistant
US10757048B2 (en) 2016-04-08 2020-08-25 Microsoft Technology Licensing, Llc Intelligent personal assistant as a contact
US10263933B2 (en) * 2016-05-17 2019-04-16 Google Llc Incorporating selectable application links into message exchange threads
US10291565B2 (en) 2016-05-17 2019-05-14 Google Llc Incorporating selectable application links into conversations with personal assistant modules
US10904168B2 (en) * 2016-06-03 2021-01-26 Spotify Ab System and method for providing digital media content with a conversational messaging environment
US10387461B2 (en) 2016-08-16 2019-08-20 Google Llc Techniques for suggesting electronic messages based on user activity and other context
CN117634495A (zh) 2016-09-20 2024-03-01 谷歌有限责任公司 基于消息贴纸的建议响应
US10511450B2 (en) 2016-09-20 2019-12-17 Google Llc Bot permissions
US10015124B2 (en) * 2016-09-20 2018-07-03 Google Llc Automatic response suggestions based on images received in messaging applications
US10846618B2 (en) 2016-09-23 2020-11-24 Google Llc Smart replies using an on-device model
US11159473B2 (en) * 2016-10-10 2021-10-26 Facebook, Inc. Systems and methods for sharing content
US10416846B2 (en) 2016-11-12 2019-09-17 Google Llc Determining graphical element(s) for inclusion in an electronic communication
CN108075959B (zh) * 2016-11-14 2021-03-12 腾讯科技(深圳)有限公司 一种会话消息处理方法和装置
US10146768B2 (en) 2017-01-25 2018-12-04 Google Llc Automatic suggested responses to images received in messages using language model
US10614164B2 (en) * 2017-02-27 2020-04-07 International Business Machines Corporation Message sentiment based alert
US11494440B1 (en) * 2017-04-12 2022-11-08 Meta Platforms, Inc. Proactive and reactive suggestions for a messaging system
US10902462B2 (en) 2017-04-28 2021-01-26 Khoros, Llc System and method of providing a platform for managing data content campaign on social networks
US10044862B1 (en) * 2017-04-28 2018-08-07 International Business Machines Corporation Dynamic topic guidance in the context of multi-round conversation
US10860854B2 (en) 2017-05-16 2020-12-08 Google Llc Suggested actions for images
US10348658B2 (en) 2017-06-15 2019-07-09 Google Llc Suggested items for use with embedded applications in chat conversations
US10404636B2 (en) 2017-06-15 2019-09-03 Google Llc Embedded programs and interfaces for chat conversations
US10917483B2 (en) * 2017-06-22 2021-02-09 Numberai, Inc. Automated communication-based intelligence engine
FR3067554A1 (fr) * 2017-06-23 2018-12-14 Orange Procede et dispositif de traitement de messages textuels recus par une application de messagerie executee dans un terminal de communication d'un utilisateur
US11699039B2 (en) * 2017-06-28 2023-07-11 Microsoft Technology Licensing, Llc Virtual assistant providing enhanced communication session services
US10585991B2 (en) * 2017-06-29 2020-03-10 Microsoft Technology Licensing, Llc Virtual assistant for generating personalized responses within a communication session
US10771529B1 (en) 2017-08-04 2020-09-08 Grammarly, Inc. Artificial intelligence communication assistance for augmenting a transmitted communication
US20190050774A1 (en) * 2017-08-08 2019-02-14 General Electric Company Methods and apparatus to enhance emotional intelligence using digital technology
US10951558B2 (en) 2017-09-27 2021-03-16 Slack Technologies, Inc. Validating application dialog associated with a triggering event identification within user interaction data received via a group-based communication interface
US10346449B2 (en) 2017-10-12 2019-07-09 Spredfast, Inc. Predicting performance of content and electronic messages among a system of networked computing devices
US11470161B2 (en) 2018-10-11 2022-10-11 Spredfast, Inc. Native activity tracking using credential and authentication management in scalable data networks
US10999278B2 (en) 2018-10-11 2021-05-04 Spredfast, Inc. Proxied multi-factor authentication using credential and authentication management in scalable data networks
US11050704B2 (en) 2017-10-12 2021-06-29 Spredfast, Inc. Computerized tools to enhance speed and propagation of content in electronic messages among a system of networked computing devices
US11570128B2 (en) 2017-10-12 2023-01-31 Spredfast, Inc. Optimizing effectiveness of content in electronic messages among a system of networked computing device
US10785222B2 (en) 2018-10-11 2020-09-22 Spredfast, Inc. Credential and authentication management in scalable data networks
US10652189B2 (en) * 2017-10-19 2020-05-12 Chicago Mercantile Exchange Inc. Message encoding and transmission across multiple platforms
US11113604B2 (en) 2017-11-06 2021-09-07 Google Llc Training and/or utilizing an interaction prediction model to determine when to interact, and/or prompt for interaction, with an application on the basis of an electronic communication
US10601937B2 (en) * 2017-11-22 2020-03-24 Spredfast, Inc. Responsive action prediction based on electronic messages among a system of networked computing devices
US10609511B2 (en) * 2017-12-08 2020-03-31 Facebook, Inc. Techniques for providing meeting location suggestions
US10891526B2 (en) 2017-12-22 2021-01-12 Google Llc Functional image archiving
US10587553B1 (en) * 2017-12-29 2020-03-10 Entefy Inc. Methods and systems to support adaptive multi-participant thread monitoring
US10594773B2 (en) 2018-01-22 2020-03-17 Spredfast, Inc. Temporal optimization of data operations using distributed search and server management
US11061900B2 (en) 2018-01-22 2021-07-13 Spredfast, Inc. Temporal optimization of data operations using distributed search and server management
JP7073122B2 (ja) * 2018-01-31 2022-05-23 Dynabook株式会社 電子機器、制御方法及びプログラム
US10866989B1 (en) * 2018-04-06 2020-12-15 Architecture Technology Corporation Real time recommender modeling system, methods of construction, and methods of use
US20190327200A1 (en) * 2018-04-20 2019-10-24 Microsoft Technology Licensing, Llc Customized controls for handling communication content
US11322264B2 (en) 2018-04-23 2022-05-03 DNAFeed Inc. Systems and methods for human-augmented communications
US11074284B2 (en) * 2018-05-07 2021-07-27 International Business Machines Corporation Cognitive summarization and retrieval of archived communications
US20190384811A1 (en) * 2018-06-14 2019-12-19 Pubali Sen System and method for communication exchange feedback
US10901577B2 (en) 2018-07-17 2021-01-26 Google Llc Methods and systems for input suggestion
US10721190B2 (en) * 2018-07-31 2020-07-21 Microsoft Technology Licensing, Llc Sequence to sequence to classification model for generating recommended messages
US11252117B2 (en) * 2018-08-10 2022-02-15 International Business Machines Corporation Electronic communication message coaching service
CN115550304B (zh) * 2018-08-22 2023-10-10 谷歌有限责任公司 确定一组用户的活动实例集合的方法、设备和存储介质
US10909327B2 (en) * 2018-08-24 2021-02-02 International Business Machines Corporation Unsupervised learning of interpretable conversation models from conversation logs
US11182860B2 (en) * 2018-10-05 2021-11-23 The Toronto-Dominion Bank System and method for providing photo-based estimation
US10855657B2 (en) 2018-10-11 2020-12-01 Spredfast, Inc. Multiplexed data exchange portal interface in scalable data networks
US11238226B2 (en) * 2018-11-15 2022-02-01 Nuance Communications, Inc. System and method for accelerating user agent chats
US11048767B2 (en) * 2018-11-16 2021-06-29 Sap Se Combination content search
US11777874B1 (en) * 2018-12-14 2023-10-03 Carvana, LLC Artificial intelligence conversation engine
CN110209952B (zh) * 2018-12-18 2023-03-24 腾讯科技(深圳)有限公司 信息推荐方法、装置、设备及存储介质
US10956474B2 (en) 2019-03-14 2021-03-23 Microsoft Technology Licensing, Llc Determination of best set of suggested responses
JP7104278B2 (ja) * 2019-03-29 2022-07-21 株式会社Aill コミュニケーション支援サーバ、コミュニケーション支援システム、コミュニケーション支援方法、及びコミュニケーション支援プログラム
US11799813B2 (en) * 2019-03-29 2023-10-24 Aill Inc. Communication support server, communication support system, communication support method, and communication support program
JP7409781B2 (ja) * 2019-04-01 2024-01-09 Lineヤフー株式会社 出力プログラム、出力装置及び出力方法
US11176520B2 (en) 2019-04-18 2021-11-16 Microsoft Technology Licensing, Llc Email content modification system
US10931540B2 (en) 2019-05-15 2021-02-23 Khoros, Llc Continuous data sensing of functional states of networked computing devices to determine efficiency metrics for servicing electronic messages asynchronously
JP6690796B1 (ja) * 2019-06-07 2020-04-28 富士通株式会社 情報管理プログラム、情報管理方法および情報管理装置
US10902190B1 (en) * 2019-07-03 2021-01-26 Microsoft Technology Licensing Llc Populating electronic messages with quotes
WO2021006906A1 (en) * 2019-07-11 2021-01-14 Google Llc System and method for providing an artificial intelligence control surface for a user of a computing device
CN112448879B (zh) * 2019-08-27 2022-09-13 腾讯科技(深圳)有限公司 提醒消息推送方法、装置、终端及计算机可读存储介质
US11551242B2 (en) * 2019-12-13 2023-01-10 Jpmorgan Chase Bank, N.A. System and method for providing intelligent dashboards for critical business flows
US11555622B2 (en) * 2019-12-19 2023-01-17 International Business Machines Corporation Intelligent context-based control of air flow
US11521611B2 (en) 2019-12-19 2022-12-06 Palo Alto Research Center Incorporated Using conversation structure and content to answer questions in multi-part online interactions
NL2024677B1 (en) * 2020-01-15 2021-09-08 Microsoft Technology Licensing Llc Generating suggestions for users based on identifying direct interactions in group chats
US11023298B1 (en) * 2020-02-28 2021-06-01 Snap Inc. Displaying items based on a configuration file
US11462220B2 (en) * 2020-03-04 2022-10-04 Accenture Global Solutions Limited Infrastructure automation platform to assist in performing actions in response to tasks
CA3171846A1 (en) * 2020-04-15 2021-10-21 Benjamin Lloyd Styles Systems and computer-implemented methods for capital management
US10951564B1 (en) 2020-04-17 2021-03-16 Slack Technologies, Inc. Direct messaging instance generation
US11436408B2 (en) * 2020-07-01 2022-09-06 Motorola Mobility Llc Targeted natural language responses for electronic communications
US11128589B1 (en) 2020-09-18 2021-09-21 Khoros, Llc Gesture-based community moderation
US11438289B2 (en) 2020-09-18 2022-09-06 Khoros, Llc Gesture-based community moderation
US11784949B2 (en) 2020-10-06 2023-10-10 Salesforce, Inc. Limited functionality interface for communication platform
US11741949B2 (en) * 2020-10-30 2023-08-29 Nvidia Corporation Real-time video conference chat filtering using machine learning models
US11283751B1 (en) * 2020-11-03 2022-03-22 International Business Machines Corporation Using speech and facial bio-metrics to deliver text messages at the appropriate time
US11924375B2 (en) 2021-10-27 2024-03-05 Khoros, Llc Automated response engine and flow configured to exchange responsive communication data via an omnichannel electronic communication channel independent of data source
US11438282B2 (en) 2020-11-06 2022-09-06 Khoros, Llc Synchronicity of electronic messages via a transferred secure messaging channel among a system of various networked computing devices
US11627100B1 (en) 2021-10-27 2023-04-11 Khoros, Llc Automated response engine implementing a universal data space based on communication interactions via an omnichannel electronic data channel
US11228644B1 (en) * 2020-11-10 2022-01-18 Capital One Services, Llc Systems and methods to generate contextual threads
US11714629B2 (en) 2020-11-19 2023-08-01 Khoros, Llc Software dependency management
CN112492355B (zh) 2020-11-25 2022-07-08 北京字跳网络技术有限公司 发布和回复多媒体内容的方法、装置和设备
US11792141B2 (en) * 2021-01-12 2023-10-17 Meta Platforms Technologies, Llc Automated messaging reply-to
US12014731B2 (en) 2021-01-29 2024-06-18 Zoom Video Communications, Inc. Suggesting user actions during a video conference
US11816097B2 (en) 2021-06-08 2023-11-14 Capital One Services, Llc Geographical location determination system
US11743215B1 (en) 2021-06-28 2023-08-29 Meta Platforms Technologies, Llc Artificial reality messaging with destination selection
US11822562B2 (en) 2022-03-31 2023-11-21 Capital One Services, Llc Unstructured text processing for geographical location determination system
EP4387197A1 (de) * 2022-12-15 2024-06-19 Frequentis AG Kommunikationssystem für textbasierte kommunikation

Family Cites Families (309)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5963649A (en) 1995-12-19 1999-10-05 Nec Corporation Message authorization system for authorizing message for electronic document
US6092102A (en) 1997-10-24 2000-07-18 University Of Pittsburgh Of The Commonwealth System Of Higher Education System and method for notifying users about information or events of an enterprise
US7966078B2 (en) 1999-02-01 2011-06-21 Steven Hoffberg Network media appliance system and method
JP2000298676A (ja) * 1999-04-14 2000-10-24 Bandai Co Ltd 情報提供装置
WO2002027712A1 (en) 2000-09-29 2002-04-04 Professorq, Inc. Natural-language voice-activated personal assistant
JP2002132804A (ja) 2000-10-24 2002-05-10 Sanyo Electric Co Ltd ユーザ支援システム
US20020103837A1 (en) 2001-01-31 2002-08-01 International Business Machines Corporation Method for handling requests for information in a natural language understanding system
CN100515035C (zh) 2001-09-10 2009-07-15 株式会社尼康 数字照相机系统、图像存储装置和数字照相机
US7636750B2 (en) 2001-10-24 2009-12-22 Sprint Spectrum L.P. Method and system for controlling scope of user participation in a communication session
US7283992B2 (en) 2001-11-30 2007-10-16 Microsoft Corporation Media agent to suggest contextually related media content
US20040001099A1 (en) 2002-06-27 2004-01-01 Microsoft Corporation Method and system for associating actions with semantic labels in electronic documents
US7234117B2 (en) 2002-08-28 2007-06-19 Microsoft Corporation System and method for shared integrated online social interaction
US20110107223A1 (en) 2003-01-06 2011-05-05 Eric Tilton User Interface For Presenting Presentations
WO2004077291A1 (ja) 2003-02-25 2004-09-10 Matsushita Electric Industrial Co., Ltd. アプリケーションプログラムの予測方法及び移動体端末
US7761507B2 (en) 2003-05-16 2010-07-20 Google, Inc. Networked chat and media sharing systems and methods
US8645697B1 (en) 2003-08-08 2014-02-04 Radix Holdings, Llc Message authorization
US7363029B2 (en) 2003-09-12 2008-04-22 Core Mobility, Inc. Unified interface for voice, text or picture message authoring
US20120322428A1 (en) 2004-09-30 2012-12-20 Motedata Inc. Network of tags
US10635723B2 (en) 2004-02-15 2020-04-28 Google Llc Search engines and systems with handheld document data capture devices
US7363295B2 (en) 2004-04-19 2008-04-22 Yahoo! Inc. Techniques for inline searching in an instant messenger environment
US20060029106A1 (en) 2004-06-14 2006-02-09 Semandex Networks, Inc. System and method for providing content-based instant messaging
US7464110B2 (en) 2004-06-30 2008-12-09 Nokia Corporation Automated grouping of image and other user data
US7734927B2 (en) 2004-07-21 2010-06-08 International Business Machines Corporation Real-time voting based authorization in an autonomic workflow process using an electronic messaging system
US7917582B2 (en) 2004-07-27 2011-03-29 Siemens Enterprise Communications, Inc. Method and apparatus for autocorrelation of instant messages
US7720436B2 (en) 2006-01-09 2010-05-18 Nokia Corporation Displaying network objects in mobile devices based on geolocation
US20060150119A1 (en) 2004-12-31 2006-07-06 France Telecom Method for interacting with automated information agents using conversational queries
US7197324B2 (en) 2005-01-31 2007-03-27 Sweeney Robert J Permission based text messaging
US7603413B1 (en) 2005-04-07 2009-10-13 Aol Llc Using automated agents to facilitate chat communications
US7860319B2 (en) 2005-05-11 2010-12-28 Hewlett-Packard Development Company, L.P. Image management
US7512580B2 (en) 2005-08-04 2009-03-31 Sap Ag Confidence indicators for automated suggestions
CN1988461A (zh) 2005-12-23 2007-06-27 腾讯科技(深圳)有限公司 一种即时通信工具的聊天场景音乐播放方法和系统
US7747785B2 (en) 2006-04-14 2010-06-29 Microsoft Corporation Instant messaging plug-ins
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US20090187831A1 (en) 2006-10-10 2009-07-23 Shahzad Tiwana Integrated Electronic Mail and Instant Messaging System
US20080120371A1 (en) 2006-11-16 2008-05-22 Rajat Gopal Relational framework for non-real-time audio/video collaboration
US20080195664A1 (en) 2006-12-13 2008-08-14 Quickplay Media Inc. Automated Content Tag Processing for Mobile Media
JP2008191748A (ja) 2007-02-01 2008-08-21 Oki Electric Ind Co Ltd ユーザ間コミュニケーション方法、ユーザ間コミュニケーションプログラム、ユーザ間コミュニケーション装置
WO2008153098A1 (ja) 2007-06-14 2008-12-18 Sharp Kabushiki Kaisha 画像データ受信装置、操作装置、操作システム、画像データのデータ構造、制御方法、操作方法、プログラム、および、記録媒体
JP2009009334A (ja) 2007-06-27 2009-01-15 Ricoh Co Ltd 画像処理装置、画像処理方法及び画像処理プログラム
CN101159576B (zh) 2007-08-30 2013-07-17 腾讯科技(深圳)有限公司 聊天方法、聊天室客户端、系统管理后台及服务器
US20110145068A1 (en) 2007-09-17 2011-06-16 King Martin T Associating rendered advertisements with digital content
US8082151B2 (en) 2007-09-18 2011-12-20 At&T Intellectual Property I, Lp System and method of generating responses to text-based messages
US20090119584A1 (en) 2007-11-02 2009-05-07 Steve Herbst Software Tool for Creating Outlines and Mind Maps that Generates Subtopics Automatically
JP2011507413A (ja) 2007-12-17 2011-03-03 プレイ・メガフォン・インコーポレイテッド ユーザと双方向システムとの間の双方向交信を管理するためのシステムと方法
US20110022992A1 (en) 2008-03-31 2011-01-27 Koninklijke Philips Electronics N.V. Method for modifying a representation based upon a user instruction
US20090282114A1 (en) 2008-05-08 2009-11-12 Junlan Feng System and method for generating suggested responses to an email
US20090327436A1 (en) 2008-06-30 2009-12-31 Chen Shihn-Cheng Instant messaging network control module
US8166019B1 (en) 2008-07-21 2012-04-24 Sprint Communications Company L.P. Providing suggested actions in response to textual communications
JP5273712B2 (ja) 2008-08-11 2013-08-28 シャープ株式会社 情報処理装置、情報処理方法および情報処理プログラム
US8805110B2 (en) 2008-08-19 2014-08-12 Digimarc Corporation Methods and systems for content processing
US8929868B2 (en) 2008-08-25 2015-01-06 France Telecom System and method to identify and transfer to a wireless device actionable items based on user selected content
US8391618B1 (en) 2008-09-19 2013-03-05 Adobe Systems Incorporated Semantic image classification and search
US8055710B2 (en) 2008-09-24 2011-11-08 International Business Machines Corporation System, method and computer program product for intelligent multi-person chat history injection
USD611053S1 (en) 2008-11-24 2010-03-02 Microsoft Corporation Transitional user interface for a portion of a display screen
USD599363S1 (en) 2008-11-24 2009-09-01 Microsoft Corporation Transitional cursor user interface for a portion of a display screen
US20130036162A1 (en) 2009-02-10 2013-02-07 Mikekoenigs.Com, Inc. Automated Communication Techniques
WO2010096193A2 (en) 2009-02-18 2010-08-26 Exbiblio B.V. Identifying a document by performing spectral analysis on the contents of the document
US20100228590A1 (en) 2009-03-03 2010-09-09 International Business Machines Corporation Context-aware electronic social networking
JP4739438B2 (ja) 2009-03-26 2011-08-03 株式会社エヌ・ティ・ティ・ドコモ 通信端末及びメール返信方法
US20100251127A1 (en) 2009-03-30 2010-09-30 Avaya Inc. System and method for managing trusted relationships in communication sessions using a graphical metaphor
US9195898B2 (en) 2009-04-14 2015-11-24 Qualcomm Incorporated Systems and methods for image recognition using mobile devices
US20120131520A1 (en) 2009-05-14 2012-05-24 Tang ding-yuan Gesture-based Text Identification and Selection in Images
US9782527B2 (en) 2009-05-27 2017-10-10 Tc1 Llc Monitoring of redundant conductors
US9043407B1 (en) 2009-06-12 2015-05-26 Avaya Inc. Interactive user interface to communication-enabled business process platforms method and apparatus
USD651609S1 (en) 2009-06-26 2012-01-03 Microsoft Corporation Display screen with an animated image
CN102667754A (zh) 2009-07-02 2012-09-12 乐宅睦有限公司 用于增强数字内容的系统和方法
US8635223B2 (en) 2009-07-28 2014-01-21 Fti Consulting, Inc. System and method for providing a classification suggestion for electronically stored information
US9128610B2 (en) 2009-09-30 2015-09-08 At&T Mobility Ii Llc Virtual predictive keypad
US8121618B2 (en) 2009-10-28 2012-02-21 Digimarc Corporation Intuitive computing methods and systems
US8831279B2 (en) 2011-03-04 2014-09-09 Digimarc Corporation Smartphone-based methods and systems
US8400548B2 (en) 2010-01-05 2013-03-19 Apple Inc. Synchronized, interactive augmented reality displays for multifunction devices
USD624927S1 (en) 2010-01-19 2010-10-05 Microsoft Corporation User interface for a portion of a display screen
US8650210B1 (en) 2010-02-09 2014-02-11 Google Inc. Identifying non-search actions based on a search query
US8782556B2 (en) * 2010-02-12 2014-07-15 Microsoft Corporation User-centric soft keyboard predictive technologies
US8655965B2 (en) 2010-03-05 2014-02-18 Qualcomm Incorporated Automated messaging response in wireless communication systems
US8266109B1 (en) 2010-03-09 2012-09-11 Symantec Corporation Performance of scanning containers for archiving
JP2011211696A (ja) 2010-03-10 2011-10-20 Nikon Corp 画像データ処理システム、画像データ処理プログラム、及び画像データ処理装置
JP5733907B2 (ja) 2010-04-07 2015-06-10 キヤノン株式会社 画像処理装置、画像処理方法、コンピュータプログラム
US9929982B2 (en) 2010-04-08 2018-03-27 Microsoft Technology Licensing, Llc Designating automated agents as friends in a social network service
US20110252207A1 (en) 2010-04-08 2011-10-13 Oracle International Corporation Dynamic content archiving
US20170098122A1 (en) 2010-06-07 2017-04-06 Affectiva, Inc. Analysis of image content with associated manipulation of expression presentation
USD648343S1 (en) 2010-06-24 2011-11-08 Microsoft Corporation Display screen with user interface
USD648735S1 (en) 2010-06-25 2011-11-15 Microsoft Corporation Display screen with animated user interface
US20120030289A1 (en) 2010-07-30 2012-02-02 Avaya Inc. System and method for multi-model, context-sensitive, real-time collaboration
US8781152B2 (en) 2010-08-05 2014-07-15 Brian Momeyer Identifying visual media content captured by camera-enabled mobile device
US9936333B2 (en) 2010-08-10 2018-04-03 Microsoft Technology Licensing, Llc Location and contextual-based mobile application promotion and delivery
KR101722687B1 (ko) 2010-08-10 2017-04-04 삼성전자주식회사 객체간 또는 객체와 유저간에 정보 제공 방법, 그 방법을 수행할 수 있는 유저 디바이스, 및 저장 매체
US8966590B2 (en) 2010-08-17 2015-02-24 Facebook, Inc. Managing social network accessibility based on age
US9262517B2 (en) 2010-08-18 2016-02-16 At&T Intellectual Property I, L.P. Systems and methods for social media data mining
US8566911B2 (en) 2010-10-06 2013-10-22 Blackberry Limited Method of obtaining authorization for accessing a service
KR101753031B1 (ko) 2010-11-15 2017-06-30 엘지전자 주식회사 이동 단말기 및 이것의 메타데이터 설정 방법
KR101060753B1 (ko) 2011-01-04 2011-08-31 (주)올라웍스 입력 이미지에 포함된 객체에 대한 콜렉션을 수행할 수 있도록 지원하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
US20120179717A1 (en) * 2011-01-11 2012-07-12 Sony Corporation System and method for effectively providing entertainment recommendations to device users
US8688698B1 (en) 2011-02-11 2014-04-01 Google Inc. Automatic text suggestion
WO2012116236A2 (en) 2011-02-23 2012-08-30 Nova Spivack System and method for analyzing messages in a network or across networks
US8938669B1 (en) 2011-03-15 2015-01-20 Google Inc. Inline user addressing in chat and document editing sessions
US8849931B2 (en) 2011-03-15 2014-09-30 Idt Messaging, Llc Linking context-based information to text messages
US20130262574A1 (en) 2011-03-15 2013-10-03 Gabriel Cohen Inline User Addressing in Chat Sessions
US8554701B1 (en) 2011-03-18 2013-10-08 Amazon Technologies, Inc. Determining sentiment of sentences from customer reviews
JP2012221480A (ja) 2011-04-06 2012-11-12 L Is B Corp メッセージ処理システム
US9049259B2 (en) 2011-05-03 2015-06-02 Onepatont Software Limited System and method for dynamically providing visual action or activity news feed
EP2523436A1 (en) 2011-05-11 2012-11-14 Alcatel Lucent Mobile device and method of managing applications for a mobile device
USD658201S1 (en) 2011-05-27 2012-04-24 Microsoft Corporation Display screen with animated user interface
USD658678S1 (en) 2011-05-27 2012-05-01 Microsoft Corporation Display screen with animated user interface
USD658677S1 (en) 2011-05-27 2012-05-01 Microsoft Corporation Display screen with animated user interface
US8832284B1 (en) 2011-06-16 2014-09-09 Google Inc. Virtual socializing
US8881250B2 (en) 2011-06-17 2014-11-04 Ebay Inc. Passporting credentials between a mobile app and a web browser
US8589407B2 (en) 2011-06-17 2013-11-19 Google Inc. Automated generation of suggestions for personalized reactions in a social network
US8700480B1 (en) 2011-06-20 2014-04-15 Amazon Technologies, Inc. Extracting quotes from customer reviews regarding collections of items
US9588668B2 (en) 2011-07-21 2017-03-07 Imerj, Llc Methods of displaying a second view
US9245253B2 (en) 2011-08-19 2016-01-26 Disney Enterprises, Inc. Soft-sending chat messages
US8659667B2 (en) 2011-08-29 2014-02-25 Panasonic Corporation Recipe based real-time assistance for digital image capture and other consumer electronics devices
US9179278B2 (en) 2011-09-01 2015-11-03 Qualcomm Incorporated Systems and methods involving augmented menu using mobile device
US10102546B2 (en) 2011-09-15 2018-10-16 Stephan HEATH System and method for tracking, utilizing predicting, and implementing online consumer browsing behavior, buying patterns, social networking communications, advertisements and communications, for online coupons, products, goods and services, auctions, and service providers using geospatial mapping technology, and social networking
CA2791277C (en) 2011-09-30 2019-01-15 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US20180032997A1 (en) 2012-10-09 2018-02-01 George A. Gordon System, method, and computer program product for determining whether to prompt an action by a platform in connection with a mobile device
KR101521332B1 (ko) 2011-11-08 2015-05-20 주식회사 다음카카오 인스턴트 메시징 서비스 및 인스턴트 메시징 서비스로부터 확장된 복수의 서비스들을 제공하는 방법
US9697016B2 (en) 2011-11-15 2017-07-04 Microsoft Technology Licensing, Llc Search augmented menu and configuration for computer applications
USD673172S1 (en) 2011-11-21 2012-12-25 Microsoft Corporation Display screen with animated graphical user interface
KR101402506B1 (ko) 2011-12-01 2014-06-03 라인 가부시키가이샤 인스턴트 메시징 어플리케이션을 이용한 대화형 정보제공 시스템 및 방법
USD701228S1 (en) 2012-01-06 2014-03-18 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
USD699744S1 (en) 2012-01-06 2014-02-18 Microsoft Corporation Display screen with an animated graphical user interface
CL2012001916E1 (es) 2012-01-09 2013-06-07 Samsung Electronics Co Ltd Dibujo industrial aplicable a la pantalla de un dispositivo de comunicacion movil, conformado por un rectangulo principal apaisado con una franja superior y una lateral derecha, mas tres rectangulos trapeciales en fuga centrales separados y alineados entre si.
USD705802S1 (en) 2012-02-07 2014-05-27 Microsoft Corporation Display screen with animated graphical user interface
USD705251S1 (en) 2012-02-09 2014-05-20 Microsoft Corporation Display screen with animated graphical user interface
GB2499395A (en) 2012-02-14 2013-08-21 British Sky Broadcasting Ltd Search method
US9306878B2 (en) 2012-02-14 2016-04-05 Salesforce.Com, Inc. Intelligent automated messaging for computer-implemented devices
USD699739S1 (en) 2012-02-22 2014-02-18 Microsoft Corporation Display screen with animated graphical user interface
US20130218885A1 (en) * 2012-02-22 2013-08-22 Salesforce.Com, Inc. Systems and methods for context-aware message tagging
USD701527S1 (en) 2012-02-23 2014-03-25 Htc Corporation Display screen with transitional graphical user interface
USD701528S1 (en) 2012-02-24 2014-03-25 Htc Corporation Display screen with transitional graphical user interface
US8620021B2 (en) 2012-03-29 2013-12-31 Digimarc Corporation Image-related methods and arrangements
US8855430B1 (en) 2012-05-30 2014-10-07 Google Inc. Refining image annotations
USD705244S1 (en) 2012-06-20 2014-05-20 Microsoft Corporation Display screen with animated graphical user interface
US20130346235A1 (en) 2012-06-20 2013-12-26 Ebay, Inc. Systems, Methods, and Computer Program Products for Caching of Shopping Items
US9191786B2 (en) 2012-06-27 2015-11-17 At&T Intellectual Property I, L.P. Method and apparatus for generating a suggested message to be sent over a network
US9412136B2 (en) 2012-07-09 2016-08-09 Facebook, Inc. Creation of real-time conversations based on social location information
KR20140011073A (ko) 2012-07-17 2014-01-28 삼성전자주식회사 텍스트 추천 방법 및 장치
US9019415B2 (en) 2012-07-26 2015-04-28 Qualcomm Incorporated Method and apparatus for dual camera shutter
US9195645B2 (en) 2012-07-30 2015-11-24 Microsoft Technology Licensing, Llc Generating string predictions using contexts
KR101899817B1 (ko) 2012-08-01 2018-09-19 엘지전자 주식회사 이동단말기 및 그 제어 방법
USD695755S1 (en) 2012-08-06 2013-12-17 Samsung Electronics Co., Ltd. TV monitor with graphical user interface
US20140047413A1 (en) 2012-08-09 2014-02-13 Modit, Inc. Developing, Modifying, and Using Applications
US20140052540A1 (en) * 2012-08-20 2014-02-20 Giridhar Rajaram Providing content using inferred topics extracted from communications in a social networking system
KR102068604B1 (ko) 2012-08-28 2020-01-22 삼성전자 주식회사 휴대단말기의 문자 인식장치 및 방법
USD706802S1 (en) 2012-08-28 2014-06-10 Samsung Electronics Co., Ltd. Portable electronic device displaying transitional graphical user interface
US9218333B2 (en) 2012-08-31 2015-12-22 Microsoft Technology Licensing, Llc Context sensitive auto-correction
JP6160996B2 (ja) 2012-09-12 2017-07-12 パナソニックIpマネジメント株式会社 撮像装置
US20140088954A1 (en) 2012-09-27 2014-03-27 Research In Motion Limited Apparatus and method pertaining to automatically-suggested emoticons
US10691743B2 (en) 2014-08-05 2020-06-23 Sri International Multi-dimensional realization of visual content of an image collection
US9299060B2 (en) 2012-10-12 2016-03-29 Google Inc. Automatically suggesting groups based on past user interaction
KR20140052155A (ko) 2012-10-19 2014-05-07 삼성전자주식회사 디스플레이 장치, 디스플레이 장치 제어 방법 및 디스플레이 장치의 제어를 위한 정보처리장치
USD714821S1 (en) 2012-10-24 2014-10-07 Microsoft Corporation Display screen with animated graphical user interface
WO2014068573A1 (en) 2012-10-31 2014-05-08 Aniways Advertising Solutions Ltd. Custom emoticon generation
US20140156801A1 (en) * 2012-12-04 2014-06-05 Mobitv, Inc. Cowatching and connected platforms using a push architecture
US9244905B2 (en) 2012-12-06 2016-01-26 Microsoft Technology Licensing, Llc Communication context based predictive-text suggestion
US20140164506A1 (en) 2012-12-10 2014-06-12 Rawllin International Inc. Multimedia message having portions of networked media content
US20140171133A1 (en) 2012-12-18 2014-06-19 Google Inc. Query response
CN103067490B (zh) 2012-12-26 2015-11-25 腾讯科技(深圳)有限公司 移动终端通讯会话的通知方法、终端、服务器及系统
GB201322037D0 (en) 2013-12-12 2014-01-29 Touchtype Ltd System and method for inputting images/labels into electronic devices
US8930481B2 (en) 2012-12-31 2015-01-06 Huawei Technologies Co., Ltd. Message processing method, terminal and system
US20140189538A1 (en) 2012-12-31 2014-07-03 Motorola Mobility Llc Recommendations for Applications Based on Device Context
US9020956B1 (en) 2012-12-31 2015-04-28 Google Inc. Sentiment and topic based content determination methods and systems
US9374327B2 (en) 2013-01-08 2016-06-21 Vmware, Inc. Intelligent chat system
KR20140091633A (ko) 2013-01-11 2014-07-22 삼성전자주식회사 모바일 장치에서의 상황 인지에 따른 추천 항목을 제공하기 위한 방법 및 이를 위한 모바일 장치
KR101821358B1 (ko) 2013-01-22 2018-01-25 네이버 주식회사 다자간 메신저 서비스를 제공하는 방법 및 시스템
US20140237057A1 (en) * 2013-02-21 2014-08-21 Genesys Telecommunications Laboratories, Inc. System and method for processing private messages in a contact center
JP6255646B2 (ja) 2013-03-04 2018-01-10 株式会社L is B メッセージシステム
USD704726S1 (en) 2013-03-04 2014-05-13 Roger Leslie Maxwell Display screen or portion thereof with animated graphical user interface
US20140344058A1 (en) 2013-03-15 2014-11-20 Fision Holdings, Inc Systems and methods for distributed marketing automation
US20140298364A1 (en) 2013-03-26 2014-10-02 Rawllin International Inc. Recommendations for media content based on emotion
US8825474B1 (en) 2013-04-16 2014-09-02 Google Inc. Text suggestion output using past interaction data
US9177318B2 (en) 2013-04-22 2015-11-03 Palo Alto Research Center Incorporated Method and apparatus for customizing conversation agents based on user characteristics using a relevance score for automatic statements, and a response prediction function
US9923849B2 (en) 2013-05-09 2018-03-20 Ebay Inc. System and method for suggesting a phrase based on a context
WO2014200621A1 (en) 2013-06-13 2014-12-18 Evernote Corporation Initializing chat sessions by pointing to content
US10599765B2 (en) 2013-06-27 2020-03-24 Avaya Inc. Semantic translation model training
EP3022639B1 (en) 2013-07-16 2018-10-31 Pinterest, Inc. Object based contextual menu controls
US9330110B2 (en) 2013-07-17 2016-05-03 Xerox Corporation Image search system and method for personalized photo applications using semantic networks
US9794198B2 (en) 2013-07-19 2017-10-17 Tencent Technology (Shenzhen) Company Limited Methods and systems for creating auto-reply messages
US10162884B2 (en) 2013-07-23 2018-12-25 Conduent Business Services, Llc System and method for auto-suggesting responses based on social conversational contents in customer care services
US9161188B2 (en) 2013-08-22 2015-10-13 Yahoo! Inc. System and method for automatically suggesting diverse and personalized message completions
CN104035947B (zh) * 2013-09-16 2016-04-13 腾讯科技(深圳)有限公司 兴趣点推荐方法及装置、获取推荐兴趣点的方法及装置
EP2852105A1 (en) 2013-09-20 2015-03-25 Ignazio Di Tocco Computer system and related process supporting the communication of users located in the same geographical area, in order to establish a starting contact leading to a personal communication
US9401881B2 (en) 2013-09-26 2016-07-26 International Business Machines Corporation Automatic question generation and answering based on monitored messaging sessions
US9329692B2 (en) 2013-09-27 2016-05-03 Microsoft Technology Licensing, Llc Actionable content displayed on a touch screen
US20150100537A1 (en) 2013-10-03 2015-04-09 Microsoft Corporation Emoji for Text Predictions
US8996639B1 (en) 2013-10-15 2015-03-31 Google Inc. Predictive responses to incoming communications
US20150127753A1 (en) 2013-11-04 2015-05-07 Meemo, Llc Word Recognition and Ideograph or In-App Advertising System
WO2015089483A1 (en) 2013-12-12 2015-06-18 Mobile Iron, Inc. Application synchornization
KR20150071768A (ko) 2013-12-18 2015-06-29 에스케이하이닉스 주식회사 이미지 센서 및 그 제조방법
US10565268B2 (en) * 2013-12-19 2020-02-18 Adobe Inc. Interactive communication augmented with contextual information
WO2015100362A1 (en) 2013-12-23 2015-07-02 24/7 Customer, Inc. Systems and methods for facilitating dialogue mining
US9519408B2 (en) 2013-12-31 2016-12-13 Google Inc. Systems and methods for guided user actions
US9817813B2 (en) 2014-01-08 2017-11-14 Genesys Telecommunications Laboratories, Inc. Generalized phrases in automatic speech recognition systems
US20150207765A1 (en) 2014-01-17 2015-07-23 Nathaniel Brantingham Messaging Service with Conversation Suggestions
US9721183B2 (en) 2014-01-31 2017-08-01 Hulu, LLC Intelligent determination of aesthetic preferences based on user history and properties
US9515968B2 (en) 2014-02-05 2016-12-06 Facebook, Inc. Controlling access to ideograms
AU2015214298B2 (en) 2014-02-10 2018-05-10 Google Llc Smart camera user interface
CN104836720B (zh) * 2014-02-12 2022-02-25 北京三星通信技术研究有限公司 交互式通信中进行信息推荐的方法及装置
US10095748B2 (en) 2014-03-03 2018-10-09 Microsoft Technology Licensing, Llc Personalized information query suggestions
CN103841007B (zh) 2014-03-04 2017-05-10 腾讯科技(深圳)有限公司 网络游戏系统中的数据处理方法、装置及系统
KR102106787B1 (ko) 2014-03-17 2020-05-06 에스케이텔레콤 주식회사 메신저 프로그램과 어플리케이션 연동 방법, 이를 위한 장치 및 시스템
CN104951428B (zh) 2014-03-26 2019-04-16 阿里巴巴集团控股有限公司 用户意图识别方法及装置
US9544257B2 (en) 2014-04-04 2017-01-10 Blackberry Limited System and method for conducting private messaging
US9213941B2 (en) 2014-04-22 2015-12-15 Google Inc. Automatic actions based on contextual replies
US10482163B2 (en) 2014-04-23 2019-11-19 Klickafy, Llc Clickable emoji
CN103995872B (zh) 2014-05-21 2017-04-05 王青 一种在应用中基于场景展开讨论与聊天的方法与系统
US10255449B2 (en) 2014-05-30 2019-04-09 Apple Inc. Permission request
US10445396B2 (en) 2014-05-31 2019-10-15 Apple Inc. Device, method, and graphical user interface for extending functionality of a host application to another application
US9380010B2 (en) 2014-06-03 2016-06-28 International Business Machines Corporation Conversation branching for more efficient resolution
US9858295B2 (en) 2014-06-24 2018-01-02 Google Llc Ranking and selecting images for display from a set of images
US10785173B2 (en) 2014-07-03 2020-09-22 Nuance Communications, Inc. System and method for suggesting actions based upon incoming messages
US9043196B1 (en) 2014-07-07 2015-05-26 Machine Zone, Inc. Systems and methods for identifying and suggesting emoticons
US9779307B2 (en) 2014-07-07 2017-10-03 Google Inc. Method and system for non-causal zone search in video monitoring
US9990105B2 (en) 2014-07-08 2018-06-05 Verizon Patent And Licensing Inc. Accessible contextual controls within a graphical user interface
US20160043817A1 (en) 2014-07-18 2016-02-11 RSS Technologies, LLC Methods and apparatus for locality based broadcasting
WO2016018111A1 (en) 2014-07-31 2016-02-04 Samsung Electronics Co., Ltd. Message service providing device and method of providing content via the same
CN104202718A (zh) 2014-08-05 2014-12-10 百度在线网络技术(北京)有限公司 一种向用户提供信息的方法与装置
US10218652B2 (en) 2014-08-08 2019-02-26 Mastercard International Incorporated Systems and methods for integrating a chat function into an e-reader application
US9965559B2 (en) 2014-08-21 2018-05-08 Google Llc Providing automatic actions for mobile onscreen content
US9705832B2 (en) 2014-08-27 2017-07-11 Lenovo (Singapore) Pte. Ltd. Context-aware aggregation of text-based messages
US10447621B2 (en) 2014-09-04 2019-10-15 Microsoft Technology Licensing, Llc App powered extensibility of messages on an existing messaging service
US10146748B1 (en) 2014-09-10 2018-12-04 Google Llc Embedding location information in a media collaboration using natural language processing
JP6561996B2 (ja) 2014-11-07 2019-08-21 ソニー株式会社 情報処理装置、制御方法、および記憶媒体
US20160140477A1 (en) 2014-11-13 2016-05-19 Xerox Corporation Methods and systems for assigning tasks to workers
US9569728B2 (en) 2014-11-14 2017-02-14 Bublup Technologies, Inc. Deriving semantic relationships based on empirical organization of content by users
CN105786455B (zh) 2014-12-17 2020-02-18 深圳市腾讯计算机系统有限公司 一种数据处理方法、装置及终端
US20160179816A1 (en) 2014-12-22 2016-06-23 Quixey, Inc. Near Real Time Auto-Suggest Search Results
US9727218B2 (en) 2015-01-02 2017-08-08 Microsoft Technology Licensing, Llc Contextual browser frame and entry box placement
KR101634086B1 (ko) 2015-01-19 2016-07-08 주식회사 엔씨소프트 감정 분석을 통한 스티커 추천 방법 및 시스템
KR20160089152A (ko) 2015-01-19 2016-07-27 주식회사 엔씨소프트 화행 분석을 통한 스티커 추천 방법 및 시스템
US20160224524A1 (en) 2015-02-03 2016-08-04 Nuance Communications, Inc. User generated short phrases for auto-filling, automatically collected during normal text use
US20160226804A1 (en) 2015-02-03 2016-08-04 Google Inc. Methods, systems, and media for suggesting a link to media content
US9661386B2 (en) 2015-02-11 2017-05-23 Google Inc. Methods, systems, and media for presenting a suggestion to watch videos
US10079785B2 (en) 2015-02-12 2018-09-18 Google Llc Determining reply content for a reply to an electronic communication
US10956957B2 (en) 2015-03-25 2021-03-23 Facebook, Inc. Techniques for automated messaging
US10353542B2 (en) 2015-04-02 2019-07-16 Facebook, Inc. Techniques for context sensitive illustrated graphical user interface elements
US10965622B2 (en) 2015-04-16 2021-03-30 Samsung Electronics Co., Ltd. Method and apparatus for recommending reply message
US9703541B2 (en) 2015-04-28 2017-07-11 Google Inc. Entity action suggestion on a mobile device
US9883358B2 (en) 2015-05-08 2018-01-30 Blackberry Limited Electronic device and method of determining suggested responses to text-based communications
US10909329B2 (en) 2015-05-21 2021-02-02 Baidu Usa Llc Multilingual image question answering
US10504509B2 (en) 2015-05-27 2019-12-10 Google Llc Providing suggested voice-based action queries
US10091140B2 (en) 2015-05-31 2018-10-02 Microsoft Technology Licensing, Llc Context-sensitive generation of conversational responses
KR20160148260A (ko) 2015-06-16 2016-12-26 삼성전자주식회사 전자 장치 및 이의 제어 방법
US10274911B2 (en) 2015-06-25 2019-04-30 Intel Corporation Conversational interface for matching text of spoken input based on context model
US10042866B2 (en) 2015-06-30 2018-08-07 Adobe Systems Incorporated Searching untagged images with text-based queries
US9712466B2 (en) 2015-11-10 2017-07-18 Wrinkl, Inc. Integrating actionable objects into an on-line chat communications platform
CN108604234A (zh) 2015-07-15 2018-09-28 查比公司 用于屏幕截图链接的系统及方法
US20170031575A1 (en) 2015-07-28 2017-02-02 Microsoft Technology Licensing, Llc Tailored computing experience based on contextual signals
CN105183276A (zh) 2015-08-19 2015-12-23 小米科技有限责任公司 在聊天界面实现游戏的方法、装置及终端设备
US10445425B2 (en) 2015-09-15 2019-10-15 Apple Inc. Emoji and canned responses
US9467435B1 (en) 2015-09-15 2016-10-11 Mimecast North America, Inc. Electronic message threat protection system for authorized users
US11025569B2 (en) 2015-09-30 2021-06-01 Apple Inc. Shared content presentation with integrated messaging
US10789525B2 (en) 2015-10-02 2020-09-29 Adobe Inc. Modifying at least one attribute of an image with at least one attribute extracted from another image
KR20170048964A (ko) 2015-10-27 2017-05-10 라인 가부시키가이샤 메시지 제공 방법, 장치, 및 컴퓨터 프로그램과, 표시 제어 방법, 장치 및 컴퓨터 프로그램
CN105262675A (zh) 2015-10-29 2016-01-20 北京奇虎科技有限公司 基于电子书进行的聊天控制方法和装置
KR102393928B1 (ko) 2015-11-10 2022-05-04 삼성전자주식회사 응답 메시지를 추천하는 사용자 단말 장치 및 그 방법
US9633048B1 (en) 2015-11-16 2017-04-25 Adobe Systems Incorporated Converting a text sentence to a series of images
US10129193B2 (en) 2015-11-17 2018-11-13 International Business Machines Corporation Identifying relevant content contained in message streams that appear to be irrelevant
US20170147202A1 (en) 2015-11-24 2017-05-25 Facebook, Inc. Augmenting text messages with emotion information
KR102427833B1 (ko) 2015-11-30 2022-08-02 삼성전자주식회사 사용자 단말장치 및 디스플레이 방법
US20170171117A1 (en) 2015-12-10 2017-06-15 International Business Machines Corporation Message Suggestion Using Dynamic Information
KR20180093040A (ko) 2015-12-21 2018-08-20 구글 엘엘씨 메시지 교환 스레드들에 대한 자동적인 제안들
KR20180070659A (ko) 2015-12-21 2018-06-26 구글 엘엘씨 메시징 애플리케이션들을 위한 자동적인 제안들 및 다른 콘텐츠
US10732783B2 (en) 2015-12-28 2020-08-04 Microsoft Technology Licensing, Llc Identifying image comments from similar images
KR101712180B1 (ko) 2015-12-29 2017-03-06 라인 가부시키가이샤 메시지를 송수신하기 위한 컴퓨터로 읽을 수 있는 기록매체에 저장된 프로그램, 방법 및 장치
US9560152B1 (en) 2016-01-27 2017-01-31 International Business Machines Corporation Personalized summary of online communications
US11477139B2 (en) 2016-02-25 2022-10-18 Meta Platforms, Inc. Techniques for messaging bot rich communication
US20170250935A1 (en) 2016-02-25 2017-08-31 Facebook, Inc. Techniques for messaging bot app interactions
US20170250930A1 (en) 2016-02-29 2017-08-31 Outbrain Inc. Interactive content recommendation personalization assistant
US20170288942A1 (en) 2016-03-30 2017-10-05 Microsoft Technology Licensing, Llc Portal for Provisioning Autonomous Software Agents
US10831802B2 (en) 2016-04-11 2020-11-10 Facebook, Inc. Techniques to respond to user requests using natural-language machine learning based on example conversations
US10452671B2 (en) 2016-04-26 2019-10-22 Facebook, Inc. Recommendations from comments on online social networks
US9866693B2 (en) 2016-05-06 2018-01-09 Genesys Telecommunications Laboratories, Inc. System and method for monitoring progress of automated chat conversations
US20170344224A1 (en) 2016-05-27 2017-11-30 Nuance Communications, Inc. Suggesting emojis to users for insertion into text-based messages
CN105898627B (zh) 2016-05-31 2019-04-12 北京奇艺世纪科技有限公司 一种视频播放方法及装置
US9990128B2 (en) 2016-06-12 2018-06-05 Apple Inc. Messaging application interacting with one or more extension applications
US10368208B2 (en) 2016-06-12 2019-07-30 Apple Inc. Layers in messaging applications
US10505872B2 (en) 2016-06-12 2019-12-10 Apple Inc. Messaging application interacting with one or more extension applications
US10595169B2 (en) 2016-06-12 2020-03-17 Apple Inc. Message extension app store
US20170359283A1 (en) 2016-06-12 2017-12-14 Apple Inc. Music creation app in messaging app
US10194288B2 (en) 2016-06-12 2019-01-29 Apple Inc. Sticker distribution system for messaging apps
US10785175B2 (en) 2016-06-12 2020-09-22 Apple Inc. Polling extension application for interacting with a messaging application
US10852912B2 (en) 2016-06-12 2020-12-01 Apple Inc. Image creation app in messaging app
US10554599B2 (en) 2016-06-12 2020-02-04 Apple Inc. Conversion of detected URL in text message
US11088973B2 (en) 2016-06-12 2021-08-10 Apple Inc. Conversion of text relating to media content and media extension apps
US20170366479A1 (en) 2016-06-20 2017-12-21 Microsoft Technology Licensing, Llc Communication System
US10254935B2 (en) 2016-06-29 2019-04-09 Google Llc Systems and methods of providing content selection
US10515393B2 (en) 2016-06-30 2019-12-24 Paypal, Inc. Image data detection for micro-expression analysis and targeted data services
US10453074B2 (en) 2016-07-08 2019-10-22 Asapp, Inc. Automatically suggesting resources for responding to a request
US20180032499A1 (en) 2016-07-28 2018-02-01 Google Inc. Automatically Generating Spelling Suggestions and Corrections Based on User Context
US10049310B2 (en) 2016-08-30 2018-08-14 International Business Machines Corporation Image text analysis for identifying hidden text
KR20180026983A (ko) 2016-09-05 2018-03-14 삼성전자주식회사 전자 장치 및 그 제어 방법
US10015124B2 (en) 2016-09-20 2018-07-03 Google Llc Automatic response suggestions based on images received in messaging applications
KR102197448B1 (ko) 2016-09-20 2020-12-31 구글 엘엘씨 봇 상호작용
CN117634495A (zh) 2016-09-20 2024-03-01 谷歌有限责任公司 基于消息贴纸的建议响应
US10511450B2 (en) 2016-09-20 2019-12-17 Google Llc Bot permissions
US11176931B2 (en) 2016-09-23 2021-11-16 Microsoft Technology Licensing, Llc Conversational bookmarks
CN106484831A (zh) 2016-09-29 2017-03-08 百度在线网络技术(北京)有限公司 搜索系统、方法和装置
US10416846B2 (en) 2016-11-12 2019-09-17 Google Llc Determining graphical element(s) for inclusion in an electronic communication
US20180196854A1 (en) 2017-01-11 2018-07-12 Google Inc. Application extension for generating automatic search queries
US10146768B2 (en) 2017-01-25 2018-12-04 Google Llc Automatic suggested responses to images received in messages using language model
US10229427B2 (en) 2017-04-10 2019-03-12 Wildfire Systems, Inc. Virtual keyboard trackable referral system
US20180316637A1 (en) 2017-05-01 2018-11-01 Microsoft Technology Licensing, Llc Conversation lens for context
US11468344B2 (en) 2017-05-05 2022-10-11 Liveperson, Inc. Dynamic response prediction for improved bot task processing
US10860854B2 (en) 2017-05-16 2020-12-08 Google Llc Suggested actions for images
US10827319B2 (en) 2017-06-02 2020-11-03 Apple Inc. Messaging system interacting with dynamic extension app
US10348658B2 (en) 2017-06-15 2019-07-09 Google Llc Suggested items for use with embedded applications in chat conversations
US10404636B2 (en) 2017-06-15 2019-09-03 Google Llc Embedded programs and interfaces for chat conversations

Also Published As

Publication number Publication date
US20200092243A1 (en) 2020-03-19
US11418471B2 (en) 2022-08-16
KR20180093040A (ko) 2018-08-20
JP2019508820A (ja) 2019-03-28
JP6638087B2 (ja) 2020-01-29
US20170180294A1 (en) 2017-06-22
CN108781175A (zh) 2018-11-09
WO2017112786A1 (en) 2017-06-29
US10530723B2 (en) 2020-01-07
EP3395018A1 (en) 2018-10-31

Similar Documents

Publication Publication Date Title
CN108781175B (zh) 用于消息交换题绪的自动建议的方法、介质及系统
US11502975B2 (en) Automatic suggestions and other content for messaging applications
US11303590B2 (en) Suggested responses based on message stickers
US20210073293A1 (en) Composing rich content messages
US10645142B2 (en) Video keyframes display on online social networks
US9946782B2 (en) System and method for message clustering
WO2020005648A1 (en) Meeting preparation manager
US10540666B2 (en) Method and system for updating an intent space and estimating intent based on an intent space
US10733496B2 (en) Artificial intelligence entity interaction platform
US11080287B2 (en) Methods, systems and techniques for ranking blended content retrieved from multiple disparate content sources
CN115842798A (zh) 交互内容信息的处理方法、及相关装置、和终端设备
US11232522B2 (en) Methods, systems and techniques for blending online content from multiple disparate content sources including a personal content source or a semi-personal content source
US11836204B1 (en) Social collaboration platform for facilitating recommendations
EP3296890A1 (en) Video keyframes display on online social networks
Resmini et al. Mobile Search

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant