CN112204937A - 使数字助理能够生成环境感知响应的方法和系统 - Google Patents

Abstract

本文的实施例公开了用于在设备中提供数字助理的方法和系统，其可以基于用户的环境来生成对来自用户的命令的响应。在从设备的用户接收执行动作的命令时，可以提取存储在设备中的内容。实施例包括确定内容的私密程度和敏感程度。实施例包括基于环境噪声、设备的位置、其他人的存在、用户的情绪状态、应用参数、用户活动等来确定用户的环境。实施例包括基于所确定的环境以及所提取的内容的私密程度和敏感程度来生成响应并揭露该响应。实施例包括促进与用户的对话以基于用户的环境来生成适当的响应。

Description

使数字助理能够生成环境感知响应的方法和系统

技术领域

本文的实施例涉及数字助理解决方案，并且更具体地，涉及用于使数字助理能够生成环境感知响应的方法和系统。

背景技术

目前，诸如语音助理之类的数字助理可以利用人工智能(AI)，该技术使用户可以通过语音命令执行各种任务，诸如创建警报、发送和接收消息、拨打和接听电话、回答问题、控制设备等。当用户分配语音助理执行特定任务时，将通过自然对话向用户提供响应，可以使用自然语言生成(NLG)系统生成该对话。目前，来自NLG系统的响应可能未考虑用户的环境、信息内容以及信息内容的私密程度和敏感程度。

图1a和图1b描绘了示例场景，其中由于朗诵来自语音助理系统的响应，用户可能具有不期望的体验。如图1a中所描绘，考虑用户在公共场所。用户可以拥有能够接收消息并配备语音助理的设备。考虑用户收到了敏感消息。用户可以指示语音助理朗读消息。语音助理可以提取信息，即获取消息。语音助理中的NLG系统可以用于生成响应。由于消息的内容是敏感的，因此在公共场所朗诵响应可能会使用户感到尴尬。

如图1b中所描绘，考虑用户正在进行涉及体育锻炼的活动。配备了语音助理的智能设备接收到一条需要进行认真思量的消息。不知道消息内容的用户可以指示语音助理朗读消息。可以提取该消息，并且NLG系统可以生成响应，该响应包括可听形式的消息。可能会在不考虑用户身体和精神状态的情况下朗诵该消息。消息的朗诵可能会使用户不满意。

发明内容

【技术问题】

本公开的一方面在于公开用于在设备中提供数字助理的方法和系统，其可以基于内容的私密性和/或敏感性以及当前环境来生成对来自用户的命令的响应。

本公开的另一方面在于基于与设备和设备的用户有关的至少一个参数来确定当前环境。

本公开的另一方面在于确定所提取的内容的私密程度或敏感程度。

本公开的另一方面在于使用户能够与设备进行对话，其中对话包括从用户接收输入，其中所接收的输入可以帮助生成和揭露适当的响应。

【问题的解决方案】

根据本公开的一方面，一种用于在设备中提供数字助理的方法可以生成环境感知响应以执行用户命令。该方法还包括提取内容以执行接收到的命令。在事件发生时可以接收该命令。该方法还包括确定内容的私密性和内容的敏感性中的至少一项。该方法还包括基于与该设备和该设备的用户有关的参数来确定环境。该方法还包括基于内容的私密性、内容的敏感性和环境来生成响应。该方法还包括基于内容的私密性、内容的敏感性和环境来揭露所生成的响应。

当结合以下描述和附图来考虑时，将更好地了解和理解本公开的这些和其它方面。然而，应当理解，以下描述虽然指示实施例及其许多具体细节，但是它们是通过示例而非限制的方式给出的。在不脱离本公开的精神的情况下，可以在本文的实施例的范围内做出许多改变和修改，并且本文中的实施例包括所有这类修改。

附图说明

在附图中示出了本公开，在所有附图中，相同的附图标记指示各个图中的对应部分。通过以下参考附图的描述，将会更好地理解本文的实施例，其中：

图1a和1b描绘了示例场景，其中由于朗诵来自语音助理系统的响应，用户可能具有不期望的体验；

图2描绘了根据本公开实施例的包括数字助理的设备的各个单元，该数字助理可以基于环境来生成自然语言响应。

图3是描绘了根据本公开的实施例的由数字助理生成对来自用户的命令的环境感知响应的方法的流程图；

图4描绘了根据本公开的实施例的与用户和设备有关的示例参数，基于该示例参数可以确定环境；以及

图5a和图5b描绘了根据本公开的实施例的示例场景，其中生成并揭露环境感知响应以便执行语音命令。

具体实施方式

将参考附图中示出并在以下描述中详细描述的非限制性实施例来更充分地解释本文的实施例及其各种特征和有利细节。省略了众所周知的组件和处理技术的描述，以免不必要地模糊本文的实施例。本文中使用的示例仅旨在促进对可以实践本文中的实施例的方式的理解，并且进一步使本领域技术人员能够实践本文中的实施例。因此，示例不应被解释为限制本文的实施例的范围。

本文的实施例公开了用于在设备中提供数字助理的方法和系统，其可以基于内容的私密性和/或敏感性以及环境来生成对来自用户的命令的智能响应。内容可以是SMS、即时消息、电子邮件、媒体文件等。实施例包括从设备的用户接收命令以执行至少一项任务。可以在事件发生(诸如接听电话、消息、通知等)时接收该命令。命令的执行可能需要获取或提取内容。实施例包括确定内容的私密程度和/或敏感程度。实施例包括基于环境噪声、设备的位置、其他人的存在、用户的情绪状态、应用参数、用户活动等来确定用户的环境。实施例包括基于所确定的环境和所提取内容的信息私密程度和/或敏感程度来生成响应并揭露该响应。实施例包括基于所提取的内容的私密性和/或敏感性以及环境来生成适当的响应，从而促进与用户进行交互。

现在参考附图，并且更具体地参考图2至图5b，其中在所有附图中相似的附图标记始终表示对应的特征，并且示出了优选的实施例。

图2描绘了根据本文所公开的实施例的设备200的各个单元，该设备包括可以基于环境生成自然语言响应的至少一个处理器。设备200可以是智能电话、膝上型计算机、可穿戴设备、物联网(IoT)设备等。设备200可以包括数字助理201、环境估计单元205、私密估计单元206、信息提取单元207和存储单元208。数字助理201可以包括命令接收单元202、自然语言生成单元203和对话管理单元204。

在实施例中，数字助理201可以包括环境估计单元205、私密估计单元206和信息提取单元207。

数字助理201可以通过命令接收单元202从用户接收命令以执行任务。在本文的实施例中，可以在事件发生时从用户接收命令。在本文的实施例中，可以接收命令以指示数字助理201以执行任务。可以通过文本或语音从用户接收命令，或者可以通过蓝牙或互联网等从其它设备接收命令。

在示例中，考虑数字助理201接收语音命令以执行任务。一旦接收到语音命令，信息提取单元207就可以提取或获取执行命令可能需要的必要信息内容。可以从存储单元208、互联网、服务器、云等中获取内容。一旦提取了内容，私密估计单元206就可以估计内容的私密性和/或敏感性。可以从外部设备接收存储在存储单元208中的内容。

环境估计单元205可以基于所估计的环境是什么来确定与用户和设备200有关的参数。参数包括但不限于设备200附近的噪声、设备200的位置、用户/设备200附近其他人的存在、用户的情绪状态、检测到的用户单调性、用户活动和安装在设备200中的应用。

自然语言生成单元203可以基于所提取的信息内容的确定的私密性和/或敏感性和环境来生成响应。自然语言生成单元203可以是自然语言处理单元的一部分。此后，可以将所生成的响应揭露给用户。可以显示和/或揭露所生成的响应。对话管理单元204使用户能够与数字助理交互或进行对话，使得由自然语言生成单元203基于所提取的信息内容的确定的私密性和/或敏感性以及环境，生成并揭露适当的响应。

图2示出了设备200的示例性单元，但是应当理解，其它实施例不限于此。在其它实施例中，设备200可以包括更少或更多数量的单元。此外，单元的标签或名称仅用于说明目的，并不限制本公开的范围。一个或多个单元可以组合在一起以在设备200中执行相同或基本相似的功能。

图3是根据本文公开的实施例的流程图300，其描绘了由数字助理201生成对来自用户命令的环境感知响应的方法。在步骤301处，该方法包括从用户接收执行至少一项任务的命令。可以在事件发生时接收该命令。在示例中，考虑数字助理201从用户接收语音命令以朗读最近接收到的消息的情况。

在步骤302处，该方法包括确定为了执行至少一项任务而获取的内容的私密性和/或敏感性。考虑该示例，该方法包括获取从消息收发应用接收到的消息。一旦获取了消息，该方法包括检查消息的内容，以便确定消息的私密性和/或敏感性。

可以基于对内容的理解、内容的发送者、包括内容的信息的类型等来确定内容的私密性和/或敏感性。在示例中，如果内容是消息，则对内容的理解可以包括理解在编辑消息内容时涉及的情感。实施例包括理解消息内容是否包括财务信息等。在示例中，内容的类型可以是音频、视频等。

在步骤303处，该方法包括基于与用户或设备200有关的至少一个参数来确定环境。考虑该示例，该方法包括确定诸如设备200附近的噪声、设备200的位置、用户/设备200附近其他人的存在、用户的情绪状态、检测到的用户单调性、用户活动以及设备200中安装的应用等参数。可以通过人工智能系统或基于规则的系统来确定参数。

在步骤304处，该方法包括生成执行至少一项任务或执行命令的响应，然后揭露该响应。考虑该示例，接收到的消息可以包括将被保密的私人和/或敏感信息。此外，考虑用户当前位于公共场所。如果在不考虑消息内容的私密性和/或敏感性以及环境的情况下生成和朗诵响应消息，则用户体验可能不太满意。另一方面，如果考虑消息内容的私密性、敏感性以及环境，则可以生成响应消息，该响应消息可以发出提醒或警告用户，表明消息内容的私密和敏感性质。

该方法还包括使用户能够与数字助理201交互或进行对话，以便生成适当的响应。考虑该示例，最初，响应消息可以通知用户接收到的消息的内容是敏感的。该对话可以向用户提供选项，通过该选项用户可以选择他/她是否仍然希望在公共场所中朗诵接收到的消息。

方法300中的各种动作可以以所呈现的顺序、以不同的顺序或同时执行。此外，在各种实施例中，可以省略图3中列出的一些动作。

图4描绘了根据本文公开的实施例的与用户和设备200有关的示例参数，基于该参数可以确定环境。环境的确定可以实现感知周围环境的自然语言生成。考虑到内容的敏感性和私密性，环境感知的自然语言生成导致揭露对为了执行任务而获取内容的命令的适当响应。如图4中所描绘，参数可以是环境噪声、位置、人的存在、用户的情绪状态、用户的单调性、应用和用户活动。实施例包括基于这些参数中的至少一个来确定环境。应当理解，还可以存在用来确定环境的其他参数。

环境噪声参数可以指用户所处的环境。例如，在诸如购物中心、火车站、道路、聚会点等的室外环境中，环境噪声可能很高。另一方面，在诸如家庭或私人舱室之类的室内环境中，环境噪声可能较低。类似地，室外环境中其他人存在的可能性很高，而室内环境中的其他人存在的可能性很低。

位置参数可以指定用户的位置，并同时指定设备200的位置。它还可以指示设备200是固定的还是处于移动状态(用户在车上)。用户的情绪状态是指用户的心理状况。基于该参数，实施例可以确定是否可以向用户显示响应。

用户的单调性可以指示所揭露的响应的用户体验是否乏味、无趣、缺乏多样性和趣味性等等。当揭露响应时，实施例可以基于用户的情绪状态或用户表情来确定用户的单调性。

实施例可以根据存储在应用中的信息来确定用户的环境。在示例中，实施例可以从日历应用确定用户是否正在开会、参加活动、在旅馆等。

实施例可以确定用户当前正在参加的活动。在示例中，实施例可以确定用户是否正在骑自行车、慢跑、休息等。还可以基于当前活动确定情绪状态。

图5a和图5b描绘了根据本文所公开的实施例的示例场景，其中生成并揭露了环境感知响应以便执行语音命令。如图5a中所描绘，考虑用户‘Kim’在公共场所中的情况。该用户拥有能够接收消息并且配备有数字助理201的设备200。考虑用户接收到包括财务相关信息的敏感消息的情况。不知道消息内容的用户可以指示数字助理201朗读消息。

可以提取和检查消息中的信息，以确定消息的私密性和/或敏感性。可以确定与用户和设备200有关的参数以估计环境。基于所确定的消息的私密性和/或敏感性以及环境，可以生成响应和/或可以发起与用户的对话。所生成的响应可以警告用户所接收的消息包括财务内容，考虑到是公共场所的环境，该财务内容可能是敏感的。该对话可以涉及生成响应，这将要求用户通过确认是否要揭露消息来做出响应。此后，可以揭露生成的消息。当揭露来自数字助理201的消息时，向用户警告其内容。使用户能够与数字助理201进行对话，以询问用户是否仍希望朗读消息(是、否)。基于用户的响应，数字助理201可以朗诵该消息或避免朗诵该消息。因此可以改善用户体验。

如图5b中所示，考虑用户‘Song’正在执行涉及体育锻炼的活动的情况。该用户拥有能够接收消息并且配备有数字助理201的设备200。考虑所接收的消息需要认真思量的情况。不知道消息内容的用户可以指示数字助理201朗读消息。

可以提取和检查消息中的信息，以确定消息的私密性和/或敏感性。可以确定与用户和设备200有关的参数以估计环境。基于所确定的消息的私密性和/或敏感性以及环境，可以生成响应。考虑到用户正在执行锻炼运动的环境，所生成的响应可以警告用户所接收的消息包括敏感内容。此后，可以揭露生成的消息。当揭露来自数字助理201的消息时，向用户警告其内容。所生成的消息可以通过显示和/或朗诵来揭露。使用户能够与数字助理201进行对话，以了解他/她是否仍希望朗读消息(是、否)。基于用户的响应，数字助理201可以朗诵该消息或避免朗诵该消息。因此可以改善用户体验。

可以通过在至少一个硬件设备上运行并执行网络管理功能以控制网络元件的至少一个软件程序来实现本文公开的实施例。图2中所示的网络元件包括可以是硬件设备、或者硬件设备和软件模块的组合中的至少一个的块。

本文公开的实施例描述了用于提供数字助理的方法和系统，该数字助理能够在从用户接收到语音命令时提供环境感知响应。因此，应理解保护范围扩展到这样的程序，并且除了其中具有消息的计算机可读装置之外，当在服务器或移动设备或任何合适的可编程设备上运行程序时，这种计算机可读存储装置还包含用于实现该方法的一个或多个步骤的程序代码装置。在优选实施例中，该方法通过例如以超高速集成电路硬件描述语言(VHDL)的另一种编程语言写入的软件程序实现或与其一起实现，或由在至少一个硬件设备上执行的一个或多个VHDL或几个软件模块实现。硬件设备可以是可以编程的任何类型的便携式设备。该设备还可以包括可以是例如硬件装置(例如，如ASIC)、或硬件和软件装置(例如，ASIC和FPGA)的组合的装置，或者包括装有软件模块的至少一个微处理器和至少一个存储器。本文描述的方法实施例可以部分地以硬件并且部分地以软件实现。可替代地，本公开可以例如使用多个CPU和GPU在不同的硬件设备上实现。

对特定实施例的前述描述将如此充分地揭示本文中的实施例的一般性质，以至于在不脱离总体概念的情况下，其他人可以通过应用当前的知识而容易地修改和/或适应于这样的特定实施例的各种应用；因此，这样的调适和修改应当并且旨在被理解为在所公开的实施例的等效物的含义和范围内。应当理解，本文采用的措词或术语是出于描述的目的而非限制。因此，尽管已经根据优选实施例描述了本文的实施例，但是本领域技术人员将认识到，可以在如本文描述的实施例的精神和范围内进行修改来实践本文的实施例。

Claims (15)

1.一种用于由设备提供环境感知响应的方法，所述方法包括：

接收用户命令；

识别与对应于所述用户命令的至少一个任务有关的内容；

确定所述内容的发送者、所述内容的私密性或所述内容的敏感性中的至少一项；

基于与所述设备和所述设备的用户有关的至少一个参数来确定环境；以及

基于所述内容的发送者、所述内容的私密性、所述内容的敏感性或所述环境中的至少一项来生成响应消息。

2.根据权利要求1所述的方法，还包括输出所生成的响应消息。

3.根据权利要求2所述的方法，其中所生成的响应消息包括所述内容、调整所述内容的句子或不同于所述内容的句子中的至少一项。

4.根据权利要求2所述的方法，还包括：基于所述内容的发送者、所述内容的私密性、所述内容的敏感性或所述环境中的至少一项来生成用于执行动作的对话消息。

5.根据权利要求4所述的方法，还包括：接收响应于所述对话消息的输入，并且其中所述动作包括：揭露所述内容，或者避免揭露所述内容。

6.根据权利要求1所述的方法，其中基于所述内容中的监视人物、个人联系人和证书中的至少一项来确定所述内容的私密性或敏感性。

7.根据权利要求1所述的方法，其中在事件发生时接收所述用户命令，其中以文本格式或语音格式中的一个从所述设备的至少一个用户以及另一设备接收所述用户命令。

8.根据权利要求1所述的方法，其中所述至少一个参数包括以下至少一项：所述设备附近的噪声、所述设备的位置、所述设备附近的人的存在、所述设备的用户的情绪状态、所述设备的用户的活动或所述设备中安装的应用。

9.一种用于提供环境感知响应的设备，所述设备被配置为：

配置为接收用户命令的数字助理；以及

至少一个处理器，其可操作地连接到所述数字助理，其中所述至少一个处理器被配置为：

识别与对应于所述用户命令的至少一个任务有关的内容；

确定所述内容的发送者、所述内容的私密性或所述内容的敏感性中的至少一项；

基于与所述设备和所述设备的用户有关的至少一个参数来确定环境；以及

基于所述内容的发送者、所述内容的私密性、所述内容的敏感性或所述环境中的至少一项来生成响应消息。

10.根据权利要求9所述的设备，其中所述至少一个处理器还被配置为控制所述数字助理以输出所生成的响应消息。

11.根据权利要求10所述的设备，其中所生成的响应消息包括所述内容、调整所述内容的句子或不同于所述内容的句子中的至少一项。

12.根据权利要求10所述的设备，其中所述至少一个处理器还被配置为基于所述内容的发送者、所述内容的私密性、所述内容的敏感性或所述环境中的至少一项来生成用于执行动作的对话消息。

13.根据权利要求12所述的设备，其中所述至少一个处理器还被配置为控制所述数字助理以接收响应于所述对话消息的输入，并且其中所述动作包括：揭露所述内容，或者避免揭露所述内容。

14.根据权利要求9所述的设备，其中基于所述内容中的监控人物、个人联系人和证书中的至少一项来确定所述内容的私密性或敏感性。

15.根据权利要求9所述的设备，其中在事件发生时接收所述用户命令，其中以文本格式或语音格式中的一个从所述设备的至少一个用户以及另一设备接收所述用户命令。

Images