CN112165552A - 控制语音助手的方法以及使用该方法的电子装置 - Google Patents

Abstract

提供一种控制语音助手的方法以及使用该方法的电子装置，所述方法包括：获取语音助手针对用户的语音输入的输出数据；根据用户相关信息，针对输出数据的内容确定语音助手向用户提供所述输出数据的输出方式；控制语音助手使用确定的输出方式向用户提供所述输出数据。根据本公开的语音助手的控制方法能够根据多种因素来综合确定语音助手的输出内容和输出方式，提供适合于用户的输出方式和输出内容，从而提高了用户体验。

Description

控制语音助手的方法以及使用该方法的电子装置

技术领域

本发明总体来说涉及智能设备领域，更具体地讲，涉及一种在智能设备中用于控制语音助手的方法以及使用该方法的电子装置。

背景技术

以智能手机为代表的智能设备的应用在生活中已经无处不在。在智能设备中，基于人工智能(AI)技术的语音助手(例如，Apple的Siri、三星的Bixy、具有语音助手功能的智能设备(例如，智能音箱)等)的性能也在不断进化。语音助手通过与用户的语音交互来控制智能设备以各种方式为用户提出的问题提供解决方案。例如，当用户通过语音向语音助手询问某个问题时，语音助手可直接使用扬声器将问题的答案以声音的形式告知用户。这样存在的问题是，语音助手选择的输出内容和输出方式可能并非客户在当前场景下需要的。

例如，图1示出了现有技术中的语音助手对语音输入的处理方式。用户在ATM旁边对语音助手说出“请帮我查找在备忘录里面的工行密码”，语音助手通过语音识别和语义处理提取出用户的语音命令，并根据该命令查找工行密码并通过扬声器进行语音输出。这样的方式容易造成隐私的泄露。又例如，当用户当前在商场或者某个比较热闹的场合向语音助手询问“请问XXX是什么品牌”，如果此时语音助手直接用扬声器输出“XXX是YYY品牌”，则因为外界噪声比较大，用户可能无法听清楚输出的声音。又例如，当用户在起床之后用语音输入“请播放音乐”，用户期望播放比较舒缓的适合早晨的音乐而语音助手播放了用户晚上比较喜欢听的音乐类型。

发明内容

本发明的示例性实施例的一方面在于提供一种用于控制语音助手的方法以及电子装置，能够根据多种因素来综合确定语音助手的输出内容和输出方式，提供适合于用户的输出方式和输出内容，从而提高了用户体验。

根据本公开的一方面，提供了一种用于控制语音助手的电子装置，包括：数据获取模块，被配置为获取语音助手针对用户的语音输入的输出数据；输出确定模块，被配置为根据用户相关信息，针对输出数据的内容来确定语音助手向用户提供输出数据的输出方式；控制模块，被配置为控制语音助手使用确定的输出方式向用户提供输出数据。

根据本公开的一方面，输出确定模块被配置为根据用户相关信息确定是否需要在安全模式下输出所述输出数据，响应于输出确定模块确定需要在安全模式下输出所述输出数据，控制模块控制语音助手在安全模式下输出所述输出数据，和/或，输出确定模块还被配置为根据用户相关信息调整输出数据的内容并确定调整后的输出数据的输出方式，和/或，用户相关信息包括用户当前场景信息、用户历史操作信息和用户安全设置信息中的至少一个。

根据本公开的一方面，所述输出确定模块包括以下模块中的至少一个：场景分析模块，被配置为根据电子装置的环境信息和电子装置的操作状态信息中的至少一个来确定用户当前场景信息；历史操作分析模块，被配置为确定电子装置记录的与所述输出数据相关的用户历史操作信息，安全设置分析模块，被配置为分析用户针对语音助手输出方式设置的用户安全设置信息，和/或，其中，输出确定模块还被配置为：根据确定的用户当前场景信息、用户历史操作信息和用户安全设置信息中的至少一个来确定是否需要在安全模式下输出所述输出数据；其中，响应于输出确定模块确定所述输出数据需要在安全模式下输出，控制模块控制电子装置在安全模式下向用户提供所述输出数据；响应于输出确定模块所述输出数据不需要在安全模式下输出，控制模块控制电子装置在普通模式下向用户提供所述输出数据。

根据本公开的一方面，用户安全设置信息包括用户敏感词汇，和/或，用户安全设置信息优先于用户当前场景信息和用户历史操作信息被用于确定输出方式，和/或，其中，控制模块还被配置为获取用户对于输出方式是否符合用户意愿的反馈并将反馈记录为与输出数据相关的历史操作信息。

根据本公开的一方面，用户敏感词汇是用户设置的或者根据人工智能模型或大数据处理实时更新的，和/或安全模式包括以下中的至少一个输出方式：通过与电子装置连接的耳机输出所述输出数据、通过电子装置的屏幕和/或与电子装置连接的AR/VR眼镜显示的文字和/或图形来向用户提供所述输出数据，和/或，输出处理模块还被配置为当确定需要在安全模式下输出所述输出数据时，根据用户预先设置的交互方式来确定输出方式。

根据本公开的一方面，输出处理模块还被配置为：当确定需要在安全模式下输出所述输出数据并且用户没有预先设置安全模式中的交互方式时，控制语音助手不向用户提供所述输出数据，告知用户不提供输出并提醒用户设置安全模式中的交互方式。

根据本公开的另一方面，提供了一种用于电子装置中的语音助手的控制方法，包括：(A)获取语音助手针对用户的语音输入的输出数据；(B)根据用户相关信息，针对输出数据的内容确定语音助手向用户提供所述输出数据的输出方式；(C)控制语音助手使用确定的输出方式向用户提供所述输出数据。

根据本公开的另一方面，用户相关信息包括用户当前场景信息、用户历史操作信息和用户安全设置信息中的至少一个，和/或，其中，步骤(B)包括根据相关信息确定是否需要在安全模式下输出所述输出数据，响应于在步骤(B)确定需要在安全模式下输出所述输出数据，在步骤(C)控制语音助手在安全模式下输出所述输出数据，步骤(B)还包括：根据用户相关信息调整输出数据的内容并确定调整后的输出数据的输出方式。

根据本公开的另一方面，步骤(B)包括以下步骤中的至少一个：根据电子装置的环境信息和电子装置的操作状态信息中的至少一个来确定用户当前场景信息；确定电子装置记录的与所述输出数据相关的用户历史操作信息；分析用户针对语音助手输出方式设置的用户安全设置信息。

根据本公开的另一方面，用户安全设置信息包括用户敏感词汇，和/或，步骤(B)还包括：根据确定的用户当前场景信息、用户历史操作信息和用户安全设置信息中的至少一个来确定是否需要在安全模式下输出；其中，响应于在步骤(B)确定所述输出数据需要在安全模式下输出所述输出数据，在步骤(C)在安全模式下向用户提供所述输出数据；响应于在步骤(B)确定所述输出数据不需要在安全模式下输出，在步骤(C)在普通模式下向用户提供所述输出数据，和/或，步骤(C)还包括：获取用户对于输出方式是否符合用户意愿的反馈并将反馈记录为与输出数据相关的历史操作信息。

根据本公开的另一方面，用户敏感词汇是用户设置的或者根据人工智能模型或大数据处理更新的，和/或，安全的输出方式包括以下的至少一种方式：通过与电子装置连接的耳机输出所述输出数据、通过电子装置的屏幕和/或与电子装置连接的AR/VR眼镜显示的文字和/或图形来向用户提供所述输出数据，和/或，步骤(B)还包括：当确定需要在安全模式下输出所述输出数据时，根据用户预先设置的交互方式来确定输出方式。

根据本公开的另一方面，步骤(B)还包括：当确定需要在安全模式下输出所述输出数据并且用户没有预先设置安全模式中的交互方式时，控制语音助手不向用户提供所述输出数据，告知用户不提供输出并提醒用户设置安全模式中的交互方式。

根据本公开的另一方面，提供了一种计算机可读存储介质，其中，其上存储有计算机程序，所述程序被执行时实现如上所述的任意一种方法。

根据本公开的另一方面，提供了一种语音助手装置，所述装置包括：处理器；存储器，存储有计算机程序，当所述计算机程序被处理器执行时，实现如上任意一项所述的方法。

将在接下来的描述中部分阐述本发明总体构思另外的方面和/或优点，还有一部分通过描述将是清楚的，或者可以经过本发明总体构思的实施而得知。

附图说明

通过下面结合示例性地示出实施例的附图进行的详细描述，本发明的示例性实施例的上述和其它目的将会变得更加清楚，其中：

图1示出了现有技术中的语音助手的语音处理和输出过程的示意图；

图2示出了根据本公开的实施例的控制语音助手的方法的流程图；

图3示出了根据本公开的实施例的使用控制语音助手的方法的电子装置的框图；

图4示出了根据各种实施例的网络环境400中的电子装置401的结构图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

图2示出了根据本公开的实施例的控制语音助手的方法的流程图。应理解，所述控制语音助手的方法可以作为语音助手的一部分在任何安装有语音助手程序或具有语音助手的功能中的电子装置中执行，或者可以在与用户使用的电子装置分离的远程布置的装置(例如，服务器)中执行。下面以安装有语音助手的电子装置(例如，智能手机)作为示例来进行说明，但本领域的技术人员应理解可以以上述的不同的远程方式来实施本公开的实施例。

根据本公开的实施例的语音助手可包括以AI模型实现的模块来实现本公开的实施例的操作、功能中的至少一部分和/或根据本公开的实施例的装置的模块的至少一部分。与AI相关联的功能可以通过非易失性存储器、易失性存储器和处理器来执行。处理器可以包括一个或多个处理器。此时，一个或多个处理器可以是通用处理器，例如中央处理器(CPU)、应用处理器(AP)等，仅用于图形的处理器(例如图形处理器(GPU)、视觉处理器(VPU)和/或AI专用处理器(例如神经处理单元(NPU))。一个或多个处理器根据存储在非易失性存储器和易失性存储器中的预定义操作规则或人工智能(AI)模型来控制输入数据的处理。预定义的操作规则或人工智能模型可通过训练或学习提供。这里，通过学习提供意味着，通过将学习算法应用于多个学习数据，形成具有期望特性的预定义操作规则或AI模型。学习可以在根据实施例的执行AI的设备本身中执行，和/或可以通过单独的服务器/设备/系统来实现。作为示例，人工智能模型可以由多个神经网络层组成。每一层具有多个权重值，并且通过前一层的计算和多个权重值的操作来执行层操作。神经网络的例子包括但不限于卷积神经网络(CNN)、深度神经网络(DNN)、递归神经网络(RNN)、受限玻尔兹曼机(RBM)、深度置信网络(DBN)、双向递归深度神经网络(BRDNN)、生成式对抗网络(GAN)和深度Q网络。学习算法是使用多个学习数据来训练预定目标设备(例如，机器人)以使得、允许或控制目标设备做出确定或预测的方法。学习算法的例子包括但不限于有监督学习、无监督学习、半监督学习或强化学习。

首先，在步骤S201，获取语音助手针对用户的语音输入的输出数据。这里，语音助手可以是任何具有语音识别、语义处理并提供对用户的语音输入的回复的应用、程序或装置，包括但不限于Samsung的Bixy、Apple的Siri、Microsoft的Cortana、Google的GoogleAssistant、HUAWEI的小E、Xiaomi的小爱、各种具有语音助手功能的智能电器等等。例如，在语音助手应用内实现根据本公开的实施例的方法的情况下，可将本公开的实施例的方法实现为语音助手应用的一个功能模块，从而可在应用内部通过调用来获取语音助手针对用户的语音输入的输出数据。也可在独立于语音助手应用或装置的应用或装置中实现根据本公开的实施例的方法，在这种情况下，可通过系统内的调用或装置之间的连接来获取针对用户的语音输入的输出数据。下面以在语音助手应用程序内实现根据本公开的实施例的方法作为示例进行说明。但本领域的技术人员应理解，本公开的实施例的应用不限于此。

根据本公开的实施例的控制语音助手的方法在用户启用语音助手并输入语音之后，从语音助手获取针对用户输入的输出数据。例如，在现有技术中，在用户向语音助手输入了“在备忘录中查找工商银行的密码”的语音之后，语音助手通过语音识别、语义处理和提取语音命令等处理最终在电子装置的备忘录中查找到了“工商银行的密码123456”，并准备将该数据作为输出数据通过电子装置的扬声器以声音的输出形式提供给用户。而根据本公开的实施例的方法，可获取语音助手针对用户输入的输出数据以用于后续的分析处理。

接下来，在步骤S203，根据用户相关信息，针对输出数据的内容确定语音助手向用户提供输出数据的输出方式。然后，在步骤S205，控制语音助手使用确定的输出方式向用户提供所述输出数据。这里，输出的方式包括电子装置的各种输出方式，包括但不限于扬声器的语音输出、屏幕的文字图形输出、与电子装置连接的各种外部设备的输出等。用户相关信息可包括与用户有关的任何可用于确定输出方式的信息。下面将针对用户相关信息进行更为详细的说明。

根据本公开的实施例，用户相关信息可包括用户当前场景信息、用户历史操作信息和用户安全设置信息中的至少一个，并且根据本公开的实施例的方法可根据用户当前场景信息、用户历史操作信息和用户安全设置信息中的至少一个，结合输出数据的内容来确定输出方式。下面将分别进行说明。

根据本公开的实施例，在步骤S203，可根据电子装置的环境信息和电子装置的操作状态信息中的至少一个来确定用户当前场景信息。用户当前场景信息可指示用户当前所处在的场景下的相关信息。例如，用户当前场景信息可包括环境信息，环境信息可以是由电子装置的各种传感器检测到的电子装置当前所处的环境的相关信息，可包括但不限于通过定位传感器检测到的用户的定位信息、通过亮度传感器检测到的环境的亮度强度信息、通过麦克风检测到的噪声强度信息、通过温度传感器检测到的温度信息、通过湿度传感器检测到的湿度信息、通过握持传感器检测到的电子装置的握持状态信息等。环境信息例如还可包括通过与电子装置连接的外部设备(例如，服务器)等接收到的各种环境信息，例如，天气信息、交通信息、地图服务信息等。用户当前场景信息还可包括关于电子装置的操作状态的信息，诸如电子装置与耳机是否连接、电子装置的时间、电子装置的运行模式(诸如夜间模式、低功率模式、充电模式等)等。应理解，以上记载的关于用户当前场景信息的示例仅是示意性的而不是为了限制的目的。本领域的技术人员可根据实际需要引入更多类型的用户当前场景信息。

根据本公开的实施例，可根据用户当前场景信息和输出数据的内容来确定输出方式。例如，可根据由GPS定位传感器获取的定位信息来确定输出方式：当用户向语音助手查找银行密码时，如果根据定位信息确定用户在公共场所，则可将输出方式确定为通过连接的耳机以声音来提供查找到的银行密码或者在电子装置的屏幕上显示查找到的银行密码。这里，还可根据电子装置的操作状态来确定输出方式。例如，如果在确定通过连接的耳机提供输出数据之后根据电子装置的操作状态信息确定当前耳机没有连接，则可通过屏幕显示的方式来显示查找到的银行密码。应理解，以上只是根据用户当前场景确定输出方式的示例，本领域的技术人员可根据其他的传感器信息和操作状态信息来确定输出方式。

根据本公开的实施例，在步骤S203可确定电子装置记录的与输出数据相关的用户历史操作信息。语音助手可对用户针对每次输出结果的操作进行记录，根据用户操作的历史来确定关于当前的输出数据的操作习惯，并按照确定的用户操作习惯来确定输出方式。语音助手还可通过对电子装置记录的用户行为数据进行分析以获得用户历史操作信息。例如，语音助手可从各种应用程序获得用户的操作数据作为用户历史操作数据。例如，如果用户向语音助手输入“请帮我查找我朋友赵XX的身份证号码”的语音，则语音助手可查询得知在关于“身份证号码”多次的输出中，用户都是选择了语音播放输出，因此确定在本次输出将按照以往用户的惯例直接语音播放。

根据本公开的实施例，在步骤S203可分析用户针对语音助手输出方式设置的用户安全设置信息。这里，用户安全设置信息可以是任何涉及到用户隐私的信息或者不适合于在公共场合播放的信息。用户敏感信息例如可包括用户敏感词汇。用户敏感词汇可由用户预先设置或者根据人工智能模型或大数据处理更新。

例如，如果用户预先将“张三”的人名设置为用户敏感词汇，则当用户向语音助手输入的语音中包括“张三”时，可控制语音助手按照特定的方式(例如，通过屏幕的文字显示)进行输出。例如，当根据本公开的实施例，用户还可预先设置与用户安全设置信息对应的输出方式，从而每当从输出数据的内容检测到用户安全设置信息时可按照用户预先设置的输出方式来进行输出。例如，假设用户将“张三”设置为敏感词汇并且将与其对应的输出方式设置为屏幕文字输出。在用户发现有一个未接电话并且向语音助手输入了“请帮告诉刚刚未接电话的人的信息”的情况下，语音助手检测到未接电话的电话号码对应的联系人为张三，即，检测出输出数据包括敏感词汇，此时，语音助手可按照预设的屏幕输出方式来输出“未接电话来自张三”。

根据本公开的实施例，在步骤S203，可根据相关信息确定是否需要在安全模式下输出所述输出数据，并且响应于确定需要在安全模式下输出所述输出数据，在步骤S205控制语音助手在安全模式下输出所述输出数据，响应于在步骤S203确定所述输出数据不需要在安全模式下输出时，在步骤S205在普通模式下向用户提供所述输出数据。这里，安全模式可以指的是对于用户以外的人不易察觉的输出方式。根据本公开的实施例，安全模式可包括以下方式中的至少一个：通过与电子装置连接的耳机输出所述输出数据、通过电子装置的屏幕显示的文字和/或图形提供所述输出数据、通过与电子装置连接的AR/VR眼镜显示的文字和/或图形来向用户提供所述输出数据。应理解，根据本公开的实施例的构思的安全模式下的输出方式不限于上述的示例，任何能够保证用户的隐私的输出方式均可以用于根据本公开的实施例的安全模式。普通模式可以指的是语音助手在一般情况下使用的输出方式，例如，通过电子装置的扬声器的声音输出、通过与电子装置连接的音响设备、外接屏幕等输出。

根据本公开的实施例，在步骤S203可根据当前场景信息、用户历史操作信息和用户安全设置信息中的至少一个来确定是否需要在安全模式下输出所述数据。

另外，根据本公开的实施例，在步骤S203可按照预定的优先级来根据用户当前场景信息、用户历史操作信息和用户安全设置信息确定输出方式。用户安全设置信息可优先于用户当前场景信息和用户历史操作信息被用于确定输出方式。例如，如果用户将“张三”的名字设置新设置为敏感词汇，则当输出数据的内容中为“张三的身份证号为XXX”时，则即使用户当前是处于私密场所，并且用户在前几次针对包括“身份证号”的输出方式的选择均选择了电子装置的扬声器直接输出，根据本公开的实施例的方法也根据用户安全设置信息来确定输出方式，即，进入安全模式输出。

通过以上的方式来确定语音助手的输出方式，可综合考虑用户当前所在的情景、用户的操作习惯、用户的自定义设置来确定输出方式，从而可以提供安全的输出方式来防止用户的隐私泄露或者满足用户特定的输出需求，提高了用户体验。

根据本公开的实施例，当确定需要在安全模式下输出所述输出数据时，可根据用户预先设置的交互方式来确定输出方式。在确定需要在安全模式下输出时，可控制语音助手向客户发出提示来与用户进行交互，并根据交互的结果将用户选择的输出方式确定为针对输出数据的输出方式。

这里，可采用预设的对于用户以外的人不易察觉的安全方式进行交互。例如，在确定需要在安全模式下输出时，语音助手可通过扬声器发出特定的词、句子，或者通过电子装置的铃声、振动等来提示用户选择输出方式。用户可在接收到相应的提示之后，通过预先设置的交互方式告知语音助手想要的输出方式。这里，所述预设的交互方式可以是特定的语音指令，并且可预先设置与所述特定的语音指令对应的输出方式。例如，如果用户向语音助手说出“OK”，则语音助手可确定用户选择了通过扬声器以普通的方式提供输出数据，如果用户向语音助手说出“NO”，则语音助手可确定用户不想要提供输出数据并确定不输出，如果用户向语音助手说出“MISS”，则语音助手可确定用户想要通过屏幕显示来输出。应理解，以上的交互方式仅是示例，本领域的技术人员可通过其他交互方式来确定输出方式。应理解，以上的特定的语音指令及其对应的输出方式也仅是示例，本领域的技术人员可采用其他形式的语音指令和对应的输出方式来确定输出方式。通过以上的交互方式，可在需要私密输出的安全模式下为用户提供选择输出的选项，从而可提供更好的用户体验。

根据本公开的另一实施例，步骤S203还可包括根据用户相关信息来调整输出数据的内容并确定调整后的输出数据的输出方式。可根据用户当前场景信息、用户操作历史信息和用户安全设置信息中的至少一个来确定是否需要调整输出数据的内容。例如，当用户向语音助手询问“请帮我定个外卖”，语音助手的输出数据可以是包括多个外卖餐厅的列表。此时，假设根据用户当前场景信息确定用户在公司上班，并且根据用户历史操作信息确定用户最经常购买的若干家外卖餐厅和最喜欢吃的餐厅，因此可根据以上的用户当前场景信息和用户操作历史信息将经常购买的外卖餐厅和最喜欢吃的餐厅按照顺序排列在列表的前列。通过对输出数据的内容进行二次调整，可以根据用户的习惯、喜好、设置等结合当前的场景来得到更符合用户期望的输出内容，从而为用户提供更好的体验。

根据本公开的实施例，步骤S205还可包括控制语音助手向用户询问对于输出数据的内容和/或输出方式的反馈，并将用户的反馈记录为用户历史操作信息。例如，可在语音助手输出之后控制在语音助手的界面中显示包括“是否满意本次操作？”的界面，并将用户的选择记录为用户历史操作信息。这样，如果在之后用户使用语音助手时出现了相同或类似的输出数据，则可将本次的反馈作为参考来进行判断。

下面将参照图3来说明根据本公开的实施例的电子装置300。

如图3所示，根据本公开的实施例的电子装置300可包括数据获取模块301、输出确定模块302和控制模块303。应理解，可在具有能够实现语音助手的功能的硬件和软件的各种电子装置(诸如智能手机、PC、平板电脑)中实现根据本公开的实施例的电子装置。

数据获取模块301被配置为获取语音助手针对用户的语音输入的输出数据。输出确定模块302被配置为根据用户相关信息，针对输出数据的内容来确定语音助手向用户提供输出数据的输出方式。控制模块303被配置为控制语音助手使用确定的输出方式向用户提供输出数据。

根据本公开的实施例，输出确定模块302被配置为根据用户相关信息确定是否需要在安全模式下输出所述输出数据，响应于输出确定模块确定需要在安全模式下输出所述输出数据，控制模块303控制语音助手在安全模式下输出所述输出数据。输出确定模块302还被配置为根据用户相关信息调整输出数据的内容并确定调整后的输出数据的输出方式。根据本公开的实施例，用户相关信息可包括用户当前场景信息、用户历史操作信息和用户安全设置信息中的至少一个。

根据本公开的实施例，输出确定模块302可包括以下模块中的至少一个：场景分析模块，被配置为根据电子装置的环境信息和电子装置的操作状态信息中的至少一个来确定用户当前场景信息；历史操作分析模块，被配置为确定电子装置记录的与所述输出数据相关的用户历史操作信息，安全设置分析模块，被配置为分析用户针对语音助手输出方式设置的用户安全设置信息。

根据本公开的实施例，输出确定模块302还被配置为：根据确定的用户当前场景信息、用户历史操作信息和用户安全设置信息中的至少一个来确定是否需要在安全模式下输出。当输出确定模块302确定所述输出数据需要在安全模式下输出时，控制模块303控制电子装置在安全模式下向用户提供所述输出数据，当输出确定模块302确定所述输出数据不需要在安全模式下输出时，控制模块303控制电子装置在普通模式下向用户提供所述输出数据。安全的输出方式可包括以下中的至少一个方式：通过与电子装置连接的耳机输出所述输出数据、通过电子装置的屏幕和/或与电子装置连接的AR/VR眼镜显示的文字和/或图形来向用户提供所述输出数据。

根据本公开的实施例，用户安全设置信息可包括用户敏感词汇，用户敏感词汇可由用户设置或者根据人工智能模型或大数据处理实时更新的。用户安全设置信息可优先于用户当前场景信息和用户历史操作信息被用于确定输出方式。

根据本公开的实施例，控制模块303还被配置为获取用户对于输出方式是否符合用户意愿的反馈并将反馈记录为与输出数据相关的历史操作信息。

根据本公开的实施例，输出处理模块302还可被配置为当确定需要在安全模式下输出所述输出数据时，根据用户预先设置的交互方式来确定输出方式。

根据本公开的实施例，输出处理模块302还被配置为：当确定需要在安全模式下输出所述输出数据并且用户没有预先设置安全模式中的交互方式时，控制语音助手不向用户提供所述输出数据，告知用户不提供输出并提醒用户设置安全模式中的交互方式。

根据本公开的实施例，还提供了一种计算机可读存储介质，在该计算机可读存储介质上存储有计算机程序，所述计算机程序被执行时可使得执行该计算机程序的设备实现以上参照图1描述的方法。

根据本公开的实施例，还提供了一种语音助手装置，所述装置包括处理器和存储器，其中，存储器中存储有计算机程序，当所述计算机程序被处理器执行时，使得语音助手装置实现以上参照图1描述的方法。

图4是示出根据本公开的实施例的处于网络环境400中的电子装置401的框图。

图4是示出根据各种实施例的网络环境400中的电子装置401的框图。参照图4，网络环境400中的电子装置401可经由第一网络498(例如，短距离无线通信网络)与电子装置402进行通信，或者经由第二网络499(例如，长距离无线通信网络)与电子装置404或服务器408中的至少一个进行通信。根据实施例，电子装置401可经由服务器408与电子装置404进行通信。根据实施例，电子装置401可包括处理器420、存储器430、输入模块450、声音输出模块455、显示模块460、音频模块470、传感器模块476、接口477、连接端478、触觉模块479、相机模块480、电力管理模块488、电池489、通信模块490、用户识别模块(SIM)496或天线模块497。在一些实施例中，可从电子装置401中省略上述部件中的至少一个(例如，连接端478)，或者可将一个或更多个其它部件添加到电子装置401中。在一些实施例中，可将上述部件中的一些部件(例如，传感器模块476、相机模块480或天线模块497)实现为单个集成部件(例如，显示模块460)。

处理器420可运行例如软件(例如，程序440)来控制电子装置401的与处理器420连接的至少一个其它部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据一个实施例，作为所述数据处理或计算的至少部分，处理器420可将从另一部件(例如，传感器模块476或通信模块490)接收到的命令或数据存储到易失性存储器432中，对存储在易失性存储器432中的命令或数据进行处理，并将结果数据存储在非易失性存储器434中。根据实施例，处理器420可包括主处理器421(例如，中央处理器(CPU)或应用处理器(AP))或者与主处理器421在操作上独立的或者相结合的辅助处理器423(例如，图形处理单元(GPU)、神经处理单元(NPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。例如，当电子装置401包括主处理器421和辅助处理器423时，辅助处理器423可被适配为比主处理器421耗电更少，或者被适配为专用于特定的功能。可将辅助处理器423实现为与主处理器421分离，或者实现为主处理器421的部分。

在主处理器421处于未激活(例如，睡眠)状态时，辅助处理器423(而非主处理器421)可控制与电子装置401的部件之中的至少一个部件(例如，显示模块460、传感器模块476或通信模块490)相关的功能或状态中的至少一些，或者在主处理器421处于激活状态(例如，运行应用)时，辅助处理器423可与主处理器421一起来控制与电子装置401的部件之中的至少一个部件(例如，显示模块460、传感器模块476或通信模块490)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器423(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器423相关的另一部件(例如，相机模块480或通信模块490)的部分。根据实施例，辅助处理器423(例如，神经处理单元)可包括专用于人工智能模型处理的硬件结构。可通过机器学习来生成人工智能模型。例如，可通过人工智能被执行之处的电子装置401或经由单独的服务器(例如，服务器408)来执行这样的学习。学习算法可包括但不限于例如监督学习、无监督学习、半监督学习或强化学习。人工智能模型可包括多个人工神经网络层。人工神经网络可以是深度神经网络(DNN)、卷积神经网络(CNN)、循环神经网络(RNN)、受限玻尔兹曼机(RBM)、深度置信网络(DBN)、双向循环深度神经网络(BRDNN)或深度Q网络或其两个或更多个的组合，但不限于此。另外地或可选地，人工智能模型可包括除了硬件结构以外的软件结构。

存储器430可存储由电子装置401的至少一个部件(例如，处理器420或传感器模块476)使用的各种数据。所述各种数据可包括例如软件(例如，程序440)以及针对与其相关的命令的输入数据或输出数据。存储器430可包括易失性存储器432或非易失性存储器434。

可将程序440作为软件存储在存储器430中，并且程序440可包括例如操作系统(OS)442、中间件444或应用446。

输入模块450可从电子装置401的外部(例如，用户)接收将由电子装置401的其它部件(例如，处理器420)使用的命令或数据。输入模块450可包括例如麦克风、鼠标、键盘、键(例如，按钮)或数字笔(例如，手写笔)。

声音输出模块455可将声音信号输出到电子装置401的外部。声音输出模块455可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的。接收器可用于接收呼入呼叫。根据实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。

显示模块460可向电子装置401的外部(例如，用户)视觉地提供信息。显示装置460可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示模块460可包括被适配为检测触摸的触摸传感器或被适配为测量由触摸引起的力的强度的压力传感器。

音频模块470可将声音转换为电信号，反之亦可。根据实施例，音频模块470可经由输入模块450获得声音，或者经由声音输出模块455或与电子装置401直接(例如，有线地)连接或无线连接的外部电子装置(例如，电子装置402)的耳机输出声音。

传感器模块476可检测电子装置401的操作状态(例如，功率或温度)或电子装置401外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块476可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。

接口477可支持将用来使电子装置401与外部电子装置(例如，电子装置402)直接(例如，有线地)或无线连接的一个或更多个特定协议。根据实施例，接口477可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。

连接端478可包括连接器，其中，电子装置401可经由所述连接器与外部电子装置(例如，电子装置402)物理连接。根据实施例，连接端478可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。

触觉模块479可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块479可包括例如电机、压电元件或电刺激器。

相机模块480可捕获静止图像或运动图像。根据实施例，相机模块480可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。

电力管理模块488可管理对电子装置401的供电。根据实施例，可将电力管理模块488实现为例如电力管理集成电路(PMIC)的至少部分。

电池489可对电子装置401的至少一个部件供电。根据实施例，电池489可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。

通信模块490可支持在电子装置401与外部电子装置(例如，电子装置402、电子装置404或服务器408)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块490可包括能够与处理器420(例如，应用处理器(AP))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块490可包括无线通信模块492(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块494(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络498(例如，短距离通信网络，诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络499(例如，长距离通信网络，诸如传统蜂窝网络、5G网络、下一代通信网络、互联网或计算机网络(例如，LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块492可使用存储在用户识别模块496中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络498或第二网络499)中的电子装置401。

无线通信模块492可支持在4G网络之后的5G网络以及下一代通信技术(例如新无线电(NR)接入技术)。NR接入技术可支持增强型移动宽带(eMBB)、大规模机器类型通信(mMTC)或超可靠低延时通信(URLLC)。无线通信模块492可支持高频带(例如，毫米波带)以实现例如高数据传输速率。无线通信模块492可支持用于确保高频带上的性能的各种技术，诸如例如波束成形、大规模多输入多输出(大规模MIMO)、全维MIMO(FD-MIMO)、阵列天线、模拟波束成形或大规模天线。无线通信模块492可支持在电子装置401、外部电子装置(例如，电子装置404)或网络系统(例如，第二网络499)中指定的各种要求。根据实施例，无线通信模块492可支持用于实现eMBB的峰值数据速率(例如，20Gbps或更大)、用于实现mMTC的丢失覆盖(例如，164dB或更小)或者用于实现URLLC的U平面延迟(例如，对于下行链路(DL)和上行链路(UL)中的每一个为0.5ms或更小，或者1ms或更小的往返)。

天线模块497可将信号或电力发送到电子装置401的外部(例如，外部电子装置)或者从电子装置401的外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块497可包括天线，所述天线包括辐射元件，所述辐射元件由形成在基底(例如，印刷电路板(PCB))中或形成在基底上的导电材料或导电图案构成。根据实施例，天线模块497可包括多个天线(例如，阵列天线)。在这种情况下，可由例如通信模块490(例如，无线通信模块492)从所述多个天线中选择适合于在通信网络(诸如第一网络498或第二网络499)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块490和外部电子装置之间发送或接收信号或电力。根据实施例，除了辐射元件之外的另外的组件(例如，射频集成电路(RFIC))可附加地形成为天线模块497的一部分。

根据各种实施例，天线模块497可形成毫米波天线模块。根据实施例，毫米波天线模块可包括印刷电路板、射频集成电路(RFIC)和多个天线(例如，阵列天线)，其中，RFIC设置在印刷电路板的第一表面(例如，底表面)上，或与第一表面相邻并且能够支持指定的高频带(例如，毫米波带)，所述多个天线设置在印刷电路板的第二表面(例如，顶部表面或侧表面)上，或与第二表面相邻并且能够发送或接收指定高频带的信号。

上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如，命令或数据)。

根据实施例，可经由与第二网络499连接的服务器408在电子装置401和外部电子装置404之间发送或接收命令或数据。电子装置402或电子装置404中的每一个可以是与电子装置401相同类型的装置，或者是与电子装置401不同类型的装置。根据实施例，将在电子装置401运行的全部操作或一些操作可在外部电子装置402、外部电子装置404或服务器408中的一个或更多个运行。例如，如果电子装置401应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置401可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置401除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置401。电子装置401可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术、移动边缘计算(MEC)技术或客户机-服务器计算技术。电子装置401可使用例如分布式计算或移动边缘计算来提供超低延迟服务。在另一实施例中，外部电子装置404可包括物联网(IoT)装置。服务器408可以是使用机器学习和/或神经网络的智能服务器。根据实施例，外部电子装置404或服务器408可被包括在第二网络499中。电子装置401可应用于基于5G通信技术或IoT相关技术的智能服务(例如，智能家居、智能城市、智能汽车或医疗保健)。

根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例，电子装置不限于以上所述的那些电子装置。

应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的参考标号可用来指代相似或相关的元件。将理解的是，与术语相应的单数形式的名词可包括一个或更多个事物，除非相关上下文另有明确指示。如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。

如与本公开的各种实施例关联使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并可与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以专用集成电路(ASIC)的形式来实现模块。

可将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器436或外部存储器438)中的可由机器(例如，电子装置401)读取的一个或更多个指令的软件(例如，程序440)。例如，在处理器的控制下，所述机器(例如，电子装置401)的处理器(例如，处理器420)可在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性”仅意味着所述存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。

根据实施例，可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品，或者可经由应用商店(例如，Play Store^TM)在线发布(例如，下载或上传)计算机程序产品，或者可直接在两个用户装置(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品中的至少部分可以是临时产生的，或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。

根据各种实施例，上述部件中的每个部件(例如，模块或程序)可包括单个实体或多个实体，并且多个实体中的一些实体可分离地设置在不同的部件中。根据各种实施例，可省略上述部件中的一个或更多个部件，或者可添加一个或更多个其它部件。可选择地或者另外地，可将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据各种实施例，该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施例，由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略，或者可添加一个或更多个其它操作。

以上已参照图2至图4描述了根据本公开示例性实施例的语音助手的控制方法和装置。然而，应该理解的是：图3中所示的电子装置及其单元可分别被配置为执行特定功能的软件、硬件、固件或上述项的任意组合，图3中所示的电子设备并不限于包括以上示出的组件，而是可根据需要增加或删除一些组件，并且以上组件也可被组合。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (10)

1.一种用于控制语音助手的电子装置，包括：

数据获取模块，被配置为获取语音助手针对用户的语音输入的输出数据；

输出确定模块，被配置为根据用户相关信息，针对输出数据的内容来确定语音助手向用户提供输出数据的输出方式；

控制模块，被配置为控制语音助手使用确定的输出方式向用户提供输出数据。

2.如权利要求1所述的装置，其中，输出确定模块被配置为根据用户相关信息确定是否需要在安全模式下输出所述输出数据，响应于输出确定模块确定需要在安全模式下输出所述输出数据，控制模块控制语音助手在安全模式下输出所述输出数据，

和/或，

输出确定模块还被配置为根据用户相关信息调整输出数据的内容并确定调整后的输出数据的输出方式，

和/或，

用户相关信息包括用户当前场景信息、用户历史操作信息和用户安全设置信息中的至少一个。

3.如权利要求2所述的装置，其中，所述输出确定模块包括以下模块中的至少一个：

场景分析模块，被配置为根据电子装置的环境信息和电子装置的操作状态信息中的至少一个来确定用户当前场景信息；

历史操作分析模块，被配置为确定电子装置记录的与所述输出数据相关的用户历史操作信息，

安全设置分析模块，被配置为分析用户针对语音助手输出方式设置的用户安全设置信息，

和/或，

其中，输出确定模块还被配置为：根据确定的用户当前场景信息、用户历史操作信息和用户安全设置信息中的至少一个来确定是否需要在安全模式下输出所述输出数据；

其中，响应于输出确定模块确定所述输出数据需要在安全模式下输出，控制模块控制电子装置在安全模式下向用户提供所述输出数据；

响应于输出确定模块所述输出数据不需要在安全模式下输出，控制模块控制电子装置在普通模式下向用户提供所述输出数据。

4.如权利要求3中任意一个所述的装置，其中，用户安全设置信息包括用户敏感词汇，

和/或，

用户安全设置信息优先于用户当前场景信息和用户历史操作信息被用于确定输出方式，

和/或，

其中，控制模块还被配置为获取用户对于输出方式是否符合用户意愿的反馈并将反馈记录为与输出数据相关的历史操作信息。

5.如权利要求4所述的装置，其中，用户敏感词汇是用户设置的或者根据人工智能模型或大数据处理实时更新的，

和/或

安全模式包括以下中的至少一个输出方式：通过与电子装置连接的耳机输出所述输出数据、通过电子装置的屏幕和/或与电子装置连接的AR/VR眼镜显示的文字和/或图形来向用户提供所述输出数据，

和/或，

输出处理模块还被配置为当确定需要在安全模式下输出所述输出数据时，根据用户预先设置的交互方式来确定输出方式。

6.如权利要求5所述的装置，其中，输出处理模块还被配置为：

当确定需要在安全模式下输出所述输出数据并且用户没有预先设置安全模式中的交互方式时，控制语音助手不向用户提供所述输出数据，告知用户不提供输出并提醒用户设置安全模式中的交互方式。

7.一种用于电子装置中的语音助手的控制方法，包括：

(A)获取语音助手针对用户的语音输入的输出数据；

(B)根据用户相关信息，针对输出数据的内容确定语音助手向用户提供所述输出数据的输出方式；

(C)控制语音助手使用确定的输出方式向用户提供所述输出数据。

8.如权利要求7所述的方法，其中，用户相关信息包括用户当前场景信息、用户历史操作信息和用户安全设置信息中的至少一个，

和/或，

其中，步骤(B)包括根据相关信息确定是否需要在安全模式下输出所述输出数据，响应于在步骤(B)确定需要在安全模式下输出所述输出数据，在步骤(C)控制语音助手在安全模式下输出所述输出数据，

步骤(B)还包括：根据用户相关信息调整输出数据的内容并确定调整后的输出数据的输出方式。

9.如权利要求8所述的方法，其中，步骤(B)包括以下步骤中的至少一个：

根据电子装置的环境信息和电子装置的操作状态信息中的至少一个来确定用户当前场景信息；

确定电子装置记录的与所述输出数据相关的用户历史操作信息；

分析用户针对语音助手输出方式设置的用户安全设置信息。

10.如权利要求9所述的方法，其中，用户安全设置信息包括用户敏感词汇，

和/或

步骤(B)还包括：

根据确定的用户当前场景信息、用户历史操作信息和用户安全设置信息中的至少一个来确定是否需要在安全模式下输出；

其中，响应于在步骤(B)确定所述输出数据需要在安全模式下输出所述输出数据，在步骤(C)在安全模式下向用户提供所述输出数据；

响应于在步骤(B)确定所述输出数据不需要在安全模式下输出，在步骤(C)在普通模式下向用户提供所述输出数据，

和/或，

步骤(C)还包括：获取用户对于输出方式是否符合用户意愿的反馈并将反馈记录为与输出数据相关的历史操作信息。

Images