CN110910886A - 人机交互方法及装置 - Google Patents

Abstract

提供一种人机交互方法及装置。该人机交互方法包括：接收用户输入的语音信息；接收用户输入的语音信息；监测网络服务状态；基于网络服务状态将语音信息发送到服务器，以通过服务器对存储的语音信息进行分析；基于网络服务状态接收服务器发送的语音信息分析结果；根据接收到的语音信息分析结果，执行对语音信息的处理。

Description

人机交互方法及装置

技术领域

本公开涉及计算机技术领域。更具体地，本公开涉及一种人机交互方法及装置。

背景技术

随着语音识别技术的飞速发展，基于语音识别的各种人机交互应用(例如，语音助手)应运而生。例如，通过向电子设备输入语音来进行语音搜索、通过向电子设备输入语音来进行电子设备的控制、通过向电子设备输入语音来进行问答式聊天等。

目前，在语音助手获取到用户的语音命令后，通过网络上传至相应的服务器，服务器做出相应的处理后反馈给语音助手，以此执行用户的语音命令操作。然而，在用户发起语音命令的过程中，如果此时网络信号突然中断，语音助手则无法获取服务器的反馈，此时，语音助手将提示用户，当前的网络中断，稍后再尝试。例如，用户突然进入到电梯、地下停车场、隧道等网络信号不好的地方，或者用户使用的是穿戴设备端的语音助手，穿戴设备端使用的是与之配对的智能手机端的移动数据网络，导致穿戴设备端的网络信号不够稳定，都会造成语音助手网络的中断。但是，当语音助手重新获取网络后，却不能继续对之前用户的语音命令进行操作，用户也可能因此忘记了刚才需要做的事情，从而造成用户不便。

发明内容

本公开的示例性实施例在于提供一种人机交互方法及装置，以解决当语音助手从断网状态重新获取网络后不能继续对之前用户的语音命令进行操作的问题。

根据本公开的示例性实施例，提供一种人机交互方法，包括：接收用户输入的语音信息；监测网络服务状态；基于网络服务状态将语音信息发送到服务器，以通过服务器对存储的语音信息进行分析；基于网络服务状态接收服务器发送的语音信息分析结果；根据接收到的语音信息分析结果，执行对语音信息的处理。

可选地，语音信息可至少包括语音命令内容、语音命令属性参数、语音场景信息、语音上下文信息中的一项或更多项。

可选地，接收用户输入的语音信息的步骤可包括：当在接收用户输入的语音信息的过程中网络服务从连接状态中断时，继续接收用户输入的语音信息。

可选地，基于网络服务状态将语音信息发送到服务器的步骤可包括：当网络服务处于连接状态时，将语音信息发送到服务器，以通过服务器对语音信息进行分析；当网络服务处于中断状态时，对接收到的语音信息进行存储；当网络服务从中断状态恢复时，将存储的语音信息发送到服务器，以通过服务器对存储的语音信息进行分析。

可选地，基于网络服务状态接收服务器发送的语音信息分析结果的步骤可包括：当网络服务处于连接状态时，接收服务器发送的语音信息分析结果；当网络服务处于中断状态时，对发送的语音信息进行存储，以在网络服务恢复时继续接收服务器对存储的语音信息的语音信息分析结果；当网络服务从中断状态恢复时，接收服务器发送的针对存储的语音信息的语音信息分析结果。

可选地，所述人机交互方法还可包括：响应于监测到网络服务从连接状态中断，输出网络服务中断的通知，响应于监测到网络服务从中断状态恢复，输出网络服务恢复的通知。

可选地，执行对语音信息的处理的步骤可包括：提示用户选择是否继续处理语音信息；响应于接收到用户的选择继续处理语音信息的反馈，执行对语音信息的处理。

可选地，执行对语音信息的处理的步骤可包括：当存在多个语音信息时，对将执行处理的语音信息进行执行顺序排序；根据执行顺序排序的结果依次执行对所述多个语音信息中的每个语音信息的处理。

可选地，执行对语音信息的处理的步骤可包括：根据语音信息中包括的语音命令属性参数和接收到的语音信息分析结果，判断是否需要继续执行对语音信息的处理；当判断需要继续执行对语音信息的处理时，执行对语音信息的处理；当判断不需要继续执行对语音信息的处理时，提示用户选择是否继续执行对语音信息的处理；响应于接收到用户的选择继续执行对语音信息的处理的反馈，执行对语音信息的处理。

可选地，对接收到的语音信息进行存储的步骤可包括：对接收到的语音信息执行本地处理；对无法执行本地处理的语音信息进行存储。

可选地，将存储的语音信息发送到服务器的步骤可包括：当存在多个语音信息时，对存储的语音信息进行发送顺序排序，根据发送顺序排序的结果将语音信息发送到服务器。

可选地，将存储的语音信息发送到服务器的步骤可包括：提示用户选择是否继续处理语音信息；响应于接收到用户的选择继续处理语音信息的反馈，将存储的语音信息发送到服务器。对将执行处理的语音信息进行执行顺序排序的步骤包括：

可选地，对将执行处理的语音信息进行执行顺序排序的步骤可包括：根据语音命令的实时性、语音命令属性参数、语音上下文信息、语音命令与当前系统间隔时间、用户当前状态信息、应用场景信息和语音场景信息中的一项或更多项对存储的语音信息进行执行顺序排序。

可选地，对存储的语音信息进行发送顺序排序的步骤可包括：根据语音命令的实时性、语音命令属性参数、语音上下文信息和语音场景信息中的一项或更多项对存储的语音信息进行发送顺序排序。

可选地，所述人机交互方法还可包括：当不需要继续执行对语音信息的处理时，输出语音信息的内容，以向用户提示未完成的语音信息。

可选地，所述人机交互方法还可包括：响应于接收到用户输入的不实时显示语音信息处理结果的指示，输出包括语音信息处理结果的消息；响应于接收到用户输入的实时显示语音信息处理结果的指示，实时显示语音信息处理结果。

根据本公开的示例性实施例，提供一种人机交互装置，包括：语音接收单元，被配置为接收用户输入的语音信息；网络状态监测单元，被配置为监测网络服务状态；语音发送单元，被配置为基于网络服务状态将语音信息发送到服务器，以通过服务器对存储的语音信息进行分析；分析结果接收单元，被配置为基于网络服务状态接收服务器发送的语音信息分析结果；和执行单元，被配置为根据接收到的语音信息分析结果，执行对语音信息的处理。

可选地，语音信息可至少包括语音命令内容、语音命令属性参数、语音场景信息、语音上下文信息中的一项或更多项。

可选地，语音接收单元可被配置为：当在接收用户输入的语音信息的过程中网络服务从连接状态中断时，继续接收用户输入的语音信息。

可选地，语音发送单元可包括：第一发送单元，被配置为当网络服务处于连接状态时，将语音信息发送到服务器，以通过服务器对语音信息进行分析；第一存储单元，被配置为当网络服务处于中断状态时，对接收到的语音信息进行存储；和第二发送单元，被配置为当网络服务从中断状态恢复时，将存储的语音信息发送到服务器，以通过服务器对存储的语音信息进行分析。

可选地，分析结果接收单元可包括：第一接收单元，被配置为当网络服务处于连接状态时，接收服务器发送的语音信息分析结果；第二存储单元，被配置为当网络服务处于中断状态时，对发送的语音信息进行存储，以在网络服务恢复时继续接收服务器对存储的语音信息的语音信息分析结果；和第二接收单元，被配置为当网络服务从中断状态恢复时，接收服务器发送的针对存储的语音信息的语音信息分析结果。

可选地，所述人机交互装置还可包括：通知单元，被配置为响应于监测到网络服务从连接状态中断时，输出网络服务中断的通知，响应于监测到网络服务从中断状态恢复时，输出网络服务恢复的通知。

可选地，执行单元可被配置为：提示用户选择是否继续处理语音信息；响应于接收到用户的选择继续处理语音信息的反馈，执行对语音信息的处理。

可选地，执行单元可被配置为：当存在多个语音信息时，对将执行处理的语音信息进行执行顺序排序；根据执行顺序排序的结果，依次执行对所述多个语音信息中的每个语音信息的处理。

可选地，执行单元可被配置为：根据语音信息中包括的语音命令属性参数和接收到的语音信息分析结果，判断是否需要继续执行对语音信息的处理；当判断需要继续执行对语音信息的处理时，执行对语音信息的处理；当判断不需要继续执行对语音信息的处理时，提示用户选择是否继续执行对语音信息的处理；响应于接收到用户的选择继续执行对语音信息的处理的反馈，执行对语音信息的处理。

可选地，第一存储单元可被配置为：对接收到的语音信息执行本地处理；对无法执行本地处理的语音信息进行存储。

可选地，第二发送单元可被配置为：当存在多个语音信息时，对存储的语音信息进行发送顺序排序，根据发送顺序排序的结果将语音信息发送到服务器。

可选地，第二发送单元可被配置为：提示用户选择是否继续处理语音信息；响应于接收到用户的选择继续处理语音信息的反馈，将存储的语音信息发送到服务器。

可选地，执行单元可被配置为：根据语音命令的实时性、语音命令属性参数、语音上下文信息、语音命令与当前系统间隔时间、用户当前状态信息、应用场景信息和语音场景信息中的一项或更多项对存储的语音信息进行执行顺序排序。

可选地，第二发送单元可被配置为：根据语音命令的实时性、语音命令属性参数、语音上下文信息和语音场景信息中的一项或更多项对存储的语音信息进行发送顺序排序。

可选地，所述人机交互装置还可包括：语音输出单元，被配置为当不需要继续执行对语音信息的处理时，输出语音信息的内容，以向用户提示未完成的语音信息。

可选地，所述人机交互装置还可包括：消息输出单元，被配置为响应于接收到用户输入的不实时显示语音信息处理结果的指示，输出包括语音信息处理结果的消息；和处理结果显示单元，被配置为响应于接收到用户输入的实时显示语音信息处理结果的指示，实时显示语音信息处理结果。

根据本公开的示例性实施例，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被执行时实现根据本公开的人机交互方法的步骤。

根据本公开的示例性实施例，提供一种计算装置，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现根据本公开的人机交互方法的步骤。

根据本公开示例性实施例人机交互方法及装置，当语音助手暂时无法连接网络时，可将用户的语音命令保存在语音命令临时存储模块，当语音助手重新连接网络后，自动将语音命令临时存储模块内存储的语音命令上传到语音助手服务器，服务器通过对语音命令内容进行智能分析，确认语音命令是否具有实时性。如果不具有实时性，则获得服务器相应的反馈后，以通知的形式提示用户之前未完成的语音对话内容；如果具有实时性，则将服务器的反馈直接作用于语音助手，继续之前用户的语音命令的操作。这样，可以提高语音助手对话的连贯性，增强用户体验。

附图说明

通过下面结合示例性地示出实施例的附图进行的描述，本公开示例性实施例的上述和其他目的和特点将会变得更加清楚，其中：

图1示出根据本公开示例性实施例的人机交互方法的流程图；

图2示出根据本公开的示例性实施例的在网络服务中断时存储语音信息的示意图；

图3示出根据本公开的示例性实施例的语音命令临时存储模块存储语音信息的示意图；

图4示出根据本公开的一个示例性实施例的人机交互的示意图；

图5示出根据本公开的另一示例性实施例的人机交互的示意图；

图6示出根据本公开的另一示例性实施例的人机交互的示意图；

图7示出根据本公开示例性实施例的人机交互方法的示例的流程图；

图8示出根据本公开示例性实施例的人机交互装置的框图；

图9示出根据本公开示例性实施例的人机交互装置的示例的框图；和

图10示出根据本公开示例性实施例的计算装置的示意图。

具体实施方式

现将详细参照本公开的示例性实施例，所述实施例的示例在附图中示出，其中，相同的标号始终指的是相同的部件。以下将通过参照附图来说明所述实施例，以便解释本公开。

本公开示例性实施例适用于计算机技术领域，尤其适用于可进行人机交互的电子设备。

图1示出根据本公开示例性实施例的人机交互方法的流程图。根据本公开示例性实施例的人机交互方法可以由任何具有语音接收、语音识别和执行命令等功能的可进行人机交互的电子设备(例如，手机、计算机或者穿戴设备等)来执行。根据本申请的示例性实施例，用户可通过诸如安装在电子设备的语音助手(例如，Samsung的bixby、Apple的Siri等)来进行人机交互，但本申请不限于此。

参照图1，在步骤S101，接收用户输入的语音信息。

电子设备可(例如，通过麦克风等)接收用户输入的语音信息。这里，语音信息至少可包括语音命令内容、语音命令属性参数、语音场景信息、语音上下文信息中的一项或更多项。语音命令属性参数可以是与语音命令相关联的参数，例如，语音命令的输入时间、语音命令的优先级等，但不限于此。例如，语音信息可包括语音命令内容和语音命令属性参数。例如，语音信息可包括语音命令内容、语音命令属性参数、语音场景信息和语音上下文信息。

在本公开的示例性实施例中，在任何网络服务状态(例如，网络连接状态和网络中断状态)下，都可以接收用户输入的语音信息。

在步骤S102，监测网络服务状态。

为了避免因网络服务中断而导致人机交互无法实现，可在进行人机交互的整个过程中实时监测电子设备的网络服务状态，以针对不同的网络状态及时作出应对。

在本公开的示例性实施例中，当在接收用户输入的语音信息的过程中网络服务从连接状态中断时，可继续接收用户输入的语音信息。

在本公开的示例性实施例中，响应于监测到网络服务从连接状态中断，可输出网络服务中断的通知，响应于监测到网络服务从中断状态恢复，可输出网络服务恢复的通知，从而使得用户了解网络服务的状态。

在步骤S103，基于网络服务状态将语音信息发送到服务器，以通过服务器对存储的语音信息进行分析。

在本公开的示例性实施例中，在将语音信息发送到服务器时，当网络服务处于连接状态时，可将语音信息发送到服务器，以通过服务器对语音信息进行分析，当网络服务处于中断状态时，可对接收到的语音信息进行存储，当网络服务从中断状态恢复时，可将存储的语音信息发送到服务器，以通过服务器对存储的语音信息进行分析。即在步骤S101接收用户输入的语音信息之后，如果网络服务中断，则在步骤S103首先对接收到的语音信息进行存储，以在网络服务恢复后将存储的语音信息用于人机交互，然后在网络服务恢复后将存储的语音信息发送到服务器，以通过服务器对存储的语音信息进行分析。

在本公开的示例性实施例中，在对接收到的语音信息进行存储时，可首先对接收到的语音信息执行本地处理，然后对接收到的语音信息中的不能被本地处理的语音信息进行存储。这样，可对可在本地被处理的语音信息进行及时处理，从而实现人机交互。同时，可在网络服务恢复后将存储的语音信息用于人机交互，从而避免人机交互无法实现。具体来说，在网络服务中断的状态下可对接收到的语音信息进行本地处理和/或进行存储。例如，如果用户在网络服务中断后，还一直唤起语音助手进行语音命令请求，则可按照发起请求的时间顺序，将语音命令逐条保存(例如，保存在语音命令临时存储模块中)，并且还可记录语音命令的数量。或者，例如，如果用户在网络服务中断后，还一直唤起语音助手进行语音命令请求，则可首先对接收到的语音命令执行本地处理，然后对接收到的语音命令中的不能被本地处理的语音命令按照发起请求的时间顺序逐条保存(例如，保存在语音命令临时存储模块中)，并且还可记录语音命令的数量。

例如，如果用户已经输入完整的语音信息，在语音信息上传的过程中，检测到网络服务中断，则可提示用户网络服务中断，并且将语音命令作为临时语音命令保存在语音命令临时存储模块，同时保存该语音命令的发起时间。

例如，如果在用户输入语音信息的过程(语音信息还未被完全输入)中，检测到网络服务中断，则可首先继续接收用户继续输入的语音信息直至用户停止输入，然后再次检测网络是否中断，如果网络仍然中断，则提示用户网络服务中断，并且将该语音命令保存在语音命令临时存储模块；如果网络恢复，则继续语音助手的操作。

在本公开的示例性实施例中，在将存储的语音信息发送到服务器时，如果只有一个语音信息，则将这一个语音信息发送到服务器；如果存在多个语音信息，则可首先对存储的语音信息进行发送顺序排序，然后根据发送顺序排序的结果将语音信息发送到服务器。

在本公开的示例性实施例中，在对存储的语音信息进行发送顺序排序时，可根据语音命令的实时性、语音命令属性参数、语音上下文信息和语音场景信息中的一项或更多项对存储的语音信息进行发送顺序排序。例如，具有实时性的语音命令的发送顺序在前，不具有实时性的语音命令的发送顺序在后。

在本公开的示例性实施例中，在将存储的语音信息发送到服务器时，可首先提示用户选择是否继续处理语音信息，然后响应于接收到用户的选择继续处理语音信息的反馈，将存储的语音信息发送到服务器。如果用户选择不继续处理语音信息，说明用户放弃了网络服务中断之前的人机交互，则不用将存储的语音信息发送到服务器。

例如，如果网络恢复，则可查看语音命令临时存储模块中是否保存有语音命令，如果有，则启动语音命令临时处理模块，语音命令临时处理模块将会获取语音命令临时存储模块中语音命令的数量，并按照语音命令发起时间由新到旧的顺序通过语音命令临时处理模块进行处理。如果没有，则不作任何处理。

在步骤S104，基于网络服务状态接收服务器发送的语音信息分析结果。

在本公开的示例性实施例中，在接收服务器发送的语音信息分析结果时，如果网络服务处于连接状态，则可接收服务器发送的语音信息分析结果，如果网络服务处于中断状态，则可对发送的语音信息进行存储，以在网络服务恢复时继续接收服务器对存储的语音信息的语音信息分析结果，然后当网络服务从中断状态恢复时，接收服务器发送的针对存储的语音信息的语音信息分析结果。

在步骤S105，根据接收到的语音信息分析结果，执行对语音信息的处理。这里，对语音信息的处理可以是，但不限于，根据语音信息进行查询、搜索、导航、匹配、问答等相关的处理。

例如，服务器可通过对包括语音信息中的语音命令内容进行智能分析，确认语音命令内容是否具有实时性。如果语音命令内容不具有实时性(例如，网络服务中断时间长而语音命令内容需要实时处理)，则说明不需要继续用户之前的语音命令内容对应的操作；如果语音命令内容具有实时性，则说明需要继续用户之前的语音命令内容对应的操作。具体来说，在根据接收到的语音信息分析结果确定语音命令内容具有实时性时，例如，可恢复执行根据语音命令内容的导航，在确定语音命令内容不具有实时性时，可不再执行根据语音命令内容的导航。

在本公开的示例性实施例中，在执行对语音信息的处理时，可首先提示用户选择是否继续处理语音信息，然后响应于接收到用户的选择继续处理语音信息的反馈，执行对语音信息的处理。如果用户选择不继续处理语音信息，说明用户放弃了网络服务中断之前的人机交互，则不用恢复执行对存储的语音信息的处理。

在本公开的示例性实施例中，在执行对语音信息的处理时，如果只有一个语音信息，则恢复执行对这一个语音信息的处理，如果存在多个语音信息，则可首先对将执行处理的语音信息进行执行顺序排序，然后根据执行顺序排序的结果依次执行对所述多个语音信息中的每个语音信息的处理。

在本公开的示例性实施例中，在对将执行处理的语音信息进行执行顺序排序时，可根据语音命令的实时性、语音命令属性参数、语音上下文信息、语音命令与当前系统间隔时间、用户当前状态信息、应用场景信息和语音场景信息中的一项或更多项对存储的语音信息进行执行顺序排序。具体来说，在对将恢复执行处理的语音信息进行执行顺序排序时，例如，可以按照时间降序排序也可以按时间升序排序，或者按照语音信息的重要程度排序，或者按照语音信息的系统关联性排序。另外，还可以根据语音命令的输入时间与当前系统时间之间的间隔时间、当前上下文信息、当前应用场景信息、用户当前状态信息等进行排序。另外，还可以首先将语音信息的内容或者处理结果与当前上下文信息、当前应用场景信息、用户当前状态信息等进行关联度分析，然后根据关联度分析结果进行排序。另外，还可以通过分析语音信息的内容或者语音信息的处理结果的实时性来进行排序。例如，具有实时性的语音命令排序在前，不具有实时性的语音命令排序在后。在本公开的示例性实施例中，在执行对语音信息的处理时，可首先根据语音信息中包括的语音命令属性参数和接收到的语音信息分析结果，判断是否需要继续执行对语音信息的处理，然后当判断需要继续执行对语音信息的处理时，执行对语音信息的处理，当判断不需要继续执行对存储的语音信息的处理时，不执行对存储的语音信息的处理。或者，当判断不需要继续执行对语音信息的处理时，首先提示用户选择是否继续执行对语音信息的处理，然后响应于接收到用户的选择继续执行对语音信息的处理的反馈，执行对语音信息的处理。此外，当不需要继续执行对语音信息的处理时，可输出语音信息的内容，以向用户提示未完成的语音信息。此外，响应于接收到用户输入的不实时显示语音信息处理结果的指示，可输出包括语音信息处理结果的消息，响应于接收到用户输入的实时显示语音信息处理结果的指示，可实时显示语音信息处理结果。

例如，图2示出根据本公开的示例性实施例的在网络服务中断时存储语音信息的示意图。在图2中，用户输入语音命令内容“今天天气怎么样？”，将该语音命令内容上传到服务器，然后接收服务器的处理反馈，如果在将语音命令内容上传到服务器的过程中或者接收服务器的处理反馈的过程中，则检测网络状态模块检测到网络服务中断，对于用户的交互都是一样的，提示用户“网络服务中断，稍后处理您的请求”，然后将包含有语音命令内容和语音命令发起时间的语音信息(例如，临时语音命令)保存到语音命令临时存储模块中。另外，如果用户在输入语音命令内容“今天天气怎么样？”的过程中网络服务中断，则语音助手不会打断用户，会等待用户说完语音命令内容后，再重新检查网络状态，根据网络状态进行对应的处理。

作为示例，语音命令内容可以以语音命令音频文件的形式进行存储。

例如，图3示出根据本公开的示例性实施例的语音命令临时存储模块存储语音信息的示意图。语音命令临时存储模块中可包括临时语音命令数量和临时语音命令两部分，临时语音命令包含该命令发起时间和对应的语音命令音频文件两部分；有些语音命令由于是在手机端语音助手接收反馈时网络中断，导致该反馈无法接收，则在临时语音命令模块中，只包含语音命令发起时间，没有包含语音命令的音频文件。另外，可将发起时间和语音命令对应的音频文件作为一个临时语音命令保存在语音命令临时存储模块。另外，每保存一个临时语音命令，临时语音命令的数量就增加一个。

例如，图4示出根据本公开的一个示例性实施例的人机交互的示意图。如果存在一条临时语音命令“导航去广州萝岗香雪公园”，语音命令发起时间距离当前时间只有30s，且用户目前正处于运动状态，定位依然是广州，则当该条临时语音命令收到语音助手服务器的处理反馈后，启动语音助手，语音助手询问用户“是否继续导航去广州萝岗香雪公园？”，如果用户回答“是的”，则说明该语音命令具有实时性，该用户还需要继续前往广州萝岗香雪公园”，则语音助手执行“导航去广州萝岗香雪公园”的命令，开启导航，搜索广州萝岗香雪公园，选择行驶路线，开始导航；如果用户回答“不要”，则忽略该条语音命令，不再作其他处理。

例如，当用户通过语音命令询问到香雪公园的公交车时，如果判断用户当前位置仍然在公交站台附近，则这时候判断用户仍然需要该公交线路信息，继续为用户提供到香雪公园的公交车的信息。又如，当用户通过语音命令询问到香雪公园的公交车时，如果确定用户已经离开公交站，则判断用户移动线路以及移动速度，如果确定用户已经坐上公交车或者打车离开，则已经不需要为用户提供到香雪公园的公交车的信息。或者，当用户通过语音命令询问导航线路时，如果检测当前用户已经开启导航应用进行导航，则确定该导航信息已经过时。

例如，图5和图6示出根据本公开的另一示例性实施例的人机交互的示意图。如果存在一条临时语音命令“今天的天气怎么样？”，根据该语音命令的语义解析，该语音命令并不是用户是否急需的，故而不具有实时性。当所有临时语音命令存储模块中的语音命令处理完成后，语音助手提示用户“网络已恢复，是否现在查看之前未处理的语音命令”，如果用户回答“是的”，如图5所示，则显示语音命令处理结果列表给用户。如果用户回答“不用”，如图6所示，则将该类型的语音命令的处理结果统一放在通知栏折叠显示，不逐条通知用户。

图7示出根据本公开示例性实施例的人机交互方法的示例的流程图。

参照图7，在步骤S701，接收用户输入的语音信息。在步骤S702，实时监测网络服务状态。在步骤S703，判断网络服务是否处于连接状态，是则执行步骤S704，否则执行步骤S705。在步骤S704，当网络服务处于连接状态时，将语音信息发送到服务器，以通过服务器对语音信息进行分析。在步骤S705，当网络服务处于中断状态时，对接收到的语音信息进行存储。在步骤S706，判断网络服务是否从中断状态恢复，是则执行步骤S707，否则继续执行步骤S706。在步骤S707，当网络服务从中断状态恢复时，将存储的语音信息发送到服务器，以通过服务器对存储的语音信息进行分析。在步骤S708，判断网络服务是否处于连接状态，是则执行步骤S709，否则执行步骤S710。在步骤S709，当网络服务处于连接状态时，接收服务器发送的语音信息分析结果。在步骤S710，当网络服务处于中断状态时，对发送的语音信息进行存储。在步骤S711，判断网络服务是否从中断状态恢复，是则执行步骤S712，否则继续执行步骤S710。在步骤S712，当网络服务从中断状态恢复时，接收服务器发送的针对存储的语音信息的语音信息分析结果。在步骤S713，根据接收到的语音信息分析结果，执行对语音信息的处理。

以上已经结合图1至图7对根据本公开示例性实施例的人机交互方法进行了描述。在下文中，将参照图8和图9对根据本公开示例性实施例的人机交互装置及其模块进行描述。

图8示出根据本公开示例性实施例的人机交互装置的框图。

参照图8，人机交互装置包括：语音接收单元81、网络状态监测单元82、语音发送单元83、分析结果接收单元84和执行单元85。

语音接收单元81被配置为接收用户输入的语音信息。

在本公开的示例性实施例中，语音信息至少包括语音命令内容、语音命令属性参数、语音场景信息、语音上下文信息中的一项或更多项。

在本公开的示例性实施例中，语音接收单元81可被配置为：当在接收用户输入的语音信息的过程中网络服务从连接状态中断时，继续接收用户输入的语音信息。

网络状态监测单元82被配置为监测网络服务状态。

在本公开的示例性实施例中，所述人机交互装置还可包括：通知单元，被配置为响应于监测到网络服务从连接状态中断时，输出网络服务中断的通知，响应于监测到网络服务从中断状态恢复时，输出网络服务恢复的通知。

语音发送单元83被配置为基于网络服务状态将语音信息发送到服务器，以通过服务器对存储的语音信息进行分析。

在本公开的示例性实施例中，语音发送单元83可包括：第一发送单元，被配置为当网络服务处于连接状态时，将语音信息发送到服务器，以通过服务器对语音信息进行分析；第一存储单元，被配置为当网络服务处于中断状态时，对接收到的语音信息进行存储；和第二发送单元，被配置为当网络服务从中断状态恢复时，将存储的语音信息发送到服务器，以通过服务器对存储的语音信息进行分析。

在本公开的示例性实施例中，第一存储单元可被配置为：对接收到的语音信息执行本地处理；对无法执行本地处理的语音信息进行存储。

在本公开的示例性实施例中，第二发送单元可被配置为：当存在多个语音信息时，对存储的语音信息进行发送顺序排序，根据发送顺序排序的结果将语音信息发送到服务器。

在本公开的示例性实施例中，第二发送单元可被配置为：提示用户选择是否继续处理语音信息；响应于接收到用户的选择继续处理语音信息的反馈，将存储的语音信息发送到服务器。

在本公开的示例性实施例中，第二发送单元可被配置为：根据语音命令的实时性、语音命令属性参数、语音上下文信息和语音场景信息中的一项或更多项对存储的语音信息进行发送顺序排序。

分析结果接收单元84被配置为基于网络服务状态接收服务器发送的语音信息分析结果。

在本公开的示例性实施例中，分析结果接收单元84可包括：第一接收单元，被配置为当网络服务处于连接状态时，接收服务器发送的语音信息分析结果；第二存储单元，被配置为当网络服务处于中断状态时，对发送的语音信息进行存储，以在网络服务恢复时继续接收服务器对存储的语音信息的语音信息分析结果；和第二接收单元，被配置为当网络服务从中断状态恢复时，接收服务器发送的针对存储的语音信息的语音信息分析结果。

执行单元85被配置为根据接收到的语音信息分析结果，执行对语音信息的处理。

在本公开的示例性实施例中，执行单元85可被配置为：提示用户选择是否继续处理语音信息；响应于接收到用户的选择继续处理语音信息的反馈，执行对语音信息的处理。

在本公开的示例性实施例中，执行单元85可被配置为：当存在多个语音信息时，对将执行处理的语音信息进行执行顺序排序；根据执行顺序排序的结果，依次执行对所述多个语音信息中的每个语音信息的处理。

在本公开的示例性实施例中，执行单元85可被配置为：根据语音信息中包括的语音命令属性参数和接收到的语音信息分析结果，判断是否需要继续执行对语音信息的处理；当判断需要继续执行对语音信息的处理时，执行对语音信息的处理；当判断不需要继续执行对语音信息的处理时，提示用户选择是否继续执行对语音信息的处理；响应于接收到用户的选择继续执行对语音信息的处理的反馈，执行对语音信息的处理。

在本公开的示例性实施例中，执行单元85可被配置为：根据语音命令的实时性、语音命令属性参数、语音上下文信息、语音命令与当前系统间隔时间、用户当前状态信息、应用场景信息和语音场景信息中的一项或更多项对存储的语音信息进行执行顺序排序。

此外，所述人机交互装置还可包括：音输出单元，被配置为当不需要继续执行对语音信息的处理时，输出语音信息的内容，以向用户提示未完成的语音信息。

此外，所述人机交互装置还可包括：消息输出单元，被配置为响应于接收到用户输入的不实时显示语音信息处理结果的指示，输出包括语音信息处理结果的消息；和处理结果显示单元，被配置为响应于接收到用户输入的实时显示语音信息处理结果的指示，实时显示语音信息处理结果。

图9示出根据本公开示例性实施例的人机交互装置的示例的框图。

参照图9，人机交互装置包括：语音接收单元91、网络状态监测单元92、第一发送单元93、第一存储单元94、第二发送单元95、第一接收单元96、第二存储单元97、第二接收单元98和执行单元99。

语音接收单元91被配置为接收用户输入的语音信息。

网络状态监测单元92被配置为监测网络服务状态。

第一发送单元93被配置为当网络服务处于连接状态时，将语音信息发送到服务器，以通过服务器对语音信息进行分析。

第一存储单元94被配置为当网络服务处于中断状态时，对接收到的语音信息进行存储。

第二发送单元95被配置为当网络服务从中断状态恢复时，将存储的语音信息发送到服务器，以通过服务器对存储的语音信息进行分析。

第一接收单元96被配置为当网络服务处于连接状态时，接收服务器发送的语音信息分析结果。

第二存储单元97被配置为当网络服务处于中断状态时，对发送的语音信息进行存储，以在网络服务恢复时继续接收服务器对存储的语音信息的语音信息分析结果。

第二接收单元98被配置为当网络服务从中断状态恢复时，接收服务器发送的针对存储的语音信息的语音信息分析结果。

执行单元99被配置为根据接收到的语音信息分析结果，执行对语音信息的处理。

此外，根据本公开的示例性实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，程序被执行时实现根据本公开的人机交互方法的步骤。

在本公开的示例性实施例中，程序被执行时可实现以下步骤：接收用户输入的语音信息；监测网络服务状态；基于网络服务状态将语音信息发送到服务器，以通过服务器对存储的语音信息进行分析；基于网络服务状态接收服务器发送的语音信息分析结果；根据接收到的语音信息分析结果，执行对语音信息的处理。

以上已经结合图8和图9对根据本公开示例性实施例的人机交互装置进行了描述。接下来，结合图10对根据本公开的示例性实施例的计算装置进行描述。

图10示出根据本公开示例性实施例的计算装置的示意图。

参照图10，根据本公开示例性实施例的计算装置10，包括存储器101、处理器102及存储在存储器101上并可在处理器102上运行的计算机程序，处理器102执行所述计算机程序时实现根据本公开的人机交互方法的步骤。

在本公开的示例性实施例中，处理器102可被配置为执行包括以下人机交互方法的步骤的程序：接收用户输入的语音信息；监测网络服务状态；基于网络服务状态将语音信息发送到服务器，以通过服务器对存储的语音信息进行分析；基于网络服务状态接收服务器发送的语音信息分析结果；根据接收到的语音信息分析结果，执行对语音信息的处理。

以上已参照图1至图10描述了根据本公开示例性实施例的人机交互方法及装置。然而，应该理解的是：图8和图9中所示的人机交互装置及其模块可分别被配置为执行特定功能的软件、硬件、固件或上述项的任意组合，图10中所示的计算装置并不限于包括以上示出的组件，而是可根据需要增加或删除一些组件，并且以上组件也可被组合。

根据本公开示例性实施例人机交互方法及装置，当语音助手暂时无法连接网络时，可将用户的语音命令保存在语音命令临时存储模块，当语音助手重新连接网络后，自动将语音命令临时存储模块内存储的语音命令上传到语音助手服务器，服务器通过对语音命令内容进行智能分析，确认语音命令是否具有实时性。如果不具有实时性，则获得服务器相应的反馈后，以通知的形式提示用户之前未完成的语音对话内容；如果具有实时性，则将服务器的反馈直接作用于语音助手，继续之前用户的语音命令的操作。这样，可以提高语音助手对话的连贯性，增强用户体验。

尽管已经参照其示例性实施例具体显示和描述了本公开，但是本领域的技术人员应该理解，在不脱离权利要求所限定的本公开的精神和范围的情况下，可以对其进行形式和细节上的各种改变。

Claims (10)

1.一种人机交互方法，包括：

接收用户输入的语音信息；

监测网络服务状态；

基于网络服务状态将语音信息发送到服务器，以通过服务器对存储的语音信息进行分析；

基于网络服务状态接收服务器发送的语音信息分析结果；

根据接收到的语音信息分析结果，执行对语音信息的处理。

2.根据权利要求1所述的人机交互方法，

其中，语音信息至少包括语音命令内容、语音命令属性参数、语音场景信息、语音上下文信息中的一项或更多项，

和/或，其中，接收用户输入的语音信息的步骤包括：

当在接收用户输入的语音信息的过程中网络服务从连接状态中断时，继续接收用户输入的语音信息，

和/或，其中，基于网络服务状态将语音信息发送到服务器的步骤包括：

当网络服务处于连接状态时，将语音信息发送到服务器，以通过服务器对语音信息进行分析；

当网络服务处于中断状态时，对接收到的语音信息进行存储；

当网络服务从中断状态恢复时，将存储的语音信息发送到服务器，以通过服务器对存储的语音信息进行分析，

和/或，其中，基于网络服务状态接收服务器发送的语音信息分析结果的步骤包括：

当网络服务处于连接状态时，接收服务器发送的语音信息分析结果；

当网络服务处于中断状态时，对发送的语音信息进行存储，以在网络服务恢复时继续接收服务器对存储的语音信息的语音信息分析结果；

当网络服务从中断状态恢复时，接收服务器发送的针对存储的语音信息的语音信息分析结果，

和/或，其中，所述人机交互方法还包括：

响应于监测到网络服务从连接状态中断，输出网络服务中断的通知，响应于监测到网络服务从中断状态恢复，输出网络服务恢复的通知，

和/或，其中，执行对语音信息的处理的步骤包括：

提示用户选择是否继续处理语音信息；

响应于接收到用户的选择继续处理语音信息的反馈，执行对语音信息的处理，

和/或，其中，执行对语音信息的处理的步骤包括：

当存在多个语音信息时，对将执行处理的语音信息进行执行顺序排序；

根据执行顺序排序的结果依次执行对所述多个语音信息中的每个语音信息的处理，

和/或，其中，执行对语音信息的处理的步骤包括：

根据语音信息中包括的语音命令属性参数和接收到的语音信息分析结果，判断是否需要继续执行对语音信息的处理；

当判断需要继续执行对语音信息的处理时，执行对语音信息的处理；

当判断不需要继续执行对语音信息的处理时，提示用户选择是否继续执行对语音信息的处理；

响应于接收到用户的选择继续执行对语音信息的处理的反馈，执行对语音信息的处理。

3.根据权利要求2所述的人机交互方法，

其中，对接收到的语音信息进行存储的步骤包括：

对接收到的语音信息执行本地处理；

对无法执行本地处理的语音信息进行存储，

和/或，其中，将存储的语音信息发送到服务器的步骤包括：

当存在多个语音信息时，对存储的语音信息进行发送顺序排序，根据发送顺序排序的结果将语音信息发送到服务器，

和/或，其中，将存储的语音信息发送到服务器的步骤包括：

提示用户选择是否继续处理语音信息；

响应于接收到用户的选择继续处理语音信息的反馈，将存储的语音信息发送到服务器，

和/或，其中，对将执行处理的语音信息进行执行顺序排序的步骤包括：

根据语音命令的实时性、语音命令属性参数、语音上下文信息、语音命令与当前系统间隔时间、用户当前状态信息、应用场景信息和语音场景信息中的一项或更多项对存储的语音信息进行执行顺序排序。

4.根据权利要求3所述的人机交互方法，

其中，对存储的语音信息进行发送顺序排序的步骤包括：

根据语音命令的实时性、语音命令属性参数、语音上下文信息和语音场景信息中的一项或更多项对存储的语音信息进行发送顺序排序，

和/或，其中，所述人机交互方法还包括：

当不需要继续执行对语音信息的处理时，输出语音信息的内容，以向用户提示未完成的语音信息，

和/或，其中，所述人机交互方法还包括：

响应于接收到用户输入的不实时显示语音信息处理结果的指示，输出包括语音信息处理结果的消息；

响应于接收到用户输入的实时显示语音信息处理结果的指示，实时显示语音信息处理结果。

5.一种人机交互装置，包括：

语音接收单元，被配置为接收用户输入的语音信息；

网络状态监测单元，被配置为监测网络服务状态；

语音发送单元，被配置为基于网络服务状态将语音信息发送到服务器，以通过服务器对存储的语音信息进行分析；

分析结果接收单元，被配置为基于网络服务状态接收服务器发送的语音信息分析结果；和

执行单元，被配置为根据接收到的语音信息分析结果，执行对语音信息的处理。

6.根据权利要求5所述的人机交互装置，

其中，语音信息至少包括语音命令内容、语音命令属性参数、语音场景信息、语音上下文信息中的一项或更多项，

和/或，其中，语音接收单元被配置为：

当在接收用户输入的语音信息的过程中网络服务从连接状态中断时，继续接收用户输入的语音信息，

和/或，其中，语音发送单元包括：

第一发送单元，被配置为当网络服务处于连接状态时，将语音信息发送到服务器，以通过服务器对语音信息进行分析；

第一存储单元，被配置为当网络服务处于中断状态时，对接收到的语音信息进行存储；和

第二发送单元，被配置为当网络服务从中断状态恢复时，将存储的语音信息发送到服务器，以通过服务器对存储的语音信息进行分析，

和/或，其中，分析结果接收单元包括：

第一接收单元，被配置为当网络服务处于连接状态时，接收服务器发送的语音信息分析结果；

第二存储单元，被配置为当网络服务处于中断状态时，对发送的语音信息进行存储，以在网络服务恢复时继续接收服务器对存储的语音信息的语音信息分析结果；和

第二接收单元，被配置为当网络服务从中断状态恢复时，接收服务器发送的针对存储的语音信息的语音信息分析结果，

和/或，其中，所述人机交互装置还包括：

通知单元，被配置为响应于监测到网络服务从连接状态中断时，输出网络服务中断的通知，响应于监测到网络服务从中断状态恢复时，输出网络服务恢复的通知，

和/或，其中，执行单元被配置为：

提示用户选择是否继续处理语音信息；

响应于接收到用户的选择继续处理语音信息的反馈，执行对语音信息的处理，

和/或，其中，执行单元被配置为：

当存在多个语音信息时，对将执行处理的语音信息进行执行顺序排序；

根据执行顺序排序的结果，依次执行对所述多个语音信息中的每个语音信息的处理，

和/或，其中，执行单元被配置为：

根据语音信息中包括的语音命令属性参数和接收到的语音信息分析结果，判断是否需要继续执行对语音信息的处理；

当判断需要继续执行对语音信息的处理时，执行对语音信息的处理；

当判断不需要继续执行对语音信息的处理时，提示用户选择是否继续执行对语音信息的处理；

响应于接收到用户的选择继续执行对语音信息的处理的反馈，执行对语音信息的处理。

7.根据权利要求6所述的人机交互装置，

其中，第一存储单元被配置为：

对接收到的语音信息执行本地处理；

对无法执行本地处理的语音信息进行存储，

和/或，其中，第二发送单元被配置为：

当存在多个语音信息时，对存储的语音信息进行发送顺序排序，根据发送顺序排序的结果将语音信息发送到服务器，

和/或，其中，第二发送单元被配置为：

提示用户选择是否继续处理语音信息；

响应于接收到用户的选择继续处理语音信息的反馈，将存储的语音信息发送到服务器，

和/或，其中，执行单元被配置为：

根据语音命令的实时性、语音命令属性参数、语音上下文信息、语音命令与当前系统间隔时间、用户当前状态信息、应用场景信息和语音场景信息中的一项或更多项对存储的语音信息进行执行顺序排序。

8.根据权利要求7所述的人机交互装置，

其中，第二发送单元被配置为：

根据语音命令的实时性、语音命令属性参数、语音上下文信息和语音场景信息中的一项或更多项对存储的语音信息进行发送顺序排序，

其中，所述人机交互装置还包括：

语音输出单元，被配置为当不需要继续执行对语音信息的处理时，输出语音信息的内容，以向用户提示未完成的语音信息，

和/或，其中，所述人机交互装置还包括：

消息输出单元，被配置为响应于接收到用户输入的不实时显示语音信息处理结果的指示，输出包括语音信息处理结果的消息；和

处理结果显示单元，被配置为响应于接收到用户输入的实时显示语音信息处理结果的指示，实时显示语音信息处理结果。

9.一种存储有计算机程序的计算机可读存储介质，其中，当所述计算机程序被处理器执行时，实现权利要求1至4中任一项所述的人机交互方法。

10.一种计算装置，包括：

处理器；

存储器，存储有计算机程序，当所述计算机程序被处理器执行时，实现权利要求1至4中任一项所述的人机交互方法。

Images