CN109656655A - 一种用于执行交互指令的方法、设备及存储介质 - Google Patents

Abstract

本发明的目的是提供一种用于执行交互指令的方法、设备及存储介质。具体地，获取用户输入的用户交互指令；确定用户交互指令所对应的统一交互指令，其中，与用户交互指令同义的多个不同交互模式下的交互指令与统一交互指令相对应；根据统一交互指令，执行用户交互指令。与现有技术相比，本发明实现了使得无论用户采用何种交互模式，均能准确执行，降低了设备对交互模式的依赖性，也实现了支持多种不同交互模式的混合使用，且各种不同交互模式无缝连接，不对用户的交互行为构成限制，把同义的各类交互模式的指令统一表示，用户不必担心不同交互模式会导致对话割裂无法衔接，使整个交互更流畅自然，提高了交互效率，也提升了交互体验。

Description

一种用于执行交互指令的方法、设备及存储介质

技术领域

本发明涉及多模式交互技术领域，尤其涉及一种用于执行交互指令的技术。

背景技术

当今设备的交互方式趋于多样化，除了传统的机械控制(如遥控器)，还可以通过语音、图像、手势等方式交互。多种交互方式混杂在一起，基本处于各自运作的状态，未相互关联，使得系统在用户变换交互方式进行输入时很难准确理解用户意图，或者无法执行用户指令。例如，用户先通过语音搜索电影，再用遥控器翻至下一页，这时再用语音指令说“播放第一个”的时候，系统并不知道当前页面状态已经发生了变化，依然会播放首页的第一个，无法满足用户的需求，降低了交互体验。

发明内容

本发明的一个目的是提供一种用于执行交互指令的方法与设备。

根据本发明的一个方面，提供了一种用于执行交互指令的方法，其中，该方法包括以下步骤：

a获取用户输入的用户交互指令；

b确定所述用户交互指令所对应的统一交互指令，其中，与所述用户交互指令同义的多个不同交互模式下的交互指令与所述统一交互指令相对应；

c根据所述统一交互指令，执行所述用户交互指令。

根据本发明的另一方面，还提供了一种用于执行交互指令的执行设备，其中，该执行设备包括：

第一获取装置，用于获取用户输入的用户交互指令；

第一确定装置，用于确定所述用户交互指令所对应的统一交互指令，其中，与所述用户交互指令同义的多个不同交互模式下的交互指令与所述统一交互指令相对应；

执行装置，用于根据所述统一交互指令，执行所述用户交互指令。

根据本发明的又一方面，还提供了一种计算设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如前述根据本发明一个方面的一种用于执行交互执行的方法。

根据本发明的再一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如前述根据本发明一个方面的一种用于执行交互执行的方法。

与现有技术相比，本发明的一个实施例通过确定用户输入的用户交互指令所对应的统一交互指令，其中，与所述用户交互指令同义的多个不同交互模式下的交互指令与所述统一交互指令相对应；根据所述统一交互指令，执行所述用户交互指令，使得无论用户采用何种交互模式，均能准确执行，降低了设备对交互模式的依赖性；相应地，也实现了支持多种不同交互模式的混合使用，且各种不同交互模式无缝连接，不对用户的交互行为构成限制，使得用户在(多轮)对话过程中可采用任意交互模式；同时，把同义的各类交互模式的指令统一表示，用户不必担心不同交互模式会导致对话割裂无法衔接，使整个交互更流畅自然，提高了交互效率，也提升了交互体验。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1示出根据本发明一个方面的一种用于执行交互指令的执行设备的设备示意图；

图2(a)-(c)示出本发明一个实施例的不同交互模式无缝连接示意图；

图3示出本发明一个实施例的一种用于执行交互指令的执行设备的设备示意图；

图4示出根据本发明另一个方面的一种用于执行交互指令的方法流程图；

图5示出本发明一个实施例的一种用于执行交互指令的方法流程图；

图6示出了适于用来实现本发明实施方式的示例性计算机系统/服务器的框图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本发明作进一步详细描述。

图1示出根据本发明一个方面的一种用于执行交互指令的执行设备1，其中，执行设备1包括第一获取装置11、第一确定装置12和执行装置13。具体地，第一获取装置11获取用户输入的用户交互指令；第一确定装置12确定所述用户交互指令所对应的统一交互指令，其中，与所述用户交互指令同义的多个不同交互模式下的交互指令与所述统一交互指令相对应；执行装置13根据所述统一交互指令，执行所述用户交互指令。

在此，所述执行设备1是指一种能够确定用户交互指令所对应的统一交互指令，并以此来执行用户交互指令的设备。在具体实施例中，执行设备1可由智能终端实现，也可由网络设备或网络设备与智能终端通过网络相集成所构成的设备(即由智能终端和网络设备相配合)实现，还可以作为软件模块和/或硬件模块被包含于智能终端中，也可以作为硬件设备与智能终端通过有线或无线的方式连接。在此，所述网络设备包括但不限于如网络主机、单个网络服务器、多个网络服务器集或基于云计算的计算机集合等实现。在此，云由基于云计算(Cloud Computing)的大量主机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。在此，所述智能终端可以是任何一种可与用户通过键盘、触摸板、触摸屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互的电子产品，例如PC、手机、智能手机、PDA、可穿戴设备、掌上电脑PPC、可穿戴设备、平板电脑、智能车机、智能电视、智能音箱等。在实际应用中，执行设备1为智能终端时，其上可搭载/安装能够理解、处理并响应用户的自然语言命令并将响应结果进行输出的客户端(可以是APP形式)，也可以是该客户端仅能对用户输入的自然语言命令进行语音识别但需对应的服务器来对该自然语言命令进行理解、处理并响应用户的自然语言命令并将响应结果返回客户端进行输出。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。本领域技术人员应能理解上述执行设备1仅为举例，其他现有的或今后可能出现的网络设备或智能终端如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用方式包含于此。在此，网络设备及智能终端均包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程门阵列(FPGA)、数字处理器(DSP)、嵌入式设备等。

在一个实施例中，若执行设备1为用户的智能终端，则执行设备1首先通过其自身所提供的应用程序接口(API)，获取用户输入的用户交互指令；然后确定所述用户交互指令所对应的统一交互指令，其中，与所述用户交互指令同义的多个不同交互模式下的交互指令与所述统一交互指令相对应；接着，再根据所述统一交互指令，执行所述用户交互指令。

在另一实施例中，若执行设备1为网络设备，则执行设备1首先智能终端所提供的应用程序接口(API)，获取用户输入的用户交互指令；然后确定所述用户交互指令所对应的统一交互指令，其中，与所述用户交互指令同义的多个不同交互模式下的交互指令与所述统一交互指令相对应；接着，再根据所述统一交互指令，执行所述用户交互指令。

在还一实施例中，若执行设备1为网络设备和智能终端相集成的设备，即执行设备1由智能终端和网络设备相配合实现，则智能终端首先通过其自身所提供的应用程序接口(API)，获取用户输入的用户交互指令；然后，将该用户交互指令发送至对应的网络设备，由网络设备确定该用户交互指令所对应的统一交互指令，其中，与所述用户交互指令同义的多个不同交互模式下的交互指令与所述统一交互指令相对应；接着，再根据所述统一交互指令，执行所述用户交互指令。

在又一个实施例中，若执行设备1为网络设备和智能终端相集成的设备，即执行设备1由智能终端和网络设备相配合实现，则智能终端首先通过其自身所提供的应用程序接口(API)，获取用户输入的用户交互指令；然后，确定所述用户交互指令所对应的统一交互指令，其中，与所述用户交互指令同义的多个不同交互模式下的交互指令与所述统一交互指令相对应；接着，将所述统一交互指令发送至对应的网络设备，以由网络设备根据所述统一交互指令，执行所述用户交互指令。

具体地，第一获取装置11通过执行设备1自身提供的应用程序接口(API)，获取用户输入的用户交互指令，或者通过接收诸如智能终端等第三方设备发送的用户交互指令，来获取所述用户交互指令。在此，用户交互指令包括但不限于如在语音交互、遥控器交互、手势交互、图像交互、声纹交互、体感交互等任意一种交互模式下输入的指令。例如，若用户交互指令为自然语言命令，则第一获取装置11可通过执行设备1的诸如麦克风等拾音装置来获取用户的自然语言命令。再如，若用户交互指令为输入的图像，如人脸识别，则第一获取装置11可通过执行设备1的摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而进行人脸识别。还如，若用户交互指令为通过遥控器输入的指令，则第一获取装置11可通过接收用户通过遥控器上的按钮发出的讯息，来获取所述用户交互指令。又如，若用户交互指令为通过执行手势操作输入的指令，则第一获取装置11可通过执行设备1自身提供的应用程序接口(API)，获取到用户在触摸屏上执行的手势轨迹，从而获取到相应的手势操作。

接着，第一确定装置12确定所述用户交互指令所对应的统一交互指令，其中，与所述用户交互指令同义的多个不同交互模式下的交互指令与所述统一交互指令相对应。在此，所述交互模式包括但不限于如语音交互、遥控器交互、手势交互、图像交互、声纹交互、体感交互等。在此，所述同义是指指令作用相同。在此，所述统一交互指令是指对多个同义的不同交互模式下的交互指令进行统一，而得到的统一交互指令，例如，对于翻页指令，如语音“下一页”“还有别的吗”、遥控器的翻页按键、用户点击触摸屏上页面的形如下一页/[下一页]等链接按钮，由于该等指令的指令作用相同，可对该等指令进行统一，如设置一种新的指令格式来对各种交互模式下的指令作用相同的指令进行统一表示，从而使得无论何种交互模式下的指令均可执行，不受交互模式的限制。

在此，第一确定装置12确定用户交互指令所对应的统一交互指令的方式包括但不限于以下至少任一项：

1)根据所述用户交互指令所属的同义交互指令簇，确定所述用户交互指令所对应的统一交互指令，其中，与所述用户交互指令同义的多个不同交互模式下的交互指令与所述统一交互指令相对应。

在此，所述同义交互指令簇是指一组同义的多个不同交互模式下的交互指令。

例如，假设执行设备1为电子产品，其上安装有某APP，如用户A欲登录该APP，其打开该APP后，点击了刷脸登录，于是开启了人脸识别交互模式，在该交互模式下，触发开启执行设备1中的摄像机或摄像头，从而对用户A进行人脸采集，并自动在图像中检测和跟踪人脸，进而进行人脸识别，识别到用户A的人脸图像，此即用户A输入的用户交互指令，假设该指令所属的同义交互指令簇(如该同义交互指令簇还包含指令作用为“登录”的其他交互模式下指令如登录二维码扫描、语音“登录”等)所对应的统一交互指令为{instruct:登录}，则第一确定装置12可确定相应的统一交互指令为{instruct:登录}。

再如，假设用户A欲进行支付，在支付场景下，采集了用户A的声音，并进行了验证，如将采集到的用户A的声音和已知的声音进行听觉和频谱两方面特征的比对鉴别和综合分析，确定二者是否出自同一声源(同一个人的声音)，来验证发声者身份，假设验证通过，相应地，采集到的用户A的声音即为用户A输入的用户交互指令，而该指令所属的同义交互指令簇(如该同义交互指令簇还包含指令作用为“支付”的其他交互模式下指令如付款二维码扫描、语音“支付”等)所对应的统一交互指令为{pay:支付}，则第一确定装置12可确定相应的统一交互指令为{pay:支付}。

还如，假设用户A欲通过执行设备1(假设执行设备1为智能电视)进行语音查找最近好看的电影，假设该智能电视中搭载了客户端如Voice-APP，用户A打开该客户端，或者通过语音对其进行了唤醒，或者直接向该智能电视发出自然语言命令“最近有什么好看的电影”，得到返回的结果列表如图2(a)所示的list-1，此时用户A又通过电视遥控器进行了翻页操作，如点击遥控器上能够实现翻至下一页的按键(如图2(b)所示)，而该指令所属的同义交互指令簇(如该同义交互指令簇还包含指令作用为“翻至下一页”其他交互模式下的指令，如语音“下一页”、用户点击触摸屏上页面的形如下一页/[下一页]等链接按钮)所对应的统一交互指令为{page down:下一页}，则第一确定装置12可确定相应的统一交互指令为{page down:下一页}。

2)根据预定的统一交互指令的指令格式，将所述用户交互指令的格式转换为符合统一交互指令的指令格式，从而得到所述用户交互指令所对应的统一交互指令。

具体地，可设置对应每种交互模式的转换器，即由转换器做相应交互模式下的指令转换，每种转换器的转换方式各有不同。例如，对于遥控器交互模式和手势交互模式，可通过当前页面状态、用户采用遥控器/手势发出所述用户交互指令所执行的前一个指令(其中，该指令可以是用户在对话过程中采用任意一种交互模式发出的)和遥控器按键操作/手势操作三元组(即对于遥控器交互模式，采用{当前页面状态、前一指令、遥控器按键操作}三元组，对于手势交互模式，采用{当前页面状态、前一指令、手势操作}三元组)，通过查表方式来确定转换到具体哪个统一交互指令；而对于语音交互模式，需首先将自然语音命令转为文本，然后通过分类模型将该自然语言命令映射到统一交互指令；对于图像交互模式和声纹交互模式，转换器内部可以是一个服务，如图像识别或声纹识别，识别成功则映射到登录成功和/或支付成功。在此，所述页面状态与下文中的页面状态含义一致。

本领域技术人员应能理解上述确定所述用户交互指令所对应的统一交互指令的方式仅为举例，其他现有的或今后可能出现的确定所述用户交互指令所对应的统一交互指令的方式如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用方式包含于此。

然后，执行装置13根据所述统一交互指令，执行所述用户交互指令，如执行所述统一交互指令，从而实现对所述用户交互指令的执行，即通过执行所述统一交互指令，达到与执行所述用户交互指令相同的执行效果。

例如，接前例，执行装置13如执行统一交互指令{instruct:登录}，则可成功登录。

再如，执行装置13如执行统一交互指令{pay:支付}，则可成功支付。

还如，执行装置13如执行统一交互指令{page down:下一页}，则可翻至下一页，得到如图2(b)所示的下一页电影结果列表。

在此，本发明实现了各种不同交互模式无缝连接，使得无论用户采用何种交互模式，均能准确执行，降低了设备对交互模式的依赖性；相应地，也实现了支持多种不同交互模式的混合使用，不对用户的交互行为构成限制，使得用户在(多轮)对话过程中可采用任意的交互模式；同时，把同义的各类交互模式的指令统一表示，用户不必担心不同交互模式会导致对话割裂无法衔接，使整个交互更流畅自然，提高了交互效率，也提升了交互体验。例如，用户A看到如图2(b)所示的下一页电影结果列表后，语音说“我要看神女奇侠”(如图2(c)所示)，相应地，执行设备1会开始播放该影片。

在一个实施例中，执行设备1还包括第二获取装置(未示出)、第二确定装置(未示出)、建立或更新装置(未示出)和第三确定装置(未示出)。具体地，第二获取装置获取一个或多个同义交互指令簇，其中，所述同义交互指令簇包括表示同义的多个不同交互模式下的交互指令；第二确定装置确定所述同义交互指令簇所对应的统一交互指令；建立或更新装置建立或更新多模交互指令库，其中，所述多模交互指令库包括所述同义交互指令簇与其所对应的统一交互指令之间的映射关系；第一获取装置11获取用户输入的用户交互指令；第三确定装置根据所述用户交互指令的指令描述信息，在所述多模交互指令库中进行匹配查询，以确定所述用户交互指令所属的同义交互指令簇；第一确定装置12根据所述用户交互指令所属的同义交互指令簇，确定所述用户交互指令所对应的统一交互指令，其中，与所述用户交互指令同义的多个不同交互模式下的交互指令与所述统一交互指令相对应；执行装置13根据所述统一交互指令，执行所述用户交互指令。

在此，第一获取装置11和执行装置13与前述实施例中对应装置的内容相同或相似，为简明起见，故在此不再赘述，并以引用的方式包含于此。

在此，第一确定装置12根据所述用户交互指令所属的同义交互指令簇确定所述用户交互指令所对应的统一交互指令的方式，与前述实施例中第一确定装置12根据所述用户交互指令所属的同义交互指令簇确定所述用户交互指令所对应的统一交互指令的方式相同或相似，为简明起见，故在此不再赘述，并以引用的方式包含于此。

具体地，第二获取装置获取一个或多个同义交互指令簇，其中，所述同义交互指令簇包括表示同义的多个不同交互模式下的交互指令。在此，第二获取装置获取所述一个或多个同义交互指令簇的方式包括但不限于以下至少任一项：

1)根据交互指令的指令作用，对各交互模式分别所对应的交互指令库中的交互指令进行分类处理，以获得所述一个或多个同义交互指令簇。

例如，第二获取装置首先从预定的各交互模式分别所对应的交互指令库中获取全部交互指令，然后根据标注的交互指令的指令作用，采用诸如决策树等分类方法，对该等交互指令进行分类，由划分为同一类(即指令作用相同)的多个不同交互模式下的交互指令形成一个同义交互指令簇，从而获得多个同义交互指令簇。

2)根据已标注同义关系的不同交互模式下的多个交互指令训练样本，对所述多个交互指令训练样本进行聚类处理，以获得所述所述一个或多个同义交互指令簇。

例如，假设存在已标注同义关系的不同交互模式下的多个交互指令训练样本如下所示：

①指令作用为“翻至下一页”的同义指令：语音“下一页”以及“还有别的吗”等、用户点击触摸屏上页面的形如下一页/[下一页]等链接按钮、遥控器上翻至下一页的按键、翻页手势

②指令作用为“放大音量”的同义指令：语音“放大音量”、“音量再大一点”、音量增加的按键

③指令作用为“放大屏幕显示内容”的同义指令：放大手势、放大按键、语音“放大”

④指令作用为“选择第n个”的同义指令：语音“选择第n个”、遥控器选择第n个、触摸屏选择第n个、语音“我要看***”(其中，***表示第n个的名字，n为自然数)

……

则第二获取装置可根据该已标注同义关系的不同交互模式下的多个交互指令训练样本，对该多个交互指令训练样本进行聚类处理，如将标注属于同义关系的交互指令训练样本归为一类，从而得到所述一个或多个同义交互指令簇，如将含有上述已标注同义关系的交互指令训练样本①的交互指令归为一类得到cluster1，将上述已标注同义关系的交互指令训练样本②的交互指令归为一类得到cluster2，从而得到所述一个或多个同义交互指令簇。

本领域技术人员应能理解上述获取所述同义交互指令簇的方式仅为举例，其他现有的或今后可能出现的获取所述同义交互指令簇的方式如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用方式包含于此。

第二确定装置确定所述同义交互指令簇所对应的统一交互指令，如用统一交互指令来表达所述同义交互指令簇做表达的指令作用，即对所述同义交互指令簇中的多个同义的不同交互模式下的交互指令进行统一，而得到的统一交互指令。

建立或更新装置建立或更新多模交互指令库，如通过建立同义交互指令簇与其所对应的统一交互指令对，来得到如以下表1所示的多模交互指令库，其中，所述多模交互指令库包括所述同义交互指令簇与其所对应的统一交互指令之间的映射关系。在此，对所述多模交互指令库更新的方式可以按预定规则如按周期等方式更新。

表1

第一获取装置11获取用户输入的用户交互指令。

第三确定装置根据所述用户交互指令的指令描述信息，在所述多模交互指令库中进行匹配查询，以确定所述用户交互指令所属的同义交互指令簇。在此，所述指令描述信息是指能够对所述用户交互指令进行描述的信息，其可以是所述用户交互指令所对应的文本描述信息(如若用户交互指令为自然语言命令，则其指令描述信息可以是对该自然语言命令进行语义解析而得到的文本；若用户交互指令为遥控器交互、手势交互、图像交互、声纹交互等模式下的交互指令，则相应的指令描述信息可以是对指令的解释说明文本)，也可以是对该文本描述信息进行主要内容提取而得到的主要内容。

例如，对于用户A，其直接向智能电视发出自然语言命令“最近有什么好看的电影”，得到返回的结果列表如图2(a)所示的list-1，此时用户A又通过电视遥控器进行了翻页操作，如点击遥控器上能够实现翻至下一页的按键(如图2(b)所示)，则第一获取装置11通过智能电视所提供的应用程序接口(API)，获取到用户A输入的该用户交互指令；然后，第三确定装置根据该用户交互指令的指令描述信息，如对该用户交互指令的解释说明文本“翻至下一页”，在如表1所示的多模交互指令库中进行匹配查询，得到该用户交互指令所属的同义交互指令簇为cluster1。

图3示出本发明一个实施例的一种用于执行交互指令的执行设备1，其中，执行设备1包括第一获取装置21、第一确定装置22、执行装置23和提供装置24。具体地，提供装置24响应于所述用户在第一交互模式下的第一交互指令，提供对应的响应内容；第一获取装置21获取所述用户在第二交互模式下对所述响应内容执行的第二交互指令，以作为所述用户交互指令，其中，所述第二交互模式不同于所述第一交互模式；第一确定装置22确定所述用户交互指令所对应的统一交互指令，其中，与所述用户交互指令同义的多个不同交互模式下的交互指令与所述统一交互指令相对应；执行装置23根据所述统一交互指令，执行所述用户交互指令。在此，第一确定装置22和执行装置23分别与图1实施例中对应装置的内容相同或相似，在此，为简明起见，故在此不再赘述，并以引用的方式包含于此。

具体地，提供装置24响应于所述用户在第一交互模式下的第一交互指令，提供对应的响应内容。

例如，对于用户A，其直接向智能电视发出了自然语言命令“最近有什么好看的电影”，则提供装置24响应于用户A执行的该第一交互指令，首先获取相应的响应内容，如在电影数据库中进行查询，得到相应的结果，并以列表形式并返回，从而将该结果列表提供给用户A，供其浏览，因该结果列表中内容较多，一页显示不完，需要多页显示，首页结果列表如图2(a)所示的list-1。

接着，第一获取装置21获取所述用户在第二交互模式下对所述响应内容执行的第二交互指令，以作为所述用户交互指令，其中，所述第二交互模式不同于所述第一交互模式。

例如，接上例，用户A浏览如图2(a)所示的list-1之后，发现没有感兴趣的电影，于是用户A通过电视遥控器进行了翻页操作，如点击遥控器上能够实现翻至下一页的按键(如图2(b)所示)，则第一获取装置21可通过接收用户A通过遥控器上的按钮发出的讯息，获取到用户A执行的翻页操作，并将其作为所述用户交互指令。

在此，本发明通过确定用户在不同于第一交互模式的第二交互模式下的第二交互指令的统一交互指令，使得原仅可执行第一交互模式下的指令的情形下，也可执行不同于第一交互模式下的指令，进一步提升了交互体验，也进一步使得在(多轮)对话场景中提高不同交互模式间的互通性。

在一个实施例中，若所述用户交互指令满足预定规则，其中，第一确定装置22包括第一确定单元(未示出)和第二确定单元(未示出)。具体地，提供装置24响应于所述用户在第一交互模式下的第一交互指令，提供对应的响应内容；第一获取装置21获取所述用户在第二交互模式下对所述响应内容执行的第二交互指令，以作为所述用户交互指令，其中，所述第二交互模式不同于所述第一交互模式；第一确定单元根据所述用户交互指令，结合所述响应内容所属的页面状态，确定所述用户交互指令所对应的目标指令；第二确定单元确定所述目标指令所对应的统一交互指令，其中，与所述目标指令同义的多个不同交互模式下的交互指令与所述统一交互指令相对应；执行装置23根据所述统一交互指令，执行所述用户交互指令。在此，第一获取装置21、执行装置23和提供装置24与前述实施例中对应装置的内容相同或相似，为简明起见，故在此不再赘述，并以引用的方式包含于此。

在此，所述预定规则包括以下至少任一项：

-所述用户交互指令对应至少两个候选指令意图项；

-所述用户交互指令为自然语言命令，且满足预定条件。

例如，若所述预定规则包括所述用户交互指令对应至少两个候选指令意图项，在此，所述用户交互指令对应至少两个候选指令意图项是指所述用户交互指令本身具有至少两个指令含义，或者说对应至少两个指令意图，如对于遥控器，存在一个按键对应两种功能的情形，如遥控器上的音量放大按键和翻至下一页的按键是同一个，若用户点击该按键，则相应输入的用户交互指令对应两个候选指令意图项。

再如，若所述预定规则包括所述用户交互指令为自然语言命令，且满足预定条件，在此，所述预定条件包括但不限于如：1)所述自然语言命令所对应的文本中含有预定类别词，在此，所述预定类别词是指使得所述自然语言命令所对应的文本语义不完整的词，如缺失词、指代词等；2)所述自然语言命令所对应的文本具备语义缺失，也即语义不完整。

具体地，第一确定单元根据所述用户交互指令，结合所述响应内容所属的页面状态，确定所述用户交互指令所对应的目标指令。在此，所述页面状态是指所述响应内容所处的页面形态，其包括但不限于如列表页、详情页、首页、播放状态等。

例如，假设用户A通过遥控器选择了执行设备1(假设执行设备1为智能电视)的某个频道播放节目，然后，用户A说“放大”，但由于该自然语言命令所对应的文本具备语义缺失，也即语义不完整，即仅根据该自然语言命令并不知晓将什么放大，但因响应内容(即正在播放的节目)所属的页面状态为播放状态，则第一确定单元可根据用户A的该自然语言命令，结合所述响应内容所属的页面状态，便可知晓该自然语言命令旨在将音量放大，也即，确定用户A的该自然语言命令所对应的目标指令为音量放大。

优选地，第一确定单元还可根据所述用户交互指令，结合所述响应内容所属的页面状态以及所述第一交互指令，确定所述用户交互指令所对应的目标指令。

例如，假设提供装置24基于用户A的自然语言命令“最近有什么好看的电影”，提供了如图2(a)所示的作为响应内容的一部分的list-1，而用户A浏览如图2(a)所示的list-1之后，发现没有感兴趣的电影，于是用户A通过电视遥控器进行了翻页操作，如点击遥控器上能够实现翻至下一页的按键(如图2(b)所示)，但由于该按键对应的功能还可实现音量放大以及将当前内容放大，因响应内容所属的页面状态为列表页，则第一确定单元可首先根据用户A通过遥控器上的按钮发出的讯息(该讯息即是用户A输入的用户交互指令)，结合所述响应内容所属的页面状态，确定用户A执行按键操作所对应的可能指令意图为翻至下一页的翻页操作或将当前内容放大，但不是音量放大操作；然后，由于第一交互指令为“最近有什么好看的电影”，也即用户A旨在查询最近好看的电影有哪些，因此，第一确定单元可确定用户A执行按键操作所对应的目标指令为翻至下一页的翻页操作，而不是将当前内容放大。

本领域技术人员应能理解上述确定所述用户交互指令所对应的目标指令的方式仅为举例，其他现有的或今后可能出现的确定所述用户交互指令所对应的目标指令的方式如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用方式包含于此。

接着，第二确定单元确定所述目标指令所对应的统一交互指令，其中，与所述目标指令同义的多个不同交互模式下的交互指令与所述统一交互指令相对应。在此，第二确定单元确定所述目标指令所对应的统一交互指令的方式与图1实施例中第二确定装置12确定用户交互指令所对应的统一交互指令的方式相同或相似，为简明起见，故在此不再赘述，并以引用的方式包含于此。

在此，需要说明的是，所述第一交互指令和所述第二交互指令可以是用户在同一智能终端上执行的，也可以是同一用户在其对应的不同智能终端上执行的。

图4示出根据本发明另一个方面的一种用于执行交互指令的方法流程图。

其中，该方法包括步骤S1、步骤S2和步骤S3。

具体地，在步骤S1中，执行设备1获取用户输入的用户交互指令；在步骤S2中，执行设备1确定所述用户交互指令所对应的统一交互指令，其中，与所述用户交互指令同义的多个不同交互模式下的交互指令与所述统一交互指令相对应；在步骤S3中，执行设备1根据所述统一交互指令，执行所述用户交互指令。

在此，所述执行设备1是指一种能够确定用户交互指令所对应的统一交互指令，并以此来执行用户交互指令的设备。在具体实施例中，执行设备1可由智能终端实现，也可由网络设备或网络设备与智能终端通过网络相集成所构成的设备(即由智能终端和网络设备相配合)实现，还可以作为软件模块和/或硬件模块被包含于智能终端中，也可以作为硬件设备与智能终端通过有线或无线的方式连接。在此，所述网络设备包括但不限于如网络主机、单个网络服务器、多个网络服务器集或基于云计算的计算机集合等实现。在此，云由基于云计算(Cloud Computing)的大量主机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。在此，所述智能终端可以是任何一种可与用户通过键盘、触摸板、触摸屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互的电子产品，例如PC、手机、智能手机、PDA、可穿戴设备、掌上电脑PPC、可穿戴设备、平板电脑、智能车机、智能电视、智能音箱等。在实际应用中，执行设备1为智能终端时，其上可搭载/安装能够理解、处理并响应用户的自然语言命令并将响应结果进行输出的客户端(可以是APP形式)，也可以是该客户端仅能对用户输入的自然语言命令进行语音识别但需对应的服务器来对该自然语言命令进行理解、处理并响应用户的自然语言命令并将响应结果返回客户端进行输出。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。本领域技术人员应能理解上述执行设备1仅为举例，其他现有的或今后可能出现的网络设备或智能终端如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用方式包含于此。在此，网络设备及智能终端均包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程门阵列(FPGA)、数字处理器(DSP)、嵌入式设备等。

在一个实施例中，若执行设备1为用户的智能终端，则执行设备1首先通过其自身所提供的应用程序接口(API)，获取用户输入的用户交互指令；然后确定所述用户交互指令所对应的统一交互指令，其中，与所述用户交互指令同义的多个不同交互模式下的交互指令与所述统一交互指令相对应；接着，再根据所述统一交互指令，执行所述用户交互指令。

在另一实施例中，若执行设备1为网络设备，则执行设备1首先智能终端所提供的应用程序接口(API)，获取用户输入的用户交互指令；然后确定所述用户交互指令所对应的统一交互指令，其中，与所述用户交互指令同义的多个不同交互模式下的交互指令与所述统一交互指令相对应；接着，再根据所述统一交互指令，执行所述用户交互指令。

在还一实施例中，若执行设备1为网络设备和智能终端相集成的设备，即执行设备1由智能终端和网络设备相配合实现，则智能终端首先通过其自身所提供的应用程序接口(API)，获取用户输入的用户交互指令；然后，将该用户交互指令发送至对应的网络设备，由网络设备确定该用户交互指令所对应的统一交互指令，其中，与所述用户交互指令同义的多个不同交互模式下的交互指令与所述统一交互指令相对应；接着，再根据所述统一交互指令，执行所述用户交互指令。

在又一个实施例中，若执行设备1为网络设备和智能终端相集成的设备，即执行设备1由智能终端和网络设备相配合实现，则智能终端首先通过其自身所提供的应用程序接口(API)，获取用户输入的用户交互指令；然后，确定所述用户交互指令所对应的统一交互指令，其中，与所述用户交互指令同义的多个不同交互模式下的交互指令与所述统一交互指令相对应；接着，将所述统一交互指令发送至对应的网络设备，以由网络设备根据所述统一交互指令，执行所述用户交互指令。

具体地，在步骤S1中，执行设备1通过执行设备1自身提供的应用程序接口(API)，获取用户输入的用户交互指令，或者通过接收诸如智能终端等第三方设备发送的用户交互指令，来获取所述用户交互指令。在此，用户交互指令包括但不限于如在语音交互、遥控器交互、手势交互、图像交互、声纹交互、体感交互等任意一种交互模式下输入的指令。例如，若用户交互指令为自然语言命令，则在步骤S1中，执行设备1可通过执行设备1的诸如麦克风等拾音装置来获取用户的自然语言命令。再如，若用户交互指令为输入的图像，如人脸识别，则在步骤S1中，执行设备1可通过执行设备1的摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而进行人脸识别。还如，若用户交互指令为通过遥控器输入的指令，则在步骤S1中，执行设备1可通过接收用户通过遥控器上的按钮发出的讯息，来获取所述用户交互指令。又如，若用户交互指令为通过执行手势操作输入的指令，则在步骤S1中，执行设备1可通过执行设备1自身提供的应用程序接口(API)，获取到用户在触摸屏上执行的手势轨迹，从而获取到相应的手势操作。

接着，在步骤S2中，执行设备1确定所述用户交互指令所对应的统一交互指令，其中，与所述用户交互指令同义的多个不同交互模式下的交互指令与所述统一交互指令相对应。在此，所述交互模式包括但不限于如语音交互、遥控器交互、手势交互、图像交互、声纹交互、体感交互等。在此，所述同义是指指令作用相同。在此，所述统一交互指令是指对多个同义的不同交互模式下的交互指令进行统一，而得到的统一交互指令，例如，对于翻页指令，如语音“下一页”“还有别的吗”、遥控器的翻页按键、用户点击触摸屏上页面的形如下一页/[下一页]等链接按钮，由于该等指令的指令作用相同，可对该等指令进行统一，如设置一种新的指令格式来对各种交互模式下的指令作用相同的指令进行统一表示，从而使得无论何种交互模式下的指令均可执行，不受交互模式的限制。

在此，在步骤S2中，执行设备1确定用户交互指令所对应的统一交互指令的方式包括但不限于以下至少任一项：

1)根据所述用户交互指令所属的同义交互指令簇，确定所述用户交互指令所对应的统一交互指令，其中，与所述用户交互指令同义的多个不同交互模式下的交互指令与所述统一交互指令相对应。

在此，所述同义交互指令簇是指一组同义的多个不同交互模式下的交互指令。

例如，假设执行设备1为电子产品，其上安装有某APP，如用户A欲登录该APP，其打开该APP后，点击了刷脸登录，于是开启了人脸识别交互模式，在该交互模式下，触发开启执行设备1中的摄像机或摄像头，从而对用户A进行人脸采集，并自动在图像中检测和跟踪人脸，进而进行人脸识别，识别到用户A的人脸图像，此即用户A输入的用户交互指令，假设该指令所属的同义交互指令簇(如该同义交互指令簇还包含指令作用为“登录”的其他交互模式下指令如登录二维码扫描、语音“登录”等)所对应的统一交互指令为{instruct:登录}，则在步骤S2中，执行设备1可确定相应的统一交互指令为{instruct:登录}。

再如，假设用户A欲进行支付，在支付场景下，采集了用户A的声音，并进行了验证，如将采集到的用户A的声音和已知的声音进行听觉和频谱两方面特征的比对鉴别和综合分析，确定二者是否出自同一声源(同一个人的声音)，来验证发声者身份，假设验证通过，相应地，采集到的用户A的声音即为用户A输入的用户交互指令，而该指令所属的同义交互指令簇(如该同义交互指令簇还包含指令作用为“支付”的其他交互模式下指令如付款二维码扫描、语音“支付”等)所对应的统一交互指令为{pay:支付}，则在步骤S2中，执行设备1可确定相应的统一交互指令为{pay:支付}。

还如，假设用户A欲通过执行设备1(假设执行设备1为智能电视)进行语音查找最近好看的电影，假设该智能电视中搭载了客户端如Voice-APP，用户A打开该客户端，或者通过语音对其进行了唤醒，或者直接向该智能电视发出自然语言命令“最近有什么好看的电影”，得到返回的结果列表如图2(a)所示的list-1，此时用户A又通过电视遥控器进行了翻页操作，如点击遥控器上能够实现翻至下一页的按键(如图2(b)所示)，而该指令所属的同义交互指令簇(如该同义交互指令簇还包含指令作用为“翻至下一页”其他交互模式下的指令，如语音“下一页”、用户点击触摸屏上页面的形如下一页/[下一页]等链接按钮)所对应的统一交互指令为{page down:下一页}，则在步骤S2中，执行设备1可确定相应的统一交互指令为{page down:下一页}。

2)根据预定的统一交互指令的指令格式，将所述用户交互指令的格式转换为符合统一交互指令的指令格式，从而得到所述用户交互指令所对应的统一交互指令。

具体地，可设置对应每种交互模式的转换器，即由转换器做相应交互模式下的指令转换，每种转换器的转换方式各有不同。例如，对于遥控器交互模式和手势交互模式，可通过当前页面状态、用户采用遥控器/手势发出所述用户交互指令所执行的前一个指令(其中，该指令可以是用户在对话过程中采用任意一种交互模式发出的)和遥控器按键操作/手势操作三元组(即对于遥控器交互模式，采用{当前页面状态、前一指令、遥控器按键操作}三元组，对于手势交互模式，采用{当前页面状态、前一指令、手势操作}三元组)，通过查表方式来确定转换到具体哪个统一交互指令；而对于语音交互模式，需首先将自然语音命令转为文本，然后通过分类模型将该自然语言命令映射到统一交互指令；对于图像交互模式和声纹交互模式，转换器内部可以是一个服务，如图像识别或声纹识别，识别成功则映射到登录成功和/或支付成功。在此，所述页面状态与下文中的页面状态含义一致。

本领域技术人员应能理解上述确定所述用户交互指令所对应的统一交互指令的方式仅为举例，其他现有的或今后可能出现的确定所述用户交互指令所对应的统一交互指令的方式如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用方式包含于此。

然后，在步骤S3中，执行设备1根据所述统一交互指令，执行所述用户交互指令，如执行所述统一交互指令，从而实现对所述用户交互指令的执行，即通过执行所述统一交互指令，达到与执行所述用户交互指令相同的执行效果。

例如，接前例，在步骤S3中，执行设备1如执行统一交互指令{instruct:登录}，则可成功登录。

再如，在步骤S3中，执行设备1如执行统一交互指令{pay:支付}，则可成功支付。

还如，在步骤S3中，执行设备1如执行统一交互指令{page down:下一页}，则可翻至下一页，得到如图2(b)所示的下一页电影结果列表。

在此，本发明实现了各种不同交互模式无缝连接，使得无论用户采用何种交互模式，均能准确执行，降低了设备对交互模式的依赖性，相应地，也实现了支持多种不同交互模式的混合使用，使得用户在对话过程中可采用任意的交互模式，不对用户的交互行为构成限制；同时，把同义的各类交互模式的指令统一表示，用户不必担心不同交互模式会导致对话割裂无法衔接，使整个交互更流畅自然，提高了交互效率，也提升了交互体验。例如，用户A看到如图2(b)所示的下一页电影结果列表后，语音说“我要看神女奇侠”(如图2(c)所示)，相应地，执行设备1会开始播放该影片。

在一个实施例中，该方法还包括步骤S5(未示出)、步骤S6(未示出)、步骤S7(未示出)和步骤S8(未示出)。具体地，在步骤S5中，执行设备1获取一个或多个同义交互指令簇，其中，所述同义交互指令簇包括表示同义的多个不同交互模式下的交互指令；在步骤S6中，执行设备1确定所述同义交互指令簇所对应的统一交互指令；在步骤S7中，执行设备1建立或更新多模交互指令库，其中，所述多模交互指令库包括所述同义交互指令簇与其所对应的统一交互指令之间的映射关系；在步骤S1中，执行设备1获取用户输入的用户交互指令；在步骤S8中，执行设备1根据所述用户交互指令的指令描述信息，在所述多模交互指令库中进行匹配查询，以确定所述用户交互指令所属的同义交互指令簇；在步骤S2中，执行设备1根据所述用户交互指令所属的同义交互指令簇，确定所述用户交互指令所对应的统一交互指令，其中，与所述用户交互指令同义的多个不同交互模式下的交互指令与所述统一交互指令相对应；在步骤S3中，执行设备1根据所述统一交互指令，执行所述用户交互指令。

在此，步骤S1和步骤S3与前述实施例中对应步骤的内容相同或相似，为简明起见，故在此不再赘述，并以引用的方式包含于此。

在此，在步骤S2中，执行设备1根据所述用户交互指令所属的同义交互指令簇确定所述用户交互指令所对应的统一交互指令的方式，与前述实施例中执行设备1在步骤S2中根据所述用户交互指令所属的同义交互指令簇确定所述用户交互指令所对应的统一交互指令的方式相同或相似，为简明起见，故在此不再赘述，并以引用的方式包含于此。

具体地，在步骤S5中，执行设备1获取一个或多个同义交互指令簇，其中，所述同义交互指令簇包括表示同义的多个不同交互模式下的交互指令。在此，在步骤S5中，执行设备1获取所述一个或多个同义交互指令簇的方式包括但不限于以下至少任一项：

1)根据交互指令的指令作用，对各交互模式分别所对应的交互指令库中的交互指令进行分类处理，以获得所述一个或多个同义交互指令簇。

例如，在步骤S5中，执行设备1首先从预定的各交互模式分别所对应的交互指令库中获取全部交互指令，然后根据标注的交互指令的指令作用，采用诸如决策树等分类方法，对该等交互指令进行分类，由划分为同一类(即指令作用相同)的多个不同交互模式下的交互指令形成一个同义交互指令簇，从而获得多个同义交互指令簇。

2)根据已标注同义关系的不同交互模式下的多个交互指令训练样本，对所述多个交互指令训练样本进行聚类处理，以获得所述所述一个或多个同义交互指令簇。

例如，假设存在已标注同义关系的不同交互模式下的多个交互指令训练样本如下所示：

①指令作用为“翻至下一页”的同义指令：语音“下一页”以及“还有别的吗”等、用户点击触摸屏上页面的形如下一页/[下一页]等链接按钮、遥控器上翻至下一页的按键、翻页手势

②指令作用为“放大音量”的同义指令：语音“放大音量”、“音量再大一点”、音量增加的按键

③指令作用为“放大屏幕显示内容”的同义指令：放大手势、放大按键、语音“放大”

④指令作用为“选择第n个”的同义指令：语音“选择第n个”、遥控器选择第n个、触摸屏选择第n个、语音“我要看***”(其中，***表示第n个的名字，n为自然数)

……

则在步骤S5中，执行设备1可根据该已标注同义关系的不同交互模式下的多个交互指令训练样本，对该多个交互指令训练样本进行聚类处理，如将标注属于同义关系的交互指令训练样本归为一类，从而得到所述一个或多个同义交互指令簇，如将含有上述已标注同义关系的交互指令训练样本①的交互指令归为一类得到cluster1，将上述已标注同义关系的交互指令训练样本②的交互指令归为一类得到cluster2，从而得到所述一个或多个同义交互指令簇。

本领域技术人员应能理解上述获取所述同义交互指令簇的方式仅为举例，其他现有的或今后可能出现的获取所述同义交互指令簇的方式如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用方式包含于此。

在步骤S6中，执行设备1确定所述同义交互指令簇所对应的统一交互指令，如用统一交互指令来表达所述同义交互指令簇做表达的指令作用，即对所述同义交互指令簇中的多个同义的不同交互模式下的交互指令进行统一，而得到的统一交互指令。

在步骤S7中，执行设备1建立或更新多模交互指令库，如通过建立同义交互指令簇与其所对应的统一交互指令对，来得到如以下表2所示的多模交互指令库，其中，所述多模交互指令库包括所述同义交互指令簇与其所对应的统一交互指令之间的映射关系。在此，对所述多模交互指令库更新的方式可以按预定规则如按周期等方式更新。

表2

在步骤S1中，执行设备1获取用户输入的用户交互指令。

在步骤S8中，执行设备1根据所述用户交互指令的指令描述信息，在所述多模交互指令库中进行匹配查询，以确定所述用户交互指令所属的同义交互指令簇。在此，所述指令描述信息是指能够对所述用户交互指令进行描述的信息，其可以是所述用户交互指令所对应的文本描述信息(如若用户交互指令为自然语言命令，则其指令描述信息可以是对该自然语言命令进行语义解析而得到的文本；若用户交互指令为遥控器交互、手势交互、图像交互、声纹交互等模式下的交互指令，则相应的指令描述信息可以是对指令的解释说明文本)，也可以是对该文本描述信息进行主要内容提取而得到的主要内容。

例如，对于用户A，其直接向智能电视发出自然语言命令“最近有什么好看的电影”，得到返回的结果列表如图2(a)所示的list-1，此时用户A又通过电视遥控器进行了翻页操作，如点击遥控器上能够实现翻至下一页的按键(如图2(b)所示)，则在步骤S1中，执行设备1通过智能电视所提供的应用程序接口(API)，获取到用户A输入的该用户交互指令；然后，在步骤S8中，执行设备1根据该用户交互指令的指令描述信息，如对该用户交互指令的解释说明文本“翻至下一页”，在如表2所示的多模交互指令库中进行匹配查询，得到该用户交互指令所属的同义交互指令簇为cluster1。

图5示出本发明一个实施例的一种用于执行交互指令的方法流程图。

其中，该方法包括步骤S1’、步骤S2’、步骤S3’和步骤S4’。

具体地，在步骤S4'中，执行设备1响应于所述用户在第一交互模式下的第一交互指令，提供对应的响应内容；在步骤S1'中，执行设备1获取所述用户在第二交互模式下对所述响应内容执行的第二交互指令，以作为所述用户交互指令，其中，所述第二交互模式不同于所述第一交互模式；在步骤S2'中，执行设备1确定所述用户交互指令所对应的统一交互指令，其中，与所述用户交互指令同义的多个不同交互模式下的交互指令与所述统一交互指令相对应；在步骤S3'中，执行设备1根据所述统一交互指令，执行所述用户交互指令。在此，步骤S2'和步骤S3'分别与图4实施例中对应步骤的内容相同或相似，在此，为简明起见，故在此不再赘述，并以引用的方式包含于此。

具体地，在步骤S4'中，执行设备1响应于所述用户在第一交互模式下的第一交互指令，提供对应的响应内容。

例如，对于用户A，其直接向智能电视发出了自然语言命令“最近有什么好看的电影”，则在步骤S4'中，执行设备1响应于用户A执行的该第一交互指令，首先获取相应的响应内容，如在电影数据库中进行查询，得到相应的结果，并以列表形式并返回，从而将该结果列表提供给用户A，供其浏览，因该结果列表中内容较多，一页显示不完，需要多页显示，首页结果列表如图2(a)所示的list-1。

接着，在步骤S1'中，执行设备1获取所述用户在第二交互模式下对所述响应内容执行的第二交互指令，以作为所述用户交互指令，其中，所述第二交互模式不同于所述第一交互模式。

例如，接上例，用户A浏览如图2(a)所示的list-1之后，发现没有感兴趣的电影，于是用户A通过电视遥控器进行了翻页操作，如点击遥控器上能够实现翻至下一页的按键(如图2(b)所示)，则在步骤S1'中，执行设备1可通过接收用户A通过遥控器上的按钮发出的讯息，获取到用户A执行的翻页操作，并将其作为所述用户交互指令。

在此，本发明通过确定用户在不同于第一交互模式的第二交互模式下的第二交互指令的统一交互指令，使得原仅可执行第一交互模式下的指令的情形下，也可执行不同于第一交互模式下的指令，进一步提升了交互体验。

在一个实施例中，若所述用户交互指令满足预定规则，其中，步骤S2'包括步骤S21'(未示出)和步骤S22'(未示出)。具体地，在步骤S4'中，执行设备1响应于所述用户在第一交互模式下的第一交互指令，提供对应的响应内容；在步骤S1'中，执行设备1获取所述用户在第二交互模式下对所述响应内容执行的第二交互指令，以作为所述用户交互指令，其中，所述第二交互模式不同于所述第一交互模式；在步骤S21'中，执行设备1根据所述用户交互指令，结合所述响应内容所属的页面状态，确定所述用户交互指令所对应的目标指令；在步骤S22'中，执行设备1确定所述目标指令所对应的统一交互指令，其中，与所述目标指令同义的多个不同交互模式下的交互指令与所述统一交互指令相对应；在步骤S3'中，执行设备1根据所述统一交互指令，执行所述用户交互指令。在此，步骤S1'、步骤S3'和步骤S4'与前述实施例中对应步骤的内容相同或相似，为简明起见，故在此不再赘述，并以引用的方式包含于此。

在此，所述预定规则包括以下至少任一项：

-所述用户交互指令对应至少两个候选指令意图项；

-所述用户交互指令为自然语言命令，且满足预定条件。

例如，若所述预定规则包括所述用户交互指令对应至少两个候选指令意图项，在此，所述用户交互指令对应至少两个候选指令意图项是指所述用户交互指令本身具有至少两个指令含义，或者说对应至少两个指令意图，如对于遥控器，存在一个按键对应两种功能的情形，如遥控器上的音量放大按键和翻至下一页的按键是同一个，若用户点击该按键，则相应输入的用户交互指令对应两个候选指令意图项。

再如，若所述预定规则包括所述用户交互指令为自然语言命令，且满足预定条件，在此，所述预定条件包括但不限于如：1)所述自然语言命令所对应的文本中含有预定类别词，在此，所述预定类别词是指使得所述自然语言命令所对应的文本语义不完整的词，如缺失词、指代词等；2)所述自然语言命令所对应的文本具备语义缺失，也即语义不完整。

具体地，在步骤S21'中，执行设备1根据所述用户交互指令，结合所述响应内容所属的页面状态，确定所述用户交互指令所对应的目标指令。在此，所述页面状态是指所述响应内容所处的页面形态，其包括但不限于如列表页、详情页、首页、播放状态等。

例如，假设用户A通过遥控器选择了执行设备1(假设执行设备1为智能电视)的某个频道播放节目，然后，用户A说“放大”，但由于该自然语言命令所对应的文本具备语义缺失，也即语义不完整，即仅根据该自然语言命令并不知晓将什么放大，但因响应内容(即正在播放的节目)所属的页面状态为播放状态，则在步骤S21'中，执行设备1可根据用户A的该自然语言命令，结合所述响应内容所属的页面状态，便可知晓该自然语言命令旨在将音量放大，也即，确定用户A的该自然语言命令所对应的目标指令为音量放大。

优选地，在步骤S21'中，执行设备1还可根据所述用户交互指令，结合所述响应内容所属的页面状态以及所述第一交互指令，确定所述用户交互指令所对应的目标指令。

例如，假设在步骤S4'中，执行设备1基于用户A的自然语言命令“最近有什么好看的电影”，提供了如图2(a)所示的作为响应内容的一部分的list-1，而用户A浏览如图2(a)所示的list-1之后，发现没有感兴趣的电影，于是用户A通过电视遥控器进行了翻页操作，如点击遥控器上能够实现翻至下一页的按键(如图2(b)所示)，但由于该按键对应的功能还可实现音量放大以及将当前内容放大，因响应内容所属的页面状态为列表页，则在步骤S21'中，执行设备1可首先根据用户A通过遥控器上的按钮发出的讯息(该讯息即是用户A输入的用户交互指令)，结合所述响应内容所属的页面状态，确定用户A执行按键操作所对应的可能指令意图为翻至下一页的翻页操作或将当前内容放大，但不是音量放大操作；然后，由于第一交互指令为“最近有什么好看的电影”，也即用户A旨在查询最近好看的电影有哪些，因此，在步骤S21'中，执行设备1可确定用户A执行按键操作所对应的目标指令为翻至下一页的翻页操作，而不是将当前内容放大。

本领域技术人员应能理解上述确定所述用户交互指令所对应的目标指令的方式仅为举例，其他现有的或今后可能出现的确定所述用户交互指令所对应的目标指令的方式如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用方式包含于此。

接着，在步骤S22'中，执行设备1确定所述目标指令所对应的统一交互指令，其中，与所述目标指令同义的多个不同交互模式下的交互指令与所述统一交互指令相对应。在此，在步骤S22'中，执行设备1确定所述目标指令所对应的统一交互指令的方式与图4实施例中执行设备1在步骤S2中确定用户交互指令所对应的统一交互指令的方式相同或相似，为简明起见，故在此不再赘述，并以引用的方式包含于此。

在此，需要说明的是，所述第一交互指令和所述第二交互指令可以是用户在同一智能终端上执行的，也可以是同一用户在其对应的不同智能终端上执行的。

图6示出了适于用来实现本发明实施方式的示例性计算机系统/服务器的框图。图6显示的计算机系统/服务器3仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，计算机系统/服务器3以通用计算设备的形式表现。计算机系统/服务器3的组件可以包括但不限于：一个或者多个处理器或者处理单元31、系统存储器32、连接不同系统组件(包括系统存储器32和处理单元31)的总线33。

总线33表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线、微通道体系结构(MAC)总线、增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

计算机系统/服务器3典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机系统/服务器3访问的可用介质，包括易失性和非易失性介质、可移动的和不可移动的介质。

系统存储器32可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)321和/或高速缓存存储器322。计算机系统/服务器3可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统323可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线33相连。系统存储器32可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块325的程序/实用工具324，可以存储在例如系统存储器32中，这样的程序模块325包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块325通常执行本发明所描述的实施例中的功能和/或方法。

计算机系统/服务器3也可以与一个或多个外部设备35(例如键盘、指向设备、显示器34等)通信，还可与一个或者多个使得用户能与该计算机系统/服务器3交互的设备通信，和/或与使得该计算机系统/服务器3能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口36进行。并且，计算机系统/服务器3还可以通过网络适配器30与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图6所示，网络适配器30通过总线33与计算机系统/服务器3的其它模块通信。应当明白，尽管图4中未示出，可以结合计算机系统/服务器3使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元31通过运行存储在系统存储器32中的程序，从而执行各种功能应用以及数据处理，例如实现以下一种用于执行交互指令的方法，其中，该方法包括以下步骤：

a获取用户输入的用户交互指令；

b确定所述用户交互指令所对应的统一交互指令，其中，与所述用户交互指令同义的多个不同交互模式下的交互指令与所述统一交互指令相对应；

c根据所述统一交互指令，执行所述用户交互指令。

需要注意的是，本发明可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本发明的软件程序可以通过处理器执行以实现上文所述步骤或子。同样地，本发明的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本发明的一些步骤或子可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或子的电路。

另外，本发明的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本发明的方法和/或技术方案。而调用本发明的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本发明的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本发明的多个实施例的方法和/或技术方案。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (14)

1.一种用于执行交互指令的方法，其中，该方法包括以下步骤：

a获取用户在第一交互模式下的第一交互指令；

b根据所述第一交互指令提供对应的响应内容；

c获取所述用户在第二交互模式下对所述响应内容的第二交互指令，所述第二交互模式不同于所述第一交互模式；

d根据所述第二交互指令结合所述响应内容所属的页面状态提供对应的响应内容；

其中，根据所述第二交互指令结合所述响应内容所属的页面状态提供对应的响应内容包括如下步骤：

d1根据所述第二交互指令，结合所述响应内容所属的页面状态，确定所述第二交互指令所对应的目标交互指令；

d2确定所述目标交互指令所对应的第二统一交互指令，其中，与所述目标交互指令同义的多个不同交互模式下的交互指令与所述第二统一交互指令相对应；

d3根据所述第二统一交互指令提供对应的响应内容。

2.根据权利要求1所述的方法，其中，所述步骤d1包括：

-根据所述第二交互指令，结合所述响应内容所属的页面状态以及所述第一交互指令，确定所述第二交互指令所对应的目标指令。

3.根据权利要求1-2任一项所述的方法，其中，所述预定规则包括所述第二交互指令对应至少两个候选指令意图项。

4.根据权利要求1-2任一所述的方法，其中，该方法还包括步骤：

x获取一个或多个同义交互指令簇，其中，所述同义交互指令簇包括表示同义的多个不同交互模式下的交互指令；

-确定所述同义交互指令簇所对应的统一交互指令；

-建立或更新多模交互指令库，其中，所述多模交互指令库包括所述同义交互指令簇与其所对应的统一交互指令之间的映射关系；

-根据交互指令的指令描述信息，在所述多模交互指令库中进行匹配查询，以确定交互指令所属的同义交互指令簇。

5.根据权利要求4所述的方法，其中，所述步骤x包括：

根据交互指令的指令作用，对各交互模式分别所对应的交互指令库中的交互指令进行分类处理，以获得所述一个或多个同义交互指令簇，其中，所述同义交互指令簇包括表示同义的多个不同交互模式下的交互指令。

6.根据权利要求5所述的方法，其中，根据交互指令所属的同义交互指令簇，确定交互指令所对应的统一交互指令，其中，与交互指令同义的多个不同交互模式下的交互指令与该统一交互指令相对应。

7.一种用于执行交互指令的执行设备，其中，该执行设备包括：

第一获取装置，用于获取用户在第一交互模式下的第一交互指令；

第一提供装置，用于根据所述第一交互指令提供对应的响应内容；

第二获取装置，用于获取所述用户在第二交互模式下对所述响应内容的第二交互指令，所述第二交互模式不同于所述第一交互模式；

第二提供装置，用于根据所述第二交互指令结合所述响应内容所属的页面状态提供对应的响应内容；

其中，所述第二提供装置包括：

第二确定单元，用于根据所述第二交互指令，结合所述响应内容所属的页面状态，确定所述第二交互指令所对应的目标交互指令；

第三确定单元，用于确定所述目标交互指令所对应的第二统一交互指令，其中，与所述目标交互指令同义的多个不同交互模式下的交互指令与所述第二统一交互指令相对应；

第二执行单元，用于根据所述第二统一交互指令提供对应的响应内容。

8.根据权利要求7所述的执行设备，其中，所述第二确定单元用于：

-根据所述第二交互指令，结合所述响应内容所属的页面状态以及所述第一交互指令，确定所述第二交互指令所对应的目标指令。

9.根据权利要求7-8任一所述的执行设备，其中，所述预定规则包括所述第二交互指令对应至少两个候选指令意图项。

10.根据权利要求7-8任一所述的执行设备，其中，所述执行设备还包括：

第三获取装置，用于获取一个或多个同义交互指令簇，其中，所述同义交互指令簇包括表示同义的多个不同交互模式下的交互指令；

映射装置，用于确定所述同义交互指令簇所对应的统一交互指令；

建立更新装置，用于建立或更新多模交互指令库，其中，所述多模交互指令库包括所述同义交互指令簇与其所对应的统一交互指令之间的映射关系；

查询装置，用于根据交互指令的指令描述信息，在所述多模交互指令库中进行匹配查询，以确定交互指令所属的同义交互指令簇。

11.根据权利要求10所述的执行设备，其中，所述第三获取装置还用于：

根据交互指令所属的同义交互指令簇，确定交互指令所对应的统一交互指令，其中，与交互指令同义的多个不同交互模式下的交互指令与该统一交互指令相对应。

12.根据权利要求11所述的执行设备，其中，所述第三获取装置还用于：

根据交互指令的指令作用，对各交互模式分别所对应的交互指令库中的交互指令进行分类处理，以获得所述一个或多个同义交互指令簇，其中，所述同义交互指令簇包括表示同义的多个不同交互模式下的交互指令。

13.一种计算设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1至6中任一项所述的方法。

14.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如权利要求1至6中任一项所述的方法。