CN111427529A - 交互方法、装置、设备及存储介质 - Google Patents

Abstract

本发明提供了一种交互方法、装置、设备及存储介质。为应用中的视图组件配置一个或多个交互命令，交互命令用于描述与其对应的非接触式交互事件，非接触式交互事件是以非接触式交互方式输入的事件；为一个或多个视图组件提供交互命令识别服务，交互命令识别服务用于识别非接触式交互事件所对应的交互命令。由此，通过为视图组件添加对交互命令的支持，就像传统的触控事件可以直达视图组件一样，可以让非接触式交互事件直达视图组件，从而可以提升用户的非接触式交互体验。

Description

交互方法、装置、设备及存储介质

技术领域

本发明涉及交互领域，特别是涉及一种交互方法、装置、设备及存储介质。

背景技术

目前语音交互方式(Voice-UI)正在流行起来，而基于视觉(如双/多目摄像头)的交互方式逐渐也应用比较广泛。虽然这些自然交互方式是下一步发展的方向，但目前最常见的交互方式还是Graphics UI(图形用户界面，GUI)，如果能在GUI基础上增加这些新型的自然交互方式，将极大提升用户交互时的体验。这种交互方式可以称为“多模态交互界面(Multi-Modal Interface，简称MMI)”。本质上这些交互方式都是相对于以鼠标、键盘、触摸等为代表的传统的接触式交互方式的一种扩展。

以语音交互为例，目前业界常见的做法都是类似语音助手的方案，如Android的Google Assistant和iOS的Siri，主要的做法是通过语音识别将用户的语音转换成对应的文字，再通过NLU理解成为一个Action。然后通过这个Action以操作系统进程间通讯的机制返回来并发送给对应的应用。应用在收到这个Action后，去执行对应的功能。

这种方式主要存在如下主要缺点：

1)无法做到语音和应用的深度集成，无法比较方便的实现沉浸式体验。因为语音和应用是处于完全两个进程，因此只能通过约定一系列进程间通讯的接口来完成相关的功能；

2)应用无法及时将语音识别的上下文告之另一个应用，从而无法方便地对语音输入进行限定，无法做高效的语音识别；

3)由于语音助手的方案，很多语音相关的交互逻辑是集中在语音助手应用中的，使得本该属于自己应用的语音和GUI这块相关逻辑分散在语音助手和自己应用这两个应用中，开发起来复杂，扩展性和可维护性差，无法满足未来大量的语音+GUI交互的需求；

4)没有考虑到“多模态”交互方式，因为目前iOS/Android的UI还是传统的GUI，交互方式还是以触摸、鼠标、键盘这些传统交互模式为主，语音助手虽然可以提供一定程度上的语音模态的支持，但如果以后再支持多模态，又会需要另一个模态助手或者扩展语音助手的能力来支持其他模态，这会对开发这类应用无论在扩展性和可维护性都提出更大的挑战。

因此，针对语音、视觉等新型的交互方式，仍然需要一种改进的交互方案。

发明内容

本发明的一个目的在于，提供一种支持语音、视觉等非接触式交互方式的交互方案，以解决背景技术部分提及的至少一种问题。

根据本发明的第一个方面，提供了一种交互方法，包括：为应用中的视图组件配置一个或多个交互命令，交互命令用于描述与其对应的非接触式交互事件，非接触式交互事件是以非接触式交互方式输入的事件；为一个或多个视图组件提供交互命令识别服务，交互命令识别服务用于识别非接触式交互事件所对应的交互命令。

可选地，非接触式交互方式包括以下至少一种：语音交互方式：和/或视觉交互方式。

可选地，为应用中的视图组件配置一个或多个交互命令的步骤包括：在视图组件上集成第一接口，第一接口用于为视图组件添加一个或多个交互命令；并且/或者在视图组件上集成第二接口，第二接口用于为视图组件删除一个或多个交互命令。

可选地，为一个或多个视图组件提供交互命令识别服务的步骤包括：在视图组件上集成第三接口，第三接口用于接收交互命令识别服务发送的通知，通知是交互命令识别服务在识别到非接触式交互事件与视图组件所配置的交互命令相对应的情况下发出的。

可选地，该方法还包括：在视图组件上集成第四接口，第四接口用于控制视图组件是否支持非接触式交互方式。

可选地，视图组件是图形用户接口。

可选地，视图组件对应预设的交互操作，视图组件被配置为响应于识别到与为其配置的交互命令相对应的非接触式交互事件，执行交互操作。

可选地，该方法还包括：为视图组件配置与为其配置的交互命令相对应的交互操作，视图组件被配置为响应于识别到与为其配置的交互命令相对应的非接触式交互事件，执行交互操作。

根据本发明的第二个方面，还提供了一种交互方法，包括：根据应用中的视图组件所配置的交互命令，对非接触式交互事件进行识别，以识别非接触式交互事件所对应的交互命令，非接触式交互事件是以非接触式交互方式输入的事件，交互命令用于描述与其对应的非接触式交互事件；向识别到的交互命令所对应的视图组件发送通知，以便视图组件执行交互操作。

可选地，非接触式交互方式包括以下至少一种：语音交互方式：和/或视觉交互方式。

可选地，该方法还包括：维护交互命令列表，交互命令列表包括应用中的所有视图组件所配置的交互命令，其中，对非接触式交互事件进行识别的步骤包括：将对非接触式交互事件进行识别得到的识别结果与交互命令列表中的交互命令进行比对，以识别非接触式交互事件所对应的交互命令。

可选地，维护交互命令列表的步骤包括：判断应用中的视图组件是否支持非接触式交互方式；在判定视图组件支持非接触式交互方式的情况下，获取视图组件所配置的交互命令，并将获取到的交互命令添加到交互命令列表。

可选地，维护交互命令列表的步骤包括：在视图组件所配置的交互命令发生变化的情况下，对交互命令列表进行更新。

可选地，该方法还包括：在非接触式交互事件没有对应的交互命令的情况下，基于预定的匹配规则对非接触式交互事件进行识别，以识别非接触式交互事件所对应的交互意图，交互意图包括能够被应用识别的操作参数；将交互意图发送至应用，以便应用执行交互意图所指示的操作。

根据本发明的第三个方面，还提供了一种语音交互方法，包括：为应用中的视图组件配置一个或多个语音命令，语音命令用于描述与其对应的语音事件，语音事件是以语音方式输入的事件；为一个或多个视图组件提供语音识别服务，语音识别服务用于识别语音事件所对应的语音命令。

根据本发明的第四个方面，还提供了一种语音交互方法，包括：显示界面，界面中的至少一个视图组件配置有一个或多个语音命令，语音命令用于描述与其对应的语音事件，语音事件是以语音方式输入的事件；接收语音输入；根据界面中的视图组件所配置的语音命令，对语音输入进行识别，以识别与语音输入相匹配的语音命令；向识别到的语音命令所对应的视图组件发送通知，以便视图组件执行交互操作。

可选地，界面为车载应用程序提供的图形用户界面。

根据本发明的第五个方面，还提供了一种交互装置，包括：配置模块，用于为应用中的视图组件配置一个或多个交互命令，交互命令用于描述与其对应的非接触式交互事件，非接触式交互事件是以非接触式交互方式输入的事件；提供模块，用于为一个或多个视图组件提供交互命令识别服务，交互命令识别服务用于识别非接触式交互事件所对应的交互命令。

根据本发明的第六个方面，还提供了一种交互装置，包括：识别模块，用于根据应用中的视图组件所配置的交互命令，对非接触式交互事件进行识别，以识别非接触式交互事件所对应的交互命令，非接触式交互事件是以非接触式交互方式输入的事件，交互命令用于描述与其对应的非接触式交互事件；发送模块，用于向识别到的交互命令所对应的视图组件发送通知，以便视图组件执行交互操作。

根据本发明的第七个方面，还提供了一种语音交互装置，包括：配置模块，用于为应用中的视图组件配置一个或多个语音命令，语音命令用于描述与其对应的语音事件，语音事件是以语音方式输入的事件；提供模块，用于为一个或多个视图组件提供语音识别服务，语音识别服务用于识别语音事件所对应的语音命令。

根据本发明的第八个方面，还提供了一种电子设备，包括：显示屏，用于显示界面，所述界面中的至少一个视图组件配置有一个或多个语音命令，所述语音命令用于描述与其对应的语音事件，所述语音事件是以语音方式输入的事件；语音输入装置，用于接收语音输入；处理器，用于判断所述界面中的视图组件所配置的语音命令中是否存在与所述语音输入相匹配的语音命令，并在判定存在与所述语音输入相匹配的语音命令的情况下，指令与所述语音输入相匹配的语音命令所对应的视图组件执行交互操作。

可选地，电子设备是车载电子设备。

根据本发明的第九个方面，还提供了一种计算设备，包括：处理器；以及存储器，其上存储有可执行代码，当可执行代码被处理器执行时，使处理器执行如本发明第一个方面至第四个方面中任一个方面述及的方法。

根据本发明的第十个方面，还提供了一种非暂时性机器可读存储介质，其上存储有可执行代码，当可执行代码被电子设备的处理器执行时，使处理器执行如第一个方面至第四个方面中任一个方面述及的方法。

本发明通过为视图组件添加对交互命令的支持，使得就像传统的触控事件可以直达View一样，让非接触式交互事件直达View，从而可以提升用户的非接触式交互体验。以语音交互为例，可以通过为视图组件添加对“所见即所说”的交互命令的支持，让语音直达View。

附图说明

通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。

图1示出了根据本发明一实施例的交互方法的示意性流程图。

图2示出了根据本发明另一实施例的语音交互方法的示意性流程图。

图3以语音交互为例示出了处理语音命令的整体流程。

图4示出了根据本发明一实施例的电子设备的结构示意图。

图5示出了导航地图提供的一种界面示意图。

图6示出了根据本发明一实施例的交互装置的结构的示意性方框图。

图7示出了根据本发明另一实施例的交互装置的结构的示意性方框图。

图8示出了根据本发明一实施例可用于实现上述交互方法的计算设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本发明提出了一种交互方案，能够在操作系统内部将语音、视觉等非接触式交互方式与传统GUI相结合，并能够提供给应用开发者一套新的基于多模态的编程模型和系统。与现有的“集中式”的语音助手的交互模式相比，本发明的交互方案可以视为是一种“系统化”的交互模式，可以将语音、表情、手势等非接触式交互方式以“模态”的形式作为一个通道叠加到目前的GUI交互中。

首先从底层实现的角度描述本发明的交互方案。

图1是示出了根据本发明一实施例的交互方法的示意性流程图。其中，图1所示的方法可以在应用开发的过程中执行。

参见图1，在步骤S110，为应用中的视图组件配置一个或多个交互命令。

在本发明的一个适用场景中，应用可以是能够为用户提供图形用户界面(Graphical User Interface，简称GUI)的应用程序(Application)，其可以是安装在手机、iPad、台式计算机、笔记本、音箱、车辆等多种设备中应用程序。例如，可以是安装在这些设备中的系统级应用(如通讯录、短信等应用程序)，也可以是由设备的制造商预安装的应用，还可以是由用户自定义安装的应用。关于应用的具体形式和来源，本发明不做限定。

视图组件(View)可以是图形用户接口，也即支持GUI交互的视图组件。GUI交互是指是在应用程序提供的图形用户界面上执行的各种操作，如单击、双击、移动、按下键盘上的键、抬起、关闭窗体、输入文本等操作。用户主要通过鼠标、键盘、触摸等传统的接触式交互方式来实现GUI交互。

在应用开发过程中，针对应用中支持GUI交互的视图组件，可以根据期望该视图组件能够支持的不同于GUI交互的非接触式交互方式，为视图组件配置相对应的一个或多个交互命令。其中，非接触式交互方式可以包括但不限于语音交互方式和视觉交互方式，视觉交互方式可以进一步划分为表情交互方式、手势交互方式等等。

交互命令用于描述与其对应的非接触式交互事件，非接触式交互事件是以非接触式交互方式输入的事件。换言之，为视图组件配置的交互命令能够表征视图组件所支持的非接触式交互事件，交互命令可以作为用于识别用户输入的非接触式交互事件所针对的视图组件的依据。

以视图组件为界面中显示的“电影”这一支持点击操作的功能控件为例，针对“电影”这一视图组件，可以为其配置“电影”这一语音命令，“电影”这一语音命令用于描述与其对应的“用户说出电影”这一语音事件，而视图组件“电影”对应的GUI交互操作则是响应于点击“电影”这一视图组件，界面跳转至电影频道。

为了方便用户做出与所针对的视图组件所配置的交互命令相匹配的非接触式交互事件。在为视图组件配置交互命令时，可以根据视图组件的显示特性来确定交互命令，也即本发明述及的交互命令可以是根据视图组件的显示特性确定的。例如，可以根据视图组件的名称、视图组件在界面中的显示位置、视图组件的颜色、视图组件所包括的界面元素等多种维度的显示特性来确定一个或多个交互命令。

以视图组件为依次显示在屏幕上的“电影”、“电视剧”、“综艺”等支持点击操作的功能控件为例，针对“电影”这一视图组件，可以根据视图组件的名称为其配置“电影”这一语音命令，也可以根据视图组件在界面中的展示位置为其配置“第一个”、“首个”等语音命令。语音命令“电影”用于描述“用户说出电影”这一语音事件，语音命令“第一个”用于描述“用户说出第一个”这一语音事件。相应地，可以分别为“电视剧”、“综艺”等视图组件配置但不限于“电视剧”、“综艺”等语音命令。

对于支持GUI交互的视图组件，视图组件本身具有预定的GUI交互逻辑，对应预设的交互操作。在本实施例中，视图组件可以被配置为，响应于识别到与为其配置的交互命令相对应的非接触式交互事件，触发视图组件执行对应的GUI交互操作。例如，对于显示在屏幕上的“电影”这一视图组件，其GUI交互逻辑为点击“电影”这一功能按钮，则切换到电影频道。可以为“电影”这一视图组件配置“电影”这一语音命令，并且该视图组件被配置为，响应于识别到用户说出“电影”，切换到电影频道。可见，针对视图组件执行交互操作的具体流程，可以是现有的GUI交互流程，本发明只需要为视图组件添加所支持的交互命令，响应于识别到与视图组件所支持的交互命令相对应的非接触式交互事件，就可以触发现有的GUI交互流程。

由此，通过为视图组件添加对交互命令的支持，就像传统的触控事件可以直达View一样，可以让非接触式交互事件直达View，从而可以提升用户的非接触式交互体验。以语音交互为例，通过为视图组件添加对“所见即所说”的交互命令的支持，可以让语音直达View。

在本发明的另一个适用场景中，应用也可以是能够为用户提供可视化的界面但仅支持非接触式交互方式的应用程序。换言之，应用中的视图组件可以不支持用户通过鼠标、键盘、触摸等传统的接触式交互方式进行交互，而仅支持语音、视觉等非接触式交互方式。

针对这类应用中的视图组件，可以同样为其配置一个或多个交互命令，交互命令用于描述与其对应的非接触式交互事件，非接触式交互事件是以非接触式交互方式输入的事件。关于交互命令、非接触式交互事件、非接触式交互方式可以参见上文相关描述，此处不再赘述。

在该适用场景中，还可以为视图组件配置与交互命令相对应的交互操作，视图组件可以被配置为响应于识别到与为其配置的交互命令相对应的非接触式交互事件，执行与交互命令相对应的交互操作。其中，为视图组件配置的交互操作可以根据视图组件具体的UI设计需求确定，此处不再赘述。

在为视图组件配置交互命令时，开发者只需要为视图组件添加对交互命令的支持即可。

作为示例，可以在视图组件上集成第一接口，第一接口可以用于为视图组件添加一个或多个交互命令。并且/或者，也可以在视图组件上集成第二接口，第二接口用于为视图组件删除一个或多个交互命令。由此，开发者可以通过第一接口为视图组件添加一个或多个交互命令，也可以通过第二接口为视图组件删除一个或多个交互命令。以语音命令为例，第一接口可以命名为addVoiceCommand()，第二接口可以命名为removeVoiceCommand()。

在步骤S120，为一个或多个视图组件提供交互命令识别服务。

通过识别非接触式交互事件所对应的交互命令，就可以进一步确定非接触式交互事件所针对的视图组件。在本发明中，可以为所有配置了交互命令的视图组件提供交互命令识别服务。交互命令识别服务可以由一个独立的进程执行。

作为示例，可以在配置了交互命令的视图组件上集成第三接口，第三接口与交互命令识别服务连接，用于接收交互命令识别服务发送的通知，该通知是交互命令识别服务在识别到非接触式交互事件与视图组件所配置的交互命令相对应的情况下发出的。

交互命令识别服务用于识别非接触式交互事件所对应的交互命令。以交互命令是用于描述与其对应的语音事件的语音命令为例，交互命令识别服务可以是语音识别服务，用于识别用户输入的语音事件所对应的语音命令。以交互命令是用于描述与其对应的视觉交互事件的视觉命令为例，交互命令识别服务可以是图像识别服务，用于识别用户输入的视觉交互事件所对应的视觉命令。关于交互命令识别服务的识别过程可以参见下文相关描述，此处暂不赘述。

交互命令识别服务可以与多个视图组件上集成的第三接口连接。交互命令识别服务在识别到用户输入的非接触式交互事件具有对应的交互命令的情况下，可以向识别到的交互命令所对应的视图组件的第三接口发送通知，该通知可以用于触发视图组件执行交互操作。交互命令识别服务发送的通知可以是一个触发指令，也可以是用于指示视图组件执行交互操作的事件。

视图组件对应预设的交互操作，视图组件可以被配置为响应于识别到与交互命令对应的非接触式交互事件，执行交互操作。例如，视图组件可以是支持GUI交互的视图组件，视图组件可以被配置为响应于接收到通知，触发视图组件所对应的GUI交互操作的执行。其中，交互操作的具体内容可以根据实际为视图组件设定的GUI交互逻辑确定，如可以是页面跳转、特定功能的开启等等，此处不再赘述。再例如，视图组件也可以不支持GUI交互而仅支持非接触式交互方式，在这种情况下，可以为视图组件所对应的交互命令配置相应的交互操作，视图组件可以被配置为响应于接收到通知，执行与识别到的交互命令相对应的交互操作。

作为本发明的一个示例，还可以在视图组件上集成第四接口，第四接口用于控制视图组件是否支持非接触式交互方式。第四接口可以是boolean类型的变量，即只能是true或是false，true表示视图组件支持非接触式交互方式，false表示视图组件不支持非接触式交互方式。以语音交互为例，第四接口可以命名为boolean voiceControlEnabled，voiceControlEnabled＝true，表示视图组件支持语音交互方式，voiceControlEnabled＝false，表示视图组件不支持语音交互方式。以表情交互命令为例，第四接口可以命名为boolean emotionControlEnabled，emotionControlEnabled＝true，表示视图组件支持表情交互方式，emotionControlEnabled＝false，表示视图组件不支持表情交互方式。由此，一方面通过第四接口就可以方便地对视图组件是否支持非接触式交互方式进行控制，另一方面可以根据第四接口来确定视图组件是否支持非接触式交互方式。

综上，本发明的交互方案可以将语音、表情、手势等非接触式交互方式以“模态”的形式作为一个通道叠加到目前的GUI交互中。这种多模态的交互方式对原有GUI没有过多的颠覆，原有GUI程序可以很方便的添加上多模态交互的能力。

并且，在将语音、视觉(如表情、手势)等非接触式交互方式集成到视图组件上的相关逻辑是由系统统一实现的，开发者仅需要为视图组件添加支持的交互命令，并将相关接口集成到视图组件上，就可以使得视图组件支持非接触式交互模式，扩展性和可维护性均大幅提升，可以比较方便地做一些针对交互细节的沉浸式体验，可以满足未来大量的语音(或者表情、手势)+GUI交互的需求。

以语音交互为例，对于View来说，开发者只需要添加对语音命令的支持，就可以实现视图组件的语音交互。如可以通过下列代码添加语音命令：

上述代码的简要说明：为文本显示为“OK”的按钮(视图组件)添加对语音交互方式的支持，并为视图组件“button(按钮)”添加了两个语音命令：“确定”、“完成”。该视图组件被配置为，当接收到与“确定”或“完成”相对应的语音事件时，可以触发特定操作的执行。其中，特定操作与按钮所具有的GUI交互功能相关。

相应地，如果开发者需要视图组件支持对应于其他非接触式交互方式的交互命令，则可以通过类似代码添加交互命令。例如可以通过下列代码添加表情命令：

上述代码的简要说明：为显示图片的控件(imgView)添加了对表情交互方式的支持，并为控件添加了“笑脸(Smile)”这一表情命令。该视图组件被配置为，当接收到用户做出的笑脸(Smile)事件时，触发特定操作的执行。其中，特定操作与控件所具有的GUI交互功能相关。

下面就针对用户输入的非接触式交互事件的处理流程进行说明。

图2是示出了根据本发明另一实施例的语音交互方法的示意性流程图。图2所示的方法可以由交互命令识别服务执行，交互命令识别服务用于识别非接触式交互事件所对应的交互命令。例如，对于语音事件来说，可以由语音识别服务(Voice Service)执行，对于表情、手势等视觉事件来说，可以由图像识别服务(Image Service)执行。

参见图2，在步骤S210，根据应用中的视图组件所配置的交互命令，对非接触式交互事件进行识别，以识别非接触式交互事件所对应的交互命令。

关于视图组件、交互命令、为视图组件配置交互命令的过程、非接触式交互事件以及非接触式交互方式均可以参见上文相关描述，此处不再赘述。

可以响应于接收到用户输入的非接触式交互事件，执行步骤S210，对非接触式交互事件进行识别，以识别非接触式交互事件所对应的交互命令。具体来说，可以首先对非接触式交互事件进行识别，得到非接触式交互事件的识别结果，然后将识别结果与应用中的视图组件所配置的交互命令进行比对，以识别非接触式交互事件所对应的交互命令。

以非接触式交互事件是语音事件为例，可以对语音事件进行识别，以得到语音事件的文本识别结果，然后将文本识别结果与应用中的视图组件所配置的语音命令进行比对，以判断是否存在与文本识别结果对应的语音命令。

以非接触式交互事件是表情事件为例，可以对表情事件进行识别，以得到表情事件的表情识别结果(如欢笑、悲伤、严肃)，然后将表情识别结果与应用中的视图组件所配置的表情命令进行比对，以判断是否存在与表情识别结果对应的表情命令。

以非接触式交互事件是手势事件为例，可以对手势事件进行识别，以得到手势事件的手势识别结果(如具体的手势形状、类型等等)，然后将手势识别结果与应用中的视图组件所配置的手势命令进行比对，以判断是否存在与手势识别结果对应的手势命令。

可以维护一个交互命令列表，交互命令列表包括应用中所有视图组件所配置的交互命令。在执行步骤S210，对非接触式交互事件进行识别时，可以将对非接触式交互事件进行识别得到的识别结果与交互命令列表中的交互命令进行比对，以识别非接触式交互事件所对应的交互命令。

作为示例，可以判断(如可以逐个判断)应用中的视图组件是否支持非接触式交互方式，例如可以根据为视图组件集成的第四接口来判断视图组件是否支持非接触式交互方式。在判定视图组件支持非接触式交互方式的情况下，可以获取视图组件所配置的交互命令，并将获取到的交互命令添加到交互命令列表中。例如，可以将获取到的交互命令与视图组件关联地保存到交互命令列表中。

在视图组件所配置的交互命令发生变化的情况下，可以对交互命令列表进行更新。例如：在通过第一接口为视图组件配置新的交互命令时，可以将新的交互命令添加到交互命令列表中；在通过第二接口为视图组件删除已有的交互命令时，可以将失效的交互命令从交互命令列表中删除。

在步骤S220，向识别到的交互命令所对应的视图组件发送通知，以便视图组件执行交互操作。

如上文所述，视图组件可以是图形用户接口，也即支持GUI交互的视图组件。对于支持GUI交互的视图组件，视图组件本身具有对应的交互操作。因此，视图组件可以被配置为接收到通知后，可以按照现有的GUI交互逻辑，执行视图组件所对应的交互操作。针对视图组件执行交互操作的具体流程，可以参见现有的GUI交互流程，此处不再赘述。

另外，视图组件可以是不支持GUI交互而仅支持非接触式交互方式，这种情况下可以为视图组件配置与交互命令相对应的交互操作，视图组件可以被配置为接收到通知后，执行与视图组件所配置的交互命令相对应的交互操作。

作为示例，在识别到非接触式交互事件所对应的交互命令后，可以向识别到的交互命令所对应的视图组件上集成的第三接口发出通知。向识别到的交互命令所对应的视图组件发出的通知用于触发视图组件执行交互操作。其可以是一个触发指令，也可以是用于指示视图组件执行相应的交互操作的事件。例如，向识别到的交互命令所对应的视图组件发出的通知可以是一个交互事件，在识别到非接触式交互事件所对应的交互命令后，可以抛出交互事件给相应的视图组件，该交互事件可以包括事件名和事件参数，视图组件在接收到交互事件后，可以基于事件参数执行相应的交互操作。关于抛出的交互事件的具体内容可以根据实际情况设定，此处不再赘述。

在非接触式交互事件没有对应的交互命令的情况下，可以基于预定的匹配规则对非接触式交互事件进行识别，以识别非接触式交互事件所对应的交互意图，所识别的交互意图包括能够被应用识别的操作参数。然后可以将交互意图发送至应用，以便应用执行交互意图所指示的操作。其中，交互意图中的内容可以都是应用自己定义的，因此应用知道如何处理。例如，识别到的交互意图可以包括应用中需要调用的功能控件、待执行的资源文件等内容，如此应用可以根据接收到的交互意图执行相应的操作。

综上，本发明述及的交互方案可以支持两种非接触式交互事件，一种是与视图组件所配置的交互命令相对应的事件，一种是能够识别为交互意图的事件。因此在基于本发明实现的交互系统中，分为两类事件：一类是“命令(Command)”，另一类是“意图(Intent)”。以支持语音交互为例，有语音命令(Voice Command)和语音意图(Voice Intent)之分。比如：屏幕上有几个View，上面分别写着“电影”、“电视剧”、“综艺”等，可以为这几个View分别配置“电影”、“电视剧”、“综艺”等语音命令，当用户说“电影”、“电视剧”、“综艺”这类语音事件时，可以识别为语音命令，直接针对相应的View执行特定的交互操作。如果用户说“我想看最火的电影”类似的语音事件，则可以识别为语音意图，语音意图可以用于指令应用中相应的控件进行资源搜索，并返回最火的电影。类似地，以支持手势交互为例，就会有手势命令(Motion Command)和手势意图(Motion Intent)之分。以支持表情交互为例，就会有表情命令(Emotion Command)和表情意图(Emotion Intent)之分。

图3以语音交互为例示出了处理语音命令的整体流程。其中，步骤S310至步骤S330，与步骤S340至步骤S370可以分别交由不同的进程处理。并且，本发明对步骤S310至步骤S330，和步骤S340至步骤S370之间的先后顺序不做限定。其中，步骤S310至步骤S330可以视为执行步骤S340至步骤S370前的准备工作，也可以视为在执行步骤S340至步骤S370的过程中，实时进行的列表更新操作。

步骤S310至步骤S330可以由VoiceManager(语音管理服务)执行，VoiceManager主要用于根据应用中的视图组件所配置的交互命令，对VoiceService维护的语音命令(VoiceCommand)列表进行更新。VoiceService维护的VoiceCommand列表可以包括应用中的所有视图组件所配置的VoiceCommand。关于VoiceCommand列表的生成过程此处不再赘述，下面就执行步骤S310至步骤S330以对VoiceCommand列表进行更新的流程进行示意性说明。

在步骤S310，VoiceManager检查View(视图组件)的VoiceControlEnabled(即上文述及的第四接口)是否等于true。VoiceControlEnabled等于true表明View支持语音交互，VoiceControlEnabled不等于(也即等于false)表明视图组件不支持语音交互。

在VoiceControlEnabled等于true的情况下，可以执行步骤S320，VoiceManager检查voice相关属性。voice相关属性是指为view配置的VoiceCommand，检查voice相关属性也即检查为view配置的VoiceCommand是否发生了改变。例如，可以检查view是否添加了新的VoiceCommand，或者是否删除了已有的VoiceCommand。

在检测到voice相关属性发生改变的情况下，可以执行步骤S330，向VoiceService更新注册的VoiceCommand列表。例如，如果检测到添加了新的VoiceCommand，则可以将新添加的VoiceCommand注册到VoiceCommand列表，如果检测到删除了已有的VoiceCommand，则可以对应地删除VoiceCommand列表中失效的VoiceCommand。

步骤S340至步骤S370可以由VoiceService(语音识别服务)执行，VoiceService主要用于根据用户输入的语音事件，识别语音事件所对应的语音命令。

在步骤S340，VoiceService根据语音录入识别语音命令。简要来说，VoiceService可以对语音录入进行文本识别，以得到语音录入的文本识别结果，然后将文本识别结果与VoiceCommand列表中的VoiceCommand进行比对，以确定是否存在与语音录入的文本识别结果相一致的VoiceCommand。

如果存在VoiceCommand，则可以执行步骤S360，形成VoiceEvent对象。VoiceEvent对象也即语音命令所针对的view。

在步骤S370，抛出带VoiceEvent对象的voice事件给应用。这里，voice事件可以是指需要对view执行相应操作的事件。形成了VoiceEvent对象后可以将这个对象抛给对应的View。一般系统中抛出事件都是包含两部分：事件名和事件参数。这里事件名是voice，事件参数就是VoiceEvent。

在步骤S380，处理传统GUI交互模态。

在收到voice事件后，视图组件可以按照传统的GUI交互逻辑执行相应的交互操作。

需要说明的是，在没有识别到语音录入所对应的语音命令的情况下，VoiceService可以根据语音录入来识别语音意图(VoiceIntent)。语音意图的处理方式和语音命令不一样。语音意图是由VoiceService将语音输入按既定的语音规则匹配，直接识别成为一个语音意图对象。具体地，VoiceService可以根据语音识别后的文字(ASR)，送入云端的语义理解(NLU)，然后根据规则或模型进行匹配，然后返回一个VoiceIntent对象。系统将这个VoiceIntent对象发送给应用，应用如果监听了这个VoiceIntent对象就可以进行相应的处理，由于VoiceIntent对象中的内容是应用自己定义的，因此应用知道如何处理。

应用例

本发明的交互方案可以适用于互联网汽车、带屏幕的音箱、手机、平板电脑、电视、物联网设备(如带屏冰箱)、广告屏等多种带屏电子设备。

电子设备的屏幕中可以显示界面，如可以显示图形用户界面。对于界面中的至少一个视图组件，可以基于本发明的交互方案为其配置一个或多个交互命令，关于交互命令及其配置过程可以参见上文描述，此处不再赘述。

电子设备可以获取用户的非接触式交互事件，并判断界面中的视图组件所配置的交互命令中是否存在与非接触式交互事件相匹配的交互命令，并在判定存在与非接触式交互事件相匹配的交互命令的情况下，指令与非接触式交互事件相匹配的交互命令所对应的视图组件执行交互操作。其中，交互操作可以是基于特定的交互逻辑为视图组件配置的操作，关于交互操作可以参见上文描述，此处不再赘述。

下面以交互命令为语音命令为例进行示例性说明。

图4示出了根据本发明一实施例的电子设备的结构示意图。以本发明应用于车载场景为例，电子设备400可以是车载电子设备。车载电子设备可以是互联网汽车，也可以是搭载在汽车中的终端设备，如可以是车载导航仪、车载播放器等等。

如图4所示，电子设备400可以包括显示屏410、语音输入装置420和处理器430。

显示屏410用于显示界面。显示屏410所显示的界面可以是指图形用户界面，其中可以包括多个视图组件例如，显示屏410所显示的界面可以是由应用程序提供的图形用户界面。

显示屏410所显示的界面中的至少一个视图组件配置有一个或多个语音命令，语音命令用于描述与其对应的语音事件，语音事件是以语音方式输入的事件。为视图组件配置语音命令的具体实现过程可以参见上文相关描述，此处不再赘述。

语音输入装置420用于接收语音输入。处理器430用于判断界面中的视图组件所配置的语音命令中是否存在与语音输入相匹配的语音命令，并在判定存在与语音输入相匹配的语音命令的情况下，指令与语音输入相匹配的语音命令所对应的视图组件执行交互操作。

作为示例，显示屏410所显示的界面可以是车载应用程序提供的图形用户界面。其中，车载应用程序可以包括但不限于导航地图、音乐播放器、视频播放器等等。

以车载应用程序为导航地图为例，图5示出了导航地图提供的一种界面示意图。如图5所示，对于界面中的“刷新路线”、“退出”、“更多”等视图组件，可以基于本发明的交互方案为其配置一个或多个语音命令。例如，对于“刷新路线”这一视图组件，可以为其配置“刷新路线”、“路线刷新”、“刷新”等语音命令，“刷新路线”、“路线刷新”、“刷新”等语音命令用于描述与其对应的语音事件。由此，在用户在期望针对“刷新路线”这一视图组件执行点击操作，以进行路线刷新时，可以直接说出“刷新路线”、“路线刷新”、“刷新”等语音内容，响应于接收到用户的语音输入，可以判断语音输入与界面中的哪个视图组件所配置的语音命令相匹配，并针对匹配的语音命令所对应的视图组件执行交互操作。如此，通过为视图组件添加对“所见即所说”的语音命令的支持，可以让语音像触控交互方式一样直达视图组件。

图6是示出了根据本发明一实施例的交互装置的结构的示意性方框图。其中，交互装置的功能模块可以由实现本发明原理的硬件、软件或硬件和软件的结合来实现。本领域技术人员可以理解的是，图6所描述的功能模块可以组合起来或者划分成子模块，从而实现上述发明的原理。因此，本文的描述可以支持对本文描述的功能模块的任何可能的组合、或者划分、或者更进一步的限定。

交互装置可以具有的功能模块以及各功能模块可以执行的操作做简要说明，对于其中涉及的细节部分可以参见上文结合图1的描述，这里不再赘述。

参见图6，交互装置600包括配置模块610和提供模块620。

配置模块610用于为应用中的视图组件配置一个或多个交互命令，交互命令用于描述与其对应的非接触式交互事件，非接触式交互事件是以非接触式交互方式输入的事件。非接触式交互方式可以包括但不限于语音交互方式和视觉交互方式，视觉交互方式可以进一步划分为表情交互方式、手势交互方式等等。

可选地，配置模块610可以在视图组件上集成第一接口，第一接口用于为视图组件添加一个或多个交互命令，并且/或者配置模块410也可以在视图组件上集成第二接口，第二接口用于为视图组件删除一个或多个交互命令。

提供模块620用于为一个或多个视图组件提供交互命令识别服务，交互命令识别服务用于识别非接触式交互事件所对应的交互命令。

可选地，提供模块620可以在视图组件上集成第三接口，第三接口用于接收交互命令识别服务发送的通知，通知是交互命令识别服务在识别到非接触式交互事件与视图组件所配置的交互命令相对应的情况下发出的。

可选地，还可以在视图组件上集成第四接口，第四接口用于控制所述视图组件是否支持所述非接触式交互方式。

在本发明中，视图组件对应预设的交互操作，视图组件可以被配置为响应于识别到与交互命令对应的非接触式交互事件，执行交互操作。例如，视图组件可以是图形用户接口，即可以是支持GUI交互的视图组件，视图组件可以被配置为响应于第三接口接收到交互命令识别服务发送的通知，触发GUI交互操作的执行。其中，交互操作的具体内容可以根据实际为视图组件设定的GUI交互逻辑确定，如可以是页面跳转、特定功能的开启等等，此处不再赘述。再例如，视图组件也可以不支持GUI交互而仅支持非接触式交互方式，在这种情况下，可以为视图组件所对应的交互命令配置相应的交互操作，视图组件可以被配置为响应于接收到通知，执行与识别到的交互命令相对应的交互操作。

作为本发明的一个示例，交互装置600可以是语音交互装置，配置模块610可以用于为应用中的视图组件配置一个或多个语音命令，语音命令用于描述与其对应的语音事件，语音事件是以语音方式输入的事件。提供模块620可以用于为一个或多个视图组件提供语音识别服务，语音识别服务用于识别语音事件所对应的语音命令。

图7是示出了根据本发明另一实施例的交互装置的结构的示意性方框图。其中，交互装置的功能模块可以由实现本发明原理的硬件、软件或硬件和软件的结合来实现。本领域技术人员可以理解的是，图7所描述的功能模块可以组合起来或者划分成子模块，从而实现上述发明的原理。因此，本文的描述可以支持对本文描述的功能模块的任何可能的组合、或者划分、或者更进一步的限定。

交互装置可以具有的功能模块以及各功能模块可以执行的操作做简要说明，对于其中涉及的细节部分可以参见上文结合图2、图3的描述，这里不再赘述。

参见图7，交互装置700包括识别模块710和发送模块720。

识别模块710用于根据应用中的视图组件所配置的交互命令，对非接触式交互事件进行识别，以识别非接触式交互事件所对应的交互命令，非接触式交互事件是以非接触式交互方式输入的事件，交互命令用于描述与其对应的非接触式交互事件。

关于视图组件、交互命令、为视图组件配置交互命令的过程、非接触式交互事件以及非接触式交互方式均可以参见上文相关描述，此处不再赘述。

识别模块710可以首先对非接触式交互事件进行识别，得到非接触式交互事件的识别结果，然后将识别结果与应用中的视图组件所配置的交互命令进行比对，以识别非接触式交互事件所对应的交互命令。

可选地，交互装置700还可以包括列表维护模块(图中未示出)。列表维护模块用于维护交互命令列表，交互命令列表包括应用中的所有视图组件所配置的交互命令。识别模块710可以将对非接触式交互事件进行识别得到的识别结果与交互命令列表中的交互命令进行比对，以识别非接触式交互事件所对应的交互命令。

作为示例，列表维护模块可以判断(如可以逐个判断)应用中的视图组件是否支持非接触式交互方式，例如可以根据为视图组件集成的第四接口来判断视图组件是否支持非接触式交互方式。在判定视图组件支持非接触式交互方式的情况下，可以获取视图组件所配置的交互命令，并将获取到的交互命令添加到交互命令列表中。例如，可以将获取到的交互命令与视图组件关联地保存到交互命令列表中。

在视图组件所配置的交互命令发生变化的情况下，列表维护模块可以对交互命令列表进行更新。例如：在通过第一接口为视图组件配置新的交互命令时，列表维护模块可以将新的交互命令添加到交互命令列表中；在通过第二接口为视图组件删除已有的交互命令时，列表维护模块可以将失效的交互命令从交互命令列表中删除。

发送模块720用于向识别到的交互命令所对应的视图组件发送通知，以便视图组件执行交互操作。

如上文所述，视图组件可以是图形用户接口，也即支持GUI交互的视图组件。对于支持GUI交互的视图组件，视图组件本身具有对应的交互操作。因此，视图组件可以被配置为接收到通知后，可以按照现有的GUI交互逻辑，执行视图组件所对应的交互操作。针对视图组件执行交互操作的具体流程，可以参见现有的GUI交互流程，此处不再赘述。

另外，视图组件可以是不支持GUI交互而仅支持非接触式交互方式，这种情况下可以为视图组件配置与交互命令相对应的交互操作，视图组件可以被配置为接收到通知后，执行与视图组件所配置的交互命令相对应的交互操作。

在非接触式交互事件没有对应的交互命令的情况下，识别模块710可以基于预定的匹配规则对非接触式交互事件进行识别，以识别非接触式交互事件所对应的交互意图，所识别的交互意图包括能够被应用识别的操作参数。然后发送模块720可以将交互意图发送至应用，以便应用执行交互意图所指示的操作。其中，交互意图中的内容可以都是应用自己定义的，因此应用知道如何处理。例如，识别到的交互意图可以包括应用中需要调用的功能控件、待执行的资源文件等内容，如此应用可以根据接收到的交互意图执行相应的操作。

图8示出了根据本发明一实施例可用于实现上述交互方法的计算设备的结构示意图。

参见图8，计算设备800包括存储器810和处理器820。

处理器820可以是一个多核的处理器，也可以包含多个处理器。在一些实施例中，处理器820可以包含一个通用的主处理器以及一个或多个特殊的协处理器，例如图形处理器(GPU)、数字信号处理器(DSP)等等。在一些实施例中，处理器820可以使用定制的电路实现，例如特定用途集成电路(ASIC，Application Specific Integrated Circuit)或者现场可编程逻辑门阵列(FPGA，Field Programmable Gate Arrays)。

存储器810可以包括各种类型的存储单元，例如系统内存、只读存储器(ROM)，和永久存储装置。其中，ROM可以存储处理器820或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器810可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(DRAM，SRAM，SDRAM，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器810可以包括可读和/或写的可移除的存储设备，例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM，双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。

存储器810上存储有可执行代码，当可执行代码被处理器820处理时，可以使处理器820执行上文述及的交互方法。

上文中已经参考附图详细描述了根据本发明的交互方法、装置及设备。

此外，根据本发明的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本发明的上述方法中限定的上述各步骤的计算机程序代码指令。

或者，本发明还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时，使所述处理器执行根据本发明的上述方法的各个步骤。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。

附图中的流程图和框图显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (24)

1.一种交互方法，其特征在于，包括：

为应用中的视图组件配置一个或多个交互命令，所述交互命令用于描述与其对应的非接触式交互事件，所述非接触式交互事件是以非接触式交互方式输入的事件；

为一个或多个所述视图组件提供交互命令识别服务，所述交互命令识别服务用于识别非接触式交互事件所对应的交互命令。

2.根据权利要求1所述的交互方法，其特征在于，所述非接触式交互方式包括以下至少一种：

语音交互方式：和/或

视觉交互方式。

3.根据权利要求1所述的交互方法，其特征在于，所述为应用中的视图组件配置一个或多个交互命令的步骤包括：

在所述视图组件上集成第一接口，所述第一接口用于为所述视图组件添加一个或多个交互命令；并且/或者

在所述视图组件上集成第二接口，所述第二接口用于为所述视图组件删除一个或多个交互命令。

4.根据权利要求1所述的交互方法，其特征在于，所述为一个或多个所述视图组件提供交互命令识别服务的步骤包括：

在所述视图组件上集成第三接口，所述第三接口用于接收所述交互命令识别服务发送的通知，所述通知是所述交互命令识别服务在识别到非接触式交互事件与所述视图组件所配置的交互命令相对应的情况下发出的。

5.根据权利要求1所述的交互方法，其特征在于，还包括：

在所述视图组件上集成第四接口，所述第四接口用于控制所述视图组件是否支持所述非接触式交互方式。

6.根据权利要求1所述的交互方法，其特征在于，

所述视图组件是图形用户接口。

7.根据权利要求1至6中任何一项所述的交互方法，其特征在于，

所述视图组件对应预设的交互操作，所述视图组件被配置为响应于识别到与为其配置的所述交互命令相对应的非接触式交互事件，执行所述交互操作。

8.根据权利要求1至5中任何一项所述的交互方法，其特征在于，还包括：

为所述视图组件配置与为其配置的交互命令相对应的交互操作，所述视图组件被配置为响应于识别到与为其配置的交互命令相对应的非接触式交互事件，执行所述交互操作。

9.一种交互方法，其特征在于，包括：

根据应用中的视图组件所配置的交互命令，对非接触式交互事件进行识别，以识别所述非接触式交互事件所对应的交互命令，所述非接触式交互事件是以非接触式交互方式输入的事件，所述交互命令用于描述与其对应的非接触式交互事件；

向识别到的交互命令所对应的视图组件发送通知，以便所述视图组件执行交互操作。

10.根据权利要求9所述的交互方法，其特征在于，非接触式交互方式包括以下至少一种：

语音交互方式：和/或

视觉交互方式。

11.根据权利要求9所述的交互方法，其特征在于，还包括：

维护交互命令列表，所述交互命令列表包括所述应用中的所有视图组件所配置的交互命令，其中，

所述对非接触式交互事件进行识别的步骤包括：将对非接触式交互事件进行识别得到的识别结果与交互命令列表中的交互命令进行比对，以识别非接触式交互事件所对应的交互命令。

12.根据权利要求11所述的交互方法，其特征在于，所述维护交互命令列表的步骤包括：

判断所述应用中的视图组件是否支持所述非接触式交互方式；

在判定所述视图组件支持所述非接触式交互方式的情况下，获取所述视图组件所配置的交互命令，并将获取到的交互命令添加到所述交互命令列表。

13.根据权利要求11所述的交互方法，其特征在于，所述维护交互命令列表的步骤包括：

在所述视图组件所配置的交互命令发生变化的情况下，对所述交互命令列表进行更新。

14.根据权利要求9所述的交互方法，其特征在于，还包括：

在所述非接触式交互事件没有对应的交互命令的情况下，基于预定的匹配规则对所述非接触式交互事件进行识别，以识别所述非接触式交互事件所对应的交互意图，所述交互意图包括能够被所述应用识别的操作参数；

将所述交互意图发送至所述应用，以便应用执行所述交互意图所指示的操作。

15.一种语音交互方法，其特征在于，包括：

为应用中的视图组件配置一个或多个语音命令，所述语音命令用于描述与其对应的语音事件，所述语音事件是以语音方式输入的事件；

为一个或多个所述视图组件提供语音识别服务，所述语音识别服务用于识别语音事件所对应的语音命令。

16.一种语音交互方法，其特征在于，包括：

显示界面，所述界面中的至少一个视图组件配置有一个或多个语音命令，所述语音命令用于描述与其对应的语音事件，所述语音事件是以语音方式输入的事件；

接收语音输入；

判断所述界面中的视图组件所配置的语音命令中是否存在与所述语音输入相匹配的语音命令；

在判定存在与所述语音输入相匹配的语音命令的情况下，指令与所述语音输入相匹配的语音命令所对应的视图组件执行交互操作。

17.根据权利要求16所述的语音交互方法，其特征在于，所述界面为车载应用程序提供的图形用户界面。

18.一种交互装置，其特征在于，包括：

配置模块，用于为应用中的视图组件配置一个或多个交互命令，所述交互命令用于描述非接触式交互事件，所述非接触式交互事件是以非接触式交互方式输入的事件；

提供模块，用于为一个或多个所述视图组件提供交互命令识别服务，所述交互命令识别服务用于识别非接触式交互事件所对应的交互命令。

19.一种交互装置，其特征在于，包括：

识别模块，用于根据应用中的视图组件所配置的交互命令，对非接触式交互事件进行识别，以识别所述非接触式交互事件所对应的交互命令，所述非接触式交互事件是以非接触式交互方式输入的事件，所述交互命令用于描述与其对应的非接触式交互事件；

发送模块，用于向识别到的交互命令所对应的视图组件发送通知，以便所述视图组件执行交互操作。

20.一种语音交互装置，其特征在于，包括：

配置模块，用于为应用中的视图组件配置一个或多个语音命令，所述语音命令用于描述与其对应的语音事件，所述语音事件是以语音方式输入的事件；

提供模块，用于为一个或多个所述视图组件提供语音识别服务，所述语音识别服务用于识别语音事件所对应的语音命令。

21.一种电子设备，其特征在于，包括：

显示屏，用于显示界面，所述界面中的至少一个视图组件配置有一个或多个语音命令，所述语音命令用于描述与其对应的语音事件，所述语音事件是以语音方式输入的事件；

语音输入装置，用于接收语音输入；

处理器，用于判断所述界面中的视图组件所配置的语音命令中是否存在与所述语音输入相匹配的语音命令，并在判定存在与所述语音输入相匹配的语音命令的情况下，指令与所述语音输入相匹配的语音命令所对应的视图组件执行交互操作。

22.根据权利要求21所述的电子设备，其特征在于，所述电子设备是车载电子设备。

23.一种计算设备，包括：

处理器；以及

存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1至17中任何一项所述的方法。

24.一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1至17中任一项所述的方法。

Images