CN111666160A - 将应用程序接入多种交互系统的方法及系统和计算机设备 - Google Patents

Abstract

本发明公开了一种将应用程序接入多种交互系统的方法及系统和计算机设备，其中，该方法包括：响应于第一交互系统的第一输入信号，根据第一输入信号与第二交互系统的第二输入信号之间的映射关系，向第二交互系统提供与所述第一输入信号对应的第二输入信号，其中，第一交互系统能够输出第一输出信号，第二交互系统的应用程序能够响应于第二输入信号输出第二输出信号；响应于第二交互系统的第二输出信号，根据第二输出信号与第一交互系统的第一输出信号之间的映射关系，向第一交互系统提供与第二输出信号对应的第一输出信号。通过本发明，实现了将应用程序接入多种交互系统而无需对应用程序做软件程序更改。

Description

将应用程序接入多种交互系统的方法及系统和计算机设备

技术领域

本发明涉及人机交互技术领域，尤其涉及一种将应用程序接入多种交互系统的方法及系统和计算机设备。

背景技术

相关技术中，具有多种人机交互系统，并且随着技术的发展，将会产生越来越多的人机交互系统。多种人机交互系统之间的差异包括但不限于：输入信号(或者输入设备)、输出信号(输出装置)、软件(尤其是操作系统)及硬件环境等，由此导致不同交互系统中的应用程序难以互通，需要软件开发者针对不同的交互系统开发应用程序。

例如，个人电脑的输入装置主要包括键盘、鼠标、摄像头和麦克风等，个人电脑的输出装置主要包括屏幕和音响等；智能移动终端的输入装置主要包括触摸屏、麦克风和摄像头等，智能移动终端的输出装置包括屏幕、声音和震动反馈等。

相关技术中，其他的交互系统，例如提供语音交互的音箱系统，其输入信号主要为语音信号，输出信号主要为声音信号；虚拟现实交互系统或设备，包括多种外部输入设备，输出设备主要为显示屏和喇叭。此外，综合性交互系统可支持多种交互方式，例如，同时支持语音交互、键盘鼠标输入、基于图像识别的交互等。

再者，车载交互系统也是相关技术中的一种交互系统，其提供导航及娱乐功能，各种车载系统的输入和输出设备也不尽相同，一些车载交互系统则与智能移动终端配合使用。

应当理解，上述的交互系统及其输入和输出仅作为示例性说明，在此无法一一赘述。可以明确的是，由于相关技术中交互系统之间的差异，导致不同交互系统中的应用程序难以互通，需要软件开发者针对不同的交互系统开发应用程序。例如，个人电脑的交互系统中的应用程序难以与智能音响等语音交互设备互通，导致难以使用语音交互来作为个人电脑的应用程序的输入，但不限于此。

发明内容

本发明的目的是提供一种将应用程序接入多种交互系统的方法及系统和计算机设备，用于至少将应用程序接入多种交互系统而无需对应用程序做软件程序更改。

根据本发明的一个方面，提供了一种将应用程序接入多种交互系统的方法，包括：响应于第一交互系统的第一输入信号，根据第一输入信号与第二交互系统的第二输入信号之间的第一映射关系，向第二交互系统提供与第一输入信号对应的第二输入信号，其中，第一交互系统能够输出第一输出信号，第二交互系统包括一个或多个应用程序，该应用程序能够响应于第二输入信号输出第二输出信号；以及，响应于第二交互系统的第二输出信号，根据第二输出信号与第一交互系统的第一输出信号之间的第二映射关系，向第一交互系统提供与第二输出信号对应的第一输出信号。

可选地，第一交互系统包括一个或多个第一应用程序，第一应用程序能够响应于所述第一输入信号输出第一输出信号；第二交互系统的一个或多个应用程序为一个或多个第二应用程序。

可选地，第一输入信号可包括但不限于：语音信号、图像信号、手势信号、体感信号、或生物特征信号中至少之一或者任意组合，或者语音信号、图像信号、手势信号、体感信号、或生物特征识别信号中至少之一或者任意组合与触摸屏输入信号的组合；第二输入信号包括但不限于：触摸屏输入信号、键盘鼠标输入信号、语音输入信号、程序或系统接口调用输入信号中至少之一或者任意组合。

可选地，第一输出信号包括但不限于：语音信号、可视信号、震感反馈信号、或机械信号中至少之一或者任意组合；第二输出信号包括但不限于：可视信号、语音信号、或震感反馈信号中至少之一或任意组合。

可选地，向第二交互系统提供与第一输入信号对应的第二输入信号，包括：模拟在第二交互系统的输入装置上输入与第一输入信号对应的第二输入信号，以向第二交互系统提供与第一输入信号对应的第二输入信号。

可选地，根据第一输入信号与第二交互系统的第二输入信号之间的第一映射关系，向第二交互系统提供与第一输入信号对应的第二输入信号，包括：从第一输入信号从解析第一输入信号对应的第一输入事件和第一输入数据；根据第一输入信号与第二交互系统的第二输入信号之间的第一映射关系，向第二交互系统提供与第一输入信号的第一输入事件和第一输入数据对应的第二输入信号的第二输入事件和第二输入数据。

根据本发明的另一个方面，提供了一种将应用程序接入多种交互系统的系统，包括：存储装置，用于存储第一交互系统的第一输入信号与第二交互系统的第二输入信号之间的第一映射关系，以及第二交互系统的第二输出信号与第一交互系统的第一输出信号之间的第二映射关系；其中，第一交互系统能够输出第一输出信号，第二交互系统包括一个或多个应用程序，该应用程序能够响应于第二输入信号输出第二输出信号；以及，接入装置，用于响应于第一交互系统的第一输入信号，根据第一映射关系，向第二交互系统提供第一输入信号对应的第二输入信号；以及，响应于第二交互系统的第二输出信号，根据第二映射关系，向第一交互系统提供第二输出信号对应的第一输出信号。

可选地，第一交互系统包括一个或多个第一应用程序，第一应用程序能够响应于所述第一输入信号输出第一输出信号；第二交互系统的一个或多个应用程序为一个或多个第二应用程序。

可选地，第一输入信号包括但不限于：语音信号、图像信号、手势信号、体感信号、或生物特征识别信号中至少之一或者任意组合，或者语音信号、图像信号、手势信号、体感信号、或生物特征识别信号中至少之一或者任意组合与触摸屏输入信号的组合；第二输入信号包括但不限于：触摸屏输入信号、键盘鼠标输入信号、语音输入信号、程序或系统接口调用输入信号中至少之一或者任意组合。

可选地，第一输出信号包括但不限于：语音信号、可视信号、震感反馈信号、或机械信号中至少之一或者任意组合；第二输出信号包括：可视信号、语音信号、或震感反馈信号中至少之一或任意组合。

可选地，接入装置，用于模拟在第二交互系统的输入装置上输入与第一输入信号对应的第二输入信号，以向第二交互系统提供与第一输入信号对应的第二输入信号。

可选地，第一输入信号包括第一输入事件和第一输入数据，以及，第二输入信号包括第二输入事件和第二输入数据。

根据本发明的又一个方面，提供了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行该计算机程序时实现将应用程序接入多种交互系统的方法的步骤。

根据本发明的再一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现将应用程序接入多种交互系统的方法的步骤。

本发明提供的将应用程序接入多种交互系统的方法及系统和计算机设备，通过第一交互系统的第一输入信号与第二交互系统的第二输入信号之间的第一映射关系，向第二交互系统提供与第一输入信号对应的第二输入信号，以及通过第二交互系统的第二输出信号与第一交互系统的第一输出信号之间的第二映射关系，向第一交互系统提供与第二输出信号对应的第一输出信号，实现了利用不同交互系统的输入信号之间的映射关系、输出信号之间的映射关系，将第二交互系统的应用程序接入第一交互系统，使得第二交互系统的应用程序可使用第一交互系统的输入信号和输出信号，而第一交互系统可提供第二交互系统中应用程序的服务或功能。

附图说明

图1为根据本发明实施例的多交互系统的示意图一；

图2为根据本发明实施例的多交互系统的示意图二；

图3为根据本发明实施例的多交互系统的示意图三；

图4为根据本发明实施例的第一交互系统的示意图；

图5为根据本发明实施例的第二交互系统的示意图；

图6为根据本发明实施例的多交互系统的示意图四；

图7为根据本发明实施例的将应用程序接入多种交互系统的装置30的示意图；

图8为根据本发明实施例的接入单元的示意图一；

图9为根据本发明实施例的接入单元的示意图二；

图10为根据本发明实施例的将应用程序接入多种交互系统的方法的流程图；以及

图11为根据本发明实施例的计算机设备的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为根据本发明实施例的多交互系统的示意图一，如图1所示，多交互系统包括第一交互系统10和第二交互系统20，以及将应用程序接入多种交互系统的装置30。其中，第一交互系统10包括一个或多个第一输入装置12、一个或多个第一输出装置13。第二交互系统20包括一个或多个第二应用程序21、一个或多个第二输入装置22、一个或多个第二输出装置23，以及将应用程序接入多种交互系统的装置30。

其中，第一交互系统10可产生第一输出信号，第二交互系统20的第二应用程序21可响应于第二输入信号输出第二输出信号。

在某些实施例中，第一交互系统10包括一个或多个第一应用程序11，第一应用程序11能够响应于第一输入信号产生第一输出信号。

应当理解，本实施例中的第一应用程序11可为第一交互系统10的计算机程序模块，第二应用程序21可为第二交互系统20的计算机程序模块。

在某些实施例中，如图1所示的交互系统，第二交互系统20设置在位于网络侧，而第一交互系统10位于用户侧；或者，第二交互系统20设置在位于用户侧，第一交互系统10位于用户侧，但不限于此。在某些实施例中，位于网络侧的第二交互系统20可与多个第一交互系统10通信，进而将第二交互系统20的第二应用程序21提供给多个第一交互系统10。第一交互系统10与第二交互系统20可采用客户端-服务器(C-S)的结构，第一交互系统10作为客户端，第二交互系统20作为服务器。

图2为根据本发明实施例的多交互系统的示意图二，如图2所示，将应用程序接入多种交互系统的装置30位于第一交互系统10。在某些实施例中，如图2所示的交互系统，第二交互系统20设置在位于网络侧，而第一交互系统10位于用户侧；或者，第二交互系统20设置在位于用户侧，第一交互系统10位于用户侧，但不限于此。位于网络侧的第二交互系统20可与多个第一交互系统10通信，进而多个第一交互系统10从第二交互系统20获得第二应用程序21的服务。

其中，第一交互系统10可产生第一输出信号，第二交互系统20的第二应用程序21可响应于第二输入信号输出第二输出信号。

在某些实施例中，第一交互系统10包括一个或多个第一应用程序11，第一应用程序11能够响应于第一输入信号产生第一输出信号。

图3为根据本发明实施例的多交互系统的示意图三，如图3所示，将应用程序接入多种交互系统的装置30独立于第一交互系统10和第二交互系统20。在某些实施例中，将应用程序接入多种交互系统的装置30与第一交互系统10和第二交互系统20之间可通过网络通信连接，以发送或接收数据包。该网络可包括但不限于因特网(Internet)等，也可为蓝牙、ZigBee等短距离通信网络，还可以通过数据线以有线方式通信连接，但不限于此。

其中，第一交互系统10可产生第一输出信号，第二交互系统20的第二应用程序21可响应于第二输入信号输出第二输出信号。

在某些实施例中，第一交互系统10包括一个或多个第一应用程序11，第一应用程序11能够响应于第一输入信号产生第一输出信号。

应当理解，参考图1至图3所示的交互系统，第一交互系统10和第二交互系统20为人机交互的交互系统。第一输入装置12至少包括但不限于供人机交互的用户直接或间接输入的输入装置，第一输出装置13至少包括但不限于供向人机交互的用户直接或间接输出的输出装置。第二输入装置22至少包括但不限于供人机交互的用户直接或间接输入的输入装置，第二输出装置23至少包括但不限于供向人机交互的用户直接或间接输出的输出装置。

例如，个人电脑的输入装置主要包括键盘、鼠标、摄像头和麦克风等，个人电脑的输出装置主要包括屏幕和音响等；智能移动终端的输入装置主要包括触摸屏、麦克风和摄像头等，智能移动终端的输出装置包括屏幕、声音和震动反馈等。

作为非限制性示例，其他的交互系统，例如提供语音交互的音箱系统，其输入信号主要为语音信号，输出信号主要为声音信号；虚拟现实交互系统或设备，包括多种外部输入设备，输出设备主要为显示屏和喇叭。此外，综合性交互系统可支持多种交互方式，例如，同时支持语音交互、键盘鼠标输入、基于图像识别的交互等。

再者，车载交互系统也是相关技术中的一种交互系统，其提供导航及娱乐功能，各种车载系统的输入和输出设备也不尽相同，一些车载交互系统则与智能移动终端配合使用。

应当理解，图1至图3仅作为示例性说明，并不是对本实施例第一交互系统10和第二交互系统20以及将应用程序接入多种交互系统的装置30的位置或数量等的限定。第一交互系统10和第二交互系统20之间可为服务器与客户端模式(C-S，Client Sever)，第一交互系统10或第二交互系统20本身可由多个子系统构成，但不限于此。

参考图1至图3所示的交互系统，如图4所示，第一交互系统10可包括一个或多个第一输入控制模块14和一个或多个第一输出控制模块15，其中，一个或多个第一输入控制模块14与一个或多个第一输入装置12对应，用于处理第一输入装置12的输入信号并将处理后的输入信号提供给第一应用程序11；一个或多个第一输出控制模块15与一个或多个第一输出装置12对应，用于处理一个或多个第一应用程序11的输出信号，将处理后的输出信号提供给一个或多个第一输出装置12。

参考图1至图3所示的交互系统，如图5所示，第二交互系统20可包括一个或多个第二输入控制模块24和一个或多个第二输出控制模块25，其中，一个或多个第二输入控制模块24与一个或多个第二输入装置22对应，用于处理第二输入装置22的输入信号并将处理后的输入信号提供给第二应用程序21；一个或多个第二输出控制模块25与一个或多个第二输出装置22对应，用于处理一个或多个第二应用程序21的输出信号，将处理后的输出信号提供给一个或多个第二输出装置22。

图6为根据本发明实施例的多交互系统的示意图四，如图6所示，该多交互系统包括第一交互系统10、第二交互系统20，以及将应用程序接入多种交互系统的装置30。其中，第一交互系统包括第一接口101，第一接口201与将应用程序接入多种交互系统的装置30连接，用于将第一输入信号提供给将应用程序接入多种交互系统的装置30，以及接收将应用程序接入多种交互系统的装置30提供的第一输出信号；第二交互系统20包括第二接口201，第二接口201与将应用程序接入多种交互系统的装置30连接，用于接收经过将应用程序接入多种交互系统的装置30转换得到的第二输入信号，以及将第二输出信号提供给将应用程序接入多种交互系统的装置30。

在某些实施例中，第一接口101与第一交互系统10的软件模块连接。在某些实施例中，第一接口101与第一应用程序11连接。在某些实施例中，第一接口101与第一交互系统10的软件模块及第一应用程序11连接。第二接口201与第二应用程序21连接。

作为一个示例，第一交互系统10将用户的第一输入信号通过第一接口101提供给将应用程序接入多种交互系统的装置30；将应用程序接入多种交互系统的装置30得到与第一输入信号对应的第二输入信号，通过第二接口201将第二输入信号提供给第二交互系统20；第二交互系统20的第二应用程序响应于第二输入信号，产生第二输出信号，通过第二接口201将第二输出信号提供给将应用程序接入多种交互系统的装置30；将应用程序接入多种交互系统的装置30得到与第二输出信号对应的第一输出信号，并经第一接口101将第一输出信号提供给第一交互系统10输出。其中，应用程序接入多种交互系统的装置30从第二应用程序21得到第二输出信号。

应当理解，图6中仅示出了将应用程序接入多种交互系统的装置30设置于第一交互系统10、第二交互系统20外的情形，如图1或2的情形也是适用的，在此不再赘述。

在某些实施例中，第一交互系统10通过第一接口101与将应用程序接入多种交互系统的装置30通信。第二交互系统10将第一输入信号通过第一接口101提供给将应用程序接入多种交互系统的装置30，并通过第一接口101接收将应用程序接入多种交互系统的装置30提供的第一输出信号。

在某些实施例中，第一交互系统10通过第一接口101与将应用程序接入多种交互系统的装置30通信。第一交互系统10具有多种模式，例如，当处于第一模式时，第一交互系统10完成交互(例如通过第一应用程序11响应于第一输入信号产生第一输出信号)，当处于第二模式时，第二交互系统10将第一输入信号通过第一接口101提供给将应用程序接入多种交互系统的装置30，并通过第一接口101接收将应用程序接入多种交互系统的装置30提供的第一输出信号。可选地，可在满足进入第二模式的条件时，使第一交互系统10进入第二模式，例如但不限于，响应于用户的设置操作，第一交互系统10进入第二模式；或者，检测到第一交互系统10的预定状态变化，第一交互系统10进入第二模式。

在某些实施例中，第一交互系统10的第一应用程序11与用户进行人机交互，在人机交互过程中，第一应用程序11与将应用程序接入多种交互系统的装置30通信。可选地，第一应用程序11可具有多种模式，例如，当处于第一模式时，第一应用程序11完成交互，当处于第二模式时，第一应用程序11将第一输入信号通过第一接口101提供给将应用程序接入多种交互系统的装置30，并通过第一接口101接收将应用程序接入多种交互系统的装置30提供的第一输出信号，通过第一交互系统10向用户输出交互反馈。可选地，可在满足进入第二模式的条件时，第一应用程序11进入第二模式，例如但不限于，响应于用户的设置操作，第一应用程序11进入第二模式；或者，检测到第一交互系统10的预定状态变化，第一应用程序11进入第二模式。

在某些实施例中，第一输入信号可同时提供给第一应用程序11和将应用程序接入多种交互系统的装置30，由第一应用程序11和将应用程序接入多种交互系统的装置30分别提供第一输出信号。

图7为根据本发明实施例的将应用程序接入多种交互系统的装置30的示意图，如图7所示，该将应用程序接入多种交互系统的装置30可包括：存储单元31，用于存储第一交互系统10的第一输入信号与第二交互系统20的第二输入信号之间的第一映射关系40，以及第二交互系统20的第二输出信号与第一交互系统10的第一输出信号之间的第二映射关系50。接入单元32，与存储单元31连接，用于响应于第一交互系统10的第一输入信号，根据第一映射关系40，向第二交互系统20提供第一输入信号对应的第二输入信号；以及，响应于第二交互系统20的第二输出信号，根据第二映射关系50，向第一交互系统10提供第二输出信号对应的第一输出信号。

在某些实施例中，第一交互系统10包括一个或多个第一应用程序11，第一应用程序11能够响应于第一输入信号输出第一输出信号，第二交互系统20包括一个或多个第二应用程序21，第二应用程序21能够响应于第二输入信号输出第二输出信号。

在某些实施例中，如图7所示，将应用程序接入多种交互系统的装置30还可包括：映射关系产生单元33，与存储单元31连接，用于产生第一映射关系40和第二映射关系50，并将产生的第一映射关系40和第二映射关系50存储至存储单元31。

在某些实施例中，映射关系产生单元33可以通过网络与存储单元31通信连接，以将产生的第一映射关系40和第二映射关系50存储到存储单元31中，但不限于此。存储单元31可包括数据库，该数据库用于存储第一映射关系40和第二映射关系50。该数据库中，存储有多个映射条目，每个映射条目具有编号(ID)，每个映射条目包括第一输入信号及与第一输入信号对应的第二输入信号。

在某些实施例中，第一输入信号为第一交互系统10的一个或多个输入信号的组合，第二输入信号为第二交互系统20的一个或多个输入信号的组合。在第一映射关系中，第一输入信号与第二输入信号对应，也就是第一交互系统10的一个或多个输入信号的组合与第二交互系统20的一个或多个输入信号的组合对应。第一输入信号可包括但不限于：语音信号、图像信号、手势信号、体感信号、或生物特征信号中至少之一或者任意组合，或者语音信号、图像信号、手势信号、体感信号、或生物特征识别信号等中至少之一或者任意组合与触摸屏输入信号的组合。第二输入信号包括但不限于：触摸屏输入信号、键盘鼠标输入信号、语音输入信号、程序或系统接口调用输入信号等至少之一或者任意组合。

在某些实施例中，第一输入信号可以是与第一交互系统10有关的各种输入信号，第二输入信号可以为与第二交互系统20有关的各种输入信号。不同的交互系统可提供不同的输入方式的组合。

在某些实施例中，如图8所示，接入单元32可包括检索模块321，检索模块321用于响应于第一交互系统10的第一输入信号，在第一映射关系中检索与该第一输入信号对应的映射条目得到与该第一输入信号对应的第二输入信号。作为示例性说明，检索模块321可将第一交互系统10的一个或多个输入信号中至少部分与映射条目中第一输入信号的一个或多个输入信号中至少部分进行匹配，如果存在匹配的映射条目，则该映射条目中第一输入信号对应的第二输入信号即为第一交互系统10的该第一输入信号对应的第二输入信号。

在某些实施例中，如图8所示，接入单元32可包括自然语言处理模块322，自然语言处理模块322用于当第一输入信号中包括或为语音信号(例如，语音交互输入中，识别得到的语音文本)时，解析该语音信号对应的操作信息，由检索模块321处理经自然语言处理模块322处理后的第一输入信号。

例如，第一映射关系设定了映射规则1：当第一交互系统10产生“打开微信”的语音输入信号时，接入单元对应的就给第二交互系统20产生一个直接打开第二交互系统20的一个启动微信程序的系统接口调用API的输入信号，在第二交互系统20启动微信，并把微信置身到系统的最前台页面。

在某些实施例中，第一输出信号包括第一交互系统10的一个或多个输出信号的组合，第二输出信号包括第二交互系统20的第一或多个输出信号的组合。在第二映射关系中，第二输出信号与第一输出信号对应，也就是第二交互系统20的一个或多个输出信号的组合与第一交互系统10的一个或多个输出信号的组合对应。第二输出信号可包括但不限于：可视信号、语音信号、或震感反馈信号等中至少之一或任意组合。第一输出信号可包括但不限于：语音信号、可视信号、震感反馈信号、或机械信号等中至少之一或者任意组合。应当理解，第一输出信号和第二输出信号并不限于此，以上示例仅作为示例性说明。

在某些实施例中，第二输出信号可以是与第二交互系统20有关的各种输出信号，第一输出信号可以为与第一交互系统10有关的各种输出信号。不同的交互系统可提供不同的输出方式的组合。根据实际需要，可将第二交互系统20的第二输出信号中的一个或多个输出信号与第一交互系统10的第一输出信号中的一个或多个输出信号对应，例如，第二交互系统20中的信息提示用户界面可对应于第一交互系统10中的LED灯颜色，提示信息用户界面中的文本可对应于第一交互系统10中的语音输出信号。

在某些实施例中，如图9所示，接入单元32可包括整合模块323，整合模块323用于当第一输出信号为语音信号时，将第二输出信号整合成符合语音交互的文本(即第一输出信号的文本)，例如，从GUI图形用户界面中的文字信息整合得第一交互信号的交互文本。在某些实施例中，可设置整合模板，整合模块323读取模板并将信息填写至模板中对应位置，得到语音交互的文本，但不限于此。例如，GUI界面中，在不同的位置显示天气信息中不同的数据，如气温、风力、空气质量等，整合模块323可将这些不同的信息整合成语音文本。

在某些实施例中，接入单元32还包括语音合成模块324，语音合成模块324用于合成语音文本对应的音频文件。在某些实施例中，第一交互系统10可包括语音合成模块，接入单元32向第一交互系统10提供语音文本，由第一交互系统10的语音合成模块合成对应的音频并播放该音频。

应当理解，图8和图9的接入单元32可以组合，在此不再赘述。

在某些实施例中，如图1至图7所述的交互系统，第一交互系统10可为用作人机交互的应用程序或者应用程序与硬件模块的组合，第二交互系统20可为用作人机交互的应用程序或者应用程序与硬件模块的组合。作为一个示例性说明，第一交互系统10或第二交互系统20可为相关技术中的语音助手应用应用程序，语音助手应用程序可属于操作系统的一部分，也可为运行在操作系统中的第三方应用程序。

图10为根据本发明实施例的将应用程序接入多种交互系统的方法的流程图，如图10所示，该方法包括步骤S1002至步骤S1004。

步骤S1002，响应于第一交互系统10的第一输入信号，根据第一输入信号与第二交互系统20的第二输入信号之间的第一映射关系，向第二交互系统20提供与第一输入信号对应的第二输入信号。

在某些实施例中，参考图1至图6所示的交互系统，第一交互系统10可输出第一输出信号。第二交互系统20可包括一个或多个第二应用程序21，第二应用程序21可响应于第二输入信号输出第二输出信号。

在某些实施例中，参考图1至图6所示的交互系统，第一交互系统10可包括一个或多个第一应用程序11，第一应用程序11能够响应于第一输入信号输出第一输出信号，第二交互系统20包括一个或多个第二应用程序21，第二应用程序21能够响应于第二输入信号输出第二输出信号。

在某些实施例中，第一输入信号包括第一输入事件和第一输入数据，第二输入信号包括第二输入事件和第二输入数据。步骤S602可包括：从第一输入信号从解析第一输入信号对应的第一输入事件和第一输入数据，根据上述第一映射关系，向第二交互系统20提供与第一输入信号的第一输入事件和第一输入数据对应的第二输入信号的第二输入事件和第二输入数据。其中，上述第一映射关系可包括第一输入事件和第二输入事件的映射关系，以及第一输入数据与第二输入数据的映射关系。

在某些实施例中，通过输入设备(例如，键盘、鼠标、麦克风或麦克风阵列、光学图像传感器、触摸输入装置、指纹识别装置等，但不限于此)产生输入操作，该输入操作经操作系统的输入/输出(I/O)系统处理后，提供给应用层的软件模块，I/O系统对通过输入设备的输入操作的处理过程参见相关技术，实施例对此不作赘述。

作为一个示例性说明，通过麦克风采集声音信号，麦克风可产生模拟类型的声音信号，由音频处理模块(软件模块或者硬件模块，或者软件模块与硬件模块的组合)将模拟类型的声音信号转换为数字类型的音频数据，I/O系统将音频数据提供给应用层的软件模块，应用层的软件模块处理音频数据，例如语音识别模块识别语音数据中的语音文本。应当理解，不同的操作系统中I/O系统对输入设备的输入操作处理不同，该示例仅为便于对输入信号的理解，不是对本实施例的限定。

作为另一个示例性说明，通过触摸屏采集用户输入。触摸屏包括触摸检测部件和触摸屏控制器组成。触摸检测部件用于检测用户触摸位置，接受触摸后将触摸信息发送给触摸屏控制器。触摸屏控制器从触摸检测部件上接受触摸信号，并将触摸信号转换成触点坐标，将触点坐标交给处理器。触点坐标对应于图形用户界面(GUI)中元素(例如按钮等)，由此触发对触点坐标对应的元素的输入操作(例如，单击、双击、长按等)，该输入操作进一步触发软件模块执行操作(例如产生于输入操作对应的输出)。

应当理解，对于其他通过输入设备的输入操作的处理，可参见相关技术，在此不对其作一一赘述。

在某些实施例中，从第一交互系统10的第一输入信号得到第二交互系统20的第二输入信号时，将第二输入信号提供给第二交互系统20的第二应用程序21。上述步骤S1002中，向第二交互系统20提供与第一输入信号对应的第二输入信号，可包括：模拟在第二交互系统20的第二输入装置22上输入与第一输入信号对应的第二输入信号，以向第二交互系统20提供与第一输入信号对应的第二输入信号。

作为一个示例性说明，I/O系统可包括：硬件输入设备(例如，键盘、鼠标、麦克风、摄像头、指纹识别器等)；设备控制器，与硬件设备连接；中断处理程序，与设备控制器连接；设备驱动程序，与设备控制器连接；设备独立性软件(例如，网络通信软件等)，与设备驱动程序连接；I/O系统接口，与设备独立性软件连接。此外，I/O系统接口与用户层软件(应用程序)连接。

在某些实施例中，可由I/O系统模拟通过输入设备产生第二输入信号对应的输入操作，将提供给第二交互系统20中对应的第二应用程序21。可选地，可模拟第二输入信号并通过I/O系统接口提供给第二应用程序21。

作为一个示例性说明，第一交互系统10产生语音输入信号，将该语音输入信号转换成第二交互系统20的触摸屏输入信号，模拟第二交互系统20中触摸屏的输入操作，将转换得到的触摸屏输入信号提供给第二交互系统20中的应用程序，进而实现第二交互系统20中的应用程序执行第一交互系统10的输入操作。

作为另一个示例性说明，第一交互系统10产生非接触式的手势输入信号，将该手势输入信号转换成第二交互系统20的触摸屏输入信号，模拟第二交互系统20中触摸屏的输入操作，将转换得到的触摸屏输入信号提供给第二交互系统20中的应用程序，进而实现第二交互系统20中的应用程序执行第一交互系统10的输入操作。

对于其他输入操作的处理，可参见相关技术，在此不对其作一一赘述。应当理解，前述示例中仅说明了信号的一一对应关系，但这不是对信号类型的数量的限定，输入操作包括多种类型的输入信号的情况也是可行的，对此不做赘述。

步骤S1004，响应于第二交互系统20的第二输出信号，根据第二输出信号与第一交互系统10的第一输出信号之间的第二映射关系，向第一交互系统10提供与第二输出信号对应的第一输出信号。

作为一个示例性说明，I/O系统可包括：硬件输出设备(例如，屏幕、喇叭、机械臂、震动马达、投影设备等)；设备控制器，与硬件设备连接；中断处理程序，与设备控制器连接；设备驱动程序，与设备控制器连接；设备独立性软件(例如，网络通信软件等)，与设备驱动程序连接；I/O系统接口，与设备独立性软件连接。此外，I/O系统接口与用户层软件(应用程序)连接。

在某些实施例中，第二交互系统20的应用程序响应于第二输入信号产生交互反馈，根据第二输出信号与第一交互系统10的第一输出信号之间的第二映射关系，向第一交互系统10提供与第二输出信号对应的第一输出信号。

作为一个示例，第二交互系统20的第二输出信号为可视信号，非限制性的包括图形和文本。第一交互系统10的第一输出信号包括但不限于语音信号。可选地，可将图形和/或文本转换为语音文本，并合成音频文件，由喇叭播放音频文件，进而在第一交互系统10输出交互反馈。可选地，图形和/或文本对应于预先存储的音频文件，通过音频文件与图形和/或文本之间的对应关系，播放对应的音频文件，进而在第一交互系统10输出交互反馈。可选地，可根据可视信号与语音信号的对应关系，对可视信号的图形和/或文本做转换处理，以使交互反馈更适于在第二交互系统10中语音输出。

作为另一个示例，第二交互系统20的第二输出信号为语音信号，语音信号可为音频文件，或者语音文本，语音文本经语音合成得到音频文件。第一交互系统10的第一输出信号为可视信号，包括图形和文本。可选地，可将从音频文件中识别得到语音文本，将语音文本提供给第一交互系统10，以在第一交互系统10中显示文本。可选地，可将语音文本提供给第一交互系统10，第一交互系统10显示该语音文本。可选地，预先设置语音信号与可视信号的对应关系，按照该对应关系对语音信号进行转换得到对应的可视信号，以使交互反馈更适于在第一交互系统10中可视输出。

在某些实施例中，第一输入信号可包括但不限于：语音信号、图像信号、手势信号、体感信号、或生物特征信号中至少之一或者任意组合，或者语音信号、图像信号、手势信号、体感信号、或生物特征识别信号等中至少之一或者任意组合与触摸屏输入信号的组合；第二输入信号包括但不限于：触摸屏输入信号、键盘鼠标输入信号、语音输入信号、程序或系统接口调用输入信号等至少之一或者任意组合。

在某些实施例中，第一输出信号可包括但不限于：语音信号、可视信号、震感反馈信号、或机械信号等中至少之一或者任意组合；第二输出信号可包括但不限于：可视信号、语音信号、或震感反馈信号等中至少之一或任意组合。

在某些实施例中，智能移动终端、个人电脑等基于图形用户界面(GUI)的交互系统包括交互元素和事件。其中，交互元素为输入或输出的变量单位。事件为用来收集用户与应用程序互动数据的互动组件约定，如按键、触摸屏手势等事件，因为每个事件从系统框架维护事件队列先入先出(FIFO)基础上的队列。可以在程序中捕获这些事件，按要求并采取适当的动作。

窗口类交互元素，即可原生目标程序处于其程序的交互界面，普遍的约定是提供一个屏幕，用户可以用来交互为了完成某项任务。如在安卓(移动终端的操作系统之一)里面对应的窗口类元素为“Activity”，在iOS系统(苹果公司提供的移动终端操作系统)里面对应的窗口类元素为“UIControllerView”。

控件类交互元素，用来组成界面的基本UI单位，放置在窗口交互元素之下，组成窗口的具体的交互布局，呈现输出和接受输入。主要控件类交互元素可包括但不限于：输入输出文本的文本类控件、通过点击实现交互动作的按钮类控件、对目标窗口进行放大或缩小的缩放按钮类控件、显示或播放图片的图片类控件、输入和输出时间信息的时间类控件、显示和设定事件进度和程度状况的进度显示类控件、对交互页面做二次分类的导航栏类控件、用于播放和显示视频的对话框类控件、上下左右滚动页面的滚动条类控件、显示目标网址的网页的网页类控件、显示动画的动画类控件、打开可输入的文字的键盘的输入键盘窗类控件、用于频繁刷新的窗口增强类窗口类控件、列表方式展现内容的列表窗口类控件、对页面进行分页的分页窗口类控件。

事件表示交互操作发生的状态的变化如：单击、触摸、长按、双击、语音唤醒、语音输入、手势输入等。主要事件如表1所示。

表1交互事件表

在某些实施例中，第一输入信号为第一交互系统10的一个或多个输入信号的组合，第二输入信号为第二交互系统20的一个或多个输入信号的组合。在第一映射关系中，第一输入信号与第二输入信号对应，也就是第一交互系统10的一个或多个输入信号的组合与第二交互系统20的一个或多个输入信号的组合对应。第一输入信号可包括但不限于：语音信号、图像信号、手势信号、体感信号、或生物特征信号中至少之一或者任意组合，或者语音信号、图像信号、手势信号、体感信号、或生物特征识别信号等中至少之一或者任意组合与触摸屏输入信号的组合。第二输入信号包括但不限于：触摸屏输入信号、键盘鼠标输入信号、语音输入信号、程序或系统接口调用输入信号等至少之一或者任意组合。

在某些实施例中，第一输入信号可以是与第一交互系统10有关的各种输入信号，第二输入信号可以为与第二交互系统20有关的各种输入信号。不同的交互系统可提供不同的输入方式的组合。

在某些实施例中，如图8所示，接入单元32的检索模块321可响应于第一交互系统10的第一输入信号，在第一映射关系中检索与该第一输入信号对应的映射条目得到与该第一输入信号对应的第二输入信号。作为示例性说明，检索模块321可将第一交互系统10的一个或多个输入信号中至少部分与映射条目中第一输入信号的一个或多个输入信号中至少部分进行匹配，如果存在匹配的映射条目，则该映射条目中第一输入信号对应的第二输入信号即为第一交互系统10的该第一输入信号对应的第二输入信号。

在某些实施例中，如图8所示，接入单元32的自然语言处理模块322，可在当第一输入信号中包括或为语音信号(例如，语音交互输入中，识别得到的语音文本)时，解析该语音信号对应的操作信息，由检索模块321处理经自然语言处理模块322处理后的第一输入信号。

例如，第一映射关系设定了映射规则1：当第一交互系统10产生“打开微信”的语音输入信号时，接入单元对应的就给第二交互系统20产生一个直接打开第二交互系统20的一个启动微信程序的系统接口调用API的输入信号，在第二交互系统20启动微信，并把微信置身到系统的最前台页面。

在某些实施例中，第一输出信号包括第一交互系统10的一个或多个输出信号的组合，第二输出信号包括第二交互系统20的第一或多个输出信号的组合。在第二映射关系中，第二输出信号与第一输出信号对应，也就是第二交互系统20的一个或多个输出信号的组合与第一交互系统10的一个或多个输出信号的组合对应。第二输出信号可包括但不限于：可视信号、语音信号、或震感反馈信号等中至少之一或任意组合。第一输出信号可包括但不限于：语音信号、可视信号、震感反馈信号、或机械信号等中至少之一或者任意组合。应当理解，第一输出信号和第二输出信号并不限于此，以上示例仅作为示例性说明。

在某些实施例中，第二输出信号可以是与第二交互系统20有关的各种输出信号，第一输出信号可以为与第一交互系统10有关的各种输出信号。不同的交互系统可提供不同的输出方式的组合。根据实际需要，可将第二交互系统20的第二输出信号中的一个或多个输出信号与第一交互系统10的第一输出信号中的一个或多个输出信号对应，例如，第二交互系统20中的信息提示用户界面可对应于第一交互系统10中的LED灯颜色，提示信息用户界面中的文本可对应于第一交互系统10中的语音输出信号。

在某些实施例中，如图9所示，接入单元32额整合模块323可在当第一输出信号为语音信号时，将第二输出信号整合成符合语音交互的文本(即第一输出信号的文本)，例如，从GUI图形用户界面中的文字信息整合得第一交互信号的交互文本。在某些实施例中，可设置整合模板，整合模块323读取模板并将信息填写至模板中对应位置，得到语音交互的文本，但不限于此。例如，GUI界面中，在不同的位置显示天气信息中不同的数据，如气温、风力、空气质量等，整合模块323可将这些不同的信息整合成语音文本。

在某些实施例中，接入单元32的语音合成模块324，可合成语音文本对应的音频文件。在某些实施例中，第一交互系统10可包括语音合成模块，接入单元32向第一交互系统10提供语音文本，由第一交互系统10的语音合成模块合成对应的音频并播放该音频。

本实施例还提供一种计算机设备，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。本实施例的计算机设备110至少包括但不限于：可通过系统总线相互通信连接的存储器111、处理器112，如图11所示。需要指出的是，图11仅示出了具有组件111-112的计算机设备110，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

本实施例中，存储器111(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器111可以是计算机设备110的内部存储单元，例如该计算机设备110的硬盘或内存。在另一些实施例中，存储器111也可以是计算机设备110的外部存储设备，例如该计算机设备110上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器111还可以既包括计算机设备110的内部存储单元也包括其外部存储设备。本实施例中，存储器111通常用于存储安装于计算机设备110的操作系统和各类应用软件，例如上述的将应用程序接入多种交互系统的装置30的程序代码等。此外，存储器111还可以用于暂时地存储已经输出或者将要输出的各类数据。

处理器112在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器112通常用于控制计算机设备110的总体操作。本实施例中，处理器112用于运行存储器21中存储的程序代码或者处理数据，例如上述的将应用程序接入多种交互系统的装置30，以实现上述的将应用程序接入多种交互系统的方法。

本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储上述将应用程序接入多种交互系统的装置30，被处理器执行时实现上述将应用程序接入多种交互系统的方法。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (14)

1.一种将应用程序接入多种交互系统的方法，其特征在于，包括：

响应于第一交互系统的第一输入信号，根据第一输入信号与第二交互系统的第二输入信号之间的第一映射关系，向所述第二交互系统提供与所述第一输入信号对应的第二输入信号，其中，所述第一交互系统能够输出第一输出信号，所述第二交互系统包括一个或多个应用程序，所述应用程序能够响应于所述第二输入信号输出第二输出信号；以及

响应于所述第二交互系统的所述第二输出信号，根据第二输出信号与第一交互系统的第一输出信号之间的第二映射关系，向所述第一交互系统提供与所述第二输出信号对应的第一输出信号。

2.根据权利要求1所述的将应用程序接入多种交互系统的方法，其特征在于，所述第一交互系统包括一个或多个第一应用程序，所述第一应用程序能够响应于所述第一输入信号输出第一输出信号；所述第二交互系统的一个或多个应用程序为一个或多个第二应用程序。

3.根据权利要求1所述的将应用程序接入多种交互系统的方法，其特征在于，所述第一输入信号包括：语音信号、图像信号、手势信号、体感信号、或生物特征信号中至少之一或者任意组合，或者语音信号、图像信号、手势信号、体感信号、或生物特征识别信号中至少之一或者任意组合与触摸屏输入信号的组合；所述第二输入信号包括：触摸屏输入信号、键盘鼠标输入信号、语音输入信号、程序或系统接口调用输入信号中至少之一或者任意组合。

4.根据权利要求1或2或3所述的将应用程序接入多种交互系统的方法，其特征在于，所述第一输出信号包括：语音信号、可视信号、震感反馈信号、或机械信号中至少之一或者任意组合；所述第二输出信号包括：可视信号、语音信号、或震感反馈信号中至少之一或任意组合。

5.根据权利要求1所述的将应用程序接入多种交互系统的方法，其特征在于，向所述第二交互系统提供与所述第一输入信号对应的第二输入信号，包括：

模拟在所述第二交互系统的输入装置上输入与所述第一输入信号对应的第二输入信号，以向所述第二交互系统提供与所述第一输入信号对应的所述第二输入信号。

6.根据权利要求1或5所述的将应用程序接入多种交互系统的方法，其特征在于，根据第一输入信号与第二交互系统的第二输入信号之间的第一映射关系，向所述第二交互系统提供与所述第一输入信号对应的第二输入信号，包括：

从所述第一输入信号从解析所述第一输入信号对应的第一输入事件和第一输入数据；

根据第一输入信号与第二交互系统的第二输入信号之间的第一映射关系，向所述第二交互系统提供与所述第一输入信号的第一输入事件和第一输入数据对应的第二输入信号的第二输入事件和第二输入数据。

7.一种将应用程序接入多种交互系统的系统，其特征在于，包括：

存储装置，用于存储第一交互系统的第一输入信号与第二交互系统的第二输入信号之间的第一映射关系，以及第二交互系统的第二输出信号与第一交互系统的第一输出信号之间的第二映射关系；其中，所述第一交互系统能够输出第一输出信号，所述第二交互系统包括一个或多个应用程序，所述应用程序能够响应于所述第二输入信号输出第二输出信号；以及

接入装置，用于响应于所述第一交互系统的所述第一输入信号，根据所述第一映射关系，向所述第二交互系统提供所述第一输入信号对应的所述第二输入信号；以及，响应于第二交互系统的所述第二输出信号，根据所述第二映射关系，向所述第一交互系统提供所述第二输出信号对应的所述第一输出信号。

8.根据权利要求7所述的将应用程序接入多种交互系统的系统，其特征在于，所述第一交互系统包括一个或多个第一应用程序，所述第一应用程序能够响应于所述第一输入信号输出第一输出信号；所述第二交互系统的一个或多个应用程序为一个或多个第二应用程序。

9.根据权利要求7所述的将应用程序接入多种交互系统的系统，其特征在于，所述第一输入信号包括：语音信号、图像信号、手势信号、体感信号、或生物特征识别信号中至少之一或者任意组合，或者语音信号、图像信号、手势信号、体感信号、或生物特征识别信号中至少之一或者任意组合与触摸屏输入信号的组合；所述第二输入信号包括：触摸屏输入信号、键盘鼠标输入信号、语音输入信号、程序或系统接口调用输入信号中至少之一或者任意组合。

10.根据权利要求7或8或9所述的将应用程序接入多种交互系统的系统，其特征在于，所述第一输出信号包括：语音信号、可视信号、震感反馈信号、或机械信号中至少之一或者任意组合；所述第二输出信号包括：可视信号、语音信号、或震感反馈信号中至少之一或任意组合。

11.根据权利要求7所述的将应用程序接入多种交互系统的系统，其特征在于，所述接入装置，用于模拟在所述第二交互系统的输入装置上输入与所述第一输入信号对应的第二输入信号，以向所述第二交互系统提供与所述第一输入信号对应的所述第二输入信号。

12.根据权利要求7所述的将应用程序接入多种交互系统的系统，其特征在于，所述第一输入信号包括第一输入事件和第一输入数据，以及，所述第二输入信号包括第二输入事件和第二输入数据。

13.一种计算机设备，其特征在于，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至6中任一项所述方法的步骤。

Images