CN110675872A - 基于多系统显示设备的语音交互方法及多系统显示设备 - Google Patents

Abstract

本申请公开了一种基于多系统显示设备的语音交互方法及多系统显示设备。其中，多系统的显示设备中，用于实现语音交互控制功能的应用被拆分为两个应用，并分别位于不同的操作系统，当需要实现语音交互控制功能时，第一操作系统中的语音应用响应于输入的语音，对该语音进行识别得到界面词参数，并通过第一中间件将界面词参数发送给第二中间件，通过第二中间件发送给第二操作系统中的界面词控制应用；界面词控制应用响应于接收到的界面词参数，根据当前场景得到匹配的第一指令，执行所述第一指令，从而基于不同操作系统间的信息交互和数据传递，实现跨系统的语音交互控制功能。

Description

基于多系统显示设备的语音交互方法及多系统显示设备

技术领域

本申请涉及显示技术，尤其涉及一种基于多系统显示设备的语音交互方法及多系统显示设备。

背景技术

当前，由于显示设备可以提供多种形式的人机交互方式，比如语音交互，从而方便用户使用和操作，受到用户的广泛关注。随着大数据与人工智能的发展，用户对显示设备的功能需求与日俱增。为了实现更多功能并保证运行性能，目前出现了多系统显示设备，比如双系统显示设备(或称双芯片显示设备)。多系统显示设备支持多个操作系统，不同操作系统可以搭载不同的应用或服务。

在单系统的显示设备上，实现基于语音交互的方案的过程为：接收用户输入的语音，进行语音识别，与当前场景进行匹配，得到当前场景下的指令并执行该指令，从而完成语音交互功能。为了保证语音交互应用的性能，目前需要将语音交互功能在多系统的显示设备上实现。

但是，如何在多系统显示设备上实现语音交互，目前尚未有解决方案。

发明内容

本申请实施例提供一种基于多系统显示设备的语音交互方法及多系统显示设备。

第一方面，提供一种基于多系统显示设备的语音交互方法，所述多系统显示设备为包括至少第一操作系统和第二操作系统的显示设备，所述第一操作系统中包括语音应用和第一中间件，所述第二操作系统中包括界面词控制应用和第二中间件，所述方法包括：

所述语音应用响应于输入的语音，对所述语音进行识别得到语音文本，对所述语音文本进行分词得到界面词参数，并通过所述第一中间件将所述界面词参数发送给所述第二中间件；

所述第二中间件将所述界面词参数发送给所述界面词控制应用；

所述界面词控制应用响应于接收到的所述界面词参数，根据当前场景执行与所述界面词参数匹配的指令。

可选地，通过所述第一中间件将所述界面词参数发送给所述第二操作系统中的第二中间件之前，还包括：所述语音应用判断当前场景下所述界面词控制应用是否支持界面词；通过所述第一中间件将所述界面词参数发送给所述第二操作系统中的第二中间件，包括：所述语音应用响应于当前场景下所述界面词控制应用支持界面词的判决结果，通过所述第一中间件将所述界面词参数发送给所述第二操作系统中的第二中间件。

可选地，所述方法还包括：所述语音应用响应于当前场景下所述界面词控制应用支持界面词的判决结果，根据所述界面词参数以及当前场景对应的第一处理策略，得到包含有所述界面词参数的语义指令，其中，所述第一处理策略为所述界面词控制应用对所述界面词参数响应超时或响应失败时的处理策略；所述语音应用响应于所述界面词控制应用对所述界面词参数响应超时或响应失败，执行所述语义指令。

可选地，所述方法还包括：所述语音应用响应于当前场景下所述界面词控制应用不支持界面词的判决结果，根据当前场景对应的第二处理策略对识别得到的所述语音文本进行语义解析得到语义指令，其中，所述第二处理策略为所述界面词控制应用不支持界面词时的处理策略；所述语音应用执行所述语义指令。

可选地，所述对所述语音进行识别得到界面词参数，包括：所述语音应用对所述语音进行识别，得到语音文本；所述语音应用根据当前场景对应的分词规则，对所述语音文本进行分词，得到所述界面词参数。

可选地，所述方法还包括：所述界面词控制应用响应于场景变更，将当前场景的信息通过所述第二中间件发送给所述第一中间件；所述第一中间件将所述当前场景的信息发送给所述语音应用；所述语音应用保存所述当前场景的信息。

可选地，所述第一中间件位于所述第一操作系统的框架层，所述第二中间件位于所述第二操作系统的框架层；所述第一中间件将所述界面词参数发送给所述第二中间件，包括：所述第一中间件通过所述第一操作系统和所述第二操作系统间的socket连接将所述界面词参数发送给所述第二中间件；所述方法还包括：所述第二中间件通过所述第一操作系统和所述第二操作系统间的socket连接，将与所述界面词参数匹配的指令的执行结果发送给所述第一中间件；所述第一中间件将所述执行结果发送给所述语音应用。

第二方面，提供一种多系统显示设备，包括：至少第一操作系统和第二操作系统，所述第一操作系统中包括语音应用和第一中间件，所述第二操作系统中包括界面词控制应用和第二中间件；

所述语音应用，用于响应于输入的语音，对所述语音进行识别得到语音文本，对所述语音文本进行分词得到界面词参数；

所述第一中间件，用于将所述界面词参数发送给所述第二中间件；

所述第二中间件，用于将所述界面词参数发送给所述界面词控制应用；

所述界面词控制应用，用于响应于接收到的所述界面词参数，根据当前场景执行与所述界面词参数匹配的指令。

可选地，所述第一中间件位于所述第一操作系统的框架层，所述第二中间件位于所述第二操作系统的框架层；

所述第一中间件，具体用于：通过所述第一操作系统和所述第二操作系统间的socket连接将所述界面词参数发送给所述第二中间件；

所述第二中间件，还用于：通过所述第一操作系统和所述第二操作系统间的socket连接，将与所述界面词参数匹配的指令的执行结果发送给所述第一中间件；

所述第一中间件，还用于：将所述执行结果发送给所述语音应用。

本申请的上述实施例，多系统的显示设备中，用于实现语音交互控制功能的应用被拆分为两个应用，并分别位于不同的操作系统，比如：第一操作系统中包括语音应用和第一中间件，第二操作系统中包括界面词控制应用和第二中间件。针对这种情况，当需要实现语音交互控制功能时，第一操作系统中的语音应用响应于输入的语音，对该语音进行识别得到界面词参数，并通过第一中间件将界面词参数发送给第二中间件，通过第二中间件发送给第二操作系统中的界面词控制应用；界面词控制应用响应于接收到的界面词参数，根据当前场景得到匹配的指令，执行该指令，从而基于不同操作系统间的信息交互和数据传递，实现跨系统的语音交互控制功能。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1中示例性示出了根据实施例中显示设备的使用场景的示意图；

图2中示例性示出了根据实施例中显示设备200的硬件配置框图；

图3中示例性示出了根据图3显示设备200的硬件架构框图；

图4中示例性示出了根据实施例中显示设备200的功能配置示意图；

图5a中示例性示出了根据实施例中显示设备200中软件配置示意图；

图5b中示例性示出了根据实施例中显示设备200中应用程序的配置示意图；

图6中示例性示出了根据实施例中显示设备200中用户界面的示意图；

图7中示例性示出了根据实施例中系统间的信息交互示意图；

图8中示例性示出了根据实施例中场景同步更新的示意图；

图9中示例性示出了根据实施例中多系统语音交互流程示意图。

具体实施方式

为使本申请示例性实施例的目的、技术方案和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施例中的技术方案进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

本申请公开了一种基于多系统显示设备的语音交互方案，用以通过在不同操作系统间进行信息传递，使得处于不同操作系统中的语音服务模块协同配合从而实现语音交互功能。

下面首先结合附图对本申请所涉及的概念进行说明。在此需要指出的是，以下对各个概念的说明，仅为了使本申请的内容更加容易理解，并不表示对本申请保护范围的限定。

本申请各实施例中使用的术语“模块”，可以是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

本申请各实施例中使用的术语“遥控器”，是指电子设备(如本申请中公开的显示设备)的一个组件，该组件通常可在较短的距离范围内无线控制电子设备。该组件一般可以使用红外线、射频(radio frequency，RF)信号、蓝牙等通信方式中的至少一种与电子设备连接，也可以包括WiFi、无线通用串行总线(universal serial bus，USB)、蓝牙、动作传感器等功能模块。例如：手持式触摸遥控器，是以触摸屏中用户界面取代一般遥控装置中的大部分物理内置硬键。

本申请各实施例中使用的术语“硬件系统”，可以是指由集成电路(integratedcircuit，IC)、印刷电路板(printed circuit board，PCB)等机械、光、电、磁器件构成的具有计算、控制、存储、输入和输出功能的实体部件。在本申请各个实施例中，硬件系统通常也会被称为主板(motherboard)或芯片。

本申请各实施例中使用的术语“中间件(middleware)”，是一种独立的系统软件或服务程序，多系统架构可借助这种软件在不同的系统之间实现资源共享或信息传递。中间件是连接两个独立系统的软件。相连接的系统，即使它们具有不同的接口，但通过中间件相互之间仍能交换信息。

图1示例性示出了根据实施例中显示设备与控制装置之间操作场景的示意图。如图1所示，用户可通过控制装置(100A，100B)来操作显示设备200。

其中，控制装置可以是遥控器100A，其可与显示设备200之间通过红外协议通信、蓝牙协议通信、紫蜂(ZigBee)协议通信或其他短距离通信方式进行通信，用于通过无线或其他有线方式来控制显示设备200。用户可以通过遥控器上的按键、语音输入、控制面板输入等输入用户指令，来控制显示设备200。如：用户可以通过遥控器上的音量加减键、频道控制键、上/下/左/右的移动按键、语音输入按键、菜单键、开关机按键等输入相应控制指令，来实现控制显示设备200的功能。

控制装置也可以是智能设备，如移动终端100B、平板电脑、计算机、笔记本电脑等，其可以通过本地网(local area network，LAN)、广域网(wide area network,WAN)、无线局域网(wireless local area network,WLAN)或其他网络与显示设备200之间通信，并通过与显示设备200相应的应用程序实现对显示设备200的控制。例如，使用在智能设备上运行的应用程序控制显示设备200。该应用程序可以在与智能设备关联的屏幕上通过直观的用户界面(user interface，UI)为用户提供各种控制。

示例的，移动终端100B与显示设备200均可安装软件应用，从而可通过网络通信协议实现二者之间的连接通信，进而实现一对一控制操作的和数据通信的目的。如：可以使移动终端100B与显示设备200建立控制指令协议，将遥控控制键盘同步到移动终端100B上，通过控制移动终端100B上的用户界面，实现控制显示设备200的功能；也可以将移动终端100B上显示的音视频内容传输到显示设备200上，实现同步显示功能。

显示设备200还可以采集用户发出的语音，对用户输入的语音进行识别，并根据识别结果进行响应，以完成相应的功能。

如图1所示，显示设备200还可与服务器300通过多种通信方式进行数据通信。在本申请各个实施例中，可允许显示设备200通过局域网、无线局域网或其他网络与服务器300进行通信连接。服务器300可以向显示设备200提供各种内容和互动。

示例的，显示设备200通过发送和接收信息，以及电子节目指南(electronicprogram guide，EPG)互动，接收软件程序更新，或访问远程储存的数字媒体库。服务器300可以是一组，也可以是多组，可以是一类或多类服务器。通过服务器300提供视频点播和广告服务等其他网络服务内容。

显示设备200，一方面讲，可以是液晶显示器、有机发光二极管(organic lightemitting diode，OLED)显示器、投影显示设备；另一方面讲，显示设备可以是智能电视或显示器和机顶盒组成的显示系统。具体显示设备类型，尺寸大小和分辨率等不作限定，本领技术人员可以理解的是，显示设备200可以根据需要做性能和配置上的一些改变。

显示设备200除了提供广播接收电视功能之外，还可以附加提供计算机支持功能的智能网络电视功能。示例的包括：网络电视、智能电视、互联网协议电视(IPTV)等。在一些实施例中，显示设备可以不具备广播接收电视功能。

如图1所述，显示设备200上可以连接或设置有摄像头，用于将摄像头拍摄到的画面呈现在本显示设备或其他显示设备的显示界面上，以实现用户之间的交互聊天。具体的，摄像头拍摄到的画面可在显示设备上全屏显示、半屏显示、或者显示任意可选区域。

图2示例性示出了根据示例性实施例中显示设备200中硬件系统的硬件配置框图。

在采用双硬件系统架构时，硬件系统的机构关系可以图2所示。为便于表述，以下将双硬件系统架构中的一个硬件系统称为第一硬件系统或N系统、N芯片，并将另一个硬件系统称为第二硬件系统或A系统、A芯片。A芯片包含A芯片的控制器及通过各类接口与A芯片的控制器相连的各类模块，N芯片则包含N芯片的控制器及通过各类接口与N芯片的控制器相连的各类模块。A芯片及N芯片中可以各自安装有相对独立的操作系统，A芯片的操作系统和N芯片的操作系统可以通过通信协议相互通信，比如安卓系统(Android)，A芯片的操作系统的framework层和N芯片的操作系统的framework层可以进行通信进行命令和数据的传输，从而使显示设备200中存在两个在独立但又存在相互关联的子系统。

本申请实施例中，将N芯片上的操作系统称为第一操作系统，将A芯片上的操作系统称为第二操作系统。

如图2所示，A芯片与N芯片之间可以通过多个不同类型的接口实现连接、通信及供电。A芯片与N芯片之间接口的接口类型可以包括通用输入输出接口(general-purposeinput/output，GPIO)、USB接口、高清多媒体接口(high definition multimediainterface，HDMI)、通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口等。A芯片与N芯片之间可以使用这些接口中的一个或多个进行通信或电力传输。例如图2所示，在双硬件系统架构下，可以由外接的电源(power)为N芯片供电，而A芯片则可以不由外接电源，而由N芯片供电。

除用于与N芯片进行连接的接口之外，A芯片还可以包含用于连接其他设备或组件的接口，例如图2中所示的用于连接摄像头(camera)的移动产业处理器接口(mobileindustry processor interface，MIPI)接口，蓝牙接口等。

类似的，除用于与N芯片进行连接的接口之外，N芯片还可以包含用于连接显示屏定时器控制寄存器(timer control register,TCON)的VBY接口，用于连接功率放大器(amplifier，AMP)及扬声器(speaker)的i2S接口；以及IR/Key接口，USB接口，WiFi接口，蓝牙接口，HDMI接口，Tuner接口等。

下面结合图3对本申请双硬件系统架构进行进一步的说明。需要说明的是图3仅仅是对本申请双硬件系统架构的一个示例性说明，并不表示对本申请的限定。在实际应用中，两个硬件系统均可根据需要包含更多或更少的硬件或接口。

图3中示例性示出了根据图2显示设备200的硬件架构框图。如图3所示，显示设备200的硬件系统可以包括A芯片和N芯片，以及通过各类接口与A芯片或N芯片相连接的模块。

N芯片可以包括调谐解调器220、通信器230、外部装置接口250、控制器210、存储器290、用户输入接口、视频处理器260-1、音频处理器260-2、显示器280、音频输出接口272、供电电源。在其他实施例中N芯片也可以包括更多或更少的模块。

其中，调谐解调器220，用于通过有线或无线方式接收广播电视信号，进行放大、混频和谐振等调制解调处理，从而从多个无线或有线广播电视信号中解调出用户所选择电视频道的频率中所携带的音视频信号，以及附加信息(例如EPG数据信号)。根据电视信号广播制式不同，调谐解调器220的信号来源途径可以有很多种，诸如：地面广播、有线广播、卫星广播或互联网广播等；以及根据调制类型不同，所述信号的调制方式可以数字调制方式，也可以模拟调制方式；以及根据接收电视信号种类不同，调谐解调器220可以解调模拟信号和/或数字信号。

调谐解调器220，还用于根据用户的选择，以及由控制器210的控制，响应用户选择的电视频道频率以及该频率所携带的电视信号。

在其他一些示例性实施例中，调谐解调器220也可在外置设备中，如外置机顶盒等。这样，机顶盒通过调制解调后输出电视音视频信号，经过外部装置接口250输入至显示设备200中。

通信器230是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。例如：通信器230可以包括WiFi模块231，蓝牙通信协议模块232，有线以太网通信协议模块233，及红外通信协议模块等其他网络通信协议模块或近场通信协议模块。

显示设备200可以通过通信器230与外部控制设备或内容提供设备之间建立控制信号和数据信号的连接。例如，通信器230可根据控制器的控制接收遥控器100的控制信号。

外部装置接口250，是提供N芯片控制器210和A芯片及外部其他设备间数据传输的组件。外部装置接口可按照有线和/或无线方式与诸如机顶盒、游戏装置、笔记本电脑等的外部设备连接，可接收外部设备的诸如视频信号(例如运动图像)、音频信号(例如音乐)、附加信息(例如EPG)等数据。

其中，外部装置接口250可以包括：高清多媒体接口(HDMI)端子251、复合视频消隐同步(CVBS)端子252、模拟或数字分量端子253、通用串行总线(USB)端子254、红绿蓝(RGB)端子(图中未示出)等任一个或多个。本申请不对外部装置接口的数量和类型进行限制。

控制器210，通过运行存储在存储器290上的各种软件控制程序(如操作系统和/或各种应用程序)，来控制显示设备200的工作和响应用户的操作。

如图3所示，控制器210包括只读存储器ROM213、随机存取存储器RAM214、图形处理器216、CPU处理器212、通信接口(218-1，218-2，……，218-n)、以及通信总线。其中，RAM213和ROM214以及图形处理器216、CPU处理器212、通信接口218通过总线相连接。

ROM213，用于存储各种系统启动的指令。如在收到开机信号时，显示设备200电源开始启动，CPU处理器212运行ROM中系统启动指令，将存储在存储器290的操作系统拷贝至RAM214中，以开始运行启动操作系统。当操作系统启动完成后，CPU处理器212再将存储器290中各种应用程序拷贝至RAM214中，然后开始运行启动各种应用程序。

图形处理器216，用于产生各种图形对象，如：图标、操作菜单、以及用户输入指令显示图形等。包括运算器，通过接收用户输入各种交互指令进行运算，根据显示属性显示各种对象。以及包括渲染器，产生基于运算器得到的各种对象，进行渲染的结果显示在显示器280上。

CPU处理器212，用于执行存储在存储器290中操作系统和应用程序指令。以及根据接收外部输入的各种交互指令，来执行各种应用程序、数据和内容，以便最终显示和播放各种音视频内容。

在一些示例性实施例中，CPU处理器212，可以包括多个处理器。所述多个处理器中可包括一个主处理器以及多个或一个子处理器。主处理器，用于在预加电模式中执行显示设备200一些操作，和/或在正常模式下显示画面的操作。多个或一个子处理器，用于执行在待机模式等状态下的一种操作。

通信接口，可包括第一接口218-1到第n接口218-n。这些接口可以是经由网络被连接到外部设备的网络接口。

控制器210可以控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器280上显示UI对象的用户命令，控制器210便可以执行与由用户命令选择的对象有关的操作。

其中，所述对象可以是可选对象中的任何一个，例如超链接或图标。与所选择的对象有关操作，例如：显示连接到超链接页面、文档、图像等操作，或者执行与图标相对应程序的操作。用于选择UI对象的用户命令，可以是通过连接到显示设备200的各种输入装置(例如，鼠标、键盘、触摸板等)输入命令或者与由用户说出语音相对应的语音命令。

存储器290，包括存储用于驱动和控制显示设备200的各种软件模块。如：存储器290中存储的各种软件模块，包括：基础模块、检测模块、通信模块、显示控制模块、浏览器模块和各种服务模块等。

其中，基础模块是用于显示设备200中各个硬件之间信号通信、并向上层模块发送处理和控制信号的底层软件模块。检测模块是用于从各种传感器或用户输入接口中收集各种信息，并进行数模转换以及分析管理的管理模块。

例如：语音识别模块中包括语音解析模块和指令数据库模块。显示控制模块是用于控制显示器280进行显示图像内容的模块，可以用于播放多媒体图像内容和UI界面等信息。通信模块，是用于与外部设备之间进行控制和数据通信的模块。浏览器模块，是用于执行浏览服务器之间数据通信的模块。服务模块，是用于提供各种服务以及各类应用程序在内的模块。

同时，存储器290还用于存储接收外部数据和用户数据、各种用户界面中各个项目的图像以及焦点对象的视觉效果图等。

用户输入接口，用于将用户的输入信号发送给控制器210，或者，将从控制器输出的信号传送给用户。示例性的，控制装置(例如移动终端或遥控器)可将用户输入的诸如电源开关信号、频道选择信号、音量调节信号等输入信号发送至用户输入接口，再由用户输入接口转送至控制器；或者，控制装置可接收经控制器处理从用户输入接口输出的音频、视频或数据等输出信号，并且显示接收的输出信号或将接收的输出信号输出为音频或振动形式。

在一些实施例中，用户可在显示器280上显示的图形用户界面(GUI)输入用户命令，则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。

视频处理器260-1，用于接收视频信号，根据输入信号的标准编解码协议，进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等视频数据处理，可得到直接在显示器280上显示或播放的视频信号。

示例的，视频处理器260-1，包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等。

其中，解复用模块，用于对输入音视频数据流进行解复用处理，如输入MPEG-2格式信号，则解复用模块进行解复用成视频信号和音频信号等。

视频解码模块，用于对解复用后的视频信号进行处理，包括解码和缩放处理等。

图像合成模块，如图像合成器，其用于将图形生成器根据用户输入或自身生成的GUI信号，与缩放处理后视频图像进行叠加混合处理，以生成可供显示的图像信号。

帧率转换模块，用于对输入视频的帧率进行转换，如将输入的24Hz、25Hz、30Hz、60Hz视频的帧率转换为60Hz、120Hz或240Hz的帧率，其中，输入帧率可以与源视频流有关，输出帧率可以与显示器的更新率有关。输入有通常的格式采用如插帧方式实现。

显示格式化模块，用于将帧率转换模块输出的信号，改变为符合诸如显示器显示格式的信号，如将帧率转换模块输出的信号进行格式转换以输出RGB数据信号。

显示器280，用于接收源自视频处理器260-1输入的图像信号，进行显示视频内容和图像以及菜单操控界面。显示器280包括用于呈现画面的显示器组件以及驱动图像显示的驱动组件。显示视频内容，可以来自调谐解调器220接收的广播信号中的视频，也可以来自通信器或外部设备接口输入的视频内容。显示器280，同时显示显示设备200中产生且用于控制显示设备200的用户操控界面UI。

以及，根据显示器280类型不同，还包括用于驱动显示的驱动组件。或者，倘若显示器280为一种投影显示器，还可以包括一种投影装置和投影屏幕。

音频处理器260-2，用于接收音频信号，根据输入信号的标准编解码协议，进行解压缩和解码，以及降噪、数模转换和放大处理等音频数据处理，得到可以在扬声器272中播放的音频信号。

音频输出接口270，用于在控制器210的控制下接收音频处理器260-2输出的音频信号，音频输出接口可包括扬声器272，或输出至外接设备的发生装置的外接音响输出端子274，如：外接音响端子或耳机输出端子等。

在其他一些示例性实施例中，视频处理器260-1可以包括一个或多个芯片组成。音频处理器260-2，也可以包括一个或多个芯片组成。

以及，在其他一些示例性实施例中，视频处理器260-1和音频处理器260-2，可以为单独的芯片，也可以与控制器210一起集成在一个或多个芯片中。

供电电源，用于在控制器210控制下，将外部电源输入的电力为显示设备200提供电源供电支持。供电电源可以包括安装于显示设备200内部的内置电源电路，也可以是安装在显示设备200外部的电源，如在显示设备200中提供外接电源的电源接口。

与N芯片相类似，如图3所示，A芯片可以包括控制器310、通信器330、检测器340、存储器390。在某些实施例中还可以包括用户输入接口、视频处理器、音频处理器、显示器、音频输出接口。在某些实施例中，也可以存在独立为A芯片供电的供电电源。

通信器330是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。例如：通信器330可以包括WiFi模块331，蓝牙通信协议模块332，有线以太网通信协议模块333，及红外通信协议模块等其他网络通信协议模块或近场通信协议模块。

A芯片的通信器330和N芯片的通信器230也有相互交互。例如，N芯片硬件系统内的WiFi模块231用于连接外部网络，与外部服务器等产生网络通信。A芯片硬件系统内的WiFi模块331用于连接至N芯片的WiFi模块231，而不与外界网络等产生直接连接，A芯片通过N芯片连接外部网络。因此，对于用户而言，一个如上述实施例中的显示设备至对外显示一个WiFi账号。

检测器340，是显示设备A芯片用于采集外部环境或与外部交互的信号的组件。检测器340可以包括光接收器342，用于采集环境光线强度的传感器，可以通过采集环境光来自适应显示参数变化等；还可以包括图像采集器341，如相机、摄像头等，可以用于采集外部环境场景，以及用于采集用户的属性或与用户交互手势，可以自适应变化显示参数，也可以识别用户手势，以实现与用户之间互动的功能。

外部装置接口350，提供控制器310与N芯片或外部其他设备间数据传输的组件。外部装置接口可按照有线和/或无线方式与诸如机顶盒、游戏装置、笔记本电脑等的外部设备连接。

控制器310，通过运行存储在存储器390上的各种软件控制程序(如用安装的第三方应用等)，以及与N芯片的交互，来控制显示设备200的工作和响应用户的操作。

如图3所示，控制器310包括只读存储器ROM313、随机存取存储器RAM314、图形处理器316、CPU处理器312、通信接口(318-1,318-2，……，318-n)、以及通信总线。其中，ROM313和RAM314以及图形处理器316、CPU处理器312、通信接口318通过总线相连接。

ROM313，用于存储各种系统启动的指令。CPU处理器312运行ROM中系统启动指令，将存储在存储器390的操作系统拷贝至RAM314中，以开始运行启动操作系统。当操作系统启动完成后，CPU处理器312再将存储器390中各种应用程序拷贝至RAM314中，然后开始运行启动各种应用程序。

CPU处理器312，用于执行存储在存储器390中操作系统和应用程序指令,和与N芯片进行通信、信号、数据、指令等传输与交互，以及根据接收外部输入的各种交互指令，来执行各种应用程序、数据和内容，以便最终显示和播放各种音视频内容。

通信接口，可包括第一接口318-1到第n接口318-n。这些接口可以是经由网络被连接到外部设备的网络接口，也可以是经由网络被连接到N芯片的网络接口。

控制器310可以控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器280上显示UI对象的用户命令，控制器210便可以执行与由用户命令选择的对象有关的操作。

图形处理器316，用于产生各种图形对象，如：图标、操作菜单、以及用户输入指令显示图形等。包括运算器，通过接收用户输入各种交互指令进行运算，根据显示属性显示各种对象。以及包括渲染器，产生基于运算器得到的各种对象，进行渲染的结果显示在显示器280上。

A芯片的图形处理器316与N芯片的图形处理器216均能产生各种图形对象。区别性的，若应用1安装于A芯片，应用2安装在N芯片，当用户在应用1的界面，且在应用1内进行用户输入的指令时，由A芯片图形处理器316产生图形对象。当用户在应用2的界面，且在应用2内进行用户输入的指令时，由N芯片的图形处理器216产生图形对象。

图4中示例性示出了根据示例性实施例中显示设备的功能配置示意图。

如图4所示，A芯片的存储器390和N芯片的存储器290分别用于存储操作系统、应用程序、内容和用户数据等，在A芯片的控制器310和N芯片的控制器210的控制下执行驱动显示设备200的系统运行以及响应用户的各种操作。A芯片的存储器390和N芯片的存储器290可以包括易失性和/或非易失性存储器。

对于N芯片，存储器290，具体用于存储驱动显示设备200中控制器210的运行程序，以及存储显示设备200内置各种应用程序，以及用户从外部设备下载的各种应用程序、以及与应用程序相关的各种图形用户界面，以及与图形用户界面相关的各种对象，用户数据信息，以及各种支持应用程序的内部数据。存储器290用于存储操作系统(OS)内核、中间件和应用等系统软件，以及存储输入的视频数据和音频数据、及其他用户数据。

存储器290，具体用于存储视频处理器260-1和音频处理器260-2、显示器280、通信接口230、调谐解调器220、输入/输出接口等驱动程序和相关数据。

在一些实施例中，存储器290可以存储软件和/或程序，用于表示操作系统(OS)的软件程序包括，例如：内核、中间件、应用编程接口(API)和/或应用程序。示例性的，内核可控制或管理系统资源，或其它程序所实施的功能(如所述中间件、API或应用程序)，以及内核可以提供接口，以允许中间件和API，或应用访问控制器，以实现控制或管理系统资源。

示例的，存储器290，包括广播接收模块2901、频道控制模块2902、音量控制模块2903、图像控制模块2904、显示控制模块2905、音频控制模块2906、外部指令识别模块2907(包括语音识别模块2907-2，按键指令识别模块2907-3)、通信控制模块2908、光接收模块、电力控制模块2910、操作系统2911、以及其他应用程序2912、浏览器模块等等。控制器210通过运行存储器290中各种软件程序，来执行诸如：广播电视信号接收解调功能、电视频道选择控制功能、音量选择控制功能、图像控制功能、显示控制功能、音频控制功能、外部指令识别功能、通信控制功能、光信号接收功能、电力控制功能、支持各种功能的软件操控平台、以及浏览器功能等各类功能。

存储器390，包括存储用于驱动和控制显示设备200的各种软件模块。如：存储器390中存储的各种软件模块，包括：基础模块、检测模块、通信模块、显示控制模块、浏览器模块、和各种服务模块等。由于存储器390与存储器290的功能比较相似，相关之处参见存储器290即可，在此就不再赘述。

示例的，存储器390，包括图像控制模块3904、音频控制模块3906、外部指令识别模块3907(包括图形识别模块3907-1)、通信控制模块3908、光接收模块3909、操作系统3911、以及其他应用程序3912、浏览器模块等等。控制器310通过运行存储器390中各种软件程序，来执行诸如：图像控制功能、显示控制功能、音频控制功能、外部指令识别功能、通信控制功能、光信号接收功能、电力控制功能、支持各种功能的软件操控平台、以及浏览器功能等各类功能。

区别性的，N芯片的外部指令识别模块2907和A芯片的外部指令识别模块3907可识别不同的指令。

示例性的，由于摄像头等图像接收设备与A芯片连接，因此，A芯片的外部指令识别模块3907可包括图形识别模块3907-1，图形识别模块3907-1内存储有图形数据库，摄像头接收到外界的图形指令时，与图形数据库中的指令进行对应关系，以对显示设备作出指令控制。而由于语音接收设备以及遥控器与N芯片连接，因此，N芯片的外部指令识别模块2907可包括语音识别模块2907-2，图形识别模块2907-2内存储有语音数据库，语音接收设备等接收到外界的指令时，与语音数据库中的指令进行对应关系，以对显示设备作出指令控制。同样的，遥控器等控制装置100与N芯片连接，由按键指令识别模块与控制装置100进行指令交互。

图5a中示例性示出了根据示例性实施例中显示设备200中软件系统的配置框图。

对N芯片，如图5a中所示，操作系统2911，包括用于处理各种基础系统服务和用于实施硬件相关任务的执行操作软件。

一些实施例中，部分操作系统内核可以包含一系列软件，用以管理显示设备硬件资源，并为其他程序或软件代码提供服务。

其他一些实施例中，部分操作系统内核可包含一个或多个设备驱动器，设备驱动器可以是操作系统中的一组软件代码，帮助操作或控制显示设备关联的设备或硬件。驱动器可以包含操作视频、音频和/或其他多媒体组件的代码。示例的，包括显示器、摄像头、Flash、WiFi和音频驱动器。

其中，可访问性模块2911-1，用于修改或访问应用程序，以实现应用程序的可访问性和对其显示内容的可操作性。

通信模块2911-2，用于经由相关通信接口和通信网络与其他外设的连接。

用户界面模块2911-3，用于提供显示用户界面的对象，以供各应用程序访问，可实现用户可操作性。

控制应用程序2911-4，用于控制进程管理，包括运行时间应用程序等。

事件传输系统2914，可在操作系统2911内或应用程序2912中实现。一些实施例中，一方面在操作系统2911内实现，同时在应用程序2912中实现，用于监听各种用户输入事件，将根据各种事件指代响应各类事件或子事件的识别结果，而实施一组或多组预定义的操作的处理程序。

其中，事件监听模块2914-1，用于监听用户输入接口输入事件或子事件。

事件识别模块2914-1，用于对各种用户输入接口输入各类事件的定义，识别出各种事件或子事件，且将其传输给处理用以执行其相应一组或多组的处理程序。

其中，事件或子事件，是指显示设备200中一个或多个传感器检测的输入，以及外界控制设备(如控制装置100等)的输入。如：语音输入各种子事件，手势识别的手势输入子事件，以及控制装置的遥控按键指令输入的子事件等。示例的，遥控器中一个或多个子事件包括多种形式，包括但不限于按键按上/下/左右/、确定键、按键按住等中一个或组合。以及非实体按键的操作，如移动、按住、释放等操作。

界面布局管理模块2913，直接或间接接收来自于事件传输系统2914监听到各用户输入事件或子事件，用于更新用户界面的布局，包括但不限于界面中各控件或子控件的位置，以及容器的大小或位置、层级等与界面布局相关各种执行操作。

由于A芯片的操作系统3911与N芯片的操作系统2911的功能比较相似，相关之处参见操作系统2911即可，在此就不再赘述。

如图5b中所示，显示设备的应用程序层包含可在显示设备200执行的各种应用程序。

N芯片的应用程序层2912可包含但不限于一个或多个应用程序，如：视频点播应用程序、应用程序中心、游戏应用等。A芯片的应用程序层3912可包含但不限于一个或多个应用程序，如：直播电视应用程序、媒体中心应用程序等。需要说明的是，A芯片和N芯片上分别包含什么应用程序是根据操作系统和其他设计确定的，本申请无需对A芯片和N芯片上所包含的应用程序做具体的限定和划分。

直播电视应用程序，可以通过不同的信号源提供直播电视。例如，直播电视应用程可以使用来自有线电视、无线广播、卫星服务或其他类型的直播电视服务的输入提供电视信号。以及，直播电视应用程序可在显示设备200上显示直播电视信号的视频。

视频点播应用程序，可以提供来自不同存储源的视频。不同于直播电视应用程序，视频点播提供来自某些存储源的视频显示。例如，视频点播可以来自云存储的服务器端、来自包含已存视频节目的本地硬盘储存器。

媒体中心应用程序，可以提供各种多媒体内容播放的应用程序。例如，媒体中心，可以为不同于直播电视或视频点播，用户可通过媒体中心应用程序访问各种图像或音频所提供服务。

应用程序中心，可以提供储存各种应用程序。应用程序可以是一种游戏、应用程序，或某些和计算机系统或其他设备相关但可以在显示设备中运行的其他应用程序。应用程序中心可从不同来源获得这些应用程序，将它们储存在本地储存器中，然后在显示设备200上可运行。

在一些实施例中，操作系统包括底层部分、核心部分和应用部分，在一些实施例汇总，底层部分可以包括内核、硬件接口层，核心部分包括框架层、核心类库，应用部分包括应用层。

图6中示例性示出了根据示例性实施例中显示设备200中用户界面的示意图。如图6所示，用户界面包括多个视图显示区，示例的，第一视图显示区201和播放画面202，其中，播放画面包括布局一个或多个不同项目。以及用户界面中还包括指示项目被选择的选择器，可通过用户输入而移动选择器的位置，以改变选择不同的项目。

需要说明的是，多个视图显示区可以呈现不同层级的显示画面。如，第一视图显示区可呈现视频聊天项目内容，第二视图显示区可呈现应用层项目内容(如，网页视频、VOD展示、应用程序画面等)。

可选的，不同视图显示区的呈现存在优先级区别，优先级不同的视图显示区之间，视图显示区的显示优先级不同。如，系统层的优先级高于应用层的优先级，当用户在应用层使用获取选择器和画面切换时，不遮挡系统层的视图显示区的画面展示；以及，根据用户的选择使应用层的视图显示区的大小和位置发生变化时，系统层的视图显示区的大小和位置不受影响。

也可以呈现相同层级的显示画面，此时，选择器可以在第一视图显示区和第二视图显示区之间做切换，以及当第一视图显示区的大小和位置发生变化时，第二视图显示区的大小和位置可随及发生改变。

由于A芯片及N芯片中可能分别安装有独立的操作系统，从而使显示设备200中存在两个在独立但又存在相互关联的子系统。例如，A芯片和N均可以独立安装有安卓(Android)及各类应用程序，使得每个芯片均可以实现一定的功能，并且使A芯片和N芯片协同实现某项功能，比如N芯片上的语音应用对输入的语音进行识别，A芯片上的界面词控制应用根据语音识别结果匹配到相应的指令并执行。

本申请以下实施例，以显示设备为包括第一操作系统(即N芯片上的操作系统)和第二操作系统(即A芯片上的操作系统)的显示设备为例描述，当然也可以适用于包括两个以上系统(芯片)的显示设备。

本申请实施例中，第一操作系统所在芯片的存储器中存储有第一操作系统程序、语音应用程序以及第一中间件，这样，当N芯片从该存储器中加载这些内容后，N芯片上的第一操作系统的应用层中包括语音应用，底层为第一操作系统内核，介于应用层和底层之间的框架层(framework)为第一中间件。A芯片的存储器中存储有第二操作系统程序、界面词控制应用程序和第二中间件，这样，当N芯片从该存储器中加载这些内容后，N芯片上的第二系统的应用层中包括界面词控制应用，底层为第二操作系统内核，介于应用层和底层之间的框架层为第二中间件。当然，第一操作系统中除了包括语音应用以外，还可包括其它应用，第二操作系统中除了包括界面词控制应用以外，还可包括其它应用，本申请对此不做限制。

在一些实施方式中，第二操作系统为主系统，显示设备的显示屏上由第二操作系统驱动显示，第一操作系统中需要展示在显示屏上的内容通过第二操作系统进行展示。在一些实施方式中，第一操作系统为主系统，显示设备的显示屏上由第一操作系统驱动显示，第二操作系统中需要展示在显示屏上的内容通过第一操作系统进行展示。

可选地，第一操作系统和第二操作系统可以相同，例如第一操作系统和第二操作系统均为Android系统，第一操作系统与第二操作系统也可以不同。

本申请实施例中，以图3所示的显示设备架构为例，第一操作系统中的第一中间件与第二操作系统中的第二中间件之间能够进行信息传递和交互，第一操作系统中的第一中间件与应用层中的应用(如语音应用)可以进行信息传递和交互，第二操作系统中的第二中间件与应用层中的应用(如界面词控制应用)可以进行信息传递和交互。

图7示例性示出了本申请实施例中跨操作系统的信息交互示意图。

如图所示，第一操作系统(N芯片)与第二操作系统(A芯片)可在框架层(framework层)建立通信连接，即在第一中间件和第二中间件之间建立通信连接，用于进行信息交互和数据传递。

可选地，两个操作系统的framework层间所建立的通信连接可以是基于用户数据报协议(User Datagram Protocol，UDP)的Socket连接，通过Socket连接可以实现不同操作系统间的信息交互或数据传递。

其中，UDP协议为一种无需建立连接就可以发送封装的IP数据报的通信方法。Socket提供TCP/IP协议的抽象，对外提供一套接口，通过该接口可以统一、方便地使用TCP/IP协议的功能。举例来说，当第一操作系统向第二操作系统发送信息或数据时，第一操作系统的第一中间件作为Socket服务器调用Socket提供的接口来调用相应的驱动程序，并指定采用UDP协议，从而通过Socket提供的接口使用底层通信协议将信息或数据发送给作为Socket客户端的第二中间件。

可选地，在同一操作系统内，中间层(framework层)和应用层之间可通过JAVA本地接口(Java Native Interface，JNI)进行信息交互或数据传递。

可选地，本申请的一些实施例中，第二操作系统可监听场景，当场景发生变化时，可及时将当前的场景的信息发送给第一操作系统。

不同的应用程序可对应不同的场景。一个应用程序也可包括一个或多个场景，不同的场景对应不同的功能或任务。比如，在一个交互类的应用程序中，包括以下几种功能：通过用户输入的语音来实现电话拨打操作，通过用户输入的语音来实现播放音乐的操作，通过用户输入的语音来实现网上购物的操作，相应地，该应用程序包括以下场景：电话拨打场景、音乐播放场景、网上购物场景。不同场景对应不同的用户界面。

图8示例性示出了本申请实施例中场景同步的示意图。

当有用户界面被打开或发生用户界面切换时，第二操作系统可根据该用户界面确定对应的场景，如果场景发生变化，则可将当前场景的信息(比如场景的标识)发送给第一操作系统。第一操作系统接收到第二操作系统发送的场景信息后，可将其存储到场景队列的顶部。

其中，第一操作系统中的语音应用，可读取场景队列中存储的场景，根据当前的场景进行语音识别以及处理等相关操作。第二操作系统中的界面词控制应用可根据当前的场景获取与当前场景匹配的指令并执行该指令。

图9示例性示出了本申请实施例中的语音交互流程。如图所示，该流程可包括：

901：第一操作系统中的语音应用响应于输入的语音，对所述语音进行识别，得到界面词参数。

该步骤中，在语音输入场景下，用户录入的语音可被显示设备中的语音采集装置采集得到，并发送给第一操作系统中的语音应用。语音应用可对该语音进行识别，得到文本(本申请实施例中将该文本称为语音文本)，对所述语音文本进行分词，得到所述界面词参数。

可选地，语音应用在对语音文本进行分词时，可根据当前的场景所对应的分词规则进行分词，使得分词结果与当前场景相匹配。具体实施时，语音应用可读取第一操作系统中存储的场景队列顶部的场景(该队列顶部的场景为当前场景)，根据读取的场景获取应用于该场景的分词规则，根据该分词规则对语音文本进行分词，得到分词集合。

进一步地，分词集合中的全部或部分分词，可作为界面词参数，因此语音应用可从该分词集合中选取界面词参数。界面词参数是指与指令执行相关的参数，比如针对购物场景，所购买物品的名称、种类、数量、价格等，可作为界面词参数；再例如针对视频播放场景，请求播放的视频名称、播放起点(比如从第30分钟开始播放)等可作为界面词参数。

举例来说，用户录入语音“买2张今天晚上7点钟购物中心的电影票”，语音应用对该语音进行识别，得到语音文本“买2张今天晚上7点钟购物中心的电影票”，语音应用根据场景队列确定当前的场景为购票场景，则获取该场景的分词规则，并根据该分词规则对该语音文本进行分词，得到分词集合{买，2张，今天晚上7点，购物中心，电影票}，并从中选取与购买电影票场景相关的界面词参数{数量＝2张，时间＝今天晚上7点，地点＝购物中心}。

902：语音应用将界面词参数发送给本操作系统中的第一中间件。

该步骤中，语音应用可通过调用JNI接口，将界面词参数发送给第一中间件。

903：第一操作系统中的第一中间件将界面词参数发送给第二操作系统中的第二中间件。

该步骤中，第一中间件可通过调用Socket接口，并采用UDP协议将界面词参数发送给第二中间件。

904：第二中间件将界面词参数发送给界面词控制应用。

该步骤中，第二中间件可通过JNI接口将界面词参数发送给界面词控制应用。

905：界面词控制应用响应于接收到的界面词参数，根据当前场景得到匹配的指令，执行该指令。

该步骤中，界面词控制应用可根据界面词参数，生成与该界面词参数匹配的指令，该指令用于在当前场景下依据该界面词参数执行相应的操作。

比如，仍以上面的例子为例，界面词控制应用可根据接收到的界面词参数{数量＝2张，时间＝今天晚上7点，地点＝购物中心}，生成第一指令，通过执行第一指令以实现以下处理操作：调用网上购物应用，通过网上购物应用购买当日晚上7点钟在购物中心上映的电影票2张。

906～908：界面词控制应用通过第二中间件向第一中间件发送响应结果(即与所述界面词参数匹配的指令的执行结果)，第一中间件将所述响应结果发送给语音应用。

可选地，在一些实施例中，语音应用在接收到输入的语音后，可根据当前场景，判断界面词控制应用是否支持界面词，即是否支持根据界面词参数进行指令匹配。其中，可预先设置配置信息，用以针对每个场景，描述界面词控制应用是否支持该场景，即是否支持在该场景下进行指令匹配。

如果判决结果为支持，则语音应用在对语音进行识别和分词等处理后，通过第一中间件将界面词参数发送给第二操作系统中的第二中间件。

界面词控制应用接收到界面词参数后，作为响应，根据当前场景匹配得到与该界面词参数匹配的指令，并执行该指令。界面词控制应用的响应结果以及对应的处理方式可包括以下几种情况：

情况1：界面词控制应用响应成功。具体地，界面词控制应用根据当前场景匹配得到与该界面词参数匹配的指令并执行成功。

该种情况下，界面词控制应用将响应成功的结果发送给第二中间件，第二中间件通过第一操作系统和第二操作系统间的连接发送给第一中间件，第一中间件将该响应结果发送给语音应用。

情况2：界面词控制应用响应失败。具体地，界面词控制应用根据当前场景未匹配得到与该界面词参数匹配的指令，或者即使匹配到相应指令但执行失败。

该种情况下，界面词控制应用将响应失败的结果发送给第二中间件，第二中间件通过第一操作系统和第二操作系统间的连接发送给第一中间件，第一中间件将该响应结果发送给语音应用。

语音应用根据界面词参数以及当前场景对应的处理策略，得到包含有该界面词参数的语义指令。其中，所述处理策略为界面词控制应用对界面词参数响应失败时的处理策略。

情况3：界面词控制应用响应超时。

语音应用在设定长时间内未接收到界面词控制应用的响应结果，则确定界面词控制应用响应超时。此种情况下，语音应用根据界面词参数以及当前场景对应的处理策略，得到包含有该界面词参数的语义指令。其中，所述处理策略为界面词控制应用对界面词参数响应超时时的处理策略。

可选地，界面词控制应用对界面词参数响应失败时的处理策略，与界面词控制应用对界面词参数响应超时时的处理策略，可以相同也可以不同，本申请实施例对此不做限制。

举例来说，针对视频播放的场景，可预先设置界面词控制应用对界面词参数响应超时和失败时的处理策略为：以用户请求播放的视频名称作为关键词生成搜索指令。相应地，当用户通过语音输入请求播放名称为ABC(这里用ABC示意电影名称)的电影后，根据本申请实施例的上述流程，若界面词控制应用对此响应超时或失败(比如因未查询到该电影的URL而导致响应失败)，则语音应用对上述语音的识别结果进行语义解析，得到电影名称，并以该电影名称作为关键词生成搜索指令，执行该搜索指令，以查询该电影的URL。

可选地，为了减少处理时延，在语音应用针对当前场景，判决界面词控制应用能够支持界面词的情况下，即可按照上述方式获得语义指令，而不必等到确认界面词控制应用响应失败或超时时才按照上述方式获得语义指令。后续如果语音应用确认界面词控制应用响应失败或超时，则可直接执行之前获得的语义指令，相比于在确认响应超时或响应识别时才进行语义解析以及生成语义指令，节省了处理时延，提高了响应效率。

可选地，如果判决结果为当前场景下界面词控制应用不支持界面词，则语音应用可对用户输入的语音进行识别后再进行语义解析，得到语义指令并执行。具体地，可预先设置处理策略，该处理策略为界面词控制应用不支持界面词时的处理策略。语音应用对用户输入的语音进行识别得到语音文本，根据当前场景对应的处理策略对语音文本进行语义解析得到语义指令，并执行该语义指令。

可选地，界面词控制应用不支持界面词时的处理策略，与上述界面词控制应用响应超时或失败时的处理策略，可以相同也可以不同。

本申请的上述实施例，多系统的显示设备中，用于实现语音交互控制功能的应用被拆分为两个应用，并分别位于不同的操作系统，比如：第一操作系统中包括语音应用和第一中间件，第二操作系统中包括界面词控制应用和第二中间件。针对这种情况，当需要实现语音交互控制功能时，第一操作系统中的语音应用响应于输入的语音，对该语音进行识别得到界面词参数，并通过第一中间件将界面词参数发送给第二中间件，通过第二中间件发送给第二操作系统中的界面词控制应用；界面词控制应用响应于接收到的界面词参数，根据当前场景得到匹配的相应的指令，执行该指令，从而基于不同操作系统间的信息交互和数据传递，实现跨系统的语音交互控制功能。

基于本申请中示出的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整技术方案。

应当理解，本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。

此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (9)

1.一种基于多系统显示设备的语音交互方法，其特征在于，所述多系统显示设备为包括至少第一操作系统和第二操作系统的显示设备，所述第一操作系统中包括语音应用和第一中间件，所述第二操作系统中包括界面词控制应用和第二中间件，所述方法包括：

所述语音应用响应于输入的语音，对所述语音进行识别得到语音文本，对所述语音文本进行分词得到界面词参数，并通过所述第一中间件将所述界面词参数发送给所述第二中间件；

所述第二中间件将所述界面词参数发送给所述界面词控制应用；

所述界面词控制应用响应于接收到的所述界面词参数，根据当前场景执行与所述界面词参数匹配的指令。

2.如权利要求1所述的方法，其特征在于，通过所述第一中间件将所述界面词参数发送给所述第二操作系统中的第二中间件之前，还包括：

所述语音应用判断当前场景下所述界面词控制应用是否支持界面词；

通过所述第一中间件将所述界面词参数发送给所述第二操作系统中的第二中间件，包括：

所述语音应用响应于当前场景下所述界面词控制应用支持界面词的判决结果，通过所述第一中间件将所述界面词参数发送给所述第二操作系统中的第二中间件。

3.如权利要求2所述的方法，其特征在于，所述方法还包括：

所述语音应用响应于当前场景下所述界面词控制应用支持界面词的判决结果，根据所述界面词参数以及当前场景对应的第一处理策略，得到包含有所述界面词参数的语义指令，其中，所述第一处理策略为所述界面词控制应用对所述界面词参数响应超时或响应失败时的处理策略；

所述语音应用响应于所述界面词控制应用对所述界面词参数响应超时或响应失败，执行所述语义指令。

4.如权利要求2所述的方法，其特征在于，所述方法还包括：

所述语音应用响应于当前场景下所述界面词控制应用不支持界面词的判决结果，根据当前场景对应的第二处理策略对识别得到的所述语音文本进行语义解析得到语义指令，其中，所述第二处理策略为所述界面词控制应用不支持界面词时的处理策略；

所述语音应用执行所述语义指令。

5.如权利要求1所述的方法，其特征在于，所述对所述语音进行识别得到界面词参数，包括：

所述语音应用对所述语音进行识别，得到语音文本；

所述语音应用根据当前场景对应的分词规则，对所述语音文本进行分词，得到所述界面词参数。

6.如权利要求1-5中任一项所述的方法，其特征在于，所述方法还包括：

所述界面词控制应用响应于场景变更，将当前场景的信息通过所述第二中间件发送给所述第一中间件；

所述第一中间件将所述当前场景的信息发送给所述语音应用；

所述语音应用保存所述当前场景的信息。

7.如权利要求1-5中任一项所述的方法，其特征在于，所述第一中间件位于所述第一操作系统的框架层，所述第二中间件位于所述第二操作系统的框架层；

所述第一中间件将所述界面词参数发送给所述第二中间件，包括：

所述第一中间件通过所述第一操作系统和所述第二操作系统间的socket连接将所述界面词参数发送给所述第二中间件；

所述方法还包括：

所述第二中间件通过所述第一操作系统和所述第二操作系统间的socket连接，将与所述界面词参数匹配的指令的执行结果发送给所述第一中间件；

所述第一中间件将所述执行结果发送给所述语音应用。

8.一种多系统显示设备，其特征在于，包括：至少第一操作系统和第二操作系统，所述第一操作系统中包括语音应用和第一中间件，所述第二操作系统中包括界面词控制应用和第二中间件；

所述语音应用，用于响应于输入的语音，对所述语音进行识别得到语音文本，对所述语音文本进行分词得到界面词参数；

所述第一中间件，用于将所述界面词参数发送给所述第二中间件；

所述第二中间件，用于将所述界面词参数发送给所述界面词控制应用；

所述界面词控制应用，用于响应于接收到的所述界面词参数，根据当前场景执行与所述界面词参数匹配的指令。

9.如权利要求8所述的多系统显示设备，其特征在于，所述第一中间件位于所述第一操作系统的框架层，所述第二中间件位于所述第二操作系统的框架层；

所述第一中间件，具体用于：通过所述第一操作系统和所述第二操作系统间的socket连接将所述界面词参数发送给所述第二中间件；

所述第二中间件，还用于：通过所述第一操作系统和所述第二操作系统间的socket连接，将与所述界面词参数匹配的指令的执行结果发送给所述第一中间件；

所述第一中间件，还用于：将所述执行结果发送给所述语音应用。

Images