CN113782021A - 一种显示设备及提示音的播放方法 - Google Patents

Abstract

本申请提供一种显示设备及提示音的播放方法，可以在用户发出唤醒指令时，通过主进程尽快响应唤醒指令，以播放与语音资源的资源状态相对应的提示音，提示用户远场语音功能当前所处的工作状态，以及明确指示用户发送语音指令等，避免出现由于远程语音进程中语音资源未完成加载，无法给出用户任何响应和指示，导致用户盲目等待的问题，以提高用户的远场语音功能的体验感。

Description

一种显示设备及提示音的播放方法

技术领域

本申请涉及智能显示设备技术领域，尤其涉及一种显示设备及提示音的播放方法。

背景技术

显示设备是指能够输出具体显示画面的终端设备，可以是智能电视、移动终端、智能广告屏、投影仪等终端设备。以智能电视为例，智能电视是基于Internet应用技术，具备开放式操作系统与芯片，拥有开放式应用平台，可实现双向人机交互功能，集影音、娱乐、数据等多种功能于一体的电视产品，用于满足用户多样化和个性化需求。

为了方便用户的控制，显示设备通常会配置远场语音功能，通过远场语音功能，用户可以在距离显示设备一定范围内直接向显示设备下发语音控制指令，而无需依靠其它设备例如蓝牙遥控器等来传达语音控制指令。显示设备采用一个单独的远场语音进程来提供远场语音功能，例如智能语音助手等。

在该远场语音进程的启动过程中，按照各功能的启动时序加载各功能对应的资源，其中，首先加载与语音采集功能和唤醒识别功能对应的资源，然后加载与语音指令响应功能对应的语音资源。但是，加载语音资源需要一定的加载时间，如果显示设备在该加载时间内接收到用户发送的语音指令，由于语音资源未加载完毕，将导致显示设备不会对用户的语音指令做出任何响应，此时，用户不知道显示设备不响应语音指令的原因，处于盲目等待的状态，这将严重降低用户的体验感。

发明内容

本申请提供了一种显示设备及提示音的播放方法，以在远场语音进程加载语音响应功能的过程中，通过响应于用户发送的唤醒词，向用户反馈指示等待的提示音，以避免用户在无任何指示的情况下盲目等待的情况，从而提高用户的体验感。

第一方面，本申请提供了一种显示设备，包括：

显示器，被配置为显示用户界面；

扬声器，被配置为播放提示音；

控制器，被配置为：

接收用户发送的唤醒指令，所述唤醒指令包括第一唤醒词，所述第一唤醒词用于指示在远场语音进程中使用第一线程响应所述用户的语音指令，其中，所述远场语音进程包括至少一个用于响应所述用户的语音指令的线程，且不同的线程对应不同的唤醒词；

响应于所述唤醒指令，判断与所述第一线程对应的第一语音资源的资源状态；

基于所述第一语音资源的资源状态，播放相应的提示音；

其中，如果所述第一语音资源的资源状态为正在加载或者未启动加载，则通过所述显示设备的主进程调用第一资源以播放第一提示音，所述第一提示音用于提示所述用户等待加载所述第一语音资源，其中，所述第一资源存储于所述主进程，且所述主进程在启动加载所述远场语音进程之前完成加载。

第二方面，本申请提供了一种提示音的播放方法，应用于显示设备，所述方法包括：

接收用户发送的唤醒指令，所述唤醒指令包括第一唤醒词，所述第一唤醒词用于指示在远场语音进程中使用第一线程响应所述用户的语音指令，其中，所述远场语音进程包括至少一个用于响应所述用户的语音指令的线程，且不同的线程对应不同的唤醒词；

响应于所述唤醒指令，判断与所述第一线程对应的第一语音资源的资源状态；

基于所述第一语音资源的资源状态，播放相应的提示音；

其中，如果所述第一语音资源的资源状态为正在加载或者未启动加载，则通过所述显示设备的主进程调用第一资源以播放第一提示音，所述第一提示音用于提示所述用户等待加载所述第一语音资源，其中，所述第一资源存储于所述主进程，且所述主进程在启动加载所述远场语音进程之前完成加载。

由以上技术方案可知，本申请所提供的显示设备及提示音的播放方法，可以在用户发出唤醒指令时，通过主进程尽快响应唤醒指令，以播放与语音资源的资源状态相对应的提示音，提示用户远场语音功能当前所处的工作状态，以及明确指示用户发送语音指令等，避免出现由于远程语音进程中语音资源未完成加载，无法给出用户任何响应和指示，导致用户盲目等待的问题，以提高用户的远场语音功能的体验感。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例中显示设备与用户之间的远场语音交互的流程示意图；

图2为本申请实施例中显示设备的硬件配置图；

图3为本申请实施例中显示设备的软件配置图；

图4为本申请实施例中远场语音进程中资源加载及功能执行的示意图；

图5为本申请实施例中主进程以及远场语音进程中资源加载及功能执行的示意图；

图6为本申请实施例中提示音的播放方法的流程示意图；

图7为本申请实施例中在远场语音进程中不存在当前执行的线程的情况下，显示设备与用户的远场语音交互示意图；

图8为本申请实施例中播放线路1的播放流程示意图；

图9为本申请实施例中在远场语音进程中当前执行的线程与唤醒指令所指示的线程不同的情况下，显示设备与用户的远场语音交互示意图；

图10为本申请实施例中在远场语音进程中当前执行的线程与唤醒指令所指示的线程相同的情况下，显示设备与用户的远场语音交互示意图；

图11为本申请实施例中在远场语音进程中当前执行的线程与唤醒指令所指示的线程相同的情况下，显示设备与用户的远场语音交互示意图。

具体实施方式

下面将详细地对实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下实施例中描述的实施方式并不代表与本申请相一致的所有实施方式。仅是与权利要求书中所详述的、本申请的一些方面相一致的系统和方法的示例。

需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。

术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

远场语音功能是指显示设备可以直接采集并响应用户发送的语音指令(语音数据)的功能，基于该远场语音功能，用户无需再通过蓝牙遥控器、手机等中介设备向显示设备发送语音指令，以有效简化用户的操作。图1为本申请实施例提供的显示设备与用户之间的远场语音交互的流程示意图，如图1所示，用户100直接向显示设备200发送唤醒词，显示设备200采集并识别出该唤醒词后，向用户100反馈提示音，例如“开始录音”，用户100根据该提示音，向显示设备200直接发送语音指令，当显示设备200采集并识别出该语音指令传输结束之后，会向用户100反馈提示音，例如“停止录音”，此时，显示设备200响应于该语音指令，确定相应的应答语音，并向用户100发送该应答语音，以完成与用户100之间的远场语音交互。图2示出了根据示例性实施例中显示设备200的硬件配置框图。

在一些实施例中，显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。

在一些实施例中，通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如：通信器可以包括Wifi模块，蓝牙模块，有线以太网模块等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。显示设备200可以通过通信器220与控制装置(遥控器、手机等)或服务器建立控制信号和数据信号的发送和接收，以通过通信器220可以实现与用户100之间的近场语音交互。

在一些实施例中，检测器230可以通过内部设置的采集器实现对外部环境信息的拾取，通过检测器230可以实现显示设备200与外部环境之间的直接交互。例如，通过声音采集器直接采集用户100发送的唤醒词和语音指令，以通过语音采集器实现与用户100之间的远场语音交互。

在一些实施例中，外部装置接口240可以包括但不限于如下：高清多媒体接口接口(HDMI)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(CVBS)、USB输入接口(USB)、RGB端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。

在一些实施例中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。

在一些实施例中，控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器260上显示UI对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。

在一些实施例中，用户可在显示器260上显示的图形用户界面(GUI)输入用户命令，则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。

在一些实施例中，“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素中的至少一种。

参见图3，在一些实施例中，将系统分为四层，从上至下分别为应用程序(Applications)层(简称“应用层”)，应用程序框架(Application Framework)层(简称“框架层”)，安卓运行时(Android runtime)和系统库层(简称“系统运行库层”)，以及内核层。

在一些实施例中，应用程序层中运行有至少一个应用程序，这些应用程序可以是操作系统自带的窗口(Window)程序、系统设置程序或时钟程序等；也可以是第三方开发者所开发的应用程序。在具体实施时，应用程序层中的应用程序包不限于以上举例。

框架层为应用程序层的应用程序提供应用编程接口(application programminginterface，API)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心，这个中心决定让应用层中的应用程序做出动作。应用程序通过API接口，可在执行中访问系统中的资源和取得系统的服务。

如图3所示，本申请实施例中应用程序框架层包括管理器(Managers)，内容提供者(Content Provider)等，其中管理器包括以下模块中的至少一个：活动管理器(ActivityManager)用与和系统中正在运行的所有活动进行交互；位置管理器(Location Manager)用于给系统服务或应用提供了系统位置服务的访问；文件包管理器(Package Manager)用于检索当前安装在设备上的应用程序包相关的各种信息；通知管理器(NotificationManager)用于控制通知消息的显示和清除；窗口管理器(Window Manager)用于管理用户界面上的括图标、窗口、工具栏、壁纸和桌面部件。

在一些实施例中，活动管理器用于管理各个应用程序的生命周期以及通常的导航回退功能，比如控制应用程序的退出、打开、后退等。窗口管理器用于管理所有的窗口程序，比如获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕，控制显示窗口变化(例如将显示窗口缩小显示、抖动显示、扭曲变形显示等)等。

在一些实施例中，系统运行库层为上层即框架层提供支撑，当框架层被使用时，安卓操作系统会运行系统运行库层中包含的C/C++库以实现框架层要实现的功能。

在一些实施例中，内核层是硬件和软件之间的层。如图3所示，内核层至少包含以下驱动中的至少一种：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器，温度传感器，压力传感器等)、以及电源驱动等。

在进行音频播放功能的过程中，显示设备200可以通过自带的扬声器播放，也可以通过外接音响播放音频数据，例如远场语音功能中的各种提示音、应答语音等。

显示设备200的操作系统或者各应用程序的运行依赖于相应的资源(如硬件资源、软件资源等)，进程用于为操作系统和应用程序提供相应的资源，执行操作系统和应用程序中各功能的过程，实际上就是调用与该功能对应的资源的过程，该调用资源的过程在相应的进程中完成。例如，执行显示设备200的远场语音功能，就是在与远场语音功能对应的远场语音进程中调用相应的资源，简单来说，就是通过远场语音进程实现远场语音功能。由上述过程可知，调用资源的基础是，进程中已经存在该资源，由此，为了可以调用资源实现相应的功能，该进程被配置为首先加载各个功能对应的资源，这样，一旦需要执行某个功能时，就可以在该进程中直接调用相应的资源。

在一些实施例中，远场语音进程包括至少一个线程，这些线程是指远场语音进程中的下属进程，各个线程均用于响应用户100的语音指令，其中，各个线程共享远场语音进程的语音数据采集功能和唤醒功能，但是，不同线程使用不同的语音资源来响应用户100的语音指令。为了区分各个线程，不同的线程对应不同的唤醒词，即显示设备200识别到唤醒词后，开始加载与该唤醒词具有映射关系的线程的语音资源，并使用该线程来响应用户100的语音指令。示例地，线程可以理解为是提供远场语音功能的应用程序，例如不同的语音助手，通过不同的唤醒词，可以唤醒相应的语音助手，如通过第一唤醒词可以唤醒语音助手A，并开启与语音助手A对应的第一线程，以通过第一线程来响应用户100发送的语音指令。

在一些实施例中，显示设备200中可以预先保存唤醒词与线程的映射关系列表，并在识别到唤醒词之后，根据该映射关系列表确定对应的线程。

以远场语音进程的启动过程为例进行说明，进程在启动的过程中，通常按照一定的启动时序加载各个功能的资源，如图4所示，显示设备200启动远场语音进程之后，首先，在T0～T1时间段内加载与语音数据采集功能对应的资源，从T1时刻开始，通过远场语音进程可以采集用户100发送的语音数据。然后，在T1～T2时间段内加载与唤醒功能对应的资源，从T2时刻开始，通过远场语音进程可以识别用户100发送的唤醒词。通常与语音指令响应功能对应的资源是在接收到用户发送的唤醒词之后开始加载，如图4所示，如果显示设备200从T3时刻接收到唤醒词，示例地，接收到的唤醒词为第一唤醒词，则在T3-T4时间段内开始加载与第一唤醒词对应的第一线程的语音资源，即第一语音资源，从T4时刻开始，通过第一线程可以响应用户100发送的语音指令。

通常，用户100在发送唤醒词之后，显示设备200会响应一个提示音，以提示用户100发送语音指令，例如“开始录音”，但是，与该提示音对应的语音资源属于第一语音资源，此时，该资源并未加载，显示设备200无法响应于唤醒词发送该提示音，只有在T4时刻之后，显示设备200才可以发送该提示音，这就导致在T3-T4时间段内显示设备200不会对用户100做出任何响应，令用户100无法获知在该时间段内，显示设备200的远场语音功能处于什么状态，出现了什么问题导致没有任何响应，用户100处于盲目等待的状态，令用户100的体验感极差。

为了解决上述问题，本申请实施例提供了一种提示音的播放方法，将提示音存储于主进程中，并通过主进程播放提示音，这样，即使在加载与语音指令响应功能对应的资源的时间段内，接收到用户100发送的唤醒词，也可以立即播放提示音，以明确地提示用户100正在加载资源，需要等待，避免用户100在该时间段内盲目等待。

在本实施例中，主进程(TV main)是指显示设备200中用于提供管理功能的进程，该进程从显示设备200开机开始，全程运行不中断。基于显示设备200设定的各个进程的加载时序，显示设备200在开机启动时，首先加载主进程，然后再加载其它进程，例如远场语音进程。主进程在加载的过程中，主要加载各项软硬件资源，包括声卡、音频驱动等，可见，主进程具备播放提示音的软硬件资源。同时，由于主进程全程运行不中断，由此，通过主进程播放提示音不会受远场语音进程中各线程之间切换的影响。

在一些实施例中，可以将用于播放提示音的资源存储于主进程的biz模块中，由于biz模块是主进程和远场语音进程间通信的枢纽，即通过biz模块与远场语音进程之间的通信，在biz模块处第一时间获得远场语音进程中资源加载的状态，从而可以快速确定所要播放的提示音的类型，以提高提示音的播放效率。

如图5所示，将提示音存储于主进程中，这样，主进程具备播放提示音的数据基础。通过主进程来播放提示音，由于主进程在远场语音进程开始加载前就已经完成与播放提示音相关的资源的加载，则在远场语音进程加载的过程中，可以通过主进程随时播放提示音。以图4为例，如果用户在T3-T4时间段内发出唤醒词，由于播放提示音所对应的资源已经在主进程中加载完毕，而不再由远场语音进程进行加载，则无需等待远场语音进程加载用于响应语音指令的资源，可以通过主进程来播放提示音。或者用户在T4时刻之后发出唤醒词，此时，由于播放提示音所对应的资源已经在主进程中加载完毕，就可以通过主进程直接播放提示音，然后使用远场语音进程响应用户100的语音指令。

在一种实施例中，为了给出用户100更加准确的指示，可以设置不同类型的提示音，以远场语音进程中用于响应用户100的语音指令的线程为第一线程为例，针对第一线程对应的第一语音资源的资源状态，设定不同类型的提示音，示例地，如果第一语音资源的资源状态为正在加载或者未启动加载，则从主程序中调用第一资源以播放第一提示音，用于指示用户100等待资源加载；如果第一语音资源的资源状态为已完成加载，则从主程序中调用第二资源以播放第二提示音，用于指示用户100发送语音指令。这样，用户100可以接收到显示设备200发送的明确指示，不仅可以准确了解远场语音功能当前的工作状态，还可以在合适的时机发送语音指令。

将播放提示音的功能配置于主进程之后，可以按照如图6所示提示音的播放方法来播放提示音，具体如下：

S601、接收用户发送的唤醒指令，所述唤醒指令包括第一唤醒词，所述第一唤醒词用于指示在远场语音进程中使用第一线程响应所述用户的语音指令，其中，所述远场语音进程包括至少一个用于响应所述用户的语音指令的线程，且不同的线程对应不同的唤醒词。

S602、响应于所述唤醒指令，判断与所述第一线程对应的第一语音资源的资源状态。

S603、如果所述第一语音资源的资源状态为正在加载或者未启动加载，则通过所述显示设备的主进程播放第一提示音，所述第一提示音用于提示所述用户等待加载所述第一语音资源，其中，所述第一提示音存储于所述主进程，且所述主进程在启动加载所述远场语音进程之前完成加载。

S604、如果所述第一语音资源的资源状态为完成加载，则通过所述主进程播放第二提示音，所述第二提示音用于提示所述用户输入语音指令，其中，所述第二提示音存储于所述主进程。

下面将结合用户100向显示设备200发送唤醒指令的各种时机，介绍显示设备200判断第一语音资源的资源状态，并根据第一语音资源的状态播放不同提示音的过程。

显示设备200响应于用户100发送的唤醒指令时，首先判断远场语音进程中是否存在当前执行的线程；如果存在当前执行的线程，则获取该当前执行的线程，并将第一唤醒词所对应的第一线程与该当前执行的线程进行比较之后，再判断第一线程对应的第一语音资源的资源状态。如果不存在当前执行的线程，则直接判断第一线程对应的第一语音资源的资源状态。

实施例1

基于远程语音进程中不存在当前执行的线程的情况，说明显示设备200当前并未处于与用户100远程语音交互的状态，此时，如果显示设备200接收到用户100发送的唤醒指令，则显示设备200开始加载第一语音资源。由此，可以确定显示设备200接收到唤醒指令时，第一语音资源的资源状态是未启动加载。

图7示例性示出在远场语音进程中不存在当前执行的线程的情况下，显示设备200与用户100的远场语音交互示意图，其中，横坐标表示加载时间，如图7所示，显示设备200在t＝0时接收到用户100发送的开机指令，此时，显示设备200响应于该开机指令，按照各进程预设的加载时序，从t＝0开始加载主进程，并在t＝T0完成主进程的加载，其中，在主进程加载的过程中完成对用于播放提示音的资源的加载，包括与第一提示音对应的第一资源、以及与第二提示音对应的第二资源。从T0开始，显示设备200具有通过主进程播放第一提示音和第二提示音的功能。

显示设备200按照预设的加载时序，从T0开始，加载远场语音进程，其中，在T0-T1时间段内加载与语音数据采集功能对应的资源(语音采集资源)，从T1时刻开始，显示设备200具备通过远场语音进程采集用户100发送的语音数据(唤醒指令、语音指令)的功能。在T1-T2时间段内加载与唤醒功能对应的资源(唤醒资源)，从T2时刻开始，显示设备200具备通过远场语音进程识别用户100发送的唤醒词的功能。

如果显示设备200在t＝T3时接收到用户100发送的唤醒指令，显示设备200响应于该唤醒指令，从远场语音进程中调用唤醒资源，以从该唤醒指令中识别出第一唤醒词，并根据唤醒词与线程的映射关系列表，确定与第一唤醒词对应的第一线程。由于，远场语音进程中不存在当前执行的线程，则如图7所示，从T3开始加载与第一线程对应的第一语音资源，并在t＝T4时完成第一语音资源的加载。

为了避免用户100在T3-T4时间段内盲目等待，显示设备200在T3时刻判断出第一语音资源的资源状态是未启动加载，并将该资源状态发送至主进程，以使主进程根据该资源状态，立即播放对应的提示音，即调用第一资源，以在T3-T4时间段内播放第一提示音，从而令用户100可以准确掌握远场语音功能当前无法继续输入语音指令的原因。

在一些实施例中，主进程可以基于高级Linux声音体系(Advanced Linux SoundArchitecture，ALSA)播放提示音的音频文件，在主进程中，使用不同的声卡设备播放不同的提示音，例如使用声卡设备1播放第一提示音，使用声卡设备2播放第二提示音。为了保证声卡设备的有效性，可以为每个提示音分配冗余设备，即为每个提示音分配至少两个声卡设备，这样，当前选择的声卡设备失效或者故障时，还可以使用其它的声卡设备播放。

在一些实施例中，主进程中为不同的提示音提供不同的播放线程，以避免共用同一个播放线程播放不同提示音时所产生的数据干扰。示例地，以播放线程1播放第一提示音，以播放线程2播放第二提示音。

以播放线程1为例，介绍第一提示音的播放流程，该播放过程可以参考图8，如图8所示，确定待播放的目标提示音为第一提示音之后，从为第一提示音分配的多个声卡设备中选择一个有效的声卡设备，如声卡设备1，并以播放线路1播放第一提示音。首先，在播放线路1中为与第一提示音对应的音频数据配置音频播放参数，音频播放参数包括硬参数和软参数，示例地，硬参数可以包括数据排列方式、数据格式、采样率、声道数据、Periodtime、Buffer time等，软参数可以包括Start threshold、Stop threshold、Avail.、min.等。在一些实施例中，使用相同的目标音频播放参数来配置各提示音的音频数据，这样，可以有效保证各提示音的播放效果。将配置后的音频数据放入主进程的缓冲区，并通过读取缓冲区中的音频数据，将读取到的音频数据写入声卡缓存区，并从声卡缓存区中调取音频数据通过声卡设备1播放，当播放线路1监控到主进程的缓冲区中的音频数据已经读取完毕，则结束第一提示音的播放流程。

实施例2

基于远程语音进程中存在当前执行的线程的情况，说明显示设备200当前正处于与用户100远程语音交互的状态，此时，如果显示设备200接收到用户100发送的唤醒指令，则显示设备200继续判断当前执行的线程是否与唤醒指令所指示的线程相同，并根据该判断结果，进一步确定第一语音资源的资源状态。可以按照如下流程判断当前执行的线程与第一唤醒词指示的第一线程是否为同一个线程，具体如下：

根据唤醒词与线程之间的映射关系列表，可以确定与当前执行的线程对应的唤醒词，例如第二唤醒词。此时，通过比较第一唤醒词与第二唤醒词是否相同，即可确定两个线程是否为同一个线程。具体的，如果第一唤醒词与第二唤醒词不同，则说明当前执行的线程与第一线程不是同一个线程，显示设备200需要将当前执行的线程切换至第一线程。如果第一唤醒词与第二唤醒词相同，则说明当前执行的线程与第一线程是同一个线程，用户100进行了重复唤醒，显示设备200当前无需切换线程，可以继续执行当前的线程。

本实施例以当前执行的线程与第一线程不同为例进行说明。

图9示例性示出在远场语音进程中当前执行的线程与唤醒指令所指示的线程不同的情况下，显示设备200与用户100的远场语音交互示意图，其中，横坐标表示加载时间。如图9所示，显示设备200在t＝0时接收到用户100发送的开机指令，此时，显示设备200响应于该开机指令，按照各进程预设的加载时序，从t＝0开始加载主进程，并在t＝T0完成主进程的加载，其中，在主进程加载的过程中完成对用于播放提示音的资源的加载，包括与第一提示音对应的第一资源、以及与第二提示音对应的第二资源。从T0开始，显示设备200具有通过主进程播放第一提示音和第二提示音的功能。

显示设备200按照预设的加载时序，从T0开始，加载远场语音进程，其中，在T0-T1时间段内加载与语音数据采集功能对应的资源(语音采集资源)，从T1时刻开始，显示设备200具备通过远场语音进程采集用户100发送的语音数据(唤醒指令、语音指令)的功能。在T1-T2时间段内加载与唤醒功能对应的资源(唤醒资源)，从T2时刻开始，显示设备200具备通过远场语音进程识别用户100发送的唤醒词的功能。

显示设备200在t＝T3时接收到用户100发送的唤醒指令，显示设备200响应于该唤醒指令，从远场语音进程中调用唤醒资源，以从该唤醒指令中识别出第二唤醒词，并根据唤醒词与线程的映射关系列表，确定与第二唤醒词对应的线程，即当前执行的线程。如图9所示，从T3开始加载与当前执行的线程对应的语音资源，例如第二语音资源，并在t＝T4时完成第二语音资源的加载。

如果显示设备200在t＝TM(TM可以位于T3-T4之间，也可以为与T4之后)时接收到用户100发送的唤醒指令，显示设备200响应于该唤醒指令，从远场语音进程中调用唤醒资源，以从该唤醒指令中识别出第一唤醒词，并根据唤醒词与线程的映射关系列表，确定与第一唤醒词对应的第一线程。同时，显示设备200判断出第一唤醒词与第二唤醒词不同，则说明当前执行的线程与第一线程不是同一个线程，显示设备200需要将当前执行的线程切换至第一线程，也就是从t＝TM开始，在TM-TN时间段内加载第一语音资源。以TM位于T3-T4之间为例，从t＝TM开始，将不再继续加载第二语音资源，并删除已加载的第二语音资源，以释放缓存空间。可见，无论显示设备200在何时接收到用户100发送的第一唤醒词，第一语音资源的资源状态都是未启动加载。

显示设备200将未启动加载的资源状态发送至主进程，以使主进程根据该资源状态，立即播放对应的提示音，即调用第一资源，以在TM-TN时间段内播放第一提示音，从而令用户100可以准确掌握远场语音功能当前无法继续输入语音指令的原因，以避免用户100在TM-TN时间段内盲目等待。

其中，可以按照实施例1中所述的方法来播放第一提示音，此处不赘述。

实施例3

与实施例2不同之处在于，实施例3以当前执行的线程与第一线程相同为例进行说明。

由于当前执行的线程与第一线程为同一个线程，则显示设备200直接判断当前执行的线程对应的语音资源(后续用第一语音资源表示)的资源状态即可，在本实施例中，第一语音资源的资源状态与显示设备200接收到唤醒指令的时间节点密切相关。

图10示例性示出在远场语音进程中当前执行的线程与唤醒指令所指示的线程相同的情况下，显示设备200与用户100的远场语音交互示意图，其中，横坐标表示加载时间。如图10所示，显示设备200在t＝0时接收到用户100发送的开机指令，此时，显示设备200响应于该开机指令，按照各进程预设的加载时序，从t＝0开始加载主进程，并在t＝T0完成主进程的加载，其中，在主进程加载的过程中完成对用于播放提示音的资源的加载，包括与第一提示音对应的第一资源、以及与第二提示音对应的第二资源。从T0开始，显示设备200具有通过主进程播放第一提示音和第二提示音的功能。

显示设备200按照预设的加载时序，从T0开始，加载远场语音进程，其中，在T0-T1时间段内加载与语音数据采集功能对应的资源(语音采集资源)，从T1时刻开始，显示设备200具备通过远场语音进程采集用户100发送的语音数据(唤醒指令、语音指令)的功能。在T1-T2时间段内加载与唤醒功能对应的资源(唤醒资源)，从T2时刻开始，显示设备200具备通过远场语音进程识别用户100发送的唤醒词的功能。

显示设备200在t＝T3时接收到用户100发送的唤醒指令，显示设备200响应于该唤醒指令，从远场语音进程中调用唤醒资源，以从该唤醒指令中识别出第一唤醒词，并根据唤醒词与线程的映射关系列表，确定与第一唤醒词对应的第一线程，即当前执行的线程。如图10所示，从T3开始加载与第一线程对应的第一语音资源，并预计在t＝T4时完成第一语音资源的加载。

如果显示设备200在t＝TM(TM可以位于T3-T4之间，也可以为与T4之后)时接收到用户100发送的唤醒指令，显示设备200响应于该唤醒指令，从远场语音进程中调用唤醒资源，以从该唤醒指令中识别出第一唤醒词，此时，显示设备200根据唤醒词判断出当前执行的线程与第一线程是同一个线程，则显示设备200无需切换当前执行的线程，也就是从t＝TM开始，继续执行第一线程。

在一些实施例中，如图10所示，如果TM位于T3-T4之间，则显示设备200可以判断第一语音资源的资源状态是正在加载中，此时，需要继续等待第一语音资源的加载。此时，显示设备200将正在加载中的资源状态发送至主进程，以使主进程根据该资源状态，立即播放对应的提示音，即调用第一资源，以在TM-T4时间段内播放第一提示音，从而令用户100可以准确掌握远场语音功能当前无法继续输入语音指令的原因，以避免用户100在TM-T4时间段内盲目等待。

在一些实施例中，如图11所示，如果TM位于T4之后，则显示设备200可以判断第一语音资源的资源状态是已完成加载，此时，显示设备200可以调用第一语音资源来响应用户100的语音指令，则显示设备200将已完成加载的资源状态发送至主进程，以使主进程根据该资源状态，立即播放对应的提示音，即调用第二资源，并播放第二提示音，从而令用户100可以根据第二提示音的指示开始输出语音指令。

其中，可以按照实施例1中所述的方法，采用播放线程2来播放第二提示音，此处不赘述。

在实施例1与实施例2的基础上，显示设备200可以设置为监听第一语音资源的加载进度，当显示设备200监听到第一语音资源完成加载，则显示设备200将已完成加载的资源状态发送至主进程，以使主进程根据该资源状态，立即播放对应的提示音，即调用第二资源，并播放第二提示音，从而令用户100可以根据第二提示音的指示开始输出语音指令。其中，可以按照实施例1中所述的方法，采用播放线程2来播放第二提示音，此处不赘述。

由以上技术方案可知，上述实施例所提供的显示设备及提示音的播放方法可以在用户发出唤醒指令时，通过主进程尽快响应唤醒指令，以播放与语音资源的资源状态相对应的提示音，提示用户远场语音功能当前所处的工作状态，以及明确指示用户发送语音指令等，避免出现由于远程语音进程中语音资源未完成加载，无法给出用户任何响应和指示，导致用户盲目等待的问题，以提高用户的远场语音功能的体验感。

本申请提供的实施例之间的相似部分相互参见即可，以上提供的具体实施方式只是本申请总的构思下的几个示例，并不构成本申请保护范围的限定。对于本领域的技术人员而言，在不付出创造性劳动的前提下依据本申请方案所扩展出的任何其他实施方式都属于本申请的保护范围。

Claims (10)

1.一种显示设备，其特征在于，包括：

显示器，被配置为显示用户界面；

扬声器，被配置为播放提示音；

控制器，被配置为：

接收用户发送的唤醒指令，所述唤醒指令包括第一唤醒词，所述第一唤醒词用于指示在远场语音进程中使用第一线程响应所述用户的语音指令，其中，所述远场语音进程包括至少一个用于响应所述用户的语音指令的线程，且不同的线程对应不同的唤醒词；

响应于所述唤醒指令，判断与所述第一线程对应的第一语音资源的资源状态；

基于所述第一语音资源的资源状态，播放相应的提示音；

其中，如果所述第一语音资源的资源状态为正在加载或者未启动加载，则通过所述显示设备的主进程调用第一资源以播放第一提示音，所述第一提示音用于提示所述用户等待加载所述第一语音资源，其中，所述第一资源存储于所述主进程，且所述主进程在启动加载所述远场语音进程之前完成加载。

2.根据权利要求1所述的显示设备，其特征在于，所述控制器响应于所述唤醒指令，判断与所述第一线程对应的第一语音资源的资源状态，被配置为：

识别所述远场语音进程中是否存在当前执行的线程；

如果不存在所述当前执行的线程，则判断所述第一线程对应的第一语音资源的资源状态。

3.根据权利要求2所述的显示设备，其特征在于，如果不存在所述当前执行的线程，则所述第一语音资源的资源状态为未启动加载。

4.根据权利要求2所述的显示设备，其特征在于，所述控制器响应于所述唤醒指令，判断与所述第一线程对应的第一语音资源的资源状态，还被配置为：

如果存在所述当前执行的线程，则判断所述第一线程与所述当前执行的线程是否为同一个线程；

如果所述第一线程与所述当前执行的线程是同一个线程，则判断所述当前执行的线程的语音资源的资源状态，其中，所述当前执行的线程的语音资源为所述第一语音资源；

如果所述第一线程与所述当前执行的线程不是同一个线程，则判断所述第一线程对应的第一语音资源的资源状态。

5.根据权利要求4所述的显示设备，其特征在于，如果所述第一线程与所述当前执行的线程是同一个线程，则所述第一语音资源的资源状态包括正在加载或者已完成加载；如果所述第一线程与所述当前执行的线程不是同一个线程，则所述第一语音资源的资源状态为未启动加载。

6.根据权利要求4所述的显示设备，其特征在于，所述控制器判断所述第一线程与所述当前执行的线程是否为同一个线程，被配置为：

获取与所述当前执行的线程对应的第二唤醒词；

判断所述第一唤醒词与所述第二唤醒词是否相同；

其中，如果所述第一唤醒词与所述第二唤醒词相同，则所述第一线程与所述当前执行的线程是同一个线程；如果所述第一唤醒词与所述第二唤醒词不同，则所述第一线程与所述当前执行的线程不是同一个线程。

7.根据权利要求1所述的显示设备，其特征在于，所述控制器还被配置为：

如果所述第一语音资源的资源状态为完成加载，则通过所述主进程播放第二提示音，所述第二提示音用于提示所述用户输入语音指令，其中，所述第二提示音存储于所述主进程。

8.根据权利要求1所述的显示设备，其特征在于，所述控制器基于所述第一语音资源的资源状态，播放相应的提示音，被配置为：

采用与所述提示音具有映射关系的声卡设备和播放线程播放所述提示音，其中，不同的所述提示音对应不同的声卡设备和播放线程。

9.根据权利要求8所述的显示设备，其特征在于，每一个所述提示音均与至少两个声卡设备具有映射关系，所述控制器基于所述第一语音资源的资源状态，播放相应的提示音，被配置为：

获取与目标提示音对应的音频数据，所述目标提示音为待播放的所述提示音；

从与所述目标提示音对应的至少两个声卡设备中获取一个可用声卡设备；

在与所述目标提示音对应的播放线程中为所述音频数据配置目标音频播放参数，并使用所述可用声卡设备播放配置后的所述音频数据，其中，为不同的所述目标提示音的音频数据配置相同的所述目标音频播放参数。

10.一种提示音的播放方法，其特征在于，应用于显示设备，所述方法包括：

接收用户发送的唤醒指令，所述唤醒指令包括第一唤醒词，所述第一唤醒词用于指示在远场语音进程中使用第一线程响应所述用户的语音指令，其中，所述远场语音进程包括至少一个用于响应所述用户的语音指令的线程，且不同的线程对应不同的唤醒词；

响应于所述唤醒指令，判断与所述第一线程对应的第一语音资源的资源状态；

基于所述第一语音资源的资源状态，播放相应的提示音；

其中，如果所述第一语音资源的资源状态为正在加载或者未启动加载，则通过所述显示设备的主进程调用第一资源以播放第一提示音，所述第一提示音用于提示所述用户等待加载所述第一语音资源，其中，所述第一资源存储于所述主进程，且所述主进程在启动加载所述远场语音进程之前完成加载。

Images