CN113852848B - 一种虚拟遥控器控制方法、显示设备及终端设备 - Google Patents

Abstract

本发明公开一种虚拟遥控器控制方法、显示设备及终端设备，显示设备接收终端设备通过第一通信通道发送的触发操作消息，以及，接收终端设备通过第二通信通道发送的操作指令数据；其中，所述触发操作消息和所述操作指令数据是终端设备根据用户对虚拟遥控器的操作而生成；显示设备响应于所述触发操作消息，启动处理线程，并控制处理线程按照所述操作指令数据执行动作。本申请能显著降低虚拟遥控器与显示设备的通信延时，克服显示设备对虚拟遥控器的操作指令响应慢，甚至卡住无反应的缺陷，提升虚拟遥控器的遥控能力和用户使用体验。

Description

一种虚拟遥控器控制方法、显示设备及终端设备

技术领域

本发明涉及显示设备遥控领域，尤其涉及一种虚拟遥控器控制方法、显示设备及终端设备。

背景技术

在一些应用场景中，智能终端内可以安装虚拟遥控器，虚拟遥控器相当于一种智能应用，用户通过虚拟遥控器向显示设备发送操作指令，如调频道、调音量等指令，显示设备接收并响应虚拟遥控器的操作指令后，可匹配执行相应动作，从而由虚拟遥控器代替物理遥控器，实现虚拟遥控器对显示设备的远场控制功能。然而在实际使用虚拟遥控器时，经常出现显示设备对虚拟遥控器触发的操作指令响应慢甚至卡住的问题，无法为用户提供更好的使用体验。

发明内容

为解决上述背景技术中提出的技术问题，本发明提供一种虚拟遥控器控制方法、显示设备及终端设备，可降低显示设备对虚拟遥控器发送的操作指令的响应延时。

本申请第一方面提供一种显示设备，包括：

通信器，用于与终端设备通信连接，所述通信连接包括并行的第一通信通道和第二通信通道，所述终端设备内配置有虚拟遥控器；

控制器，用于执行：

接收终端设备通过所述第一通信通道发送的触发操作消息，以及，接收终端设备通过所述第二通信通道发送的操作指令数据；其中，所述触发操作消息和所述操作指令数据是终端设备根据用户对所述虚拟遥控器的操作而生成；

响应于所述触发操作消息，启动处理线程，并控制处理线程按照所述操作指令数据执行动作。

在第一方面第一种示例性的实现方式中，所述处理线程包括按键处理线程和语音处理线程，则所述控制器被配置为按照如下方式启动处理线程：

根据所述触发操作消息，确定所述虚拟遥控器端的操作类型；

若所述操作类型为对虚拟遥控器上常规按键的按击操作，则启动所述按键处理线程，并对所述按键处理线程进行初始化；

若所述操作类型为对虚拟遥控器上语音键的长按操作，则启动所述语音处理线程，并对所述语音处理线程进行初始化。

在第一方面第二种示例性的实现方式中，所述控制器被配置为按照如下方式执行动作：控制所述按键处理线程读取所述操作指令数据指示的按键键值；控制所述按键处理线程执行与所述按键键值匹配的动作。

在第一方面第三种示例性的实现方式中，所述显示设备还包括显示器，所述控制器被配置为按照如下方式执行动作：

在启动所述语音处理线程时，同步开启显示设备的禁音功能，以暂停音频输出；

控制显示器显示聆听语音图标，控制所述语音处理线程接收所述操作指令数据携带的音频流；

在接收到终端设备通过所述第一通信通道发送的释放语音键消息时，控制显示器将所述聆听语音图标变更为语音处理图标，以及停止接收所述操作指令数据；

控制所述语音处理线程对已完整接收的音频流进行解析处理，执行与所述音频流指示的语音操作意图相匹配的动作，并在动作执行完成时，取消显示所述语音处理图标以及关闭所述禁音功能。

在第一方面第四种示例性的实现方式中，所述控制器还用于执行：

在接收到所述释放语音键消息之前，若检测到与终端设备的通信连接断开，则控制所述语音处理线程停止接收及处理所述音频流，取消显示所述聆听语音图标；

控制显示器显示用于提示显示设备与终端设备已断开通信连接的提示信息。

本申请第二方面提供一种终端设备，包括：

通信器，用于与显示设备通信连接，所述通信连接包括并行的第一通信通道和第二通信通道；

控制器，所述控制器内配置有虚拟遥控器，所述控制器用于执行：

在接收到用户对所述虚拟遥控器的操作时，生成触发操作消息；

将所述触发操作信息通过所述第一通信通道发送给显示设备，以及，将操作指令数据通过第二通信通道发送给显示设备；所述触发操作消息用于指示显示设备启动处理线程，执行与所述操作指令数据匹配的动作。

在第二方面第一种示例性的实现方式中，所述终端设备还包括音频采集器，所述控制器还用于执行：

若所述操作为用户对虚拟遥控器上常规按键的按击操作，则所述操作指令数据包括按键键值；

若所述操作为用户对虚拟遥控器上语音键的长按操作，则所述操作指令数据包括所述音频采集器采集的音频流。

在第二方面第二种示例性的实现方式中，所述控制器还用于执行：

在接收到用户对虚拟遥控器上语音键的长按操作时，启动计时；

若在预设时长内接收到用户松开所述语音键的操作时，则生成释放语音键消息，并将所述释放语音键消息通过所述第一通信通道发送给显示设备；

若在计时时间达到所述预设时长时，始终未接收到用户松开所述语音键的操作，则自动触发对所述语音键的释放操作，并生成释放语音键消息，将所述释放语音键消息通过所述第一通信通道发送给显示设备。

本申请第三方面提供一种虚拟遥控器控制方法，用于显示设备端，包括：

显示设备接收终端设备通过第一通信通道发送的触发操作消息，以及，接收终端设备通过第二通信通道发送的操作指令数据；其中，所述触发操作消息和所述操作指令数据是终端设备根据用户对虚拟遥控器的操作而生成；

显示设备响应于所述触发操作消息，启动处理线程，并控制处理线程按照所述操作指令数据执行动作。

本申请第四方面提供一种虚拟遥控器控制方法，用于终端设备端，包括：

终端设备在接收到用户对虚拟遥控器的操作时，生成触发操作消息；

终端设备将所述触发操作信息通过第一通信通道发送给显示设备，以及，将操作指令数据通过第二通信通道发送给显示设备；所述触发操作消息用于指示显示设备启动处理线程，执行与所述操作指令数据匹配的动作。

在以上示例的实现方式中，针对显示设备与终端设备的通信交互，构建多通道并行架构，其中第一通信通道传输触发操作消息，以通知显示设备端用户对虚拟遥控器产生了一项操作，同步地，通过第二通信通道传输操作指令数据，操作指令数据例如包括按键键值、或者触发语音键时用户输入的语音数据等，从而实现显示设备响应操作指令和接收操作指令数据同步进行，尤其是对于用户使用虚拟遥控器语音控制显示设备的场景，用户在响应触发语音键的操作消息，启动处理线程的过程中，可以同步接收音频流，避免在响应操作指令启动线程后，再接收音频数据所导致的串行通信延时，从而保证用户对虚拟遥控器按键/语音结束时，操作指令数据同步传输完成，从而显著降低虚拟遥控器与显示设备的通信延时，克服显示设备对虚拟遥控器的操作指令响应慢，甚至卡住无反应的缺陷，提升虚拟遥控器的遥控能力和用户使用体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要访问的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示例性示出了根据一些实施例的显示设备的使用场景；

图2示例性示出了根据一些实施例的控制装置100的硬件配置框图；

图3示例性示出了根据一些实施例的显示设备200的硬件配置框图；

图4示例性示出了根据一些实施例的显示设备200中软件配置图；

图5示例性示出了一种虚拟遥控器与显示设备间的通信架构示意图；

图6示例性示出了虚拟遥控器与显示设备间的一种交互逻辑图；

图7示例性示出了用户触发虚拟遥控器上常规按键时，虚拟遥控器与显示设备间的交互逻辑图；

图8示例性示出了用户触发虚拟遥控器上语音键时，虚拟遥控器与显示设备间的交互逻辑图；

图9示例性示出了显示设备与终端设备通信连接断开时的交互逻辑图。

具体实施方式

为使本申请的目的和实施方式更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。

术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

图1为根据实施例中显示设备的使用场景的示意图。如图1所示，显示设备200还与服务器400进行数据通信，用户可通过智能设备300或控制装置100操作显示设备200。

在一些实施例中，控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式中的至少一种，通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等至少一种输入用户指令，来控制显示设备200。

在一些实施例中，智能设备300可以包括移动终端、平板电脑、计算机、笔记本电脑，AR/VR设备等中的任意一种。

在一些实施例中，也可以使用智能设备300以控制显示设备200。例如，使用在智能设备上运行的应用程序控制显示设备200。

在一些实施例中，也可以使用智能设备300和显示设备进行数据的通信。

在一些实施例中，显示设备200还可以采用除了控制装置100和智能设备300之外的方式进行控制，例如，可以通过显示设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制，也可以通过显示设备200设备外部设置的语音控制装置来接收用户的语音指令控制。

在一些实施例中，显示设备200还与服务器400进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。服务器400可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。

在一些实施例中，一个步骤执行主体执行的软件步骤可以随需求迁移到与之进行数据通信的另一步骤执行主体上进行执行。示例性的，服务器执行的软件步骤可以随需求迁移到与之数据通信的显示设备上执行，反之亦然。

图2示例性示出了根据示例性实施例中控制装置100的配置框图。如图2所示，控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起用用户与显示设备200之间交互中介作用。

在一些实施例中，通信接口130用于和外部通信，包含WIFI芯片，蓝牙模块，NFC或可替代模块中的至少一种。

在一些实施例中，用户输入/输出接口140包含麦克风，触摸板，传感器，按键或可替代模块中的至少一种。

图3示出了根据示例性实施例中显示设备200的硬件配置框图。

在一些实施例中，显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。

在一些实施例中控制器包括中央处理器，视频处理器，音频处理器，图形处理器，RAM，ROM，用于输入/输出的第一接口至第n接口。

在一些实施例中，显示器260包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件，用于接收源自控制器输出的图像信号，进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控UI界面等。

在一些实施例中，显示器260可为液晶显示器、OLED显示器、以及投影显示器中的至少一种，还可以为一种投影装置和投影屏幕。

在一些实施例中，调谐解调器210通过有线或无线接收方式接收广播电视信号，以及从多个无线或有线广播电视信号中解调出音视频信号，如以及EPG数据信号。

在一些实施例中，通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如：通信器可以包括Wifi模块，蓝牙模块，有线以太网模块等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。显示设备200可以通过通信器220与控制装置100或服务器400建立控制信号和数据信号的发送和接收。

在一些实施例中，检测器230用于采集外部环境或与外部交互的信号。例如，检测器230包括光接收器，用于采集环境光线强度的传感器；或者，检测器230包括图像采集器，如摄像头，可以用于采集外部环境场景、用户的属性或用户交互手势，再或者，检测器230包括声音采集器，如麦克风等，用于接收外部声音。

在一些实施例中，外部装置接口240可以包括但不限于如下：高清多媒体接口接口(HDMI)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(CVBS)、USB输入接口(USB)、RGB端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。

在一些实施例中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。

在一些实施例中，控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器260上显示UI对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。

在一些实施例中，所述对象可以是可选对象中的任何一个，例如超链接、图标或其他可操作的控件。与所选择的对象有关操作有：显示连接到超链接页面、文档、图像等操作，或者执行与所述图标相对应程序的操作。

在一些实施例中控制器包括中央处理器(Central Processing Unit，CPU)，视频处理器，音频处理器，图形处理器(Graphics Processing Unit，GPU)，RAM Random AccessMemory，RAM)，ROM(Read-Only Memory，ROM)，用于输入/输出的第一接口至第n接口，通信总线(Bus)等中的至少一种。

CPU处理器。用于执行存储在存储器中操作系统和应用程序指令，以及根据接收外部输入的各种交互指令，来执行各种应用程序、数据和内容，以便最终显示和播放各种音视频内容。CPU处理器，可以包括多个处理器。如，包括一个主处理器以及一个或多个子处理器。

在一些实施例中，图形处理器，用于产生各种图形对象，如：图标、操作菜单、以及用户输入指令显示图形等中的至少一种。图形处理器包括运算器，通过接收用户输入各种交互指令进行运算，根据显示属性显示各种对象；还包括渲染器，对基于运算器得到的各种对象，进行渲染，上述渲染后的对象用于显示在显示器上。

在一些实施例中，视频处理器，用于将接收外部视频信号，根据输入信号的标准编解码协议，进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等视频处理中的至少一种，可得到直接可显示设备200上显示或播放的信号。

在一些实施例中，视频处理器，包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等中的至少一种。其中，解复用模块，用于对输入音视频数据流进行解复用处理。视频解码模块，用于对解复用后的视频信号进行处理，包括解码和缩放处理等。图像合成模块，如图像合成器，其用于将图形生成器根据用户输入或自身生成的GUI信号，与缩放处理后视频图像进行叠加混合处理，以生成可供显示的图像信号。帧率转换模块，用于对转换输入视频帧率。显示格式化模块，用于将接收帧率转换后视频输出信号，改变信号以符合显示格式的信号，如输出RGB数据信号。

在一些实施例中，音频处理器，用于接收外部的音频信号，根据输入信号的标准编解码协议，进行解压缩和解码，以及降噪、数模转换、和放大处理等处理中的至少一种，得到可以在扬声器中播放的声音信号。

在一些实施例中，用户可在显示器260上显示的图形用户界面(GUI)输入用户命令，则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。

在一些实施例中，“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素中的至少一种。

在一些实施例中，用户接口280，为可用于接收控制输入的接口(如：显示设备本体上的实体按键，或其他等)。

在一些实施例中，显示设备的系统可以包括内核(Kernel)、命令解析器(shell)、文件系统和应用程序。内核、shell和文件系统一起组成了基本的操作系统结构，它们让用户可以管理文件、运行程序并使用系统。上电后，内核启动，激活内核空间，抽象硬件、初始化硬件参数等，运行并维护虚拟内存、调度器、信号及进程间通信(IPC)。内核启动后，再加载Shell和用户应用程序。应用程序在启动后被编译成机器码，形成一个进程。

如图4所示，将显示设备的系统分为三层，从上至下分别为应用层、中间件层和硬件层。

应用层主要包含电视上的常用应用，以及应用框架(Application Framework)，其中，常用应用主要是基于浏览器Browser开发的应用，例如：HTML5 APPs；以及原生应用(Native APPs)；

应用框架(Application Framework)是一个完整的程序模型，具备标准应用软件所需的一切基本功能，例如：文件存取、资料交换...，以及这些功能的使用接口(工具栏、状态列、菜单、对话框)。

原生应用(Native APPs)可以支持在线或离线，消息推送或本地资源访问。

中间件层包括各种电视协议、多媒体协议以及系统组件等中间件。中间件可以使用系统软件所提供的基础服务(功能)，衔接网络上应用系统的各个部分或不同的应用，能够达到资源共享、功能共享的目的。

硬件层主要包括HAL接口、硬件以及驱动，其中，HAL接口为所有电视芯片对接的统一接口，具体逻辑由各个芯片来实现。驱动主要包含：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器，温度传感器，压力传感器等)、以及电源驱动等。

以上实施例介绍了显示设备的硬件/软件架构以及功能实现等内容。在一种应用场景中，如图1所示，用户既可以通过物理遥控器向显示设备发送操作指令，也可以通过软遥控器向显示设备发送操作指令。所述软遥控器即为虚拟遥控器，是终端设备300中配置的用于模拟物理遥控器功能的一种交互控制程序，可选地，虚拟遥控器可作为一种应用程序(App)，或者由终端设备根据用户使用需求进行构建。

在一种示例性的实现方式中，终端设备配置的虚拟遥控器应用可支持设备发现技术，能搜索到与虚拟遥控器所在终端接入同一局域网的显示设备，并与搜索到的显示设备进行配对绑定，从而建立起两者的通信连接。

在一种示例性的实现方式中，终端应用界面可显示虚拟遥控器的面板，面板中包括若干功能按键，这些功能按键非实体按键，而是类似于电子控件，包括但不限于频道切换键、语音调节键、确认键/OK键、语音键等，用户通过面板对按键进行触发操作，即可生成操作指令，终端设备将该操作指令传输给显示设备，显示设备响应操作指令并执行响应的动作，例如增大/减小音量、向前/向后切换频道等，从而由虚拟遥控器代替物理遥控器，实现对显示设备的远场控制，突破了传统物理遥控器需必须面对面或者就近控制显示设备的局限。

目前虚拟遥控器与显示设备间大多采用HTTP(Hyper Text Transfer Protocol，超文本传输协议)的通信机制，用户触发虚拟遥控器的按键后，通过HTTP将与操作指令有关的数据发送给显示设备，显示设备接收到该数据后，再进行响应，启动相应进程并处理数据，整体上体现为串行处理，因此经常出现对虚拟遥控器的操作指令响应慢，甚至卡住无反应，尤其是对于具备语音键的虚拟遥控器，这种延时反映更明显，用户长按语音键输入音频，用户松开语音键后停止输入音频，显示设备接收到该语音指令后，可能需要等待3秒以上显示设备才会完成对语音指令的动作响应，例如用户通过语音键说出“打开腾讯视频”，显示设备可能延迟几秒后才启动腾讯视频应用，而无法针对该语音指令作出快速响应和动作。

在一种示例性的实现方式中，如图5所示，将单独的操作指令拆分为彼此关联的触发操作消息和操作指令数据，显示设备与终端设备(虚拟遥控器)的通信连接包括两路并行的第一通信通道和第二通信通道。

在一种示例性的实现方式中，参照图5的示例，终端设备通过第一通信通道将触发操作消息发送给显示设备端，触发操作消息用于向显示设备通知虚拟遥控器端产生了一项操作，以使显示设备完成执行操作指令指示的动作的前期准备工作，例如构建或启动处理线程，对处理线程进行如初始化等处理。

在一种示例性的实现方式中，参照图5的示例，同步地，终端设备通过第二通信通道将操作指令数据发送给显示设备端，操作指令数据例如为用户通过语音键输入的音频流数据，或者用户按击虚拟遥控器上除语音键之外的其他常规按键，例如音量+/-键，频道+/-键等，则操作指令数据即为常规按键的按键键值。这样显示设备即可控制已启动的处理线程执行与操作指令数据相匹配的动作。

在一种示例性的实现方式中，参照图6示例的虚拟遥控器与显示设备的交互逻辑，虚拟遥控器配置在终端设备中，终端设备与显示设备均接入同一局域网内，终端设备与显示设备建立通信连接之后，终端设备接收到用户对虚拟遥控器的操作时，生成与该操作对应的触发消息操作和操作指令数据，将触发操作消息通过第一通信通道发送给显示设备，将操作指令数据通过第二通信通道同步至显示设备，显示设备响应于触发操作消息，启动处理线程，并控制处理线程按照操作指令数据执行动作。

本申请能实现显示设备响应操作指令和接收操作指令数据同步进行，尤其是对于用户使用虚拟遥控器语音控制显示设备的场景，用户在响应触发语音键的操作消息，启动处理线程的过程中，可以同步接收音频流，避免在响应操作指令启动线程后，再接收音频数据所导致的串行通信延时，从而保证用户对虚拟遥控器按键/语音结束时，操作指令数据同步传输完成，从而显著降低虚拟遥控器与显示设备的通信延时，克服显示设备对虚拟遥控器的操作指令响应慢，甚至卡住无反应的缺陷，提升虚拟遥控器的遥控能力，使用户感知不到等待的延时。

在一种示例性的实现方式中，所述第一通信通道可采用WebSocket通道，虚拟遥控器应用启动后，向用户选定的被控对象发起WebSocket连接请求，作为被控对象的显示设备通过配对数据进行合法性校验，若校验成功，即可成功建立与虚拟遥控器的WebSocket连接，即构建完成第一通信通道，并通过WebSocket通道向显示设备异步发送触发操作消息。

在一种示例性的实现方式中，所述第二通信通道可采用HTTP通道，通过HTTP通道传输操作指令数据。

在一种示例性的实现方式中，虚拟遥控器上可包括语音键和常规按键，用户触发常规按键，则执行按键控制模式；用户若触发语音键，则执行语音控制模式。

在一种示例性的实现方式中，可选地，在触发操作消息中填加操作类型标识，显示设备端接收到触发操作消息时，读取操作类型标识，从而识别终端用户对虚拟遥控器执行的操作类型。

在一种示例性的实现方式中，参照图7示例的交互逻辑，终端设备与显示设备建立通信连接之后，终端用户点击虚拟遥控器上的常规按键，则终端设备通过WebSocket通道向显示设备异步发送触发操作消息，该触发操作消息中携带有按键标识，同步地，通过HTTP通道向显示设备发送按键键值。显示设备接收到触发操作消息，并读取到按键标识，即可获知终端用户按击了虚拟遥控器上的常规按键，则执行按键控制模式，即启动按键处理线程，然后由按键处理线程执行与按键键值匹配的动作。

在一种示例性的实现方式中，显示设备可维护一键值与操作动作的映射关系列表，当接收到HTTP通道推送的按键键值时，在映射关系列表中查找与按键键值对应的操作动作，然后自动执行该操作动作。例如，显示设备获取到虚拟遥控器的按键键值为“0x85”，0x85对应的操作动作为“频道+”，则执行的动作为“切换至当前频道号+1所对应的频道”；又例如，显示设备获取到虚拟遥控器的按键键值为“0x87”，映射关系列表指示0x87对应的操作动作为“音量-”，则执行的动作为“将当前音量值增加1dB”。

在一种示例性的实现方式中，参照图8示例的交互逻辑，终端设备与显示设备建立通信连接之后，终端用户长按虚拟遥控器上的语音键，终端设备的音频采集器(例如麦克风等)开始采集用户的语音数据，由于用户是逐渐说出满足其操作意图的语音信息，因此语音数据是以音频流的形式被实时采集和传输的。终端设备通过WebSocket通道向显示设备异步发送触发操作消息，该触发操作消息中携带有语音标识，并且虚拟遥控器无需等待显示设备的消息返回，直接通过HTTP通道向显示设备同步发送音频流。

在一种示例性的实现方式中，显示设备接收到触发操作消息，并读取到语音标识，即可获知终端用户按击了虚拟遥控器上的语音键，则执行语音控制模式，即启动语音处理线程，同步开启显示设备的禁音功能，以暂停音频输出，并且在当前界面显示聆听语音图标，聆听语音图标用于提示用户显示设备当前有对应于虚拟遥控器语音控制的音频流被注入，并等待注入完成后的解析处理。

在一种示例性的实现方式中，语音信息输入完毕后，用户可松开语音键，终端设备通过WebSocket通道向显示设备异步发送释放语音键消息；显示设备接收到释放语音键消息时，语音处理线程停止接收音频流，将UI图标由原来的聆听语音图标变换为语音处理图标，语音处理图标用于提示用户音频流已注入完毕，正在对语音数据进行解析处理。语音处理线程可调用语言处理模块，对音频数据进行如分词、语义分析等解析处理，以获知用户语音操作的意图，然后执行与语音操作意图相匹配的动作，例如用户长按语音键并喊出“启动腾讯视频”，显示设备通过解析处理，获知到语音操作意图是打开应用，并且应用具体为“腾讯视频”，则执行的动作为“自动打开腾讯视频APP”。动作执行完成时，由于语音数据已解析完成，则可取消显示语音处理图标，并关闭禁音功能，恢复音频的输出及有声播放。

在一种示例性的实现方式中，显示设备一般具有语音接收时长的限制，例如最多接收60秒，为避免用户长时间按住语音键而不释放(即按键长按超时)，导致超过显示设备的语音接收能力，可设置一预设时长进行约束。终端设备在接收到用户对虚拟遥控器上语音键的长按操作时，启动计时，以记录用户按住语音键的持续时间，若在预设时长内接收到用户松开语音键的操作，则生成释放语音键消息，并通过WebSocket通道进行异步发送；若计时时间达到预设时长，即达到约束上限时，终端设备始终未接收到用户松开语音键的操作，说明存在语音键长按超时的情况，则虚拟遥控器自动触发对语音键的释放操作，即便用户仍保持长按语音键动作，但实际已在达到预设时长的时间节点处释放了语音键，且生成并发送了释放语音键消息。

在一种示例性的实现方式中，显示设备在接收到触发操作消息时，无论启动的处理线程是按键处理线程或是语音处理线程，都可选择对处理线程进行初始化，以释放处理线程中被占用的资源，从而提升处理线程的处理效率。由于处理线程在空闲一段时间后会默认自动退出，并释放资源，因此在启动处理线程时，如果处理线程未初始化，则对对其进行初始化处理；如果处理线程已处于初始化完成状态，则跳过初始化流程。

在一种示例性的实现方式中，例如终端设备被人为断开网络连接、终端设备随用户移动至非网络覆盖区域，或者当前局域网出现异常等原因，都会导致显示设备与终端设备间的通信连接断开，单击常规按键时，HTTP通道即时传输按键键值，耗时时间极短，然而用户长按语音键输入音频数据时，音频数据的采集和传输相对耗时较长，出现用户按下语音键后网络突然中断的可能性更大，对此参照图9示例的交互逻辑，显示设备在接收到触发操作消息(携带有语音标识)之后，并且接收到释放语音键消息之前，在此期间，显示设备若检测到与终端设备的通信连接断开，则控制语音处理线程停止对音频数据的接收及处理流程，释放语音处理线程的资源，以及取消显示聆听语音图标，并向用户提示显示设备与终端设备已断开通信连接。

在一种示例性的实现方式中，终端设备与显示设备的通信连接断开时，也可在终端设备同步提示用户已断开通信连接，从而避免终端用户在断网或无通信连接场景下无效操作虚拟遥控器。在实施多通道并行传输的技术方案时，对按键长按超时场景和网络异常中断场景也能做出快速响应。

在一种示例性的实现方式中，可通过心跳检测机制，来检测终端设备与显示设备之间是否保持有效的通信连接，例如终端设备与显示设备之间可周期性地互发心跳请求，若能在超时时间内接收到对端设备的心跳应答，则认为对端设备是“活着”的，两端保持有效的通信交互状态；若存在心跳应答超时，则认为对端设备可能出现断网等异常，即检测到两端断开通信连接。需要说明的是，通信连接与否的检测不限于心跳检测机制。

在一种示例性的实现方式中，用户触发虚拟遥控器的语音键之后，终端设备采集用户输入的语音信息，并将语音信息转换为音频数据，然后通过HTTP通道将音频数据同步到显示设备端，终端设备在传输音频数据时，可将音频数据拆分成多段小数据进行实时传输，因此终端虚拟遥控器与显示设备之间的传输频次会很高，需要将通信协议交换最小化，以降低网络流量。

在一种示例性的实现方式中，HTTP通道采用MQTT(Message Queuing TelemetryTransport，消息队列遥测传输)报文形式来传输音频数据，MQTT报文的格式为固定报头+可变报头+有效载荷(Payload)，其中固定报头是每个MQTT必须具有的，用于描述报文信息，例如描述报文类型、报文等级等；可变报头存在于部分MQTT报文中，报文类型决定了MQTT报文是否存在可变报头及其具体内容；有效载荷为消息内容的存放所在，即在有效载荷中携带要传输给显示设备端的音频数据。在用户触发虚拟遥控器的语音键时，建立终端设备的虚拟遥控器与显示设备之间的MQTT连接，MQTT连接成功后，即可通过MQTT报文实时传输音频数据，直至终端接收到释放语音键的操作，音频数据全部发送完成时，自动断开MQTT连接。

MOTT是基于客户端-服务器的消息发布/订阅传输协议，具有轻量级的优势，能把传输量降到最低以提高传输效率，适用于低功耗、网络带宽有限、高延迟、网络不稳定等场景，从而提升音频数据的传输效率，有利于降低虚拟遥控器与显示设备间的通信交互延时。可选地，为降低通信带宽的占用，可每256byte传输一次音频数据，直到音频数据传输完成。

在一种示例性的实现方式中，图5示例的通信架构在一定程度上降低了通信延时，但在处理虚拟遥控器的语音指令时，虚拟遥控器与显示设备之间需要实时传输音频数据，终端设备在确定发送MQTT报文段的速率时，既要考虑显示设备端的接收能力，又要从全局考虑避免网络拥塞，对此TCP协议要求维护以下两个窗口，分别为rwnd(receiver window，接收窗口)和cwnd(congestion window，拥塞窗口)，通过对rwnd和cwnd进行控制调节，可降低HTTP通道的传输损耗。

在一种示例性的实现方式中，rwnd是端对端的控制机制，为预防发送过多的数据导致数据丢失，TCP连接中的接收方可向发送方通告其当前还能接收的数据容量，即所谓的rwnd，rwnd中包含用于描述接收方(即显示设备)能够保存数据的缓存区空间大小的信息。rwnd的合理取值取决于BDP(Bandwidth-Delay Product，带宽延迟积)的大小，即带宽与来回通信延迟的乘积，假设虚拟遥控器与显示设备间的带宽是100Mbps，同一局域网内延迟为10ms，则BDP＝100Mbps*10ms＝(100/8)*(10/1000)＝0.125MB。

在一种示例性的实现方式中，cwnd是发送方(即终端设备)根据自身估算的网络拥塞程序而设置的窗口值，可反映网络的当前容量，具体是指某一源端数据流在一个RTT(Round-Trip Time，往返时延)内最多可发送的数据包数量。发送端的发送窗口上限应当取rwnd和cwnd中较小的一个。

在一种示例性的实现方式中，cwnd的算法包括慢启动和拥塞避免。其中，慢启动算法的实现方式为通信连接刚建立完成时，先初始化，即令cwnd＝1，表明可传输一个MSS(Maximum Segment Size，最大报文段长度)大小的数据；之后每接收到对一个报文段的ACK(Acknowledge character，确认字符)，则将cwnd+1，即增大一个MSS，使cwnd呈线性上升；每经过一个RTT，使cwnd＝cwnd*2，即cwnd呈指数上升。这样慢启动算法逐渐将拥塞窗口增大到预设的慢启动门限ssthresh(slow start threshold)，即cwnd≥ssthresh时，可改用拥塞避免算法。

在一种示例性的实现方式中，拥塞避免算法的实现方式为每经过一个RTT，发送端的cwnd增加一个MSS，而不再是加倍，使cwnd按线性规律减缓增长，而当出现一次超时(网络拥塞)时，则令慢启动门限ssthresh等于当前cwnd的一半(但不能小于2)，且此时cwnd又变为1。综上，当cwnd小于ssthresh时，使用慢启动算法；当cwnd大于ssthresh时，停止使用慢启动算法，而改用拥塞避免算法；当cwnd等于ssthresh时，既可使用慢启动算法，也可使用拥塞避免算法(正常选用拥塞避免)。需要说明的是，可以根据实际数据传输场景、音频的采样频率和采样位数等方面，适应性调控rwnd和cwnd的取值，本申请实施例不作具体限定。

在一种示例性的实现方式中，本发明还提供一种计算机存储介质，该计算机存储介质可存储有程序，该程序执行时可包括本申请实施例涉及的虚拟遥控器控制方法的程序步骤。其中，计算机存储介质可为磁碟、光盘、只读存储记忆体(英文：Read-Only Memory，简称ROM)或随机存储记忆体(英文：Random Access Memory，简称RAM)等。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (10)

1.一种显示设备，其特征在于，包括：

通信器，用于与终端设备通信连接，所述通信连接包括并行的第一通信通道和第二通信通道，所述终端设备内配置有虚拟遥控器；

控制器，用于执行：

接收终端设备通过所述第一通信通道发送的触发操作消息，以及，接收终端设备通过所述第二通信通道发送的操作指令数据；其中，所述触发操作消息和所述操作指令数据是终端设备根据用户对所述虚拟遥控器的操作而生成；

响应于所述触发操作消息，启动处理线程，并控制处理线程按照所述操作指令数据执行动作。

2.根据权利要求1所述的显示设备，其特征在于，所述处理线程包括按键处理线程和语音处理线程，则所述控制器被配置为按照如下方式启动处理线程：

根据所述触发操作消息，确定所述虚拟遥控器端的操作类型；

若所述操作类型为对虚拟遥控器上常规按键的按击操作，则启动所述按键处理线程，并对所述按键处理线程进行初始化；

若所述操作类型为对虚拟遥控器上语音键的长按操作，则启动所述语音处理线程，并对所述语音处理线程进行初始化。

3.根据权利要求2所述的显示设备，其特征在于，所述控制器被配置为按照如下方式执行动作：

控制所述按键处理线程读取所述操作指令数据指示的按键键值；

控制所述按键处理线程执行与所述按键键值匹配的动作。

4.根据权利要求2所述的显示设备，其特征在于，所述显示设备还包括显示器，所述控制器被配置为按照如下方式执行动作：

在启动所述语音处理线程时，同步开启显示设备的禁音功能，以暂停音频输出；

控制显示器显示聆听语音图标，控制所述语音处理线程接收所述操作指令数据携带的音频流；

在接收到终端设备通过所述第一通信通道发送的释放语音键消息时，控制显示器将所述聆听语音图标变更为语音处理图标，以及停止接收所述操作指令数据；

控制所述语音处理线程对已完整接收的音频流进行解析处理，执行与所述音频流指示的语音操作意图相匹配的动作，并在动作执行完成时，取消显示所述语音处理图标以及关闭所述禁音功能。

5.根据权利要求4所述的显示设备，其特征在于，所述控制器还用于执行：

在接收到所述释放语音键消息之前，若检测到与终端设备的通信连接断开，则控制所述语音处理线程停止接收及处理所述音频流，取消显示所述聆听语音图标；

控制显示器显示用于提示显示设备与终端设备已断开通信连接的提示信息。

6.一种终端设备，其特征在于，包括：

通信器，用于与显示设备通信连接，所述通信连接包括并行的第一通信通道和第二通信通道；

控制器，所述控制器内配置有虚拟遥控器，所述控制器用于执行：

在接收到用户对所述虚拟遥控器的操作时，生成触发操作消息；

将所述触发操作信息通过所述第一通信通道发送给显示设备，以及，将操作指令数据通过第二通信通道发送给显示设备；所述触发操作消息用于指示显示设备启动处理线程，执行与所述操作指令数据匹配的动作。

7.根据权利要求6所述的终端设备，其特征在于，所述终端设备还包括音频采集器，所述控制器还用于执行：

若所述操作为用户对虚拟遥控器上常规按键的按击操作，则所述操作指令数据包括按键键值；

若所述操作为用户对虚拟遥控器上语音键的长按操作，则所述操作指令数据包括所述音频采集器采集的音频流。

8.根据权利要求7所述的终端设备，其特征在于，所述控制器还用于执行：

在接收到用户对虚拟遥控器上语音键的长按操作时，启动计时；

若在预设时长内接收到用户松开所述语音键的操作时，则生成释放语音键消息，并将所述释放语音键消息通过所述第一通信通道发送给显示设备；

若在计时时间达到所述预设时长时，始终未接收到用户松开所述语音键的操作，则自动触发对所述语音键的释放操作，并生成释放语音键消息，将所述释放语音键消息通过所述第一通信通道发送给显示设备。

9.一种虚拟遥控器控制方法，其特征在于，包括：

显示设备接收终端设备通过第一通信通道发送的触发操作消息，以及，接收终端设备通过第二通信通道发送的操作指令数据；其中，所述触发操作消息和所述操作指令数据是终端设备根据用户对虚拟遥控器的操作而生成；

显示设备响应于所述触发操作消息，启动处理线程，并控制处理线程按照所述操作指令数据执行动作。

10.一种虚拟遥控器控制方法，其特征在于，包括：

终端设备在接收到用户对虚拟遥控器的操作时，生成触发操作消息；

终端设备将所述触发操作信息通过第一通信通道发送给显示设备，以及，将操作指令数据通过第二通信通道发送给显示设备；所述触发操作消息用于指示显示设备启动处理线程，执行与所述操作指令数据匹配的动作。