CN117616486A - 控制方法及控制设备 - Google Patents

Abstract

本申请公开了一种控制方法及控制设备，所述控制设备包括：显示器，用于显示用户界面；用户输入接口，用于接收输入信号；控制器，分别与所述显示器和所述用户接口连接，其被配置为：获取设备列表，以控制显示器显示所述设备列表；经由所述用户接口接收选中设备列表中的设备控件的用户操作命令；向多个设备广播携带有所述设备控件对应设备的设备标识的广播包，以使所述设备基于设备标识来发送蓝牙配对请求；以及响应于接收到来自所述设备的蓝牙配对请求，与所述设备经由蓝牙进行配对。

Description

控制方法及控制设备

相关申请的交叉引用

本申请要求于2021年7月20日提交的申请号为202110817639.9、于2021年7月15日提交的申请号为202110799098.1、以及于2021年9月7日提交的申请号为202111041999.0的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本申请实施例涉及智能家电技术领域，尤其涉及一种控制方法及控制设备。

背景技术

相关技术中，用户利用控制设备可以操控电子设备，例如，控制设备可以为遥控器，电子设备可以为电视，用户利用遥控器操控电视以达到切换节目的目的。在利用控制装置操控设备之前，需要将控制设备和电子设备进行蓝牙配对，配对成功后方可使用控制设备操控该电子设备。但是，相关技术中控制设备和电子设备进行蓝牙配对时，需要用户根据设备上的提示进行蓝牙配对，蓝牙配对过程比较复杂，给用户带来不好的使用体验。

此外，随着语音交互技术的发展，越来越多的诸如家用终端设备的电子设备中都具备语音交互功能。利用语音交互功能，用户可语音控制这些终端设备执行相应的操作，例如启动、停止运转等。针对手持控制设备的语音交互，可以使用抬起唤醒的方式来触发手持控制设备开启语音交互功能。例如，用户从桌面上拿起遥控器，就可以触发遥控器的语音交互功能。

然而，在抬起唤醒的方式中，如果用户仅仅是拿起手持控制设备，而没有语音交互意图。此时如果用户同时在说话，则易造成误收音的情况发生，导致用户使用体验较差。

发明内容

本申请提供了一种控制设备，包括：

显示器，用于显示用户界面；

用户接口，用于接收输入信号；

控制器，分别与所述显示器和所述用户接口连接，其被配置为：

获取设备列表，以控制显示器显示所述设备列表；

经由所述用户接口接收选中设备列表中的设备控件的用户操作命令；

向多个设备广播携带有所述设备控件对应设备的设备标识的广播包，以使所述设备基于设备标识来发送蓝牙配对请求；以及

响应于接收到来自所述设备的蓝牙配对请求，与所述设备经由蓝牙进行配对。

本申请提供了一种用于控制控制设备和设备之间进行配对的方法，包括：

获取设备列表，以控制显示器显示所述设备列表；

接收选中设备列表中的设备控件的用户操作命令；

向多个设备广播携带有所述设备控件对应设备的设备标识的广播包，以使所述设备基于设备标识来发送蓝牙配对请求；

响应于接收到来自所述设备的蓝牙配对请求，与所述设备经由蓝牙进行配对。

附图说明

下面将参照附图对本申请的实施例进行描述，其中：

图1示出了根据一些实施例的显示设备的使用场景；

图2示出了根据一些实施例的控制设备100的硬件配置框图；

图3示出了根据一些实施例的显示设备200的硬件配置框图；

图4示出了根据一些实施例的显示设备200中软件配置图；

图5示出了根据一些实施例的终端设备的结构示意图；

图6示出了根据一些实施例的终端设备的软件架构示意图；

图7中示例性示出了根据一些实施例的一种用于控制控制设备和设备进行配对的方法的流程图；

图8中示例性示出了移动终端的一种用户界面示意图；

图9中示例性示出了移动终端的又一种用户界面示意图；

图10中示例性示出了移动终端的另一种用户界面示意图；

图11示例性示出了根据一些实施例的语音交互原理的示意图；

图12示例性示出了根据一些实施例的控制设备的收音系统框架示意图；

图13示例性示出了根据一些实施例中控制设备的声源角度计算方法示意图；

图14示例性示出了根据一些实施例中控制设备声源角度场景示意图；

图15示例性示出了根据一些实施例的一种控制设备的收音方法信令图；

图16示出了根据一些实施例的终端设备的用户界面示意图；

图17示出了一些实施例中显示设备中设置身份认证模式的示意图；

图18示出了一些实施例中显示设备和终端设备进行通信连接的流程图；

图19示出了一些实施例中终端设备的终端界面的示意图；

图20示出了一些实施例中终端设备和服务器的交互流程图；

图21示出了一些实施例中服务器获取控制指令集合的流程图；

图22示出了一些实施例中终端设备的终端界面的示意图；

图23a示出了一些实施例中终端设备的一个控制界面的示意图；

图23b示出了一些实施例中终端设备的又一个控制界面的示意图；

图24示出了一些实施例中终端设备控制显示设备的流程图；

图25示出了通信控制方法的一个实施例的流程示意图；

图26示出了通信控制方法的一个实施例的流程示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例进行描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。

需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施 方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

图1为根据实施例中显示设备的使用场景的示意图。如图1所示，诸如显示设备的电子设备200还与服务器400进行数据通信，用户可通过终端设备300或控制设备100操作显示设备200。另外，控制设备100还可以操控其他设备，例如冰箱、空调、洗衣机、家用电灯等电子设备。

在一些实施例中，控制设备100可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式等，通过无线或其他有线方式来控制显示设备200。其中，无线方式可以是直连和非直连，可以是经过路由的，也可以是不经过路由的。用户可以通过遥控器上按键，语音输入、控制面板输入等输入用户指令，来控制显示设备200。

设备在一些实施例中，终端设备300可以包括移动终端、平板电脑、计算机、笔记本电脑，AR/VR设备等中的任意一种。

在一些实施例中，也可以使用终端设备300以控制显示设备200。例如，使用在智能设备上运行的应用程序控制显示设备200。该应用程序通过配置可以在与智能设备关联的屏幕上，在直观的用户界面(UI)中为用户提供各种控制。

在一些实施例中，终端设备300和显示设备200能够进行数据通信。

在一些实施例中，显示设备200还可以采用除了控制设备100和终端设备300之外的方式进行控制，例如，可以通过显示设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制，也可以通过显示设备200设备外部设置的语音控制设备来接收用户的语音指令控制。

图2为根据一些实施例中控制设备100的配置框图。如图2所示，控制设备100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制设备100可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起用用户与显示设备200之间交互中介作用。

在一些实施例中，通信接口130用于和外部通信，包含WIFI芯片，蓝牙模块，NFC或可替代模块中的至少一种。

在一些实施例中，用户输入/输出接口140包含麦克风，触摸板，传感器，按键或可替代模块中的至少一种。

图3为根据一些实施例的显示设备200的硬件配置框图。

在一些实施例中，显示设备200包括调谐解调器210、通信器220、检测器230、外部设备接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。

在一些实施例中控制器包括处理器，视频处理器，音频处理器，图形处理器，RAM，ROM，用于输入/输出的第一接口至第n接口。

设备在一些实施例中，通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如：通信器可以包括Wifi模块，蓝牙模块，有线以太网模块等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。显示设备200可以通过通信器220与外部控制设备100或服务器400建立控制信号和数据信号的发送和接 收。

在一些实施例中，用户输入接口，可用于接收控制设备100(如：红外遥控器等)的控制信号。

在一些实施例中，检测器230用于采集外部环境或与外部交互的信号。例如，检测器230包括光接收器，用于采集环境光线强度的传感器；或者，检测器230包括图像采集器，如摄像头，可以用于采集外部环境场景、用户的属性或用户交互手势，再或者，检测器230包括声音采集器，如麦克风等，用于接收外部声音。

在一些实施例中，外部设备接口240可以包括但不限于如下：高清多媒资接口接口(HDMI)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(CVBS)、USB输入接口(USB)、RGB端口等任一个或多个接口。

在一些实施例中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。

在一些实施例中，控制设备100还包括显示器。

参见图4，在一些实施例中，将系统分为四层，从上至下分别为应用程序(Applications)层(简称“应用层”)，应用程序框架(Application Framework)层(简称“框架层”)，安卓运行时(Android runtime)和系统库层(简称“系统运行库层”)，以及内核层。

图5为本申请在一些实施例中示出的终端设备300的硬件配置框图。

应该理解的是，图5所示终端设备300仅是一个范例，并且终端设备300可以具有比图5中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。

如图5所示，终端设备300包括：射频(radio frequency，RF)电路310、存储器320、显示单元130、摄像头340、传感器350、音频电路360、无线保真(Wireless Fidelity，Wi-Fi)模块370、诸如处理器380的控制器、蓝牙模块381、以及电源390等部件。

图6是本申请根据一些实施例示出的终端设备300的软件结构框图。其中，分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和系统库，以及内核层。应用程序层可以包括一系列应用程序包。

如图6所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。

本申请实施例中的终端设备300可以为手机、平板电脑、可穿戴设备、笔记本电脑以及电视等。上面的显示设备可以是终端设备的一种例子。

在本申请的实施例中，为了进行操控，控制设备需要与家电设备建立一定通信链接以进行信号交互，也就是说，控制设备要与家电设备进行通信配对。本申请实施例中，在用户实现操控设备的过程中，根据本申请实施例的方法可以包括：获取设备列表，以控制显示器显示所述设备列表；接收选中设备列表中的设备控件的用户操作命令；向多个设备广播携带有所述设备控件对应设备的设备标识的广播包，以使所述设备基于设备标识来发送蓝牙配对请求；响应于接收到来自所述设备的蓝牙配对请求，与所述设备 经由蓝牙进行配对。从而控制设备和设备可以自动完成蓝牙配对，使用户对控制设备和设备的配对过程无感知，提高用户的使用体验。

图7中示例性示出了根据一些实施例的用于控制控制设备和设备进行配对的方法的流程图。如图7所示，

在步骤S100，控制设备接收显示设备列表的指令，来判断控制设备当前是否联网。一些实施例中，所述显示设备列表的指令，可以通过控制设备开机生成。一些实施例中，所述控制设备中安装预设应用，通过打开预设应用，生成显示设备列表的指令。由于设备列表需要从服务器中下发，所以本申请实施例中，在获取设备列表之前，需要判断控制设备当前是否联网，所述联网是指控制设备接入网络，可以通过网络与服务器连接。

如果为是，则在步骤S200，控制设备获取设备列表，并控制显示器显示设备列表。需要说明的是，用户在控制设备上可以登录用户账号，所述设备列表中包括利用用户账号绑定的所有设备，所述用户账号绑定的设备可以理解为待被控制设备操控的设备。

一些实施例中，所述控制设备获取设备列表，并控制显示器显示设备列表的步骤包括：所述控制设备发送获取设备列表的请求到服务器，该请求中携带有用户账号，服务器利用用户账号查找到对应的设备列表，并下发所述设备列表到控制设备，所述控制设备接收服务器下发的设备列表，并控制显示器显示所述设备列表。

一些实施例中，所述设备列表中包括设备的设备标识，该设备标识与设备是一一对应的关系，每个设备存在唯一的设备标识。示例性的，所述设备标识可以由数字组成，所述设备标识还可以通过字母组成，另外，所述设备标识还可以通过数字和字母共同组成，本申请实施例中，并不限制所述设备标识的具体形式。

否则(即所述控制装置控制设备未联网)，在S300，控制显示器显示未联网提示。用户可以根据该提示，将控制设备联网。当控制设备联网时，获取设备列表，并控制显示器显示设备列表。本申请实施例中，所述未联网提示可以通过文字表示，也可以通过图片表示，本申请中并不限制所述未联网提示的形式。一些实施例中，所述控制设备上设置有提示灯，所述未联网提示也可以通过提示灯完成，示例性的，可以控制提示灯颜色为红色，还可以通过控制提示灯闪烁完成。

下面通过一个示例，说明如何将用户账号和设备绑定。

图8中示出移动终端的用户界面。如图8所示，在该用户界面上设置有添加设备控件501，用户点击添加设备控件，页面跳转到如图9所示的用户界面。

一些实施例中，当显示器为触摸屏时，用户可以触碰显示界面上与添加设备控件对应的位置，实现点击添加设备控件的操作。另一些实施例中，所述控制设备上设置有操作按键，示例性的，所述操作按键包括上键、下键、左键、右键和确认键。用户可以通过按压操作按键，将焦点移动到添加设备控件上，并按压控制设备上的确认键，完成点击添加设备控件的操作。

在图9所示的用户界面中显示有设备分类，例如，空调、冰冷、洗衣机、智能门锁等分类。点击需要添加设备对应的分类。当用户选择空调分类时，用户界面上显示有空调子分类，包括不同品牌的空调以及不同用途的空调。一些实施例中，当点击冰箱子分类，用户界面跳转，如图10所示。在图10所示的用户界面中显示有冰箱子分类下的所有冰箱，同时，显示有冰箱对应的mac地址，示例性的，智能冰箱1的mac地址为228c7ffb，智能 冰箱2的mac地址为006b2a7b。用户可以根据自身需要，点击对应的冰箱控件，并按压用户界面中设置的下一步控件，发送绑定指令。当对应的冰箱接收该绑定指令，并在绑定成功后，将冰箱对应的设备标识存储在设备列表中。

本申请实施例中，生成设备列表也采用其他方式，在此不做限制，示例性的，所述设备列表可以为预先存储的内容，将预先设定的可以被控制设备操控的设备的设备标识存储在设备列表中。

接下来，在步骤S400，控制设备可以响应于接收到选中设备列表中的设备控件的用户操作命令，广播携带有设备控件对应设备的设备标识的广播包。需要说明的是，本申请实施例中用户可以直接选择希望操控的设备，并选中该设备的设备控件，在实现利用控制设备操控设备的过程中，实现控制设备和设备的配对，无需额外操作，提高用户的使用体验。

一些实施例中，所述控制设备包括蓝牙服务，利用蓝牙服务通过蓝牙广播(BLE广播)的方式广播携带有设备标识的广播包。

一些实施例中，在用户界面上显示的设备列表中包括设备控件，该设备控件可以被配置焦点。一些实施例中，显示器为触摸屏，识别到用户在显示器的触碰位置位于设备控件在用户界面上的对应位置上，可以完成选中设备列表中的设备控件的用户操作。一些实施例中，通过控制设备上的操作按键完成选中设备控件的用户操作。

在步骤S500，接收到广播包的设备可以解析该广播包以确定是否发送蓝牙配对请求到控制设备。一些实施例中，任何系统为安卓系统的设备均可以接收到广播包。

一些实施例中，所述设备包括蓝牙服务，通过蓝牙服务解析所述广播包以确定是否发送蓝牙配对请求到控制设备。

在一些实施例中，可以基于设备标识来确定是否发送蓝牙配对请求。

一些实施例中，所述设备解析广播包用于确定是否发送蓝牙配对请求到控制设备的步骤包括：

解析所述广播包，得到所述广播包中的设备标识。本申请实施例中所述广播包中包括用户选中设备列表中的设备控件对应设备的设备标识。

判断所述广播包中的设备标识与接收到广播包的设备的设备标识是否相同。由于所述广播包被广播到多个设备，所以每个设备均需要判断广播包中的设备标识与接收到广播包的设备的设备标识是否相同，确定是否需要处理该广播包。

如果相同，则发送所述蓝牙配对请求到控制设备。本申请实施例中，如果相同，则设备对该广播包进行处理，发送蓝牙配对请求到控制设备。

本申请实施例中，所述设备包括蓝牙服务，所述蓝牙服务被配置为发送蓝牙配对请求到控制设备。

如果不相同，则不发送所述蓝牙配对请求到控制设备。本申请实施例中，如果广播包中的设备标识与接收到广播包的设备的设备标识不同，则设备不对该广播包的内容进行处理，不发送蓝牙配对请求到控制设备。

本申请实施例中，虽然多个设备均能接收到广播包，但是实际上该广播包只为了发送到广播包携带的设备标识的设备，当广播包中的设备标识与接收到该广播包的设备的设备标识相同时，设备发送蓝牙配对请求到控制设备。

一些实施例中，所述设备发送蓝牙配对请求到控制设备。最后，在步骤S600，控制设 备接收该蓝牙配对请求，并与该设备执行配对。所述方法还包括：如果未配对成功，重复执行发送携带有设备控件对应设备的设备标识的广播包到设备列表中的所有设备的步骤，直至重复执行次数达到预设次数。

本申请实施例中，为了避免由于特殊情况导致控制设备和设备的配对失败，影响用户通过控制设备操控设备。当未配对成功时，重复执行发送广播包的操作，直至执行次数达到预设次数，这样可以提高本申请实施例的容错率，避免因为偶发事件，影响用户利用控制设备操控设备，示例性的，所述预设次数可以为三次。

一些实施例中，所述方法还包括：如果重复执行广播携带有设备控件对应设备的设备标识的广播包的步骤后，控制显示器显示配对异常提示。

本申请实施例中，所述配对异常提示可以通过文字表示，也可以通过图片表示，本申请中并不限制所述配对异常提示。一些实施例中，所述控制设备上设置有提示灯，所述配对异常提示也可以通过提示灯完成，示例性的，可以控制提示灯颜色为红色，还可以通过控制提示灯闪烁完成。

一些实施例中，所述方法还包括：如果配对成功，则控制设备与设备建立连接，用于操控设备。本申请实施例中，当控制设备和设备蓝牙配对成功，此时控制设备可以操控设备，示例性的，当控制设备和冰箱蓝牙配对成功，用户可以通过控制设备调节冰箱内部温度等。可以理解的是，本申请实施例在实现控制设备操作设备的过程中，自动完成了控制设备和设备的蓝牙配对过程，用户对该蓝牙配对过程无感知，提高了用户的使用体验。

在一些实施例中，还提供了用于实现上述控制方法的控制设备，控制设备可以包括：显示器，用于显示用户界面；用户接口，用于接收输入信号；控制器，分别与所述显示器和所述用户接口连接，其被配置为：获取设备列表，以控制显示器显示所述设备列表；经由所述用户接口接收选中设备列表中的设备控件的用户操作命令；向多个设备广播携带有所述设备控件对应设备的设备标识的广播包，以使所述设备基于设备标识来发送蓝牙配对请求；以及响应于接收到来自所述设备的蓝牙配对请求，与所述设备经由蓝牙进行配对。

上述实施例中，一种控制设备和设备的配对方法及控制设备，本申请实施例在用户实现操控设备的过程中，控制设备和设备自动完成蓝牙配对，使用户对控制设备和设备的配对过程无感知，提高用户的使用体验。

本申请实施例的设备还可以应用于语音识别。为清楚说明本申请的实施例，下面结合图11对本申请实施例提供的一种语音识别网络架构进行描述。

图11为本申请实施例提供的一种语音识别网络架构示意图。参见图11，智能设备用于接收输入的信息以及输出对该信息的处理结果。语音识别服务设备为部署有语音识别服务的电子设备，语义服务设备为部署有语义服务的电子设备，业务服务设备为部署有业务服务的电子设备。这里的电子设备可包括服务器、计算机等，这里的语音识别服务、语义服务(也可称为语义引擎)和业务服务为可部署在电子设备上的web服务，其中，语音识别服务用于将音频识别为文本，语义服务用于对文本进行语义解析，业务服务用于提供具体的服务如墨迹天气的天气查询服务、QQ音乐的音乐查询服务等。在一个实施例中，图23所示架构中可存在部署有不同业务服务的多个实体服务设备，也可以一个或多个实体服务设备中集合一项或多项功能服务。

一些实施例中，下面对基于图11所示架构处理输入智能设备的信息的过程进行举例描述，以输入智能设备的信息为通过语音输入的查询语句为例，上述过程可包括如下三个过程：

[语音识别]

智能设备可在接收到通过语音输入的查询语句后，将该查询语句的音频上传至语音识别服务设备，以由语音识别服务设备通过语音识别服务将该音频识别为文本后返回至智能设备。在一个实施例中，将查询语句的音频上传至语音识别服务设备前，智能设备可对查询语句的音频进行去噪处理，这里的去噪处理可包括去除回声和环境噪声等步骤。

[语义理解]

智能设备将语音识别服务识别出的查询语句的文本上传至语义服务设备，以由语义服务设备通过语义服务对该文本进行语义解析，得到文本的业务领域、意图等。

[语义响应]

语义服务设备根据对查询语句的文本的语义解析结果，向相应的业务服务设备下发查询指令以获取业务服务给出的查询结果。智能设备可从语义服务设备获取该查询结果并输出。作为一个实施例，语义服务设备还可将对查询语句的语义解析结果发送至智能设备，以由智能设备输出该语义解析结果中的反馈语句。

需要说明的是，图11所示架构只是一种示例，并非对本申请保护范围的限定。本申请实施例中，也可采用其他架构来实现类似功能，例如：三个过程全部或部分可以由智能终端来完成，在此不做赘述。

在一些实施例中，图11所示的智能设备可为显示设备，如智能电视，语音识别服务设备的功能可由显示设备上设置的声音采集器和控制器配合实现，语义服务设备和业务服务设备的功能可由显示设备的控制器实现，或者由显示设备的服务器来实现。

随着语音交互技术的发展，越来越多的家用终端设备中都具备语音交互功能。利用语音交互功能，用户可语音控制这些终端设备执行相应的操作，例如启动、停止运转等。

目前针对控制设备的语音交互，通常是需要用户按压按键，或者需要用户输入唤醒词，触发控制设备开启语音交互功能。为了提升用户体验，除了这两种方式，还定义了一种抬起唤醒的方式。例如，用户从桌面上拿起遥控器，就可以触发遥控器的语音交互功能。

然而，在抬起唤醒的方式中，如果用户仅仅是拿起控制设备，而没有语音交互意图。此时如果用户同时在说话，则易产生误收音的情况，导致用户使用体验较差。

图12为控制设备的收音系统框架示意图。为了解决上述问题，如图12所示，根据本申请实施例的的控制设备可以包括收音系统，该系统包括至少用户层、传感层以及系统层。用户层为用户进行输入操作以输入信号的层级。传感层设置有各类传感器，用于感应用户的操作，将用户的操作转换为相关信号的层级。系统层为接收信号，并根据接收的信号对其他部件执行相关操作的层级。系统层中主要为主芯片，即控制器。系统层中还可以包括存储模块，电源等部件。存储模块可以存储预设参数等信息。

需要说明的是，本申请实施例中的主芯片可以设置在控制设备中，也可以设置在其他被控制设备控制的设备中。例如，控制设备为遥控器时，主芯片可以设置在显示设备中，也可以设置在遥控器中。本申请实施例以主芯片设置在控制设备中进行方案的阐述。另外需要说明的是，本申请提供的控制设备可以为手机、可穿戴设备、AR(Augmented Reality， 增强现实)/VR(Virtual Reality，虚拟现实)设备、平板电脑、笔记本电脑、UMPC(Ultra-mobile Personal Computer，超级移动个人计算机)、上网本、PDA(Personal Digital Assistant，个人数字助理)等任意终端，本申请的实施例对此不作任何限制。

在一些实施例中，在用户层中，用户输入的信息可以包括：拿起控制设备的操作，输入语音。

传感层可以包括声音采集器和抬屏传感器。声音采集器用于采集用户输入的语音信号，抬屏传感器用于检测是否有拿起控制设备的操作。声音采集器可以为麦克风，抬屏传感器可以为加速度传感器。

加速度传感器是一种能够测量加速度的传感器。通常由质量块、阻尼器、弹性元件、敏感元件和适调电路等部分组成。传感器在加速过程中，通过对质量块所受惯性力的测量，利用牛顿第二定律获得加速度值。根据传感器敏感元件的不同，常见的加速度传感器包括电容式、电感式等。本申请实施例采用的加速度传感器不作限制，例如可以采用三轴加速度传感器。

如果控制设备被用户拿起，则能够通过加速度传感器检测到加速度变化。加速度传感器根据加速度变化生成抬屏信号，并将该抬屏信号发送至主芯片。主芯片在接收到抬屏信号后，控制声音采集器启动。声音采集器启动后，开始采集用户输入的语音信号。

在一些实施例中，控制设备还可以包括显示器。主芯片在接收到加速度传感器发送的抬屏信号后，控制显示器点亮屏幕。点亮屏幕的用户界面上可以显示提示语，例如“是否进行语音交互”。

声音采集器采集用户输入的语音信号后，将语音信号发送至主芯片。主芯片根据该语音信号计算用户与控制设备的声源角度。如果用户与控制设备的声源角度在预设声源角度范围之内，则表示用户意图进行语音交互，则对采集的语音信号进行语音识别处理。需要说明的是，语音识别处理过程属于现有技术，本申请不进行详细的阐述。在进行语音识别处理后，再根据识别结果进行意图判断和意图执行的过程也属于现有技术，本申请不进行详细的阐述。

如果用户与控制设备的声源角度不在预设声源角度范围之内，则表示用户没有意图进行语音交互，则不对采集的语音信号进行语音识别处理。

在一些实施例中，声音采集器可以为麦克风阵列，麦克风阵列中包括至少两个麦克风。根据语音信号计算用户与控制设备之间的声源角度，具体为：

图13为声源角度计算方法示意图。在图13中，远场入射信号为用户输入的语音信号，波阵面是指声波传播时，从声源向传播方向形成一个球面。从远距离看，波阵面可以看作为平面，也方便计算。图13中示出p个麦克风1、2…p-2、p-1、p。声源发出的语音信号到达各个麦克风的时间差的计算公式为：

其中，p是麦克风个数，d是相邻两颗麦克风之间的距离，为用户与控制设备之间的声源角度。如图26所示，声源角度具体可以为用户与控制设备的中轴线之间的角度。根据上述公式可以构建矩阵：

其中，x1…xp为麦克风的X坐标值，y1…yp为麦克风的Y坐标值…为声源发出的语音信号到达相邻两颗麦克风的时间差。根据该矩阵，可以得到p个声源角度值。最后，可以利用最小二乘法计算得到最终的声源角度值。具体的计算过程为现有技术，本申请不作详细的阐述。除了上述时间到达差的声源定位方法，本申请实施例还可以采取其他声源定位方法。例如基于高分辨率谱估计等空间中能量谱估计方法。其基本原理是利用空间谱扫描的方式，获得每个角度上对应的接收到的能量大小。进一步将接收到的最大能量的角度，确定为声源到达的角度。

本申请实施例中的预设声源角度范围可以由用户根据经验进行设定。例如，将预设声源角度设定为90°±15°，则如果计算得到的声源角度在90°±15°范围之内，可以确定用户有意图进行语音交互。此时可能是用户拿起控制设备，将控制设备的麦克风放置在用户嘴部正前方的左右偏移不超过15°的位置范围内。如果计算得到的声源角度不在90°±15°范围之内，可以确定用户没有意图进行语音交互。此时可能是用户只是拿起控制设备，但是没有将控制设备的麦克风放置在用户嘴部的正前方得到左右偏移不超过15°的位置范围内。

例如，如图14所示，如果用户在B位置上，则用户在控制设备的正前方，在B位置上声源角度为90°。如果用户在A位置上，用户与控制设备中轴线之间的夹角为10°，则声源角度为90°±10°，可以确定用户意图进行语音交互。如果用户在C位置上，用户与控制设备中轴线之间的夹角为50°，则声源角度为90°±50°，该角度值不在预设声源角度范围内。可以确定用户没有意图进行语音交互。

在一些实施例中，如果确定声源角度在预设声源角度范围之内时，则进一步判断语音活动检测结果是否为结束。如果语音活动检测结果为未结束时，则表示用户还在继续输入语音信号。声音采集器接续采集用户输入的语音信号。主芯片最后根据完整的语音信号进行语音识别处理。如果语音活动检测结果为结束，则表示用户没有继续输入语音信号。主芯片根据当前采集的语音信号进行语音识别处理。

示例性的，用户拿起遥控器后，输入语音信号“打开电视”。遥控器的主芯片判断声源角度在预设声源角度范围之内，即确定用户有语音交互意图。此时用户继续输入语音信号“跳到中央一套”，则此时语音活动检测结果为未结束。声音采集器继续采集用户输入的语音信号，得到完整的语音信号“打开电视，跳到中央一套”。最后对完成的语音信号“打开电视，跳到中央一套”进行语音识别处理。如果在确定用户有语音交互意图之后，用户没有继续输入语音信信号，则此时语音活动检测结果为结束。最后根据当前语音信号“打开电视”进行语音识别处理。

在一些实施例中，如果声源角度不在预设声源角度范围之内，不论语音活动检测结果为未结束还是结束，都停止采集用户输入的语音信号。

在一些实施例中，如果声源角度在预设声源角度范围之内，并且控制设备具有显示器，则最后将对语音信号执行语音识别处理后的结果显示在显示器上。

在一些实施例中，如果声源角度不在预设声源角度范围之内，则在确定不在预设声源 角度范围之内之后，控制显示器的屏幕熄灭。

在一些实施例中，如果诸如处理器的控制器接收到抬屏信号，控制声音采集器启动后，但是声音采集器未采集到语音信号，可以在显示器上显示提示语“请再说一遍”，同时发出警报声提醒用户。如果在预设时间段内声音采集器还未采集到语音信号，则确定用户没有语音交互意图，控制显示器熄灭屏幕。如果在预设时间段内声音采集器采集到语音信号，则确定用户有语音交互意图，则对采集的语音信号进行语音识别处理。

基于上述实施例，本申请还提供一种控制设备的收音方法。如图15所示，在S1501至S1502，用户拿起控制设备，抬屏传感器检测到用户拿起控制设备的操作后，生成抬屏信号，并将抬屏信号发送至处理器。

在S1503，诸如处理器的控制器接收到抬屏信号后，控制声音采集器启动。而在S1504至S1505，声音采集器采集用户输入的语音信号，并将语音信号发送至处理器。

在S1506,处理器根据语音信号计算用户与控制设备之间的声源角度。

接下来，在S1507判断声源角度是否字预设声源角度范围内。如果声源角度在预设声源角度范围之内，则在S1508对语音信号执行语音识别处理。

如果声源角度不在预设声源角度范围之内，则不对语音信号执行语音识别处理。

在一些实施例中，声音采集器为麦克风阵列，麦克风阵列包括至少两个麦克风。根据语音信号计算用户与控制设备之间的声源角度，具体步骤为：

根据相邻两个麦克风之间的距离和相邻两个麦克风接收到语音信号的时间差，计算用户与控制设备之间的声源角度。其中，声源角度为用户与控制设备的中轴线之间的角度

在一些实施例中，如果声源角度在预设声源角度范围之内，继续判断语音活动检测结果是否结束。如果语音活动检测结果为未结束，表示声音采集器仍能继续采集到用户输入的语音信号。则处理器继续接收语音信号，最后对完整的语音信号进行语音识别处理。如果语音活动检测结果为结束，表示声音采集器不能再继续采集到用户输入的语音信号。则处理器对当前的语音信号进行语音识别处理。

在一些实施例中，如果声源角度不在预设声源角度范围之内，则无论语音活动检测结果是否结束，都控制声音采集器停止采集用户输入的语音信号。

在一些实施例中，控制设备还包括显示器。在接收到抬屏传感器发送的抬屏信号时，处理器还控制显示器点亮屏幕。点亮屏幕后，如果声源角度在预设声源角度范围之内，则将对语音信号执行语音识别处理之后的结果显示在显示器上。如果声源角度不在预设声源角度范围之内，则控制显示器熄灭屏幕。

在本申请的实施例中，还可以以终端设备来代替控制器作为控制设备对家电设备实现控制。此外，本申请的实施例的控制设备不仅可以使用红外信号来控制家电设备，还可以采用AIOT(Artificial Intelligence & Internet of Things，人工智能物联网)云端智能控制的方式，通过本申请实施例的云端服务器，来控制家电设备，以实现相应的功能，从而无需组合遥控器来进行控制，提升了用户体验。

通常，终端设备通过向服务器发送数据请求，以从服务器获取对应的数据。例如，向服务器获取媒资信息请求，以从服务器获取媒资信息，这里的媒资信息至少包括媒资标识，例如，还可以包括媒资名称。基于推送功能，用户可以在终端设备(如手机)的媒资平台上选择媒资，通过推送操作将选择的媒资投放到电视或者其他显示设备进行播放。

需要说明的是，终端设备和被推送的显示设备中都安装有播放视频应用，为便于说明，在下述实施例中，将终端设备300中安装的视频播放应用称为第一应用，将显示设备200中安装的视频播放应用命名为第二应用。其中，第二应用可以是系统应用，也可以是第三方应用。

图16是本申请根据一些实施例示出的一种终端设备(例如图1的终端设备300)用户界面示意图。在一些具体实施中，用户通过触摸用户界面上的应用图标可以打开相应的应用程序，或者通过触摸用户界面上的文件夹图标可以打开相应的文件夹。

在本申请的实施例中，分别提供了一种终端设备和服务器。终端设备包括显示单元、通信单元和诸如处理器的控制器。显示单元用于显示终端界面，通信单元用于与显示设备和服务器进行通信连接。终端设备可以是移动终端、笔记本电脑或平板电脑。服务器包括通信器和处理器，通信器被配置为与终端设备和显示设备进行通信连接。

在一些实施例中，用户可以使用终端设备和显示设备进行通信连接，从而实现终端设备和显示设备之间的信息交互。

例如，用户可以操控终端设备从显示设备中下载一些媒资资源，也可以将终端设备中的媒资资源上传至显示设备进行播放。用户还可以利用终端设备发送一些控制指令至显示设备，以控制显示设备实现相应的功能，此时，可以利用终端设备实现遥控器的功能。

在一些实施例中，显示设备可以设置有通信模式。当通信模式关闭时，显示设备不会接收终端设备发送的通信连接请求。此时显示设备不允许终端设备进行通信连接，此时显示设备不会和任何终端设备进行信息交互。当通信模式开启时，显示设备会接收终端设备发送的通信连接请求。此时，显示设备可以允许终端设备和显示设备进行通信连接，从而实现信息交互。用户可以向显示设备输入通信模式开启指令，当处理器接收到通信模式开启指令时，可以控制显示设备进入通信模式。

在一些实施例中，用户可以通过操作遥控器的指定按键，向显示设备发送通信模式开启指令。在实际应用的过程中预先绑定通信模式开启指令与遥控器按键之间的对应关系。例如，在遥控器上设置一个通信模式按键，当用户触控该按键时，遥控器可以发送通信模式开启指令至处理器，此时处理器控制显示设备进入通信模式。当用户再次触控该按键时，处理器可以控制显示设备退出通信模式。

在一些实施例中，也可以预先绑定通信模式指令与多个遥控器按键之间的对应关系，当用户触控与通信模式指令绑定的多个按键时，遥控器发出通信模式指令。在一可行性实施例中，通信模式指令绑定的按键依次为方向键(左、下、左、下)，即当用户在预设时间内连续触控按键(左、下、左、下)的情况下，遥控器才发送通信模式指令至处理器。采用上述绑定方法，可以避免通信模式指令由于用户的误操作而发出。本申请实施例仅是示例性的提供几种通信模式指令与按键之间的绑定关系，在实际应用的过程中可以根据用户的习惯设定通信模式指令与按键之间的绑定关系，在此不做过多的限定。

在一些实施例中，用户可以使用显示设备的声音采集器，例如麦克风，通过语音输入的方式，向显示设备发送通信模式指令，以控制显示设备进入通信模式。显示设备中可以设置有智能语音系统，智能语音系统可以对用户的语音进行识别，以提取用户输入的指令内容。用户可以通过麦克风输入预设的唤醒词，从而启动智能语音系统，从而处理器可以对用户输入的指令做出响应。并在一定时间内输入通信模式指令，使得显示设备进入通信 模式。例如，用户可以输入“某某同学”，以启动智能语音系统。再输入“进入通信模式”，实现向显示设备发送通信模式指令。

还可以在显示设备的UI界面中设置通信模式选项，当用户点击该选项时，可以控制显示设备进入或退出通信模式。

在一些实施例中，当显示设备处于通信模式下，考虑到安全性，还可以进一步设置身份认证模式。当身份认证模式关闭时，显示设备不会对终端设备进行身份认证，此时终端设备可以直接和显示设备进行通信连接。即当终端设备向显示设备发送通信连接请求时，显示设备可以不对通信连接请求进行验证，从而直接和终端设备进行通信连接。

当身份认证模式开启时，显示设备会对终端设备进行身份认证。即当显示设备接收到终端设备发送的通信连接请求时，会对通信连接请求进行验证，当验证通过时，允许通信连接请求，从而和终端设备进行通信连接。

图17为一些实施例中显示设备中设置身份认证模式的示意图。其中，当用户选择开启通信模式时，可以进一步选择开启身份认证模式或者关闭身份认证模式。

图18为一些实施例中显示设备和终端设备进行通信连接的流程图。

在一些实施例中，当显示设备处于通信模式下，终端设备可以和显示设备进行通信交互。在步骤S1801，终端设备需要将通信连接请求发送至显示设备，显示设备进一步可以确定是否要与终端设备进行通信连接。

在一些实施例中，通信连接请求可以是搜索指令。终端设备可以发送搜索指令至网络中，具体可以发送搜索指令至局域网的组播地址。

局域网中所有的设备通过组播地址均可以接收到该搜索指令。因此，当终端设备和显示设备接入到一个局域网络中时，显示设备可以从组播地址中获取到搜索指令。当显示设备获取到搜索指令时，则可以认为终端设备发送了通信连接请求。

在步骤S1802至S1803，显示设备获取到该通信连接请求后，显示设备确定自身的网络信息和物理地址，并可以将自身的网络信息发送至终端设备。例如，显示设备可以将Location URL(uniform resource locator，统一资源定位符)发送至终端设备，UPL中可以包括显示设备的IP地址。

显示设备还可以将自身的物理地址(即MAC地址)发送至终端设备，MAC地址用于标识显示设备的网卡。

在步骤S1804，终端设备在接收到显示设备发送的网络信息以及物理地址后，可以根据网络信息和物理地址生成设备信息获取请求。其中，设备信息获取请求用于获取显示设备的设备信息。并在S1805终端设备可以将设备信息获取请求发送至显示设备。

在一些实施例中，在接收到设备信息获取请求后，显示设备可以将自身的设备信息发送给终端设备。同时，显示设备可以允许终端设备发送的通信连接请求，即允许终端设备和显示设备进行通信交互。进一步的，显示设备可以和终端设备建立通信连接。

终端设备在接收到显示设备发送的设备信息时，即实现了与显示设备的通信连接，此时，终端设备可以和显示设备进行通信交互。例如，终端设备可以向显示设备发送一些控制指令，以使显示设备实现相应的功能。

显示设备的设备信息可以包括DeviceId(设备ID)、品牌名称、型号名称和FeatureCode(特征代码)等信息。其中，设备ID表示显示设备的ID信息，是每个显示设备的唯一标 识属性。品牌名称以及型号名称为显示设备的出厂参数，一般是固定的名称。

在一些实施例中，用户可以通过将终端设备和显示设备进行绑定关联，从而实现将终端设备和显示设备建立通信连接。

在一些实施例中，用户可以使用终端设备直接搜索局域网中的所有显示设备。图19为一些实施例中终端设备的终端界面的示意图。

终端设备中可以包括“连接设备”控件，用户可以通过点击“连接设备”控件，以指示终端设备扫描局域网中可连接的显示设备，同时触发进入对应的设备列表页面。当显示出设备列表页面时，用户可以该页面中选择要连接的显示设备。

当检测到用户点击某个显示设备后，终端设备可以向该显示设备发送设备信息获取请求。在接收到设备信息获取请求后，显示设备可以将自身的设备信息发送给终端设备。同时，显示设备可以和终端设备进行绑定关联，即建立通信连接。

在一些实施例中，用户还可以在终端设备中登录自己的账号。当用户使用终端设备和某个显示设备绑定关联后，用户的账号也和该显示设备进行了绑定关联。

在一些实施例中，当用户使用终端设备和显示设备建立通信连接时，还可以采用不同的通信连接类型。

用户可以利用网络直接将终端设备和显示设备进行绑定关联，从而实现终端设备和显示设备的通信连接。终端设备可以直接在局域网中搜索显示设备，也可以将搜索指令发送至局域网中。例如，当显示设备为AIOT设备时，可以采用AIOT网络连接方式，从而实现终端设备和显示设备的通信连接。本申请实施例中将这些网络连接的方式设为第一类通信连接。

用户也可以采用红外连接的方式将终端设备和显示设备进行绑定关联，实现终端设备和显示设备的通信连接。终端设备可以向显示设备发射红外信号，显示设备再将红外信号转换为电信号，并进一步进行解码，解调出相应的信息，从而使得显示设备可以与终端设备建立通信连接。进一步的，终端设备可以得到显示设备的设备信息。本申请实施例中将红外连接的方式设为第二类通信连接。

在一些实施例中，当检测到终端设备与显示设备建立通信连接时，用户可以使用终端设备对显示设备进行控制。此时，终端设备可以起到遥控器的作用。

终端设备可以控制显示单元中显示控制界面，控制界面中包括多个用于控制显示设备的控制指令。当用户点击控制界面中的某个控制指令时，终端设备可以将该控制指令发送至显示设备，以使显示设备实现相应的功能。

需要说明的是，当终端设备和显示设备采用AIOT云端智能控制的方式进行交互时，由于AIOT能够控制的功能有限，因此还需要在终端设备的控制界面中整合一些红外连接时的控制指令，从而使得终端设备可以完全控制显示设备，而不需要再利用遥控器进行操作，以提升用户的体验性。

图20示出了一些实施例中终端设备和服务器的交互流程图。

在一些实施例中，在S2001，当检测到终端设备与某个显示设备建立通信连接时，处理器可以获取该显示设备的设备信息。同时，处理器还可以进一步获取终端设备和显示设备进行通信连接的通信连接信息。通信连接信息可以包括终端设备和显示设备的通信连接类型。还可以包括显示设备网络信息以及物理地址。

具体可以判断通信连接类型是第一类通信连接或者第二类通信连接。

在确定通信连接信息和显示设备的设备信息后，在S2002处理器可以控制通信单元，将通信连接信息和设备信息发送至服务器，从而进一步确定显示设备当前能够支持的控制指令。

在一些实施例中，在接收到终端设备发送的通信连接信息和设备信息后，在S2003服务器可以获取控制指令集合。控制指令集合中包括显示设备与终端设备通信连接时所支持的所有控制指令。并且在S2004至S2006，终端设备可以与服务器进行交互以获得控制指令集合，并根据该控制指令集合生成控制界面。

具体的，服务器的控制器可以根据通信连接信息和设备信息获取控制指令集合。图21为一些实施例中服务器获取控制指令集合的流程图。

需要说明的是，当显示设备和终端设备的通信连接类型不同时，显示设备能够支持的控制指令也可能不同。

当显示设备和终端设备采用第一类通信连接的方式进行通信连接时，即终端设备利用AIOT云端智能控制的方式对显示设备进行控制时，终端设备可以向显示设备发送第一类控制指令，即AIOT控制指令，也可以向显示设备发送第二类控制指令，即红外控制指令。此时，在第一类通信连接的方式下，显示设备可以支持两种控制指令。

当显示设备和终端设备采用第二类通信连接的方式进行通信连接时，即终端设备利用红外控制的方式对显示设备进行控制时，终端设备只能向显示设备发送第二类控制指令，即红外控制指令，但是不能发送第一类控制指令。此时，显示设备仅仅支持第二类控制指令，而不支持第一类控制指令。

因此，服务器需要根据通信连接信息确定显示设备支持的控制指令。具体的，控制器可以对显示设备和终端设备的通信连接类型进行检测。

在一些实施例中，如果检测到通信连接类型为第一类通信连接，说明显示设备在当前的通信连接情况下，既支持第一类控制指令，又支持第二类控制指令。此时，处理器可以在预设的指令数据库中获取显示设备支持的所有第一类控制指令和所有第二类控制指令，即显示设备能够支持的所有的控制指令。

需要说明的是，服务器中预先设置有一个指令数据库。指令数据库中存储有每个显示设备支持的所有控制指令。

显示设备可以支持两种控制指令：AIOT控制指令和红外控制指令。其中，红外控制指令是传统遥控器可以支持的指令。一般来说，每个红外控制指令对应显示设备的一次操作，实时控制性较强，但是红外控制指令不能支持一些较为复杂的功能。例如，将显示设备的音量或亮度值等设置为特定数值，这种功能是红外控制指令无法实现的。

AIOT控制指令的实时控制性较差，对于一些需要快速响应的功能，AIOT控制指令较难实现。例如，遥控器中的数字按键和方向按键，由于用户一般会多次或连续触控这些按键，因此需要终端设备和显示设备快速的多次交互，导致AIOT控制指令无法实现这些功能。但是一个AIOT控制指令可以对应显示设备的多次操作，例如将显示设备设备的音量从当前数值调节至特定的数值，如果用传统遥控器则需要用户发出多次调节音量的指令，但利用AIOT控制指令的话则只需要一个指令即可实现，因此大大提高了用户的操作效率。

本申请实施例综合考虑到两种控制指令的优势，在终端设备中将两种控制指令进行融 合，以期最大化提高用户的体验性。

在显示设备可以支持的两种指令中，AIOT控制指令可以用纯指令的形式进行存储。红外控制指令可以用红外码值的形式进行存储，每个红外控制指令都对应一个红外码值。

因此，对于显示设备来说，可以将其能够支持的所有AIOT控制指令形成一个AIOT指令集合。将其能够支持的所有红外控制指令形成一个红外码库。即每个显示设备都会对应一个AIOT指令集合和一个红外码库。

在指令数据库中，根据显示设备的设备ID即可查询该显示设备对应的AIOT指令集合和红外码库。

在一些实施例中，同一个品牌的显示设备能够支持的控制指令可以是相同的，因此同一个品牌的显示设备可以共用AIOT指令集合和红外码库。

在一些实施例中，如果检测到通信连接类型为第一类通信连接，在确定了显示设备对应的AIOT指令集合和红外码库后，可以将AIOT指令集合和红外码库进行整合，并对其中所有的第一类控制指令和第二类控制指令进行取全集处理，从而生成控制指令集合。控制指令集合中包括显示设备当前通信连接状态下，支持的所有的控制指令以及每个控制指令的类型。

在一些实施例中，如果检测到通信连接类型为第一类通信连接，考虑到终端设备可以不支持红外控制的情况，服务器还可以根据显示设备的设备信息判断显示设备是否支持第二类通信连接，即是否支持红外控制。

如果检测到显示设备支持第二类通信连接，即支持红外控制，控制器可以根据显示设备的设备ID，在预设的指令数据库中同时获取该显示设备对应的AIOT指令集合和红外码库，可以得到该显示设备支持的所有第一类控制指令和所有第二类控制指令。

此时，可以对所有的第一类控制指令和第二类控制指令取全集处理，从而得到控制指令集合。

如果检测到显示设备不第二类通信连接，即不支持红外控制，控制器可以根据显示设备的设备ID，在预设的指令数据库中只获取该显示设备对应的AIOT指令集合，从而得到该显示设备支持的所有第一类控制指令。此时，所有的第一类控制指令共同构成控制指令集合。

在一些实施例中，如果检测到通信连接类型为第二类通信连接，说明终端设备无法向显示设备发送AIOT控制指令，显示设备在当前的通信连接情况下，仅仅支持第二类控制指令。此时，处理器可以根据设备ID，在指令数据库中获取该显示设备对应的红外码库，从而得到该显示设备支持的所有第二类控制指令。此时，所有的第二类控制指令共同构成控制指令集合。

在一些实施例中，在确定显示设备的控制指令集合后，处理器可以将控制指令集合进行存储。

服务器中可以设置有显示设备指令库。进一步的，处理器可以将每个显示设备的控制指令集合存储到该显示设备指令库中。

当某个显示设备和终端设备的通信连接类型发生改变时，服务器可以获取该显示设备当前通信连接情况下的控制指令集合，并将新的控制指令集合在显示设备指令库中更新。

在一些实施例中，当显示设备和终端设备建立通信连接后，用户可以使用终端设备控 制显示设备。

图22为一些实施例中终端设备的终端界面的示意图。

终端设备中可以包括“控制设备”控件，用户可以通过点击该“控制设备”控件，以指示终端设备确认已经建立通信连接的所有显示设备，同时触发进入对应的控制列表页面。当显示出控制列表页面时，用户可以该页面中选择要控制的显示设备。

在一些实施例中，用户可以点击控制列表页面中的某个显示设备，从而输入指示控制显示设备的指令。

响应于该指令，终端设备可以发送控制指令集合获取请求至服务器。其中，控制指令集合获取请求用于获取该显示设备的控制指令集合。

在接收到终端设备发送的控制指令集合获取请求后，服务器可以将该显示设备的控制指令集合发送至终端设备。

在一些实施例中，终端设备在接收到控制指令集合后，可以根据该控制指令集合生成控制界面。同时，可以控制显示单元显示该控制界面。控制界面中可以包括控制指令集合中的多个控制指令，从而使得用户可以根据控制界面控制显示设备。

在一些实施例中，当终端设备接收到的控制指令集合中同时包含第一类控制指令和第二类控制指令时，两种控制指令中可能存在相同指令的情况。例如，对于控制指令“将显示设备静音”，既可以以第一类控制指令的形式存在，也可以以第二类控制指令的形式存在，从而造成同一个控制指令重复出现的情况。

此时，可以对控制指令的类型设置优先级，例如：AIOT控制指令>红外控制指令。即当一个控制指令既可以是AIOT控制指令，也可以是红外控制指令时，优先设置为AIOT控制指令。优先级还可以设定为：红外控制指令>AIOT控制指令，即控制指令优先设置为红外控制指令。也可以根据用户的需求自行设置每个控制指令的类型，本申请实施例不做具体限定。

在确定了显示设备当前通信连接情况下支持的所有控制指令以及每个控制指令的类型后，终端设备可以根据这些控制指令生成控制界面并在显示单元中进行显示。

在一些实施例中，在根据该控制指令集合生成控制界面时，处理器可以对控制指令集合进行解析，得到显示设备再当前通信连接的情况下，能够支持的所有控制指令以及每个控制指令的指令类型。

进一步的，处理器可以将每个控制指令转换为一个操作控件，每个操作控件即为一个控制指令，同时每个操作控件可以具有单独的图标。此时，可以将这些图标生成控制界面，以供用户进行操作。

图23a为一些实施例中终端设备的一个控制界面的示意图。如图23a所示，该控制界面中包括9种操作控件：电源控件1101、节目源控件1102、返回控件1103、主界面控件1104、键盘切换控件1105、信号源控件1106、图像识别控件1107以及音量设置界面1108。其中，电源控件1101用于控制显示设备的开启与关闭，可以设置为AIOT控制指令或红外控制指令。节目源控件1102为数字键盘，用于调节显示设备当前播放的节目源，用户可以按下特定的数字键转换到相应的电视节目，也可以按照节目源的顺序前后切换电视节目，需要设置为红外控制指令。返回控件1103用于返回用户的上一次操作，可以设置为AIOT控制指令或红外控制指令。主界面控件1104用于返回显示设备的主界面，可以设置为AIOT 控制指令或红外控制指令。键盘切换控件1105用于切换显示的键盘，键盘包括数字键盘和方向键盘，可以设置为AIOT控制指令或红外控制指令。信号源控件1106用于显示显示设备的信号源列表，包括HDMI、USB、ATV等信号源，以供用户选择，可以设置为AIOT控制指令或红外控制指令。图像识别控件1107用于对显示设备显示的图像进行识别，需要设置为AIOT控制指令。音量设置界面1108用于将显示设备的音量调节为预设的音量值，可以是调节为50，需要设置为AIOT控制指令。在当前控制界面下，当用户点击键盘切换控件1105时，控制界面中的数字键盘会切换为方向键盘。

图23b为一些实施例中终端设备的又一个控制界面的示意图。如图23b所示，焦点控件1109位方向键盘，用户可以利用该控件调节显示设备中的焦点位置，需要设置为红外控制指令。

在一些实施例中，用户可以利用控制界面，根据在控制界面上触发的控制指令控制显示设备对显示设备进行控制。例如，通过对控制界面中某个控件进行点击或触控，从而输入对应的控制指令。

图24为一些实施例中终端设备控制显示设备的流程图。

如图24所示，在步骤S2401，诸如处理器的控制器可以检测用户对控制界面的操作，从而确定用户输入的控制指令。

终端设备可以将用户输入的控制指令发送给显示设备。在S2402，显示设备接收到相应的控制指令，并且可以对该控制指令进行解析，从而确定该控制指令对应的功能，并予以实现。

在确定用户输入的控制指令后，终端设备可以检测该控制指令的指令类型。

在一些实施例中，在S2403当检测到用户输入的控制指令为第一类控制指令时，即AIOT控制指令时，在S2404，终端设备需要先将用户输入的控制指令和显示设备的设备信息发送至服务器，具体可以将该控制指令和显示设备的设备ID发送至服务器。

服务器根据显示设备的设备ID可以确定用户想要控制的是哪一个显示设备。此时，服务器可以将用户输入的控制指令发送给对应的显示设备。进一步的，显示设备在接收到控制指令后，可以实现该控制指令对应的功能。

在一些实施例中，在S2405，当检测到用户输入的控制指令为第二类控制指令时，即红外控制指令时，在S2406终端设备可以直接将用户输入的控制指令直接发送至显示设备。具体的，可以将控制指令的红外码值发送给显示设备。显示设备将红外码值转换为电信号后，可以对电信号进行解码，解调出相应的控制指令，并实现相应的功能。

本申请实施例中，终端设备可以将显示设备的设备信息，以及终端设备和显示设备的通信连接信息发送至服务器。服务器进一步可以整合出显示设备能够支持的AIOT控制指令和红外控制指令，并发送给终端设备。从而使得终端设备可以发送两种类型的控制指令至显示设备，而不需要用户在使用遥控器，从而提高了用户的体验性。

本申请实施例提供了一种通信控制方法，应用于终端设备，如图25所示，该方法包括以下步骤：

S1301、检测到终端设备与显示设备建立通信连接，获取通信连接信息和显示设备的设备信息，所述通信连接信息包括通信连接类型。

S1302、将所述通信连接信息和所述设备信息发送至服务器，以使服务器根据所述通 信连接信息和所述设备信息获取控制指令集合，所述控制指令集合中包括显示设备与终端设备通信连接时所支持的所有控制指令。

S1303、响应于用户输入的指示控制显示设备的指令，发送用于获取控制指令集合的请求至所述服务器。

S1304、根据服务器发送的所述控制指令集合生成控制界面，并控制显示单元显示所述控制界面，以使用户根据在所述控制界面上触发的控制指令控制显示设备。

本申请实施例提供了一种通信控制方法，应用于服务器，如图26所示，该方法包括以下步骤：

S1401、接收终端设备发送的通信连接信息和显示设备的设备信息，所述通信连接信息包括终端设备与显示设备建立通信连接时的通信连接类型。

S1402、根据所述通信连接信息和所述设备信息获取控制指令集合，所述控制指令集合中包括显示设备与终端设备通信连接时所支持的所有控制指令。

S1403、响应于终端设备发送的用于获取控制指令集合的请求，将所述控制指令集合发送至终端设备，以使终端设备根据所述控制指令集合生成控制界面，并显示所述控制界面。

本申请实施例还提供一种通信控制方法，该方法包括以下步骤：

终端设备在检测到与显示设备建立通信连接时，确定通信连接信息和显示设备的设备信息，所述通信连接信息包括通信连接类型。

终端设备将通信连接信息和设备信息发送至服务器。

服务器根据通信连接信息和设备信息获取控制指令集合，控制指令集合中包括显示设备与终端设备通信连接时所支持的所有控制指令。

响应于用户输入的指示控制显示设备的指令，终端设备发送控制指令集合获取请求至服务器，控制指令集合获取请求用于获取控制指令集合。

服务器将控制指令集合发送至终端设备。

终端设备根据控制指令集合生成控制界面，并控制显示单元显示控制界面，以使用户根据控制界面控制显示设备。

本说明书中各个实施例之间相同相似的部分互相参照即可，在此不再赘述。

以上各实施例仅用以说明本申请的实施方式，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的实施方式进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不脱离本公开的范围。

Claims (20)

1. 一种控制设备，包括：

   显示器，用于显示用户界面；

   用户输入接口，用于接收输入信号；控制器，分别与所述显示器和所述用户接口连接，其被配置为：

   获取设备列表，以控制显示器显示所述设备列表；

   经由所述用户接口接收选中设备列表中的设备控件的用户操作命令；

   向多个设备广播携带有所述设备控件对应设备的设备标识的广播包，以使所述设备基于设备标识来发送蓝牙配对请求；以及

   响应于接收到来自所述设备的蓝牙配对请求，与所述设备经由蓝牙进行配对。
2. 根据权利要求1所述的控制设备，其中，所述控制器还被配置为：在所述配对未成功时，重复执行广播携带有所述设备控件对应设备的设备标识的广播包，直至重复执行次数达到预设次数。
3. 根据权利要求2所述的控制设备，其中，所述控制器还被配置为：在重复执行次数达到所述预定次数时，控制显示器显示配对异常提示。
4. 根据权利要求1所述的控制设备，其中，所述控制器还被配置为：在配对成功时，建立所述控制设备与所述设备之间的通信连接，以操控所述设备。
5. 根据权利要求1所述的控制设备，其中，所述设备基于设备标识来发送蓝牙配对请求进一步包括：

   解析接收到的所述广播包，以获得所述广播包中的设备标识；

   判断所述广播包中携带的设备标识与所述设备的设备标识是否相同；以及

   在设备标识相同的情况下，发送所述蓝牙配对请求到所述控制设备。
6. 根据权利要求1所述的控制设备，其中，所述控制器还被配置为：

   在获取所述设备列表之前，判断所述控制设备当前是否联网；以及

   在所述控制设备联网时，所述获取设备列表。
7. 根据权利要求1所述的控制设备，其中，所述控制设备还包括：声音采集器，被配置为采集用户输入的语音信号；以及传感器，被配置为检测所述控制设备是否被抬起；

   其中，所述控制器还被配置为：

   响应于从所述抬屏传感器接收的抬屏信号，控制所述声音采集器启动语音信号的采集，所述抬屏信号用于指示所述控制设备已被抬起；

   根据所述语音信号计算用户与所述控制设备之间的声源角度；以及

   基于所述声源角度与预设的角度范围，确定是否对所述语音信号执行语音识别，

   其中，当所述声源角度在预设声源角度范围之内时，对所述语音信号执行语音识别处理。
8. 根据权利要求7所述的控制设备，其中，所述声音采集器包括至少两个麦克风，所述控制器进一步被配置为：

   根据相邻两个麦克风之间的距离和相邻两个麦克风接收到所述语音信号的时间差，计算用户与所述控制设备之间的声源角度，其中，所述声源角度为用户与所述控制设 备的中轴线之间的角度。
9. 根据权利要求7所述的控制设备，其中，所述控制器还被配置为：当所述声源角度在预设声源角度范围之内，以及语音活动检测结果为未结束时，继续接收所述语音信号，以及对接收的完整的所述语音信号进行语音识别处理，其中，所述语音活动检测结果为未结束时，所述声音采集器继续采集到用户输入的语音信号；或

   当所述声源角度在预设声源角度范围之内，以及所述语音活动检测结果为结束时，对当前采集的所述语音信号执行语音识别处理，其中，所述语音活动检测结果为结束时，所述声音采集器不能继续采集到用户输入的语音信号。
10. 根据权利要求7所述的控制设备，其中，所述控制器还被配置为：

    当所述声源角度不在所述预设声源角度范围之内时，停止采集用户输入的语音信号。
11. 根据权利要求7所述的控制设备，其中，所述控制器还被配置为：响应于从所述抬屏传感器接收的抬屏信号，控制所述显示器点亮屏幕。
12. 根据权利要求11所述的控制设备，其中，所述控制器还被配置为：当所述声源角度在所述预设声源角度范围之内时，将对所述语音信号执行语音识别处理的结果显示在所述显示器上。
13. 根据权利要求11所述的控制设备，其中，所述控制器还被配置为：当所述声源角度不在所述预设声源角度范围之内时，控制所述显示器熄灭屏幕。
14. 一种用于控制设备的方法，包括：

    获取设备列表，以控制显示器显示所述设备列表；

    接收选中设备列表中的设备控件的用户操作命令；

    向多个设备广播携带有所述设备控件对应设备的设备标识的广播包，以使所述设备基于设备标识来发送蓝牙配对请求；

    响应于接收到来自所述设备的蓝牙配对请求，与所述设备经由蓝牙进行配对。
15. 根据权利要求14所述的方法，其中，所述方法还包括：在未配对成功时，重复执行广播携带有设备控件对应设备的设备标识的广播包，直至重复执行次数达到预设次数。
16. 根据权利要求14所述的方法，其中，所述方法还包括：在配对成功时，建立控制设备与设备之间的通信连接，以操控所述设备。
17. 根据权利要求14所述的方法，其中，所述设备基于设备标识来发送蓝牙配对请求进一步包括：

    解析接收到的所述广播包，以获得所述广播包中的设备标识；

    判断所述广播包中的设备标识与所述设备的设备标识是否相同；以及

    在设备标识相同的情况下，发送所述蓝牙配对请求到所述控制设备。
18. 根据权利要求14所述的方法，其中，

    响应于从抬屏传感器接收的抬屏信号时，控制声音采集器启动语音信号的采集，所述抬屏信号用于指示控制设备已被抬起；

    根据所述语音信号计算用户与所述控制设备之间的声源角度；以及

    基于所述声源角度与预设的角度范围，确定是否对所述语音信号执行语音识别，

    其中，当所述声源角度在预设声源角度范围之内时，对所述语音信号执行语音识别处理。
19. 根据权利要求18所述的方法，其中，所述声音采集器包括至少两个麦克风，根据语音信号计算用户与所述手持设备之间的声源角度进一步包括：

    根据相邻两个麦克风之间的距离和相邻两个麦克风接收到所述语音信号的时间差，计算用户与所述控制设备之间的声源角度，其中，所述声源角度为用户与所述控制设备的中轴线之间的角度。
20. 根据权利要求18所述的方法，其中，所述方法还包括：当在所述声源角度在预设声源角度范围之内，以及语音活动检测结果为未结束时，继续接收所述语音信号，以及对接收的完整的所述语音信号进行语音识别处理，其中，所述语音活动检测结果为未结束时，所述声音采集器继续采集到用户输入的语音信号；或

    在所述声源角度在预设声源角度范围之内，以及所述语音活动检测结果为结束时，对当前采集的所述语音信号执行语音识别处理，其中，所述语音活动检测结果为结束时，所述声音采集器不能继续采集到用户输入的语音信号。