CN114924648A - 显示设备、终端设备和手势交互方法 - Google Patents

Abstract

本申请一些实施例提供了一种显示设备、终端设备和手势交互方法。显示设备可以生成包含第一用户图像的手势识别指令或包含图像采集指令的手势识别指令，并发送至终端设备。终端设备根据第一用户图像可以生成第一手势指令，终端设备也可以根据图像采集指令采集第二用户图像并根据第二用户图像生成第二手势指令。终端设备将第一手势指令或第二手势指令发送给显示设备，显示设备进一步可以执行。因此，当显示设备无法采集用户图像时，终端设备可以根据图像采集指令采集图像从而识别用户指令，当显示设备可以采集用户图像，但无法识别出图像中的手势时，终端设备也可以对用户图像进行识别，得到用户指令，从而实现手势交互，提高了用户的体验性。

Description

显示设备、终端设备和手势交互方法

技术领域

本申请涉及显示设备技术领域，尤其涉及一种显示设备、终端设备和手势交互方法。

背景技术

显示设备是指能够输出具体显示画面的终端设备，随着显示设备的快速发展，显示设备的功能将越来越丰富，性能也越来越强大，可实现双向人机交互功能，集影音、娱乐、数据等多种功能于一体，用于满足用户多样化和个性化需求。

人们不满足于利用控制装置向显示设备发出指令的人机交互模式，因此，手势交互的方式应运而生。手势交互的目的在于通过检测用户做出的特定手势动作，控制显示设备执行相对应的控制指令。例如，用户可以通过向左或向右挥手的动作，代替遥控器等控制装置上的左右方向键，控制显示设备进行快退或快进播放操作。相比较于控制装置，利用手势直接发出指令更加的便捷。

相关技术中，在进行手势交互时，显示设备需要利用摄像头采集用户图像，从而识别出用户手势，以执行用户手势对应的控制指令。然而，在一些特殊情况下，显示设备无法实现手势交互。例如，对于不具有摄像头或者摄像头损坏的显示设备，无法采集到用户图像，也就无法实现手势交互。或者，显示设备采集到了用户图像，但是没有识别出用户手势，同样无法实现手势交互。从而严重影响用户的使用体验。

发明内容

本申请一些实施例提供了一种显示设备、终端设备和手势交互方法。以解决相关技术中，显示设备无法实现手势交互，严重影响用户的使用体验的问题。

第一方面，本申请提供一种显示设备，包括显示器，图像采集器和控制器。其中，图像输入接口被配置为连接图像采集器，图像采集器用于采集用户图像；控制器被配置为执行以下步骤：

接收用户输入的手势交互指令；

生成手势识别指令并发送至终端设备，所述手势识别指令中包含所述图像采集器采集的第一用户图像或图像采集指令；以使终端设备根据所述第一用户图像生成第一手势指令，或，根据所述图像采集指令采集第二用户图像并根据所述第二用户图像生成第二手势指令；

响应于终端设备发送的所述第一手势指令或所述第二手势指令，执行所述第一手势指令或所述第二手势指令。

第二方面，本申请一些实施例提供一种终端设备，终端设备被配置为：

接收显示设备发送的手势识别指令并检测，手势识别指令中包含第一用户图像或图像采集指令；

基于检测到所述手势识别指令中包含第一用户图像，对所述第一用户图像进行手势识别处理，得到第一用户手势；获取所述第一用户手势关联的第一手势指令，并将所述第一手势指令发送至显示设备；

基于检测到所述手势识别指令中包含图像采集指令，采集第二用户图像并对所述第二用户图像进行手势识别处理，得到第二用户手势；获取所述第二用户手势相关联的第二手势指令，并将所述第一手势指令发送至显示设备。

第三方面，本申请一些实施例提供一种手势交互方法，应用于显示设备，包括：

接收用户输入的手势交互指令；

生成手势识别指令并发送至终端设备，所述手势识别指令中包含第一用户图像或图像采集指令；以使终端设备根据所述第一用户图像生成第一手势指令，或，根据所述图像采集指令采集第二用户图像并根据所述第二用户图像生成第二手势指令；

响应于终端设备发送的所述第一手势指令或所述第二手势指令，执行所述第一手势指令或所述第二手势指令。

由以上技术方案可以看出，本申请一些实施例提供了一种显示设备、终端设备和手势交互方法。显示设备可以生成包含第一用户图像的手势识别指令或包含图像采集指令的手势识别指令，并将手势识别指令发送至终端设备。终端设备根据第一用户图像可以生成第一手势指令，终端设备也可以根据图像采集指令采集第二用户图像并根据第二用户图像生成第二手势指令。终端设备将第一手势指令或第二手势指令发送给显示设备，显示设备进一步可以执行。因此，当显示设备无法采集用户图像时，终端设备可以根据图像采集指令采集图像从而识别用户指令，当显示设备可以采集用户图像，但无法识别出图像中的手势时，终端设备也可以对用户图像进行识别，得到用户指令，从而实现手势交互，提高了用户的体验性。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据一些实施例的显示设备的使用场景；

图2示出了根据一些实施例的控制装置100的硬件配置框图；

图3示出了根据一些实施例的显示设备200的硬件配置框图；

图4示出了根据一些实施例的显示设备200中软件配置图；

图5示出了一些实施例中用户界面的示意图；

图6示出了一些实施例中用户界面的示意图；

图7示出了一些实施例中用户手势的示意图；

图8示出了一些实施例中显示设备各部件的交互流程图；

图9示出了一些实施例中图像交互模式的流程示意图；

图10示出了一些实施例中终端识别模式的流程示意图；

图11示出了一些实施例中手势交互模式情况的示意图；

图12示出了一些实施例中手势交互模式情况的示意图；

图13示出了一些实施例中显示设备和终端设备的拍摄范围的示意图；

图14示出了一些实施例中显示设备和终端设备的拍摄范围的示意图；

图15示出了一些实施例中分屏场景下手势交互的流程示意图；

图16示出了一些实施例中手势交互的流程示意图；

图17示出了一些实施例中显示器显示第一用户图像和第二用户图像的示意图；

图18示出了手势交互方法的一些实施例的流程示意图。

具体实施方式

为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。

术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

图1示出了根据一些实施例的显示设备的使用场景，如图1所示，用户可通过移动终端300和控制装置100操作显示设备200。控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信、蓝牙协议通信，无线或其他有线方式来控制显示设备200。用户可以通过遥控器上按键，语音输入、控制面板输入等输入用户指令，来控制显示设备200。在一些实施例中，也可以使用移动终端、平板电脑、计算机、笔记本电脑、和其他智能设备以控制显示设备200。

在一些实施例中，移动终端300可与显示设备200安装软件应用，通过网络通信协议实现连接通信，实现一对一控制操作的和数据通信的目的。也可以将移动终端300上显示音视频内容传输到显示设备200上，实现同步显示功能显示设备200还与服务器400通过多种通信方式进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。显示设备200，可以液晶显示器、OLED显示器、投影显示设备。显示设备200除了提供广播接收电视功能之外，还可以附加提供计算机支持功能的智能网络电视功能。

图2示出了根据一些实施例的控制装置100的硬件配置框图。如图2所示，控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起用用户与显示设备200之间交互中介作用。通信接口130用于和外部通信，包含WIFI芯片，蓝牙模块，NFC或可替代模块中的至少一种。用户输入/输出接口140包含麦克风，触摸板，传感器，按键或可替代模块中的至少一种。

图3示出了根据一些实施例的显示设备200的硬件配置框图。如图3所示，显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口280中的至少一种。控制器包括中央处理器，视频处理器，音频处理器，图形处理器，RAM，ROM，用于输入/输出的第一接口至第n接口。显示器260可为液晶显示器、OLED显示器、触控显示器以及投影显示器中的至少一种，还可以为一种投影装置和投影屏幕。显示器用于显示用户界面。用户界面中可以是目标图像，例如从网络信号源中获取到的各种媒资，包括视频、图片等内容。用户界面也可以是显示设备的一些UI界面。用户可以在显示器中观看媒资等内容。调谐解调器210通过有线或无线接收方式接收广播电视信号，以及从多个无线或有线广播电视信号中解调出音视频信号，如以及EPG数据信号。检测器230用于采集外部环境或与外部交互的信号。控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。

在一些实施例中，控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。用户可在显示器260上显示的图形用户界面(GUI)输入用户命令，则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。

在一些实施例中，“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接收形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素中的至少一种。

图4示出了根据一些实施例的显示设备200中软件配置图，如图4所示，将系统分为四层，从上至下分别为应用程序(Applications)层(简称“应用层”)，应用程序框架(Application Framework)层(简称“框架层”)，安卓运行时(Android runtime)和系统库层(简称“系统运行库层”)，以及内核层。内核层至少包含以下驱动中的至少一种：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器，温度传感器，压力传感器等)、以及电源驱动等。

在一些实施例中，用户可以利用控制装置，和显示设备进行人机交互。用户可以利用控制装置向显示设备发出各种类型的控制指令，从而控制显示设备实现相应的功能。控制装置中可以设置有多个功能按键，例如开机按键、音量按键、菜单按键等，用户可以直接按下某个按键，控制装置向显示设备发送该按键对应的控制指令，从而控制显示设备实现该按键指定的功能。控制装置中还可以设置有方向按键，用户通过按下不同的方向按键，可以控制显示器中的焦点进行各个方向的移动，用户可以控制焦点选中某个控件并确认，从而控制显示设备实现该控件对应的功能。

在一些实施例中，用户也可以通过手势交互的方式，和显示设备进行人机交互。在进行手势交互时，用户可以向显示设备做出特定的手势动作，从而控制显示设备执行手势动作相对应的控制指令。例如，用户可以通过向左或向右挥手的动作，代替遥控器等控制装置上的左右方向键，控制显示设备进行快退或快进播放操作。相比较于控制装置，利用手势直接发出指令更加的便捷。

在一些实施例中，为了使得显示设备能够实现和用户进行手势交互的功能，显示设备还包括图像输入接口，用于连接图像采集器。图像采集器可以是摄像头，用于采集一些图像数据。需要说明的是，摄像头可以作为一种外部装置，通过图像输入接口外接在显示设备上，也可以作为一种检测器内置于显示设备中。对于外接在显示设备的摄像头，可以将摄像头连接至显示设备的外部装置接口，接入显示设备。用户可以利用摄像头在显示设备上完成拍照或拍摄功能，当用户在摄像头的可拍摄范围内时，摄像头可以采集包含用户的图像，本申请实施例中称为用户图像。

在一些实施例中，显示设备内置的摄像头还可以支持升降。即摄像头可以设置在升降机构上，当需要进行图像采集时，通过特定的升降指令，控制升降机构进行运动，从而带动摄像头升高，以进行图像采集。而在不需要进行图像采集时，同样可以通过特定的升降指令，控制升降机构进行运动，从而带动摄像头降低，以隐藏摄像头。

对于外接于显示设备的图像采集器，其本身可以是一个独立的外设，并通过特定的数据接口连接显示设备。显示设备上可以设有通用串行总线接口(Universal SerialBus，USB)或高清晰度多媒体接口(High Definition Multimedia Interface，HDMI)，图像采集器则通过USB接口或HDMI接口连接显示设备。为了便于对用户的手势交互动作进行检测，在一些实施例中，外接于显示设备上的图像采集器可以设置在靠近显示设备的位置，如图像采集器通过夹持装置夹在显示设备的顶部，或者图像采集器放置在显示设备附近的桌面上。

显然，对于外接于显示设备的图像采集器，还可以根据显示设备的具体硬件配置，支持其他方式连接。在一些实施例中，图像采集器还可以通过显示设备的通信器与显示设备建立连接关系，并按照通信器对应的数据传输协议将采集的图像数据发送给显示设备。例如，显示设备可以通过局域网或互联网连接图像采集器，则在建立网络连接后，图像采集器可以将采集的数据通过网络传输协议发送给显示设备。图像采集器还可以通过无线网络连接的方式外接显示设备。例如，对于支持WiFi无线网络的显示设备，其通信器中设有WiFi模块，因此，可以将图像采集器和显示设备连接同一个无线网络，使显示设备和图像采集器建立无线连接，图像采集器可以将采集的用户图像发送给显示设备。

需要说明的是，无论是内置于显示设备的图像采集器还是外接于显示设备的图像采集器，用户均可以在使用显示设备的过程中，通过特定的交互指令或者应用程序控制启动图像采集器采集图像数据，并根据不同的需要对采集的图像数据进行相应的处理。例如，显示设备中可以安装有摄像头应用，这些摄像头应用可以调用摄像头，以实现各自的相关功能。摄像头应用，是指需要访问摄像头的摄像头应用，可以对摄像头采集的图像数据进行处理，从而实现相关功能，例如视频聊天。当用户选择打开某个摄像头应用时，显示设备可以运行相应的摄像头应用，该摄像头应用可以唤醒图像采集器，图像采集器进一步可以实时检测图像数据并发送给显示设备。显示设备可以进一步对这些图像数据进行处理，例如控制显示器显示图像等。

在一些实施例中，显示设备可以和用户进行手势交互，从而识别出用户的控制指令。当用户想要利用手势控制显示设备时，可以向显示设备输入手势交互指令，手势交互指令用于指示显示设备，用户需要利用手势控制显示设备。用户可以利用控制装置输出手势交互指令，例如控制装置中可以设置有手势交互按键，用户通过按下该手势交互按键，进而令控制装置向显示设备发送手势交互指令。用户也可以在显示设备的系统UI界面中选择开启手势交互功能。

在接收到用户输入的手势交互指令后，显示设备可以采集用户图像。控制器可以向图像采集器发送启动指令，从而控制图像采集器采集图像。本申请实施例中将图像采集器采集到的用户图像称为第一用户图像。

考虑到用户可能需要长时间进行手势交互，因此，图像采集器可以实时获取第一用户图像，从而得到用户的手势信息流。手势信息流指的是由图像采集器通过连续的图像拍摄而生成的视频数据，因此手势信息流包括连续多帧第一用户图像。在启动图像拍摄后，用户可以在图像采集器的拍摄范围内做出手势，图像采集器可以随着用户的手势动作，连续拍摄多帧第一用户图像。并实时将拍摄获得的多帧第一用户图像发送给控制器。由于手势信息流中包括多帧图像，而多帧图像是由图像采集器进行拍摄获得，因此图像采集器向控制器发送第一用户图像的帧率，可以和图像采集器的图像拍摄帧率相同。例如，当图像采集器以每秒30帧(30FPS)的帧率进行图像拍摄时，控制器也可以按照每秒30帧的帧率获取到第一用户图像。

在获取到多帧第一用户图像后，控制器可以依次对每一帧第一用户图像进行手势识别处理，从而得到第一用户图像中包含的手势，本申请实施例中称为第一用户手势。需要说明的是，每个手势可以关联一个控制指令，显示设备中可以预先存储有每个手势所关联的控制指令。因此，控制器可以获取第一用户手势的关联指令，并将其确定为第一手势指令。控制器可以执行第一手势指令，从而控制显示设备实现第一手势指令对应的功能。

在一些实施例中，用户可以使用静态手势和显示设备进行交互，从而输入控制指令。在手势交互过程中，用户可以在图像采集器的拍摄范围内摆出特定的手势，图像采集器可以采集第一用户图像，并将采集到的第一用户图像发送给显示设备。显示设备进一步可以对第一用户图像进行识别，检测出该图像中的手势，并确定出该手势的类型。显示设备中可以预先存储有手势交互策略，限定出每种类型的手势分别对应哪种控制指令，一个手势类型可以对应一种控制指令，显示设备可以根据用途不同，针对不同的用途设置用于触发特定控制指令的手势。通过将该图像中的手势的类型和交互策略中的对应关系逐次比对，可以确定出该手势对应的控制指令，并执行该控制指令。

例如，当用户在图像采集器的拍摄范围内摆出五指并拢且手掌面向图像采集器的手势时，显示设备可以在图像采集器采集的第一用户图像中识别出该手势，并针对该手势确定控制指令为“暂停/开始播放”。最后通过运行该控制指令，对当前播放界面执行暂停或开始播放控制。上述实施例中，手势识别是采用静态手势识别方式，静态手势识别可以识别出手势类型进而确定出相应的控制指令。用户每呈现出一个静态手势，代表用户输入了一个独立的控制指令，例如控制音量加一。需要说明的是，当用户长时间保持一个静态手势时，显示设备可能依旧判定为用户输入了一个控制指令。因此，对于一些需要连贯操作的控制指令，如果采用静态手势交互的方式，则太过繁琐。

在一些实施例中，显示设备还可以支持动态手势交互。其中，所述动态手势是指在一次交互过程中，用户可以使用动态手势输入的方式，向显示设备输入控制指令。其中，可以设为：可以是通过一系列动态手势向显示设备输入一个控制指令，可以是通过不同类型的手势向显示设备依次输入多种类型的不同控制指令，也可以是通过相同类型的手势连续向显示设备输入一种类型的多个相同控制指令，从而扩展显示设备的手势交互类型，提高手势交互形式的丰富程度。例如，用户在2s时间内将手势从五指张开调整至五指并拢，即输入持续2s的抓取动作，则显示设备可以在2s的检测周期内持续获取第一用户图像，并逐帧识别第一用户图像中的手势类型，从而按照多帧图像中的手势变化识别出抓取动作。最后确定抓取动作对应的控制指令，即“全屏/窗口播放”，并执行该控制指令，对播放窗口的大小进行调节。

在一些实施例中，当显示设备中显示有用户界面时，用户可以控制显示器中的焦点选取某个控件并触发。图5示出了一些实施例中用户界面的示意图，如图5所示，当前用户界面中，焦点选中了“我的应用”控件。考虑到用户利用控制装置控制焦点的移动时，可能会比较繁琐，为了增加用户的体验性，用户还可以利用动态手势选取控件。

显示设备可以设置有光标控制模式。当显示设备处于光标控制模式下，显示器中的原本的焦点可以变更为光标。图6示出了一些实施例中用户界面的示意图，如图6所示，光标选中了“我的应用”控件。用户可以利用手势控制光标进行移动，从而选中某个控件，以代替原来的焦点移动。当检测到显示设备进入光标控制模式时，控制器可以唤醒图像采集器，向图像采集器发送开启指令，从而启动图像采集器进行图像拍摄。此时，用户可以在图像采集器的拍摄范围内做出动态手势，图像采集器可以随着用户的动态手势动作，连续拍摄多帧第一用户图像。

在一些实施例中，图像采集器采集到若干帧第一用户图像，可以依次发送给显示设备。显示设备可以对每一帧第一用户图像逐次进行识别，从而识别出第一用户图像中所包含的用户手势，以确定用户输入的控制指令。

对于采集到的第一用户图像，控制器对第一用户图像进行手势识别处理，例如可以使用预设的动态手势识别模型对每一帧第一用户图像逐次进行处理。控制器可以将第一用户图像输入到动态手势识别模型中，动态手势识别模型进一步可以识别图像中所包含的用户手势信息，例如，可以识别出第一用户图像中所包含的手指、关节、手腕等关键点的位置信息，关键点位置指的是关键点在第一用户图像中的位置坐标。在识别之后，可以依次输出每一帧第一用户图像的用户手势信息。

图7示出了一些实施例中用户手势的示意图。如图7所示，用于表征用户手势的关键点包括21个手指关键点。动态手势识别模型可以对第一用户图像中的用户手势进行确认，并识别出用户手部这21个手指关键点的位置信息，即位于第一用户图像中的位置坐标，每个关键点的位置信息都可以通过对应点的坐标进行表示。

需要说明的是，动态手势识别模型在识别第一用户图像时，可能识别出用户手势，获取到了每个手指关键点的位置信息。此时，输出的用户手势信息中可以包括所有手指关键点的位置信息。但受到用户不同手势的影响，有的手指关键点可能被用户掩盖住，导致第一用户图像中并未出现这些手指关键点，此时，动态手势识别模型则无法获取到这些手指关键点的位置信息，这些手指关键点的位置信息只能是空值。

在一些实施例中，动态手势识别模型得到每一帧的用户手势信息后，可以输出至控制器。控制器进一步可以根据每一帧的用户手势信息，确定出用户指示的控制指令。由于用户想要控制光标进行移动，因此用户指示的控制指令可以认为是用户指示光标进行移动的指令。此时，控制器可以根据每一帧用户手势信息获取指示光标移动的位置信息。

在本申请实施例中，可以设定为：当检测到预先设定的目标手势时，认为用户指示光标进行移动。其中，目标手势可以是用户展示预设的手指关键点。对于如图7所示的用户手势示意图，可以设定为9号手指关键点为用户指示光标进行移动的控制点，即当检测到预设的9号手指关键点时，即预设的9号手指关键点的位置信息不为空值时，可以认为用户指示了光标的移动。显示设备可以根据该预设的手指关键点的位置信息进一步确定出光标移动的位置信息。

在一些实施例中，当在用户手势信息中检测到了该预设的手指关键点的位置信息时，可以将该位置信息映射成光标位于显示器中的位置信息，即该预设的手指关键点位于第一用户图像中的坐标，即为光标位于显示器中坐标。因此，控制器可以逐帧确定出光标的位置，从而控制光标进行移动。

在一些实施例中，在显示设备进行光标控制模式后，控制器也可以控制光标处于一个预设的初始位置。控制器可以根据图像采集器采集的第一帧图像，确定出该图像中预设的手指关键点的位置信息，并将该位置信息映射为光标的初始位置。对于后续的第一用户图像，控制器可以确定出每一帧图像中预设的手指关键点的坐标，并和上一帧图像中的手指关键点的坐标进行对比，从而确定出两帧图像中手指关键点的移动轨迹。控制器进一步可以将该移动轨迹映射到显示器中，并控制光标沿着该移动轨迹进行移动。

需要说明的是，在进行手势交互时，显示设备需要利用摄像头采集用户图像，从而识别出用户手势，以执行用户手势对应的控制指令。然而，在一些特殊情况下，显示设备可能无法实现手势交互。例如，对于不具有摄像头或者摄像头损坏的显示设备，无法采集到用户图像，也就无法实现手势交互。或者，显示设备采集到了用户图像，但是因为一些特殊原因，例如显示设备的负载较高，此时显示设备的算力较弱，识别用户手势的速率较慢，会导致手势识别滞后，从而无法实时的进行手势交互。当显示设备负载极高时，甚至会出现无法检测用户手势的情况，例如多帧用户图像中，显示设备只能识别出一帧图像中的手势，导致无法进行手势交互，严重影响用户体验。

为了解决上述问题，本申请实施例中提供的显示设备设置有多种手势交互模式。在进行手势交互时，显示设备可以设置有本地识别模式、图像交互模式以及终端识别模式。

其中，本地识别模式指的是显示设备自行完成整个手势识别过程，包括：控制器控制图像采集器采集第一用户图像，并获取图像采集器采集的第一用户图像。控制器通过对第一用户图像进行手势识别处理，得到第一用户图像中的第一用户手势，并获取第一用户手势的关联指令，将其确定为第一手势指令。至此，显示设备可以确定出用户输入的第一手势指令，从而执行，以实现相应的功能。手势交互过程可以参照前述步骤，此处不再详细描述。需要说明的是，在开启本地识别模式时，需要保证显示设备能够获取到图像采集器采集的第一用户图像，同时还要保证系统本身能够对第一用户图像进行手势识别，否则，显示设备无法实现手势交互功能。

图8示出了一些实施例中显示设备各部件的交互流程图。

图像交互模式指的是显示设备将图像采集器采集的第一用户图像发送至终端设备，再由终端设备对第一用户图像进行手势识别，得到相应的控制指令并反馈给显示设备，显示设备进一步可以执行该控制指令。其中，终端设备为已经与显示设备建立通信连接的终端设备，二者之间可以进行通信交互，实现图像以及控制指令的数据传输。图9示出了一些实施例中图像交互模式的流程示意图。如图9所示，显示设备开启图像交互模式时，可以包括以下步骤：控制器首先控制图像采集器采集第一用户图像，并获取到第一用户图像。控制器可以生成第一手势识别指令，第一手势识别指令中包含第一用户图像，并且第一手势识别指令用于指示终端设备：对第一用户图像进行手势识别，以确定其中包含的手势所对应的控制指令。终端设备在接收到第一手势识别指令后，可以先获取第一手势识别指令中包含的第一用户图像，再对第一用户图像进行手势识别处理，从而得到第一用户手势。对于终端设备来说，可以存储有和显示设备中相同的手势交互策略，用于指示每个手势所关联的控制指令。因此终端设备可以获取第一用户手势关联的第一手势指令，并将第一手势指令发送至显示设备。在接收到第一手势指令后，控制器可以执行第一手势指令，从而控制显示设备实现第一手势指令对应的功能。需要说明的是，在开启图像交互模式时，需要保证显示设备能够获取到图像采集器采集的第一用户图像。当显示设备可能无法对第一用户图像进行手势识别时，图像交互模式较为适合。

终端识别模式指的是利用终端设备完成整个手势识别过程，显示设备均需要通知终端设备进行工作，以及接收终端设备反馈的控制指令即可，显示设备本身不会进行处理步骤。图10示出了一些实施例中终端识别模式的流程示意图。如图10所示，包括以下步骤：显示设备不会控制图像采集器工作，而是直接生成第二手势识别指令。需要说明的是，相比于第一手势识别指令，第二手势识别指令中不包含图像采集器采集的第一用户图像，而是包含一个图像采集指令，该图像采集指令用于指示终端设备采集用户图像。为了区分于图像采集器采集的第一用户图像，本申请实施例中将终端设备采集到的用户图像称为第二用户图像。第二手势识别指令用于指示终端设备：采集用户图像，以识别出用户图像中包含的用户手势，并确定用户手势所对应的控制指令。终端设备在接收到第二手势识别指令后，可以先利用摄像头采集图像，即采集第二用户图像。终端设备可以对第二用户图像进行手势识别处理，从而得到第二用户手势，终端设备可以获取第二用户手势关联的第二手势指令，并将第二手势指令发送至显示设备。在接收到第二手势指令后，控制器可以执行第二手势指令，从而控制显示设备实现第二手势指令对应的功能。需要说明的是，终端识别模式一般应用在显示设备无法获取到图像采集器采集的第一用户图像的特殊情况下。

在一些实施例中，终端设备可能无法确定出显示设备发送的手势识别指令时第一手势识别指令还是第二手势识别指令，此时终端设备可以对手势识别指令进行检测。如果检测到手势识别指令中包含第一用户图像，则该手势识别指令为第一手势识别指令。如果检测到手势识别指令中包含图像采集指令，则该手势识别指令为第二手势识别指令。

在一些实施例中，显示设备可以和多个终端设备进行通信连接，此时显示设备能够和每一个终端设备均进行通信交互，例如发送控制指令以及用户图像。考虑显示设备可能同时和多个终端设备进行交互，因此显示设备需要确定出接收到的信息是哪一个终端设备发送的。在显示设备和某个终端设备建立通信连接时，显示设备可以对该终端设备设定传输标志位，并将该传输标志位发送给终端设备。该传输标志位用于对该终端设备进行唯一标记，从而令显示设备能够将该终端设备和其他的终端设备区分开，从而将信息发送给该终端设备。终端设备接收到传输标志位后，可以进行存储，当终端设备需要发送信息至显示设备时，可以将信息和传输标志位一同发送至显示设备，从而令显示设备确定发送信息的终端设备是哪个。显示设备也可以对自身设置一个传输标志位，当显示设备向终端设备发送信息时，也会一并将显示设备的传输标志位发送给终端设备，以使终端设备确定显示设备发送的信息。

在一些实施例中，在进行手势交互时，用户可以主动选择上述三个手势交互模式中一个，从而控制显示设备进入相应的手势交互模式并工作。

用户在向显示设备输入手势交互指令时，可以直接发送包含特定手势交互模式的手势交互指令。例如，控制装置中可以设置有三个手势交互模式对应的按键，用户可以按下其中一个按键，从而指示显示设备进入对应的手势交互模式。用户也可以在显示设备的系统UI界面中控制显示设备进入特定的手势交互模式。

对于控制装置中只设置有一个手势交互按键的情况，用户无法通过控制装置直接控制显示设备进入某个手势交互模式。当用户按下手势交互按键后，控制器可以控制显示器中显示手势交互模式情况，手势交互模式情况中包含显示设备当前默认的手势交互模式以及显示设备当前可以支持的手势交互模式。图11示出了一些实施例中手势交互模式情况的示意图。如图11所示，显示设备当前默认的手势交互模式为本地识别模式。对于一些特殊情况，可能会导致有些手势交互模式，显示设备无法进入。例如，当前没有终端设备和显示设备相连接，显示设备无法进入终端设备模式，终端识别模式为不可选状态。用户可以自行设置显示设备的手势交互模式，从而控制显示设备进行相应的流程。

在一些实施例中，在进行手势交互时，显示设备还可以自行设定手势交互模式，从而对手势交互模式进行切换。

显示设备可以根据自身的系统负载情况，自行设定手势交互模式。需要说明的是，显示设备的系统负载情况会影响显示设备是否具有足够的算力对用户图像进行手势识别，还可能影响到图像采集器采集图像的效率。例如，对用户图像进行手势识别的过程，显示设备可能需要至少30％的CPU占用率去执行，但是当显示设备当前的CPU占用率已经达到80％，明显没有足够的算力再去执行对用户图像进行手势识别的过程，也就无法进行和用户之间的手势交互。因此，显示设备需要根据当前的系统负载情况，确定能够开启的手势交互模式。

在接收到用户输入的手势交互指令后，控制器可以先获取显示设备的负载率情况，可以是获取在当前时刻之前的预设时间内的负载率情况。

控制器可以根据这段预设时间内的负载率情况判断显示设备是否满足预设的第一负载率条件。本申请实施例中，第一负载率条件指的是：在预设时间内，显示设备的负载率超过预设的第一阈值的次数达到预设数值。其中，预设时间可以是30秒，第一阈值可以是60％，预设数值可以是10。即控制器可以检测前30秒内显示设备的负载率情况，如果显示设备的负载率超过60％的此时达到10次，则显示设备满足第一负载率条件，可以认为显示设备的系统负载过高，显示设备当前能提供的算力不足以支持整个手势识别过程，包括控制图像采集器采集图像以及对用户图像进行手势识别的两个过程。此时，显示设备无法进入本地识别模式，但是显示设备可以进入图像交互模式或者终端识别模式。显示设备可以选择图像交互模式或者终端识别模式中的一个，因此，控制器可以生成手势识别指令并发送至终端设备，具体生成第一手势识别指令还是第二手势识别指令，可以根据具体选择的手势交互模式确定，此处不做限定。

如果显示设备的负载率超过60％的此时达到10次，则显示设备不满足第一负载率条件，可以认为显示设备的系统负载较低，可以同时执行控制图像采集器采集图像以及对用户图像进行手势识别的两个过程，此时，显示设备可以进入本地识别模式。显示设备也可以进入图像交互模式或者终端识别模式。

在一些实施例中，上述的负载率可以是GPU占用率、CPU占用率和内存占用率其中的任意一个，也可以是综合考虑三个占用率。

可以三个占用率中的任意一个确定为显示设备的系统负载率，在检测显示设备的负载率情况时，仅需要检测相应的占用率即可。

也可以同时考虑三个占用率，因此控制器需要同时检测三个占用率。例如，可以设定为，当检测到三个占用率中，任意一个满足第一负载率条件，则认为显示设备当前的系统负载较高，无法进行整个手势识别过程，也就无法进入本地识别模式。

在一些实施例中，还可以根据GPU占用率、CPU占用率和内存占用率获取系统负载率。控制器可以对三个占用率赋予权重，例如GPU占用率30％、CPU占用率40％和内存占用率40％。控制器可以利用权重计算法，计算系统负载率，计算公式可以为：30％GPU占用率+40％CPU占用率+40％内存占用率。

控制器进一步根据系统负载率判断显示设备是否满足第一负载率要求，从而确定显示设备的手势交互模式。

在一些实施例中，当检测到显示设备满足第一负载率条件，显示设备无法进入本地识别模式，控制器需要生成手势识别指令并发送至终端设备，具体生成第一手势识别指令还是第二手势识别指令需要根据显示设备进入的手势交互模式决定。

因此，在显示设备无法进入本地识别模式时，控制器还可以进一步确定进入图像交互模式还是终端识别模式。控制器可以根据显示设备的负载率情况，判断显示设备是否满足预设的第二负载率条件。本申请实施例中，第二负载率条件指的是：在预设时间内，显示设备的负载率超过预设的第二阈值的次数达到预设数值。其中，预设时间可以是30秒，第二阈值可以是80％，预设数值可以是10。

需要说明的是，第二阈值是一个大于第一阈值的负载率。第二阈值用于检测显示设备能够执行控制图像采集器采集图像的过程，但是无法执行对用户图像进行手势识别的过程，这一特殊情况。例如，控制图像采集器采集图像的过程需要的系统负载率为20％，但整个本地识别模式流程需要的系统负载率为40％。如果显示设备当前的系统负载率为65％，可以看出系统负载率超出60％，可能满足第一负载率条件，无法进入本地识别模式，但显示设备剩余的系统负载率还有35％，足够进行控制图像采集器采集图像的过程，因此系统可以进入图像交互模式，也可以进入终端识别模式。但如果显示设备当前的系统负载率为85％，则无法执行控制图像采集器采集图像的过程，此时显示设备无法进入本地识别模式和图像交互模式，只能进入终端识别模式。

因此，控制器通过判断显示设备是否满足预设的第二负载率条件，可以确定显示设备进入图像交互模式还是终端识别模式。如果满足条件，说明显示设备当前的系统负载极高，甚至无法进行控制图像采集器采集图像的过程，此时，显示设备只能进入终端识别模式，控制器需要生成包含图像采集指令的第二手势识别指令，并发送至终端设备。如果不满足条件，说明显示设备当前的系统负载率处于一个较高但不置于极高的情况，显示设备能够执行控制图像采集器采集图像的过程，但是无法执行对用户图像进行手势识别的过程，此时，显示设备可以选择进入图像交互模式，控制器可以控制图像采集器采集第一用户图像，并生成包含第一用户图像的第一手势识别指令，以发送至终端设备。显示设备也可以进入终端识别模式，此处不做具体限定。

在一些实施例中，如果显示设备已经进入了某个手势交互模式，控制器也可以实时检测显示设备的负载率情况，从而对手势交互模式进行动态调节。例如，当检测到显示设备当前不再支持正在进行的手势交互模式，控制器可以确定出显示设备能够进入的手势交互模式，并切换至该手势交互模式。

在一些实施例中，如果显示设备处于本地检测模式，控制器会对图像采集器采集的第一用户图像进行手势识别，从而确定出相应的第一手势指令。考虑到手势交互的准确性，控制器还可以对手势识别过程进行监控，从而动态调节显示设备的手势交互模式。

图12示出了一些实施例中手势交互模式情况的示意图。如图12所示，图像采集器采集的图像尺寸为ABCD形成的矩形区域，其中，用户的手部仅仅有一部分位于用户图像中，对于手部右侧区域，明显识别不到，导致识别的手势不准确。

在获取到图像采集器采集的第一用户图像后，控制器可以对第一用户图像进行手势识别处理，得到第一用户图像中的第一用户手势。

此时，控制器可以对第一用户手势进行检测，确定出第一用户手势的置信度。在对第一用户图像进行手势识别处理时，可以根据手势识别模型对第一用户图像进行处理，得到用户手势信息。该用户手势信息中可以包括第一用户手势的手势类型以及第一用户手势的置信度参数，置信度参数用于表征各手势类型与标准手势之间的差异。

控制器可以对第一用户手势的置信度进行检测，判断第一用户手势的置信度是否大于预设的置信度阈值。如果检测到置信度大于或等于预设的置信度阈值，则说明第一用户图像中采集到了较为准确的用户手势，此时，控制器可以进一步获取第一用户手势的关联指令，得到第一手势指令。并且第一手势指令的准确性较高，能够满足用户的需要。

如果检测到置信度小于预设的置信度阈值，则说明第一用户图像中采集到的用户手势的准确性较低，此时继续识别的话，得到的第一手势指令可能不是用户指示的手势指令。因此，图像采集器采集的第一用户图像不够准确。控制器可以控制显示设备进入终端识别模式，并生成包含图像采集指令的第二手势识别指令，以发送至终端设备。此时，会利用终端设备重新拍摄用户图像，从而提高识别到的手势指令的准确性。

在一些实施例中，如果检测到第一用户手势的置信度小于预设的置信度阈值，控制器也可以控制显示器显示置信度信息，用于提示用户当前未能检测到有效的用户手势，从而令用户重新做出手势，控制器再控制图像采集器重新采集第一用户图像。

在一些实施例中，考虑到在进行手势交互的过程中，需要获取到用户完整的手势信息，因此需要保证图像采集器能够采集到完整的用户手部图像。控制器可以对图像采集器采集的第一用户图像进行检测，判断其中用户的手部是否完整。如果检测到用户的手部并不是完整状态，说明用户的手部已经超出图像采集器的拍摄范围，则可能无法获取到准确的用户手势，或者如果检测到用户的手部靠近图像边缘，则认为用户的手部将有可能超出图像采集器的拍摄范围。因此控制器可以控制显示器显示提示信息，用于提示用户向显示器中间区域靠近。

在一些实施例中，显示设备由于型号的原因，可能没有内置图像采集器，同时也并没有外接图像采集器。或者显示设备已经连接了图像采集器，但是图像采集器出现了故障，暂时无法采集用户图像。由于没有获取到第一用户图像，因此显示设备无法进入本地识别模式以及图像交互模式，只能进入终端识别模式。因此，在接收到用户输入的手势交互指令后，控制器还需要检测上述无法获取到第一用户图像的特殊情况。

控制器可以检测图像输入接口是否连接图像采集器，同时可以确定该图像采集器是否能够正常工作。如果满足条件，说明显示设备能够获取到第一用户图像，因此控制器可以控制图像采集器采集第一用户图像，并获取图像采集器采集的第一用户图像。如果不满足条件，则控制器需要控制显示设备进入终端识别模式，同时生成包含图像采集指令的第二手势识别指令并发送至终端设备。此时，只能靠终端设备来采集第二用户图像。

在一些实施例中，由于图像采集器具有一定的拍摄范围，因此只能够采集一定范围内的用户图像。如果用户本身所处的位置便不在拍摄范围内，此时，图像采集器即使工作，其采集到的用户图像中也不会包含用户，也就无法获取到用户手势，无法确定用户指示的手势指令。此时，显示设备无法获取到有效的第一用户图像，也就无法进入本地识别模式以及图像交互模式，只能进入终端识别模式。

在获取到图像采集器采集的第一用户图像后，控制器可以对第一用户图像进行手势识别处理，从而检测第一用户图像中是否包含第一用户手势。

如果第一用户图像中包含第一用户手势，则说明显示设备能够支持本地识别模式以及图像交互模式，控制器可以进一步获取第一用户手势的关联指令，也可以向终端设备发送第二手势识别指令，即控制显示设备处于本地识别模式或图像交互模式的模式。如果第一用户图像中不包含第一用户手势，则说明显示设备没有获取到有效的第一用户图像，此时不能进入本地识别模式或图像交互模式，只能进入终端识别模式。

在一些实施例中，当显示设备处于本地识别模式或图像交互模式，控制器需要获取图像采集器采集的用户图像。如果用户在使用过程中，移动到了拍摄范围之外的地方，则图像采集器采集的第一用户图像中也就识别不到用户手势，显示设备不再支持本地识别模式或图像交互模式，控制器需要控制显示设备进入终端识别模式，利用终端设备拍摄用户图像。

需要说明的是，在终端设备采集第二用户图像过程中，用户可能处于不断移动的状态。由于终端设备在采集图像时也具有一个拍摄范围，一旦用户移动出终端设备的拍摄范围，终端设备采集的第二用户图像便识别不到用户手势，此时控制器需要控制显示设备从终端识别模式再次切换回本地识别模式或图像交互模式。对于这种频繁切换工作模式的情况，在切换过程中会造成手势识别的卡顿，从而影响用户的使用体验。

因此，显示设备还可以同时开启两种交互模式，以增大用户图像的拍摄范围。显示设备可以同时开启本地识别模式和终端识别模式，也可以同时开启图像交互模式和终端识别模式。对于这两种情况，均可以同时采集到第一用户图像和第二用户图像。此时，图像采集器会采集第一用户图像，终端设备会采集第二用户图像，从而大大增加了手势交互时的采集范围。对于采集到的第一用户图像和第二用户图像，均可以进行手势识别处理，从而保证能够识别出用户手势，并获取到用户手势所关联的控制指令。

图13示出了一些实施例中显示设备和终端设备的拍摄范围的示意图。如图13所示，图像采集器采集的图像尺寸为ABCD形成的矩形区域，终端设备采集的图像尺寸为A1、B1、C1和D1形成的矩形区域。图像采集器为了适应显示设备，拍摄范围可以是长度大于高度的矩形，而终端设备则为长度小于高度的矩形。为了保证两个设备能够更好拍摄出用户图像，可以对终端设备的摆放位置进行调整，以图像采集器的拍摄范围右侧和终端设备拍摄范围左侧恰好重合。

在一些实施例中，对于如图13的情况，依旧可能出现识别不出完整手势的情况，例如用户的手部刚好处于两个拍摄范围中间，导致每个设备都只能拍摄到部分手势。图14示出了一些实施例中显示设备和终端设备的拍摄范围的示意图。如图14所示，通过对终端设备的摆放位置进行调整，使得两个设备的拍摄范围存在交叠区域，该交叠区域以能够拍摄到用户的完整手势为准，从而保证即使用户的手部落在一个设备拍摄范围的边缘，也能够被另一个设备完整拍摄到。

在一些实施例中，显示设备可能处于分屏控制场景或者多人控制场景。对于这些场景，可能是多个用户需要利用手势控制显示设备的场景。即显示设备需要识别出多个用户的手势指令。

对于分屏控制场景来说，显示器会分为多个区域，每个用户可以使用一个区域，每个区域中用户均可以利用手势来控制显示设备。此时，控制器可以控制图像采集器采集一个用户的图像，从而识别出手势指令，还可以控制终端设备采集另一个用户的图像，从而识别出另一个用户的手势指令。因此，控制器可以控制显示设备同时开启两个手势交互模式。对于多人控制场景，可以是多人体感游戏场景，如多人热舞场景，双人乒乓球场景。在这种场景下，多个用户可能共用一整个显示器，也可能将显示器分屏后，每个人分配一个区域。控制器需要同时获取到每个用户的手势指令，并执行。

在接收到用户输入的手势交互指令后，控制器可以对该手势交互指令进行检测，判断该指令是否指示多个用户利用手势和显示设备进行交互。在检测时，控制器可以判断显示设备的工作场景是否为分屏控制场景，或者多人控制。

如果满足条件，则说明显示设备需要识别出多个用户的手势指令。此时，控制器可以进一步确定显示器是否需要分屏。如果需要，说明每个用户使用一个区域，可以采用两个设备分别采集用户图像，即开启两个手势交互模式。图15示出了一些实施例中分屏场景下手势交互的流程示意图。如图15所示，控制器可以控制图像采集器采集第一用户图像，同时可以发送第二手势识别指令到终端设备，控制终端设备采集第二用户图像。此时，显示设备可以同时开启本地识别模式和终端识别模式，也可以同时开启图像交互模式和终端识别模式。从而获取到多个用户的手势指令并分别执行。

如果显示器不需要分屏，则显示设备可以仅开启一个手势交互模式。图16示出了一些实施例中手势交互的流程示意图。如图16所示，通过图像采集器或者终端设备采集用户图像，保证该用户图像包含所有用户的手势即可。

在一些实施例中，控制器还可以控制显示器显示第一用户图像和/或第二用户图像。当显示设备开启一个手势交互模式时，可以是图像采集器采集第一用户图像，也可以是终端设备采集第二用户图像。控制器可以获取第一用户图像并控制显示器显示，也可以获取第二用户图像并控制显示器显示。当显示设备开启两个手势交互模式时，图像采集器会采集第一用户图像，同时终端设备也会采集第二用户图像。控制器可以获取第一用户图像和第二用户图像，并控制显示器显示。

图17示出了一些实施例中显示器显示第一用户图像和第二用户图像的示意图。如图17所示，显示器分屏，用户1使用第一区域，用户2使用第二区域。图像采集器采集用户1的第一用户图像，控制器控制第一区域中显示第一用户图像，并执行第一手势指令。终端设备采集用户2的第二用户图像，终端设备将第二用户图像和第二手势指令发送至显示设备。控制器控制第二区域中显示第二用户图像，并执行第二手势指令。

用户可以根据图像调节自己的位置，以防止超出拍摄范围。

在一些实施例中，显示设备可以在工作过程中切换手势交互模式。例如从本地识别模式切换至终端识别模式。在切换过程中，采集用户图像的设备可能会发生变化，可以是从图像采集器切换至终端设备，也可以从终端设备切换至图像采集器。需要说明的是，切换采集用户图像的设备需要一定时间，在切换过程中可能会导致手势交互的卡顿，影响用户体验。因此，控制器可以令所有采集用户图像的设备同时工作。对于当前手势交互模式的设备，可以根据正常工作的帧率进行拍摄，对于其他设备，可以以预设帧率拍摄，相当于处于待机状态。例如，当显示设备处于本地识别模式，图像采集器可以以30帧拍摄用户图像，同时终端设备以1帧拍摄用户图像，终端设备相当于处于待机状态。当显示设备切换至终端识别模式时，终端设备可以快速调节拍摄帧率至正常情况，从而避免手势交互过程中出现卡顿情况。

本申请实施例还提供了一种手势交互方法，应用于显示设备，如图18所示，该方法包括：

步骤1801、接收用户输入的手势交互指令。

步骤1802、生成手势识别指令并发送至终端设备，手势识别指令中包含图像采集器采集的第一用户图像或图像采集指令。手势识别指令用于使终端设备根据第一用户图像生成第一手势指令，或，根据图像采集指令采集第二用户图像并根据第二用户图像生成第二手势指令。

步骤1803、响应于终端设备发送的第一手势指令或第二手势指令，执行第一手势指令或第二手势指令。

在一些实施例中，接收用户输入的手势交互指令后，包括：

获取图像采集器采集的第一用户图像；对第一用户图像进行手势识别处理，得到第一用户图像中的第一用户手势；获取第一用户手势的关联指令，并确定为第一手势指令；执行第一手势指令。或，生成手势识别指令并发送至终端设备。

在一些实施例中，接收用户输入的手势交互指令后，包括：

获取显示设备的负载率情况。根据负载率情况判断显示设备是否满足预设的第一负载率条件，第一负载率条件为：在预设时间内，显示设备的负载率超过预设的第一阈值的次数达到预设数值。若是，则生成手势识别指令并发送至终端设备；若否，则获取图像采集器采集的第一用户图像。

在一些实施例中，生成手势识别指令并发送至终端设备，包括：

根据负载率情况判断显示设备是否满足预设的第二负载率条件，第二负载率条件为：在预设时间内，显示设备的负载率超过预设的第二阈值的次数达到预设数值；第二阈值大于第一阈值。若否，则获取图像采集器采集的第一用户图像，生成包含第一用户图像的第一手势识别指令并发送至终端设备；若是，则生成包含图像采集指令的第二手势识别指令，并发送至终端设备，图像采集指令用于使终端设备采集第二用户图像。

在一些实施例中，获取第一用户手势的关联指令前，包括：

获取第一用户手势的置信度并检测。基于检测到置信度大于或等于预设的置信度阈值，则执行获取第一用户手势的关联指令的步骤；基于检测到置信度小于预设的置信度阈值，则生成手势识别指令并发送至终端设备，且手势识别指令中包含图像采集指令。

在一些实施例中，接收用户输入的指示手势控制显示设备的指令后，包括：

检测图像输入接口是否连接图像采集器。若是，则获取图像采集器采集的第一用户图像；若否，则生成手势识别指令并发送至终端设备，且手势识别指令中包含图像采集指令，图像采集指令用于使终端设备采集第二用户图像。

在一些实施例中，获取第一用户手势的关联指令前，包括：

检测第一用户图像中是否包含第一用户手势。若是，则获取第一用户手势的关联指令；若否，则生成手势识别指令并发送至终端设备，手势识别指令中包括图像采集指令。

在一些实施例中，生成手势识别指令并发送至终端设备，包括：

对手势交互指令进行检测。如果手势交互指令指示多个用户利用手势和显示设备进行交互，则生成包含图像采集指令的第二手势识别指令，并发送至终端设备。和/或，获取图像采集器采集的第一用户图像，并根据第一用户图像获取第一手势指令。

在一些实施例中，生成手势识别指令并发送至终端设备后，控制显示器显示第一用户图像和/或第二用户图像。

本申请实施例还提供了一种手势交互方法，应用于终端设备，该方法包括：

接收显示设备发送的手势识别指令并检测，手势识别指令中包含第一用户图像或图像采集指令。

基于检测到手势识别指令中包含第一用户图像，对第一用户图像进行手势识别处理，得到第一用户手势；获取第一用户手势关联的第一手势指令，并将第一手势指令发送至显示设备。

基于检测到手势识别指令中包含图像采集指令，采集第二用户图像并对第二用户图像进行手势识别处理，得到第二用户手势；获取第二用户手势相关联的第二手势指令，并将第一手势指令发送至显示设备。

本说明书中各个实施例之间相同相似的部分互相参照即可，在此不再赘述。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分的方法。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (10)

1.一种显示设备，其特征在于，包括：

显示器；

图像输入接口，被配置为连接图像采集器，图像采集器用于采集用户图像；

控制器，被配置为：

接收用户输入的手势交互指令；

生成手势识别指令并发送至终端设备，所述手势识别指令中包含所述图像采集器采集的第一用户图像或图像采集指令；以使终端设备根据所述第一用户图像生成第一手势指令，或，根据所述图像采集指令采集第二用户图像并根据所述第二用户图像生成第二手势指令；

响应于终端设备发送的所述第一手势指令或所述第二手势指令，执行所述第一手势指令或所述第二手势指令。

2.根据权利要求1所述的显示设备，其特征在于，所述控制器还被配置为：

在执行接收用户输入的手势交互指令的步骤后，

获取所述图像采集器采集的第一用户图像；对所述第一用户图像进行手势识别处理，得到所述第一用户图像中的第一用户手势；获取所述第一用户手势的关联指令，并确定为第一手势指令；执行所述第一手势指令；

或，执行生成手势识别指令并发送至终端设备的步骤。

3.根据权利要求2所述的显示设备，其特征在于，所述控制器还被配置为：

在执行接收用户输入的手势交互指令的步骤后，

获取显示设备的负载率情况；

根据所述负载率情况判断显示设备是否满足预设的第一负载率条件，所述第一负载率条件为：在预设时间内，显示设备的负载率超过预设的第一阈值的次数达到预设数值；

若是，则执行生成手势识别指令并发送至终端设备的步骤；若否，则执行获取所述图像采集器采集的第一用户图像的步骤。

4.根据权利要求3所述的显示设备，其特征在于，所述控制器还被配置为：

在执行生成手势识别指令并发送至终端设备的步骤中，

根据所述负载率情况判断显示设备是否满足预设的第二负载率条件，所述第二负载率条件为：在预设时间内，显示设备的负载率超过预设的第二阈值的次数达到预设数值；所述第二阈值大于所述第一阈值；

若否，则获取所述图像采集器采集的第一用户图像，生成包含所述第一用户图像的第一手势识别指令并发送至终端设备；若是，则生成包含图像采集指令的第二手势识别指令，并发送至终端设备，所述图像采集指令用于使终端设备采集第二用户图像。

5.根据权利要求2所述的显示设备，其特征在于，所述控制器被配置为：

在执行获取所述第一用户手势的关联指令的步骤前，

获取所述第一用户手势的置信度并检测；

基于检测到所述置信度大于或等于预设的置信度阈值，则执行获取所述第一用户手势的关联指令的步骤；基于检测到所述置信度小于预设的置信度阈值，则执行生成手势识别指令并发送至终端设备的步骤，且所述手势识别指令中包含图像采集指令。

6.根据权利要求2所述的显示设备，其特征在于，所述控制器还被配置为：

在执行接收用户输入的指示手势控制显示设备的指令的步骤后，

检测所述图像输入接口是否连接图像采集器；

若是，则执行获取所述图像采集器采集的第一用户图像的步骤；若否，则执行生成手势识别指令并发送至终端设备，且所述手势识别指令中包含图像采集指令，所述图像采集指令用于使终端设备采集第二用户图像。

7.根据权利要求2所述的显示设备，其特征在于，所述控制器还被配置为：

在执行获取所述第一用户手势的关联指令的步骤前，

检测所述第一用户图像中是否包含第一用户手势；

若是，则执行获取所述第一用户手势的关联指令的步骤；若否，则执行生成手势识别指令并发送至终端设备的步骤，且所述手势识别指令中包括图像采集指令。

8.根据权利要求1所述的显示设备，其特征在于，所述控制器还被配置为：

在执行生成手势识别指令并发送至终端设备的步骤中，

对所述手势交互指令进行检测；

如果所述手势交互指令指示多个用户利用手势和显示设备进行交互，则生成包含图像采集指令的第二手势识别指令，并发送至终端设备；

和/或，获取所述图像采集器采集的第一用户图像，并根据所述第一用户图像获取第一手势指令；

在执行生成手势识别指令并发送至终端设备的步骤后，

控制显示器显示所述第一用户图像和/或所述第二用户图像。

9.一种终端设备，其特征在于，所述终端设备被配置为：

接收显示设备发送的手势识别指令并检测，手势识别指令中包含第一用户图像或图像采集指令；

基于检测到所述手势识别指令中包含第一用户图像，对所述第一用户图像进行手势识别处理，得到第一用户手势；获取所述第一用户手势关联的第一手势指令，并将所述第一手势指令发送至显示设备；

基于检测到所述手势识别指令中包含图像采集指令，采集第二用户图像并对所述第二用户图像进行手势识别处理，得到第二用户手势；获取所述第二用户手势相关联的第二手势指令，并将所述第一手势指令发送至显示设备。

10.一种手势交互方法，应用于显示设备，其特征在于，所述方法包括：

接收用户输入的手势交互指令；

生成手势识别指令并发送至终端设备，所述手势识别指令中包含第一用户图像或图像采集指令；以使终端设备根据所述第一用户图像生成第一手势指令，或，根据所述图像采集指令采集第二用户图像并根据所述第二用户图像生成第二手势指令；

响应于终端设备发送的所述第一手势指令或所述第二手势指令，执行所述第一手势指令或所述第二手势指令。

Images