CN116069280A - 显示装置及其控制方法 - Google Patents

Abstract

本申请提供一种显示装置及其控制方法，显示装置能够根据待检测图像中的手势信息和肢体信息共同确定不同的控制命令，丰富了用户可以使用这种交互方式向显示装置发出的控制命令的数量，提高了显示装置的智能化程度以及用户体验。并且使用计算量较小的第一检测模型对待检测图像中是否包括手势信息进行识别，只有在第一检测模型确定包括手势信息后，再使用计算量较大的第二检测模型识别手势信息和肢体信息，从而能够减少无效的识别所带来的计算量和功耗、提高处理器的计算效率。

Description

显示装置及其控制方法

技术领域

本申请涉及电子技术领域，尤其涉及一种显示装置及其控制方法。

背景技术

随着电子技术的不断发展，电视机等显示装置能够实现的功能越来越多，例如，显示装置可以通过其设置的视频采集装置拍摄用户的图像，并由处理器对图像中用户的手势信息进行识别后，执行手势信息对应的命令。

然而，采用现有技术，显示装置通过手势信息确定的控制命令较为单一，造成了显示装置的智能化程度较低、用户体验较差。

发明内容

本申请提供一种显示装置及其控制方法，用以解决显示装置的智能化程度较低、用户体验较差的问题。

本申请第一方面提供一种显示装置，包括：显示屏幕，被配置为显示图像；视频采集装置，被配置为采集视频数据；控制器，被配置为按照预设时间间隔，从所述视频采集装置所采集的视频数据的连续多帧图像中，抽取一帧待检测图像；使用第一检测模型判断所述待检测图像中是否包括人体的手势信息；若是，按照所述预设时间间隔和预设数量，从所述视频数据中继续抽取预设数量的待检测图像，并使用第二检测模型分别识别所述预设数量的待检测图像中人体的手势信息和肢体信息；其中，所述第一检测模型计算时的数据量小于所述第二检测模型计算时的数据量；执行所述预设数量的待检测图像中的所述手势信息和所述肢体信息对应的控制命令。

本申请第二方面提供一种显示装置的控制方法，包括：按照预设时间间隔，从所述显示装置的视频采集装置所采集的视频数据的连续多帧图像中，抽取一帧待检测图像；使用第一检测模型判断所述待检测图像中是否包括人体的手势信息；若是，按照所述预设时间间隔和预设数量，从所述视频数据中继续抽取预设数量的待检测图像，并使用第二检测模型分别识别所述预设数量的待检测图像中人体的手势信息和肢体信息；其中，所述第一检测模型计算时的数据量小于所述第二检测模型计算时的数据量；执行所述预设数量的待检测图像中的所述手势信息和所述肢体信息对应的控制命令

综上，本申请提供的显示装置及其控制方法，显示装置能够根据待检测图像中的手势信息和肢体信息共同确定不同的控制命令，丰富了用户可以使用这种交互方式向显示装置发出的控制命令的数量，提高了显示装置的智能化程度以及用户体验。并且使用计算量较小的第一检测模型对待检测图像中是否包括手势信息进行识别，只有在第一检测模型确定包括手势信息后，再使用计算量较大的第二检测模型识别手势信息和肢体信息，从而能够减少无效的识别所带来的计算量和功耗、提高处理器的计算效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请所应用的显示装置的操作场景的示意图；

图2为一种显示装置中硬件系统的硬件结构示意图；

图3为一种显示装置的控制方法一实施例的示意图；

图4为一种显示装置的控制方法另一实施例的示意图；

图5为本申请提供的手部关键点坐标的示意图；

图6为本申请提供的手部关键点的不同伸缩状态示意图；

图7为本申请提供的显示装置的控制方法一应用场景的示意图；

图8为本申请提供的使用手势信息和肢体信息共同确定控制命令的示意图；

图9为本申请提供的显示装置的控制方法一实施例的流程示意图；

图10为本申请提供的映射关系一实施例的示意图；

图11为本申请提供的映射关系另一实施例的示意图；

图12为本申请提供的一种图像中手势信息和肢体信息的示意图；

图13为本申请提供的目标控件的移动位置一实施例的示意图；

图14为本申请提供的目标控件的移动位置另一实施例的示意图；

图15为本申请提供的显示装置的控制方法一实施例的流程示意图；

图16为本申请提供的显示装置的控制方法一实施例的流程示意图；

图17为本申请提供的虚拟框的示意图；

图18为本申请提供的虚拟框和显示屏幕的对应关系示意图；

图19为本申请提供的目标控件移动的示意图；

图20为本申请提供的虚拟框的面积示意图；

图21为本申请提供的边缘区域的示意图；

图22为本申请提供的手势信息的状态示意图；

图23为本申请提供的重新建立的虚拟框一实施例的示意图；

图24为本申请提供的重新建立的虚拟框另一实施例的示意图；

图25为本申请提供的目标控件的移动时一实施例的示意图；

图26为本申请提供的目标控件的移动时另一实施例的示意图；

图27为本申请提供的显示装置的控制方法一实施例的流程示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面首先结合附图对本申请所涉及的概念进行说明。在此需要指出的是，以下对各个概念的说明，仅为了使本申请的内容更加容易理解，并不表示对本申请保护范围的限定。其中，本申请各实施例中使用的术语“模块”、“单元”、“组件”等，可以是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

图1为本申请所应用的显示装置的操作场景的示意图。如图1所示，用户可通过控制装置100来操作显示装置200，或者，设置在显示装置200上的摄像头等视频采集装置201还可以采集包括用户人体的视频数据，并根据视频数据中的图像对用户的手势信息、肢体信息等进行响应，进而根据用户的动作信息执行对应的控制命令。使得用户在不需要遥控器100的情况下，就可以实现对显示装置200进行控制，来丰富显示装置200的功能，提高用户体验。

如图1所示，显示装置200还可与服务器300通过多种通信方式进行数据通信。在本申请各个实施例中，可允许显示装置200通过局域网、无线局域网或其他网络与服务器300进行有线通信连接或无线通信连接。服务器300可以向显示装置200提供各种内容和互动。

示例的，显示装置200通过发送和接收信息，以及电子节目指南(EPG，ElectronicProgram Guide)互动，接收软件程序更新，或访问远程储存的数字媒体库。服务器300可以是一组，也可以是多组，可以是一类或多类服务器。通过服务器300提供视频点播和广告服务等其他网络服务内容。

显示装置200，一方面讲，可以是液晶显示器、OLED(Organic Light EmittingDiode)显示器、投影显示装置；另一方面讲，显示装置被可以是智能电视或显示器和机顶盒组成的显示系统。具体显示装置类型，尺寸大小和分辨率等不作限定，本领技术人员可以理解的是，显示装置200可以根据需要做性能和配置上的一些改变。

显示装置200除了提供广播接收电视功能之外，还可以附加提供计算机支持功能的智能网络电视功能。示例的包括，网络电视、智能电视、互联网协议电视(IPTV)等。在一些实施例中，显示装置可以不具备广播接收电视功能。

在另一些示例中，显示装置200还可以再增加更多功能或减少上述功能。本申请对该显示装置200的具体实现不作具体限定，例如显示装置200可以是任意的电视机等电子设备。

示例性地，图2为一种显示装置中硬件系统的硬件结构示意图。如图2中示出了图1中显示装置200中的显示装置可与具体包括：面板1、背光组件2、主板3、电源板4、后壳5和基座6。其中，面板1用于给用户呈现画面；背光组件2位于面板1的下方，通常是一些光学组件，用于供应充足的亮度与分布均匀的光源，使面板1能正常显示影像，背光组件2还包括背板20，主板3和电源板4设置于背板20上，通常在背板20上冲压形成一些凸包结构，主板3和电源板4通过螺钉或者挂钩固定在凸包上；后壳5盖设在面板1上，以隐藏背光组件2、主板3以及电源板4等显示装置的零部件，起到美观的效果；底座6，用于支撑显示装置。可选地，图2中还包括按键板，按键板可以设置在显示装置的背板上，本申请对此不做限定。

另外，显示装置200还可以包括声音再现装置(图中未示出)例如音响组件，如包括功率放大器(Amplifier，AMP)及扬声器(Speaker)的I2S接口等，用于实现声音的再现。通常音响组件至少能够实现两个声道的声音输出；当要实现全景声环绕的效果，则需要设置多个音响组件，输出多个声道的声音，这里不再具体展开说明。

需要说明的是，显示装置200可以采用OLED显示屏等具体的实现形式，这样，如图2所示的显示装置200所包含的模板发生相应的改变，此处不做过多说明。本申请对显示装置200内部的具体结构不作限定。

下面以具体地实施例，对本申请提供的显示装置的控制方法进行说明，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

在一些实施例中，本申请实施例提供的显示装置的控制方法的执行主体可以是显示装置，具体可以是显示装置中的CPU、MCU、SOC等控制器或者控制单元、处理器、处理单元等，本申请后续实施例中，以控制器为执行主体作为示例。则当控制器通过显示装置的视频采集装置获取到视频数据后，根据视频数据的连续多帧图像进行手势识别，进而根据识别到的手势信息执行对应的动作。

在一些实施例中，图3为一种显示装置的控制方法一实施例的示意图，其中，当控制器通过视频采集装置的视频数据中获取到图3右侧的待检测图像、对该待检测图像中的手势A进行识别，能够通过手势识别算法识别出该待检测图像中包括手势信息，该手势信息中包括的“OK”形手势、以及手势的位置、大小等。随后，控制器可以根据当前显示装置的显示屏幕上所显示的，光标位于控件“确定”上，确定该手势信息的“OK”对应的控制命令为“点击确定控件”，最终控制器可以执行该命令。

在另一些实施例中，图4为一种显示装置的控制方法另一实施例的示意图，其中，当控制器通过视频采集装置的视频数据中每一帧图像中的手势进行识别后，根据前后两帧待检测图像相比较得出，待检测图像中用户的手势B从前一帧图像中左侧移动至了后一帧图像中的右侧，说明待检测图像中用户的手势B发生了移动。随后，控制器可以根据当前显示屏幕上所显示的内容为，正在移动的光标C，可以确定手势信息对应的控制命令为“向右侧移动光标”，并且所移动的距离可以与待检测图像中手势信息对应的移动距离相关，本申请后续实施例将提供计算待检测图像中手势移动距离和显示屏幕上光标移动距离的关联方式。

从上述图3和图4所示实施例可以看出，当显示装置中的控制器能够通过视频采集装置采集的视频数据，确定用户的手势信息，进而执行用户通过手势表示出的控制命令，使得用户不用依赖于遥控器、手机等控制装置即可控制显示装置，丰富了显示装置的功能、增添了控制显示装置时的趣味性，能够极大地提高显示装置的用户体验。

本申请对控制器根据一帧待检测图像确定该图像中手势信息的具体方式不做限定，例如可以采用机器学习模型基于图像识别的方式识别出待检测图像中的手势信息等。

在一些实施例中，本申请还提供一种识别手势信息的方式，可以通过定义待检测图像中人体手部的关键点坐标，进而确定手部的手势信息，能够更好地应用于显示装置的场景中。例如，图5为本申请提供的手部关键点坐标的示意图，在如图5所示的示例中，将人体手部按照手指、关节、手掌的位置依次标记1-21的共21个关键点。

图6为本申请提供的手部关键点的不同伸缩状态示意图，其中，控制器在对待检测图像中的手势信息进行识别时，首先通过图像识别等算法确定待检测图像中手的朝向，并在图像中包括手心一侧的关键点时，继续对所有的关键点进行标识，并判断每个关键点的位置。例如，图6中最左侧的图像中，对应于手部中指的9-12号关键点之间的距离较为稀疏且分散，说明中指处于伸展状态，图6中部的图像中，对应于手部中指的9-12号关键点之间，上部较为集中、下部较为分散，说明中指处于半弯折状态；图6右侧的图像中，对应于手部中指的9-12号关键点之间的距离较近且集中，说明中指处于完全的蜷缩状态。因此可以定义不同的关键点之间的距离、分布比例等，对图6中不同的状态进行区分，则根据图6中相同的方式，可以对图5中5个指头各自对应的每个关键点进行识别后，得到待检测图像中的手势信息。

在一些实施例中，本申请还提供一种显示装置的控制方法，控制器可以识别待检测图像中的手势信息和肢体信息，并根据这两种信息共同确定控制命令并执行。例如，图7为本申请提供的显示装置的控制方法一应用场景的示意图，在图7所示的场景中，显示装置200的具体结构与图1-图2中所示相同，此时，显示置200的用户可以通过手势和肢体共同来表示控制命令，随后显示装置200通过其视频采集装置采集到视频数据后，显示装置200中的控制器对多帧图像中的待检测图像进行识别，同时识别出待检测图像中用户的手势信息和肢体信息。

示例性地，图8为本申请提供的使用手势信息和肢体信息共同确定控制命令的示意图，其中，假设图8中左侧的手势信息F为“OK”手势，肢体信息G为手肘指向左上角，则根据手势信息F和肢体信息G可以确定的控制命令为点击显示屏幕左侧所显示的控件；图8中右侧的手势信息H为“OK”手势，肢体信息I为手肘指向右上角，则根据手势信息H和肢体信息I可以确定的控制命令为点击显示屏幕右侧所显示的控件。

结合上述实施例可以看出，本实施例提供的显示装置的控制方法，控制器能够根据待检测图像中的手势信息和肢体信息共同确定不同的控制命令，丰富了用户可以使用这种交互方式向显示装置发出的控制命令的数量，进一步提高了显示装置的智能化程度以及用户体验。

在一些实施例中，若显示装置的控制器的计算能力支持，控制器可以对其从视频数据中抽取的每一帧待检测图像进行手势和肢体的信息识别，但是，由于常见的手势和肢体识别所需要的计算量较大，极大地增加了控制器所需的计算量，并且用户大多数时间内也并不是一直在控制显示装置，因此，本申请提供的显示装置设置有至少两个检测模型，记为第一检测模型和第二检测模型，其中，第二检测模型用于对待检测图像中的手势信息和肢体信息进行识别，而第一检测模型的计算量和数据量小于第二检测模型，可以用于对待检测图像中是否包括手势信息进行识别。下面通过图9对本申请提供的显示装置的控制方法进行具体说明。

图9为本申请提供的显示装置的控制方法一实施例的流程示意图，如图9所示的控制方法包括：

S101：按照预设时间间隔，从显示装置的视频采集装置所采集的视频数据的连续多帧图像中，抽取一帧待检测图像。

其中，本申请可应用在如图7所示的场景中，由显示装置中的控制器执行，当显示装置处于工作状态时，其视频采集装置将采集其朝向方向的视频数据，则作为执行主体的控制器获取视频数据后，从视频数据中按照预设时间间隔抽取一帧待检测图像。例如，当视频采集装置所采集的视频数据的帧率为60帧/秒，则控制器可以按照30帧/秒的帧率进行采样，实现每间隔一帧抽取一帧待检测图像进行后续处理，此时预设时间间隔为1/30秒。

S102：使用第一检测模型，判断待检测图像中是否包括人体的手势信息。

具体地，针对图7中的应用场景，当用户需要控制显示装置时，即可站在视频采集装置朝向的方向上，根据其希望显示装置的控制命令，做出相应的手势和肢体的动作，此时视频采集装置采集到的包括用户手势信息和肢体信息的图像；当用户不需要控制显示装置时，视频采集装置在其采集范围内采集的视频图像中不包括用户手势信息和肢体信息。

因此，如果在S102之前的待检测图像中不包括手势信息，且没有使用第二检测模型对待检测图像进行处理时，控制器在S102中将使用计算量较小的第一检测模型对待检测图像进行处理，通过第一检测模型判断待检测图像中是否包括手势信息。

在一些实施例中，控制器使用手势类别检测模型作为上述第一检测模型，来实现全局感知算法，进而达到对待检测图像中是否包括手势信息进行判断的目的。其中，全局感知算法是指控制器可以在开机后默认开启并保持运行状态的算法，具有计算量较小、检测类型简单的特点，可仅用于获取特定的信息，并用于开启第二检测模型进行检测等其他非全局功能。

在一些实施例中，第一检测模型是通过多个训练图像训练得到的，每个训练图像中包括不同的待训练手势信息，则控制器使用第一检测模型将学习得到的手势信息与待检测图像进行比对，从而判断待检测图像中是否包括手势信息，但第一检测模型可不用于具体识别手势信息，而第二检测模型可用于通过具体的关节等识别算法确定出手势信息。

S103：若S102中确定待检测图像中包括人体手势信息，则确定用户希望对显示装置进行控制，控制器随后继续获取待检测图像，并使用第二检测模型对待检测图像中的手势信息和肢体信息进行识别。

在一些实施例中，当检测到待检测图像中包括人体手势信息后，控制器可以继续按照预设时间间隔从视频采集装置采集的多帧图像中抽取待检测图像，并使用第二检测模型代替第一检测模型，对后续抽取的待检测图像进行处理，从而识别出每一帧待检测图像的手势信息和肢体信息。或者，控制器还可以减少预设时间间隔，以更少的时间间隔抽取待检测图像。

在一些实施例中，控制器也可以将S102中确定包括人体手势信息的待检测图像使用第二检测模型进行处理后，继续使用第二检测模型对后续的检测图像进行处理。

S104：根据S103中确定的预设数量帧的待检测图像中的手势信息和肢体信息确定对应的控制命令，并执行该控制命令。

在一些实施例中，为了提高识别的准确性，控制器可以连续采集多帧图像进行处理，例如，当S102中判断待检测图像中包括人体的手势信息，则在S103中，按照预设时间间隔采集预设数量个(例如3个)待检测图像后，分别对这3个待检测图像进行手势信息识别和肢体信息的识别，最终在这3个待检测图像中的手势信息和肢体信息相同时，确定根据这些相同的手势信息和肢体信息进行后续计算，能够防止因其他因素导致的偶发错误导致的识别不准确。

则当上述预设数量个待检测图像中的手势信息和肢体信息均相同(或者部分相同，且部分相同的比例与预设数量比例大于阈值，例如阈值可以取80％等)时，控制器再根据映射关系，确定该手势信息和肢体信息所对应的控制命令。例如，图10为本申请提供的映射关系一实施例的示意图，其中，该映射关系包括多个控制命令(控制命令1、控制命令2…)，以及每个控制命令与对应的手势信息和肢体信息之间的对应关系，例如：控制命令1对应于手势信息1和肢体信息1，控制命令2对应于手势信息2和肢体信息2……。其具体的实现方式可以参照图8，不同的手势信息和肢体信息的组合可以对应于不同的控制命令。

在一些实施例中，上述映射关系可以是预设的、也可以是显示装置的用户所指定的，并可以提前存储在控制器中，使得控制器根据其所确定的手势信息和肢体信息，即可从映射关系中确定对应的控制命令并继续执行。

在另一些实施例中，图11为本申请提供的映射关系另一实施例的示意图，在图11所示的映射关系中，手势信息和肢体信息分别与一个控制命令对应，此时，控制器可以根据手势信息或者肢体信息确定一个控制命令后，使用另一个信息对所确定的控制命令进行验证，从而提高所得到的控制命令的准确性，当两个信息确定的控制命令不同时，说明识别有误，则可以不执行该控制命令或者进行重新识别等处理措施，防止执行错误的控制命令。

在又一些实施例中，本申请提供的映射关系还可以包括对应于“不执行任何命令”的控制命令，例如，图12为本申请提供的一种图像中手势信息和肢体信息的示意图，其中，图像中的用户是背部朝向显示装置，此时手部刚好朝向显示装置。虽然用户没有想控制显示装置，但通过图9所示的流程第一检测模型确定当前待检测图像中包括手势信息，随后又通过第二检测模型识别出该手势信息和肢体信息后，控制器可以根据映射关系确定当前手势信息和肢体信息不执行任何命令。此时的映射关系可以包括例如手势信息为手掌展开、肢体信息为手肘指向斜下方等。

综上，本实施例提供的显示装置的控制方法，控制器能够根据待检测图像中的手势信息和肢体信息共同确定不同的控制命令，丰富了用户可以使用这种交互方式向显示装置发出的控制命令的数量，进一步提高了显示装置的智能化程度以及用户体验。进一步地，本实施例使用计算量较小的第一检测模型对待检测图像中是否包括手势信息进行识别，只有在第一检测模型确定包括手势信息后，再使用计算量较大的第二检测模型识别手势信息和肢体信息，从而能够减少无效的识别所带来的计算量和功耗、提高控制器的计算效率。

结合上述图9中S101-S104，在具体的实现方式中，当控制命令为点击显示屏幕上显示的控件、返回主页、修改音量等一次性的控制操作时，如图S104执行该控制命令后，即可结束该流程，停止使用第二检测模型识别手势信息和肢体信息，并返回S101中继续抽取待检测图像，再次利用第一检测模型识别手势信息，从而重新执行如图9所示的整个流程。

在另一种具体的实现方式中，当控制命令为控制显示屏幕上的鼠标等目标控件移动至手势信息对应的位置的移动命令时，则在S104中执行完该移动命令后，应返回S103中，重复执行S103-S104的过程，从而对用户连续的移动动作的检测，来实现对显示屏幕上目标控件的持续移动。

在一些实施例中，上述重复执行S103-S104的过程中，如果识别到当前获取的预设数量的待检测图像中的人体的手势信息和肢体信息对应于停止命令、或者通过第二检测模型确定预设数量的待检测图像中不包括人体的手势信息和肢体信息时，均可以结束该流程，停止使用第二检测模型识别手势信息和肢体信息，并返回S101中继续抽取待检测图像，再次利用第一检测模型识别手势信息，从而重新执行如图9所示的整个流程。

在一些实施例中，当控制命令为控制显示屏幕上的鼠标等目标控件移动至手势信息对应的位置的移动命令时，并且控制器在不断重复执行S103-S104的过程中，可以理解的是，此时用户的手势应该处于连续移动的状态，一旦移动的过快，控制器在某一次检测的过程中，可能出现无法检测到多帧待检测图像中手势信息和肢体信息的情况，在这个情况下，控制器可以不立即停止执行该流程，而是可以根据前一次或者多次的检测结果，对当前可能出现的手势信息和肢体信息进行预测，并根据预测得到的手势信息和肢体信息执行后续的移动命令。

例如，图13为本申请提供的目标控件的移动位置一实施例的示意图，控制器第①次执行S103检测到待检测图像中的手势信息K和肢体信息L后，在S104中，执行将目标控件移动到显示屏幕上①位置的移动命令。控制器第②次执行S103检测到待检测图像中的手势信息K和肢体信息L后，在S104中，执行将目标控件移动到显示屏幕上②位置的移动命令。然而，假设用户在第②次检测之后移动的速度过块，导致控制器第③次执行S103时，未能在待检测图像中识别出手势信息和肢体信息，未能移动显示屏幕上的目标控件，而后续控制器第④次执行S103又能够检测到待检测图像中的手势信息K和肢体信息L后，在S104中，执行将目标控件移动到显示屏幕上④位置的移动命令时，将目标控件从显示屏幕上②位置直接移动至④位置的变化较大，给用户带来暂停、卡顿的观看效果，极大地影响用户体验。

因此，本实施例中，当控制器第③次执行S103时，未能在待检测图像中识别出手势信息和肢体信息时，由于显示屏幕上仍然在控制目标控件的移动，控制器可以根据第①次和第②次所识别的手势信息K和肢体信息L的移动舒服和移动方向，对第③次的待检测图像中可能出现的手势信息K和肢体信息L进行预测，进而根据预测得到的手势信息和肢体信息所对应的预测位置，进而根据所预测得到的手势信息和肢体信息，执行将目标控件移动到显示屏幕上③位置的移动命令。

最终，图14为本申请提供的目标控件的移动位置另一实施例的示意图，当使用上述预测方法后，对于相同时间间隔所采集的待检测图像中，按照①-②-③-④变化的手势信息和肢体信息，虽然第③次执行S103时，未能在待检测图像中识别出手势信息和肢体信息，但还是基于预测的手势信息和肢体信息对显示屏幕上的③位置进行了预测，使得整个过程中，显示屏幕上的目标控件将按照①-②-③-④的位置均匀变化，避免了图13中目标控件从位置②直接移动到位置④的暂停与卡顿，极大地提高了显示效果，使得用户通过手势和肢体控制显示装置时的操作效果更为流程和顺滑，进一步提高了用户体验。

而为了实现上述过程，在一些实施例中，控制器每一次执行S103之后，都将存储从而记录本次执行S103所得到的手势信息和肢体信息，以供后续一次没有检测到手势信息和肢体信息时进行预测。在一些实施例中，当连续多次(例如3次)执行S103中的过程时都没有检测到手势信息和肢体信息，则不再进行预测，而是停止执行本次流程，重新从S101开始执行。

基于上述实施例，在具体的实现过程中，控制器可以根据第二检测模型的识别结果，维护一个手势移动速度v及移动方向α，根据帧率和多帧间移动距离(一般为三帧)可得到手势移动速度v和移动方向α。当出现手势检测不到的情况但是肢体可检测到的时候，会增加多帧的行动预测(一般为三帧)，防止因手势忽然检测不到而出现焦点重置、鼠标卡顿等影响用户体验的状况。根据移动速度v和方向α可得到下一帧的预测手势位置，当然，需要有一个速度阈值β，若手势移动速度超过阈值β，会固定为速度β，这是防止手势快速导致的速度过快影响体验。

在一些实施例中，上述示例中在使用第二检测模型识别待检测图像中的手势信息和肢体信息时，并不以一帧待检测图像的识别结果为准，而是当将预设时间，抽取预设数量个待检测图像，并在这些待检测图像中均检测到手势信息和肢体信息后，再执行这些相同的手势信息和肢体信息对应的控制命令。而在具体的实现过程中，显示装置的控制器可以根据显示装置的工作参数，动态地调整上述预设时间间隔，例如，控制器根据当前负载较轻时，确定预设时间为100ms，即，每间隔100ms抽取一帧待检测图像，假设预设数量为8，则该预设数量个待检测图像对应于800ms的时间范围，如果在这个时间范围内，控制器在8帧待检测图像中均检测到手势信息和肢体信息后，说明手势信息和肢体信息真实有效，即可行这些相同的手势信息和肢体信息对应的控制命令。而当控制器根据当前负载大于阈值时，确定负载较重，确定预设时间为200ms，即每间隔200ms抽取一帧待检测图像，此时，控制器可以调整预设数量为4，从而同样在4帧待检测图像对应的800ms的时间范围，确定手势信息和肢体信息的真实有效。因此，本实施例提供的控制方法中，控制器可以动态地根据预设时间间隔调整预设数量，并且二者呈反比例对应关系，从而既能够减少控制器在重负载时的计算量、也能够防止预设时间间隔较长时，由于预设数量较大导致识别时间的延长，最终在保证识别的准确的基础上，满足一定的识别效率。

在一些实施例中，图15为本申请提供的显示装置的控制方法一实施例的流程示意图，可以作为如图9所示的控制方法一种具体的实现方式，其具体实现方式及原理与图9所示相同，不再赘述。

在一些实施例中，控制器使用第二检测模型能够识别出待检测图像中人体的手势信息，而第一检测模型也是通过包括手势信息的图像训练得到的，因此，控制器在每次执行完如图9所示的整个流程之后，都可以将本次执行时通过第二检测模型识别出的手势信息，用于对第一检测模型的训练和更新，从而实现根据当前检测的手势信息，对第一检测模型更加有效的更新，因此能够提高第一检测模型的实时性和适用性。

在本申请前述各实施例的具体实现过程中，虽然可以根据待检测图像中的手势信息和肢体信息对显示屏幕进行控制，但是由于显示装置的视频采集装置所采集的待检测图像中，人体可能只位于其中的一小部分区域内，使得当用户在完成控制显示屏幕上控件较长距离的移动操作时，人体的手势信息移动的位置较长，给用户的使用带来不便。因此，本申请实施例还提供一种显示装置的控制方法，通过建立待检测图像中的“虚拟框”与显示屏幕的映射关系，使得用户在控制显示装置时，可以仅通过其手势在虚拟框内的移动，即可实现指示目标控件在显示屏幕上的移动，极大地减少了用户的动作幅度，能够提高用户体验。下面结合具体的实施例，对本申请提供的“虚拟框”以及相关的应用进行说明，其中，虚拟框仅为示例性的称呼，也可以被称为映射框、识别区域、映射区域等，本申请对其名称不做限定。

例如，图16为本申请提供的显示装置的控制方法一实施例的流程示意图，如图16所示的方法可以应用于图7所示的场景中，由显示装置中的控制器执行，并用于在显示装置显示鼠标等控件的情况下，识别用户通过手势信息发出的移动该控件的移动命令，具体地，该方法包括：

S201：当显示装置处于工作状态时，其视频采集装置将采集其朝向方向的视频数据，则作为执行主体的控制器获取视频数据后，从视频数据中按照预设时间间隔抽取一帧待检测图像。并识别待检测图像中的人体的手势信息。

其中，S201的具体实现方式可以参照S101-S103，例如，控制器可以使用第一检测模型对每一次抽取的待检测图像中是否包括手势信息进行判断，并使用第二检测模型对包括手势信息的待检测图像中的手势信息和肢体信息进行识别，具体实现及原理不再赘述。或者，S201中还可以直接在显示装置显示目标控件、或者运行需要显示目标控件的应用程序时，说明此时可能需要对目标控件进行移动，因此每一次获取待检测图像后，都直接使用第二检测模型对待检测图像中的手势信息和/或肢体信息进行识别，识别出的手势信息和/或肢体信息可用于后续确定移动命令。

S202：当S201中抽取的第一待检测图像并进行识别后，控制器确定该第一检测图像中包括手势信息，则控制器根据第一待检测图像中的该手势信息建立虚拟框，以及建立虚拟框与显示装置的显示屏幕之间的位置映射关系，并可以在预设的第一显示位置显示目标控件，其中，第一显示位置可以是显示屏幕的中心位置。

示例性地，图17为本申请提供的虚拟框的示意图，其中，当第一待检测图像中包括手势信息K和肢体信息L，且该手势信息和肢体信息为展开的手掌、对应于移动显示屏幕上显示的目标控件的命令，则此时，控制器根据手势信息K所在的第一焦点位置P为中心，建立虚拟框，并在显示屏幕的中心位置显示目标控件。在一些实施例中，虚拟框的形状可以是矩形，且该矩形的长宽之比与显示屏幕的长宽之比相同，但虚拟框的面积与显示屏幕的面积可以不同。如图17所示，虚拟框与显示屏幕之间的位置映射关系通过图中虚线表示，在该位置映射关系中，虚拟框的重点P对应于显示屏幕的中点Q，矩形虚拟框的四个顶点分别对应于矩形显示屏幕的四个顶点，且由于虚拟框的长宽之比与显示屏幕的长款之比相同，使得矩形虚拟框内的一个焦点位置可以与显示屏幕上的一个显示位置相对应，使得矩形虚拟框内焦点位置变化时，显示屏幕上显示位置能够跟随焦点位置相应地变化。

在一些实施例中，上述映射关系可以通过虚拟框中的焦点位置与虚拟框内的一个目标位置之间的相对距离，与显示屏幕上的显示位置与显示屏幕上的同样的目标位置之间的相对距离表示。例如，以假设虚拟框左下角的顶点P0点为原点建立坐标系，P点的坐标可以表示为(x，y)；以显示屏幕左下角的顶点Q0点为原点建立坐标系，Q点的坐标可以表示为(X，Y)。则该映射关系可以表示为：矩形长边方向的X/x和矩形宽边方向的Y/y。

上述S201-S202，控制器完成了矩形虚拟框及映射关系的建立，随后，可以在S203-S204中对虚拟框及映射而关系进行应用，使得手势信息对应的焦点位置的移动可以对应于显示屏幕上目标控件的位置移动。

S203：当第二待检测图像中包括手势信息，且手势信息对应的第二焦点位置在矩形虚拟框中时，根据第二焦点位置和映射关系，确定显示屏幕上的第二显示位置。

S204：控制显示屏幕上的目标控件移动到S203中确定的第二显示位置。

具体地，图18为本申请提供的虚拟框和显示屏幕的对应关系示意图，其中，假设在第一待检测图像中，以人体手势信息中的第一焦点位置P建立了虚拟框，此时，同时可以在显示屏幕上的中心的第一显示位置Q点显示的目标控件“鼠标”。随后，当对于第一待检测图像之后的第二待检测图像中的虚拟框内，人体手势信息的第二焦点位置P’相对于第一检测图像向右上角方向了移动，此时，控制器可以根据第二焦点位置与虚拟框内左下角目标位置之间的第一相对距离，结合映射关系中的比例，确定出显示屏幕上对应的第二显示位置Q’与显示屏幕上左下角目标位置之间的第二相对距离。最终，控制器可以根据第二相对距离和左下角目标位置的坐标，计算出显示屏幕上第二显示位置Q’的实际位置，并在第二显示位置Q’显示目标控件。

图19为本申请提供的目标控件移动的示意图，其中，示出了如图18所示的过程中，当第一待检测图像到第二待检测图像之间人体的手势信息从第一焦点位置P移动到了第二焦点位置P’，控制器根据焦点位置在虚拟框内的变化，可以分别在显示屏幕上第一显示位置Q和第二显示位置Q’显示目标控件，在这个过程中，给用户呈现出来的观感是，显示屏幕上所显示的目标控件跟随其手势信息的移动而相应地移动。

可以理解的是，上述S203-S204的过程可以循环重复执行，可以对每一次识别的待检测图像中，手势信息对应的焦点位置确定显示位置，并重复持续控制目标控件在显示屏幕上移动。

在本实施例中，以手势信息所在的位置为焦点位置，例如手势信息中的一个关键点作为焦点位置，在其他实施例中，还可以以肢体信息的关键点作为焦点位置等，其实现方式相同，不再赘述。

此外需要说明的是，上述示例中，以第一待检测图像和第二待检测图像为单帧图像作为示例，如图16也可以与如图9所示的方法相结合，待检测图像包括多帧待检测图像，从而根据多帧待检测图像中识别出来的手势信息确定对应的焦点位置。

综上，本实施例提供的显示装置的控制方法，能够通过建立待检测图像中的“虚拟框”与显示屏幕的映射关系，使得用户在控制显示装置时，可以仅通过其手势在虚拟框内的移动，即可实现指示目标控件在显示屏幕上的移动，极大地减少了用户的动作幅度，能够提高用户体验。

在上述实施例的具体实现过程中，控制器在建立虚拟框时，所建立的虚拟框的大小可以与人体与视频采集装置之间的距离有关。例如，图20为本申请提供的虚拟框的面积示意图，其中，当人体与视频采集装置之间的距离较远时，待检测图像中手势信息所对应的面积较小，因此可以设置较小的虚拟框；当人体与视频采集装置之间的距离较近时，待检测图像中手势信息所对应的面积较大，因此可以设置较大的虚拟框。虚拟框的面积可以与距离建立正比例变化的线性倍数关系，或者根据距离分为多级映射关系(即某段距离内对应某个框大小)，具体映射关系可以根据实际情况调整。在一些实施例中，控制器可以根据显示装置所设置的红外形式或者其他任意形式的测距单元等方式确定人体与显示装置(视频采集装置设置在显示装置上)之间的距离，或者，控制器还可以根据待检测图像中手势信息对应的面积确定对应的距离，进而根据手势信息的面积确定虚拟框的面积等。

在一些实施例中，当建立的虚拟框比较靠近待检测图像的边缘时，由于图像识别处理算法等条件的限制，会降低识别手势信息的准确性。因此，控制器还可以为待检测图像建立围绕其边缘的边缘区域建立控制最佳范围。例如，图21为本申请提供的边缘区域的示意图，可以看出，边缘区域指待检测图像内、控制最佳范围之外的，与待检测图像的一个边界之间的距离小于预设距离的区域。在图21上方的待检测图像中，假设根据第一待检测图像中的手势信息建立的虚拟框完全位于边缘区域之外、位于控制最佳范围之内，则可以继续后续计算。而当控制器根据第一待检测图像中的手势信息建立的虚拟框有部分区域位于边缘区域内，在图21下方的待检测图像中，虚拟框左侧位于边缘区域内，则控制器可以对虚拟框在横向方向上进行压缩处理，得到了横向压缩后的虚拟框。可以理解，随后根据压缩后的虚拟框也能够与显示屏幕建立位置映射关系，此时，手势信息对应的焦点位置的移动距离，在显示屏幕上将对应于更大的显示位置的变化距离，虽然对于用户而言在横向的体验为目标控件移动较快，但是避免了控制器从待检测图像的边缘区域识别手势信息，能够提高手势信息的识别精度，提高整个控制过程的准确。

在上述实施例中，提供了待检测图像中的虚拟框，使得用户可以通过手势信息在虚拟框内的移动，控制显示屏幕上目标控件的移动，但是在一些情况下，用户由于动作较大、身体整体移动等原因，其手势信息可能移动至虚拟框之外，导致无法识别的情况，影响控制效果。例如，图22为本申请提供的手势信息的状态示意图，其中，在状态S1中，第二待检测图像中包括手势信息，且手势信息对应的第二焦点位置可以在建立好的虚拟框K1内部，此时可以正常执行前述实施例中的控制方法，通过手势信息在虚拟框中的焦点位置确定目标控件的显示位置。而在图22的状态S2中，第二待检测图像中包括手势信息，且手势信息对应的第二焦点位置可能出现在待检测图像中虚拟框K1之外，此时将无法正常通过手势信息在虚拟框中的焦点位置确定目标控件的显示位置。

因此，当控制器识别到第二待检测图像中手势信息对应的第二焦点位于虚拟框之外的P2点之后，可以重新以此时第二焦点所在的P2点位置中心，重新建立虚拟框K2，并建立虚拟框K2与显示屏幕之间的映射关系。图23为本申请提供的重新建立的虚拟框一实施例的示意图，可以看出，图23中重新建立的虚拟框K2内，第二焦点位置P2位于虚拟框K2的中心，因此，控制器此时还需根据第二焦点位置P2，在显示屏幕上控制目标控件在中心位置显示，给用户也带来重置目标控件的观看效果，从而避免了由于手势信息移除虚拟框后导致的无法控制目标控件的问题。

图24为本申请提供的重新建立的虚拟框另一实施例的示意图，其中，在这种方式中，当出现图22中S2状态所示的手势信息出现在待检测图像中虚拟框K1之外时，控制器重置虚拟框。并且此时，假设控制器根据前一个待检测图像中手势信息在虚拟框K1中的位置信息，在显示屏幕上的第一相对位置Q1显示目标控件，此时，根据显示屏幕上第一相对位置Q1在整个显示屏幕内的相对位置关系，重新建立虚拟框K2，使得第二焦点位置P2在虚拟框K2内的相对位置关系，与第一相对位置Q1在显示屏幕内的相对位置关系相同。因此，控制器可以继续在第一相对位置Q2显示目标控件，在不会出现目标控件跳变到显示屏幕位置中心位置的情况下，完成了虚拟框K2的重置。后续的待检测图像中，手势信息在虚拟框K2内变化时，控制器即可根据手势信息在虚拟框K2中的焦点位置确定目标控件的显示位置，从而实现在用户不可知的情况下完成焦点重置，既能够避免了由于手势信息移除虚拟框后导致的无法控制目标控件的问题，又能够使整个过程更加流畅，进一步提高用户的使用体验。

在一些实施例中，当控制器执行上述过程，重新建立虚拟框之后，可以在显示屏幕上显示相关的提示信息，来提示用户当前在显示屏幕上已经重新建立了矩形框，并提示重新建立后的矩形框的相关信息，例如，控制器可以在显示屏幕的边缘位置显示文字、图片等形式的信息，提示用户虚拟框已经重建。或者，当控制器在上述过程中确定要重新建立虚拟框之后，还可以在显示屏幕上显示提示更新虚拟框的信息，并在接收到用户的确认信息之后，再执行重建虚拟框的过程，使得整个过程用户可控，并且根据用户的意图进行重建，防止因用户主动离开等情况下无效的重建。

在一些实施例中，上述控制目标控件的移动过程中，当控制器在控制过程中，在连续预设数量个待检测图像中，都没有识别到手势信息，则可以停止在显示屏幕上显示目标控件，从而结束图16所示的流程。或者，当控制器在一定预设时间段内处理的待检测图像中都不包括手势信息，也可以停止显示屏幕上显示目标控件，结束流程。又或者，当控制器在控制过程中，识别到待检测图像中包括的手势信息对应于停止命令时，同样可以停止显示屏幕上显示目标控件，结束流程。

在一些实施例中，在如图16所示的方法执行过程中，控制器将根据每一帧待检测图像内，手势信息位于虚拟框内的焦点位置，确定显示屏幕上的显示位置，并在显示位置上显示目标控件。在一种具体的实现方式中，图25为本申请提供的目标控件的移动时一实施例的示意图，从图25中可以看出，假设当控制器确定待检测图像1中手势信息位于虚拟框内的焦点位置P1、从而控制显示屏幕上显示位置Q1显示目标控件，待检测图像2中手势信息位于虚拟框内的焦点位置P2、从而控制显示屏幕上显示位置Q2显示目标控件，待检测图像3中手势信息位于虚拟框内的焦点位置P3、从而控制显示屏幕上显示位置Q3显示目标控件。然而，上述过程中，由于用户在做出上述手势时，可能在P1-P2的过程中移动过快，使得显示屏幕上所显示的目标控件在Q1-Q2之间移动过程，给用户带来移动速度不均匀、目标控件跳变的观感。

因此，当控制器确定第二焦点位置后，控制器所进行的处理可以参照图26中的状态变化，其中，图26为本申请提供的目标控件的移动时另一实施例的示意图。如图26所示，当控制器确定虚拟框中的第一焦点位置P1和第二焦点位置P2后，还对第二焦点位置与第一焦点位置之间的距离与预设时间间隔进行比较，如果P1-P2之间的距离与预设时间间隔(即抽取第一焦点位置和第二焦点位置所在待检测图像的间隔时间)之比大于预设阈值，说明手势信息的移动速度过快，此时如果继续根据第二焦点位置确定目标控件的第二显示位置并显示目标控件，可能带来如图25所示的显示效果。因此，控制器在第一焦点位置和第二焦点位置之间确定第三焦点位置P2’，其中，第三焦点位置P2’与第一焦点位置P1之前的距离与预设时间的间隔不大于预设阈值，以及，第三焦点位置P2’可以是位于P1-P2之间连接线上的一点，P1、P2’和P2呈线性连接关系。随后，控制器可以根据第三焦点位置P2’以及映射关系，确定显示屏幕上的第二显示位置Q2’，并控制目标控件从第一显示位置Q1移动到第二显示位置Q2’。

而在上述移动过程中，由于手势信息移动至第二焦点位置P2，而显示屏幕上所显示的目标并没有移动到第二焦点位置对应的显示位置Q2，而是移动到第三焦点位置P2’对应的第二显示位置Q2’，因此，在控制器在处理第二待检测图像之后的第三待检测图像时，若第三待检测图像中包括手势信息、且手势信息对应的第四焦点位置P3位于矩形虚拟框中，同时，第四焦点位置P3与第三焦点位置P2’之间的距离不大于预设阈值时，可以根据映射关系确定第四焦点对应的第三显示位置Q3，并控制显示屏幕上的目标控件从第二显示位置Q2’移动到第三显示位置Q3。

最终，在上述整个过程中，在P1-P2位置的手势信息移动过快时，在显示屏幕上所显示的目标控件能够减少移动的长度，在P2-P3位置的手势信息移动速度减少时，能够将P1-P2位置过程中“减少”的距离进行补齐，从用户的感受来看，当其手势信息从虚拟框左侧的P1位置移动到右侧P3位置时，显示屏幕上的目标控件也将从显示屏幕左侧的Q1位置移动到右侧的Q3位置，从而在用户的手势信息在P1-P2之间移动过快时，还能够保持显示屏幕上所显示的目标控件在P1-P3整体的移动速度变化不会太大，给用户带来移动速度均匀、目标控件连续变化的观感。

图27为本申请提供的显示装置的控制方法一实施例的流程示意图，如图27所示的一种具体的实现方式中，显示装置的控制器首先进行手势检测，若手势状态正常，则根据手在虚拟框中的位置进行电视界面光标位置映射，进行手势移动控制，手势点击检测，手势返回检测等。若手势消失，会进行多帧(一般为三帧)的行动预测，期间若重新检测到手势，则进行焦点重置，若距离较近则继续移动，若距离较远，则重置焦点为电视中心位置。其中，在进行焦点重置的时候，需要进行虚拟框重新生成。此外，若多次检测不到手势，会优先清除电视界面中的鼠标，若长时间检测不到手势，会退出手势肢体识别，进入全局手势检测方案，直到检测到焦点手势。

在前述实施例中，对本申请实施例提供的显示装置的控制方法进行了介绍，而为了实现上述本申请实施例提供的方法中的各功能，作为执行主体的显示装置可以包括硬件结构和/或软件模块，以硬件结构、软件模块、或硬件结构加软件模块的形式来实现上述各功能。上述各功能中的某个功能以硬件结构、软件模块、还是硬件结构加软件模块的方式来执行，取决于技术方案的特定应用和设计约束条件。

而需要说明的是，应理解以上对显示装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上确定模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(application specific integrated circuit，ASIC)，或，一个或多个微处理器(digital signal processor，DSP)，或，一个或者多个现场可编程门阵列(field programmable gate array，FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(centralprocessing unit，CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，SOC)的形式实现。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘solid state disk(SSD))等。

本申还提供一种电子设备，包括：处理器以及存储器；其中，存储器中存储有计算机程序，当处理器执行计算机程序时，处理器可用于执行如本申请前述实施例中任一的显示装置的控制方法。

本申请还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被执行时可用于执行如本申请前述实施例中任一的显示装置的控制方法。

本申请实施例还提供一种运行指令的芯片，所述芯片用于执行如本申请前述任一实施例中由电子设备所执行的显示装置的控制方法。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种显示装置，其特征在于，包括：

显示屏幕，被配置为显示图像；

视频采集装置，被配置为采集视频数据；

控制器，被配置为按照预设时间间隔，从所述视频采集装置所采集的视频数据的连续多帧图像中，抽取一帧待检测图像；使用第一检测模型判断所述待检测图像中是否包括人体的手势信息；若是，按照所述预设时间间隔和预设数量，从所述视频数据中继续抽取预设数量的待检测图像，并使用第二检测模型分别识别所述预设数量的待检测图像中人体的手势信息和肢体信息；其中，所述第一检测模型计算时的数据量小于所述第二检测模型计算时的数据量；执行所述预设数量的待检测图像中的所述手势信息和所述肢体信息对应的控制命令。

2.根据权利要求1所述的显示装置，其特征在于，所述控制器具体被配置为：当所述预设数量的待检测图像中的所述手势信息和所述肢体信息全部相同或者部分相同时，通过映射关系确定全部相同或者部分相同的所述手势信息和所述肢体信息对应的控制命令；其中，所述映射关系包括：多个控制命令，以及每个控制命令与手势信息、肢体信息之间的对应关系；执行所述控制命令。

3.根据权利要求1所述的显示装置，其特征在于，所述控制命令为控制所述显示屏幕上目标控件移动至所述手势信息对应的位置的移动命令；

所述控制器还被配置为：重复按照所述预设时间间隔和预设数量，从所述视频数据中继续抽取预设数量的待检测图像，并使用第二检测模型分别识别所述预设数量的待检测图像中人体的手势信息和肢体信息，执行将目标控件移动至每所述预设数量的待检测图像中的所述手势信息对应的位置的控制命令。

4.根据权利要求3所述的显示装置，其特征在于，所述控制器还被配置为：当所述预设数量的待检测图像中不包括所述手势信息，根据上一次所执行的控制命令对应的多帧待检测图像中手势信息对应的移动速度和移动方向，确定所述手势信息在所述预设数量的待检测图像中对应的预测位置；执行控制所述目标控件移动至所述预测位置的移动命令。

5.根据权利要求4所述的显示装置，其特征在于，所述控制器还被配置为：存储所述预设数量的待检测图像中的所述手势信息和所述肢体信息。

6.根据权利要求1-5任一项所述的显示装置，其特征在于，所述控制器还被配置为：根据所述预设时间间隔，确定所述预设数量；其中，所述预设时间间隔的长度数值与所述预设数量的数值成反比例对应关系。

7.根据权利要求1-5任一项所述的显示装置，其特征在于，所述控制器还被配置为：当执行所述控制命令之后，停止使用所述第二检测模型识别所述预设数量的待检测图像中人体的手势信息和肢体信息；或者，

当识别到所述预设数量的待检测图像中人体的手势信息和肢体信息对应于停止命令时，停止使用所述第二检测模型识别所述预设数量的待检测图像中人体的手势信息和肢体信息；或者，

当所述预设数量的待检测图像中不包括人体的手势信息和肢体信息时，停止使用所述第二检测模型识别所述预设数量的待检测图像中人体的手势信息和肢体信息。

8.根据权利要求1-5任一项所述的显示装置，其特征在于，所述控制器还被配置为：使用所述第二检测模型得到的预设数量的待检测图像中人体的手势信息，更新所述第一检测模型。

9.根据权利要求1-5任一项所述的显示装置，其特征在于，所述控制器还被配置为：根据所述显示装置的工作参数，确定与所述工作参数对应的预设时间间隔。

10.一种显示装置的控制方法，其特征在于，包括：

按照预设时间间隔，从所述显示装置的视频采集装置所采集的视频数据的连续多帧图像中，抽取一帧待检测图像；

使用第一检测模型判断所述待检测图像中是否包括人体的手势信息；

若是，按照所述预设时间间隔和预设数量，从所述视频数据中继续抽取预设数量的待检测图像，并使用第二检测模型分别识别所述预设数量的待检测图像中人体的手势信息和肢体信息；其中，所述第一检测模型计算时的数据量小于所述第二检测模型计算时的数据量；

执行所述预设数量的待检测图像中的所述手势信息和所述肢体信息对应的控制命令。

Images