CN114637439A - 显示设备和手势轨迹识别方法 - Google Patents

Abstract

本申请一些实施例提供了一种显示设备和手势轨迹识别方法。显示设备包括显示器、图像输入接口和控制器。显示设备可以采集用户的若干帧用户行为图像，并对用户行为图像进行手势识别处理，得到每一帧用户行为图像的用户手势信息。根据用户手势信息获取每一帧用户行为图像对应的光标位置，并可以根据光标位置确定用户的手势移动轨迹。从而控制显示器中的光标沿着手势移动轨迹进行移动。本申请对于获取到的每一帧用户行为图像，均能够获取其相对应的光标位置并控制光标移动，并不会出现某一帧的光标不会移动而出现光标卡顿、中断的情况，从而提高了用户的使用体验。

Description

显示设备和手势轨迹识别方法

技术领域

本申请涉及显示设备技术领域，尤其涉及一种显示设备和手势轨迹识别方法。

背景技术

显示设备是指能够输出具体显示画面的终端设备。随着显示设备的快速发展，显示设备的功能将越来越丰富，性能也越来越强大，可实现双向人机交互功能，集影音、娱乐、数据等多种功能于一体，用于满足用户多样化和个性化需求。

手势交互是一种新型的人机交互模式。手势交互的目的在于通过检测用户做出的特定手势动作，控制显示设备执行相对应的控制指令。显示设备能够采用的手势交互方式可以包括静态手势和动态手势。在使用静态手势的交互时，显示设备可以根据手势类型识别算法检测手势类型，根据手势类型执行相应的控制动作。在使用动态手势的交互时，用户可以操控显示器中的光标进行移动。显示设备可以建立出用户的手势和显示器中光标的映射关系，同时通过不断检测用户图像可以确定出用户的动态手势，进而确定出映射到显示器中的手势移动轨迹，从而控制光标沿着该手势移动轨迹进行移动。

对于动态手势的交互过程，显示设备需要不断检测用户图像。然而，有的图像中可能没有检测到用户的手势，导致无法准确获取到该用户图像对应的手势移动轨迹，从而无法控制光标进行移动，出现光标卡顿、中断的情况，给用户的体验性较差。

发明内容

本申请提供了一种显示设备和手势轨迹识别方法。以解决相关技术中，无法准确获取到用户图像对应的手势移动轨迹，给用户的体验性较差的问题。

第一方面，本申请提供一种显示设备，包括显示器、图像输入接口和控制器。其中，图像输入接口被配置为连接图像采集器；控制器被配置为执行以下步骤：

控制所述图像采集器采集用户的若干帧用户行为图像；

对所述用户行为图像进行手势识别处理，得到每一帧所述用户行为图像的用户手势信息；

根据所述用户手势信息获取每一帧所述用户行为图像对应的光标位置；所述光标位置为所述用户行为图像中，用户的目标手势映射到所述显示器中的显示位置；

根据所述光标位置确定用户的手势移动轨迹，控制所述显示器中的光标沿着所述手势移动轨迹进行移动。

第二方面，本申请提供一种手势轨迹识别方法，应用于显示设备，包括：

控制所述图像采集器采集用户的若干帧用户行为图像；

对所述用户行为图像进行手势识别处理，得到每一帧所述用户行为图像的用户手势信息；

根据所述用户手势信息获取每一帧所述用户行为图像对应的光标位置；所述光标位置为所述用户行为图像中，用户的目标手势映射到所述显示器中的显示位置；

根据所述光标位置确定用户的手势移动轨迹，控制所述显示器中的光标沿着所述手势移动轨迹进行移动。

由以上技术方案可以看出，本申请提供了一种显示设备和手势轨迹识别方法。显示设备可以采集用户的若干帧用户行为图像，并对用户行为图像进行手势识别处理，得到每一帧用户行为图像的用户手势信息。根据用户手势信息获取每一帧用户行为图像对应的光标位置，并可以根据光标位置确定用户的手势移动轨迹。从而控制显示器中的光标沿着手势移动轨迹进行移动。本申请对于获取到的每一帧用户行为图像，均能够获取其相对应的光标位置并控制光标移动，并不会出现某一帧的光标不会移动而造成光标卡顿、中断的情况，从而提高了用户的使用体验。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据一些实施例的显示设备的使用场景；

图2示出了根据一些实施例的控制装置100的硬件配置框图；

图3示出了根据一些实施例的显示设备200的硬件配置框图；

图4示出了根据一些实施例的显示设备200中软件配置图；

图5示出了一些实施例中显示设备内置摄像头的示意图；

图6示出了一些实施例中显示设备外接摄像头的示意图；

图7示出了一些实施例中用户界面的示意图；

图8示出了一些实施例中显示器显示光标的示意图；

图9示出了一些实施例中显示器中显示光标控制模式确认信息的示意图；

图10示出了一些实施例中显示设备各部件的交互流程图；

图11示出了一些实施例中用户手势的示意图；

图12示出了一些实施例中根据用户手势信息确定光标位置的流程示意图；

图13示出了一些实施例中显示器显示摄像头区域的示意图；

图14示出了一些实施例中光标沿直线运动的示意图；

图15示出了一些实施例中光标沿曲线运动的示意图；

图16示出了一些实施例中光标和控件距离关系的示意图；

图17示出了一些实施例中光标和控件的位置关系；

图18示出了手势轨迹识别方法的一个实施例的流程示意图。

具体实施方式

为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。

术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

图1为根据本申请一个或多个实施例的显示设备与控制装置之间操作场景的示意图，如图1所示，用户可通过移动终端300和控制装置100操作显示设备200。控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信、蓝牙协议通信，无线或其他有线方式来控制显示设备200。用户可以通过遥控器上按键，语音输入、控制面板输入等输入用户指令，来控制显示设备200。在一些实施例中，也可以使用移动终端、平板电脑、计算机、笔记本电脑、和其他智能设备以控制显示设备200。

在一些实施例中，移动终端300可与显示设备200安装软件应用，通过网络通信协议实现连接通信，实现一对一控制操作的和数据通信的目的。也可以将移动终端300上显示音视频内容传输到显示设备200上，实现同步显示功能显示设备200还与服务器400通过多种通信方式进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。显示设备200，可以液晶显示器、OLED显示器、投影显示设备。显示设备200除了提供广播接收电视功能之外，还可以附加提供计算机支持功能的智能网络电视功能。

图2示例性示出了根据示例性实施例中控制装置100的配置框图。如图2所示，控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起用用户与显示设备200之间交互中介作用。通信接口130用于和外部通信，包含WIFI芯片，蓝牙模块，NFC或可替代模块中的至少一种。用户输入/输出接口140包含麦克风，触摸板，传感器，按键或可替代模块中的至少一种。

图3示出了根据示例性实施例中显示设备200的硬件配置框图。如图3所示显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口280中的至少一种。控制器包括中央处理器，视频处理器，音频处理器，图形处理器，RAM，ROM，用于输入/输出的第一接口至第n接口。显示器260可为液晶显示器、OLED显示器、触控显示器以及投影显示器中的至少一种，还可以为一种投影装置和投影屏幕。调谐解调器210通过有线或无线接收方式接收广播电视信号，以及从多个无线或有线广播电视信号中解调出音视频信号，如以及EPG数据信号。检测器230用于采集外部环境或与外部交互的信号。控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。

在一些实施例中，控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。用户可在显示器260上显示的图形用户界面(GUI)输入用户命令，则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。

在一些实施例中，“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素中的至少一种。

图4为根据本申请一个或多个实施例的显示设备200中软件配置示意图，如图4所示，将系统分为四层，从上至下分别为应用程序(Applications)层(简称“应用层”)，应用程序框架(Application Framework)层(简称“框架层”)，安卓运行时(Android runtime)和系统库层(简称“系统运行库层”)，以及内核层。内核层至少包含以下驱动中的至少一种：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器，温度传感器，压力传感器等)、以及电源驱动等。

随着显示设备的快速发展，人们不仅仅局限于利用控制装置对显示设备进行控制，而是想要更加便利地仅仅利用肢体行动或者语音来控制显示设备。用户可以利用手势交互的方式控制显示设备。显示设备能够采用的手势交互方式可以包括静态手势和动态手势。在使用静态手势的交互时，显示设备可以根据手势类型识别算法检测手势类型，根据手势类型执行相应的控制动作。在使用动态手势的交互时，显示设备可以检测用户的动态手势，进而确定出映射到显示器中的手势移动轨迹，从而控制光标沿着该手势移动轨迹进行移动。

用户在使用动态手势控制光标移动时，显示设备需要不断检测用户图像。通过对每一帧用户图像进行识别，得到图像中的用户手势，进而确定出每一帧用户手势映射到显示器中的坐标，从而控制光标沿着这些坐标进行移动。然而，考虑到摄像头的拍摄存在误差、用户的手势不标准以及对手势进行识别时出现错误等众多因素，显示设备可能无法识别出部分用户图像的手势从而无法确定出相应的坐标，导致无法准确获取到对应的手势移动轨迹。正常情况下，光标需要按照每一帧图像对应的位置移动，形成连续的运动轨迹。如果缺少中间帧图像对应的位置，光标则不会移动，从而出现移动卡顿的情况，直到识别出下一帧图像对应的位置，光标才会继续移动，但如果位置相差太远，光标会出现突然跳跃等情况，严重影响用户的观看体验。

本申请提供一种显示设备，包括显示器和控制器。

在一些实施例中，为了使得显示设备能够实现和用户进行手势交互的功能，显示设备还包括图像输入接口，用于连接图像采集器。图像采集器可以是摄像头，用于采集一些图像数据。需要说明的是，摄像头可以作为一种外部装置，通过图像输入接口外接在显示设备上，也可以作为一种检测器内置于显示设备中。对于外接在显示设备的摄像头，可以将摄像头连接至显示设备的外部装置接口，接入显示设备。用户可以利用摄像头在显示设备上完成拍照或拍摄功能，从而采集图像数据。

摄像头可以进一步包括镜头组件，镜头组件中设有感光元件和透镜。透镜可以通过多个镜片对光线的折射作用，使景物的图像的光能够照射在感光元件上。感光元件可以根据摄像头的规格选用基于CCD(Charge-coupled Device，电荷耦合器件)或CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)的检测原理，通过光感材料将光信号转化为电信号，并将转化后的电信号输出成图像数据。摄像头还可以按照设定的采样频率逐帧获取图像数据，以根据图像数据形成视频流数据。

在一些实施例中，显示设备内置的摄像头还可以支持升降。即摄像头可以设置在升降机构上，当需要进行图像采集时，通过特定的升降指令，控制升降机构进行运动，从而带动摄像头升高，以进行图像采集。而在不需要进行图像采集时，同样可以通过特定的升降指令，控制升降机构进行运动，从而带动摄像头降低，以隐藏摄像头。图5示出了一些实施例中显示设备内置摄像头的示意图。

对于外接于显示设备的图像采集器，其本身可以是一个独立的外设，并通过特定的数据接口连接显示设备。例如，如图6所示，图像采集器可以为独立的摄像头设备，显示设备上可以设有通用串行总线接口(Universal Serial Bus，USB)或高清晰度多媒体接口(High Definition Multimedia Interface，HDMI)，图像采集器则通过USB接口或HDMI接口连接显示设备。为了便于对用户的手势交互动作进行检测，在一些实施例中，外接于显示设备上的图像采集器可以设置在靠近显示设备的位置，如图像采集器通过夹持装置夹在显示设备的顶部，或者图像采集器放置在显示设备附近的桌面上。

显然，对于外接于显示设备的图像采集器，还可以根据显示设备的具体硬件配置，支持其他方式连接。在一些实施例中，图像采集器还可以通过显示设备的通信器与显示设备建立连接关系，并按照通信器对应的数据传输协议将采集的图像数据发送给显示设备。例如，显示设备可以通过局域网或互联网连接图像采集器，则在建立网络连接后，图像采集器可以将采集的数据通过网络传输协议发送给显示设备。

在一些实施例中，图像采集器还可以通过无线网络连接的方式外接显示设备。例如，对于支持WiFi无线网络的显示设备，其通信器中设有WiFi模块，因此，可以通过将图像采集器和显示设备连接同一个无线网络，使显示设备和图像采集器建立无线连接。在图像采集器采集到的图像数据后，可以先将图像数据发送给无线网络的路由器设备，在由路由器设备转发给显示设备。显然，图像采集器还可以通过其他无线连接方式接入显示设备。其中，无线连接方式包括但不限于WiFi直连、蜂窝网络、模拟微波、蓝牙、红外等。

在一些实施例中，用户控制显示设备开机后，显示设备可以显示用户界面。图7示出了一些实施例中用户界面的示意图。用户界面包括第一导航栏700、第二导航栏710、功能栏720和内容显示区730，功能栏720包括多个功能控件如“观看记录”、“我的收藏”和“我的应用”等。其中，内容显示区730中显示的内容会随第一导航栏700和第二导航栏710中被选中控件的变化而变化。用户可以通过触控某个控件，以控制显示设备显示该控件对应的显示面板。需要说明的是，用户也可以通过其他方式来输入对控件的选中操作，例如，利用语音控制功能或者搜索功能等，选中某个控件。

无论是内置于显示设备的图像采集器还是外接于显示设备的图像采集器，用户均可以在使用显示设备的过程中，通过特定的交互指令或者应用程序控制启动图像采集器采集图像数据，并根据不同的需要对采集的图像数据进行相应的处理。例如，显示设备中可以安装有摄像头应用，这些摄像头应用可以调用摄像头，以实现各自的相关功能。摄像头应用，是指需要访问摄像头的摄像头应用，可以对摄像头采集的图像数据进行处理，从而实现相关功能，例如视频聊天。用户可以通过触控“我的应用”控件，查看显示设备中已安装的所有应用。显示器中可以显示出应用列表。当用户选择打开某个摄像头应用时，显示设备可以运行相应的摄像头应用，该摄像头应用可以唤醒图像采集器，图像采集器进一步可以实时检测图像数据并发送给显示设备。显示设备可以进一步对这些图像数据进行处理，例如控制显示器显示图像等等。

在一些实施例中，显示设备可以和用户进行手势交互，从而识别出用户的控制指令。用户可以使用静态手势和显示设备进行交互，从而输入控制指令。具体的，在手势交互过程中，用户可以在图像采集器的拍摄范围内摆出特定的手势，图像采集器可以采集到用户的手势图像，并将采集到的手势图像发送给显示设备。显示设备进一步可以对手势图像进行识别，检测出该图像中的手势的类型。显示设备中可以预先存储有手势交互策略，限定出每种类型的手势分别对应那种控制指令，一个手势类型可以对应一种控制指令，显示设备可以根据用途不同，针对不同的用途设置用于触发特定控制指令的手势。通过将该图像中的手势的类型和交互策略中的对应关系逐次比对，可以确定出该手势对应的控制指令，并实施该控制指令。

例如，当用户在图像采集器的拍摄范围内摆出五指并拢且手掌面向图像采集器的手势时，显示设备可以在图像采集器采集的手势图像中识别出该手势，并针对该手势确定控制指令为“暂停/开始播放”。最后通过运行该控制指令，对当前播放界面执行暂停或开始播放控制。需要说明的是，

上述实施例中，手势识别是采用静态手势识别方式，静态手势识可以识别出手势类型进而确定出相应的控制指令。用户每呈现出一个静态手势，代表用户输入了一个独立的控制指令，例如控制音量加一。需要说明的是，当用户长时间保持一个静态手势时，显示设备可能依旧判定为用户输入了一个控制指令。因此，对于一些需要连贯操作的控制指令，如果采用静态手势交互的方式，则太过繁琐。

例如，当用户想要控制显示器中的焦点选中某个控件时，可能会让焦点依次进行下、右、下的移动。此时，用户需要不断变换静态手势从而控制焦点进行移动，导致用户的体验性较差。或者，如果需要焦点连续向着一个方向多次移动时，用户需要连续做出静态手势。由于用户即使长时间保持一个静态手势，也会被判定为输入一个控制指令，因此用户在做出一个静态手势后需要放下手，然后再次做出静态手势，从而影响使用体验。

在一些实施例中，显示设备还可以支持动态手势交互。其中，所述动态手势是指在一次交互过程中，用户可以使用动态手势输入的方式，向显示设备输入控制指令。其中，可以设为：可以是通过一系列动态手势向显示设备输入一个控制指令，可以是通过不同类型的手势向显示设备依次输入多种类型的不同控制指令，也可以是通过相同类型的手势连续向显示设备输入一种类型的多个相同控制指令，从而扩展显示设备的手势交互类型，提高手势交互形式的丰富程度。

例如，用户在2s时间内将手势从五指张开调整至五指并拢，即输入持续2s的抓取动作，则显示设备可以在2s的检测周期内持续获取手势图像，并逐帧识别手势图像中的手势类型，从而按照多帧图像中的手势变化识别出抓取动作。最后确定抓取动作对应的控制指令，即“全屏/窗口播放”，并执行该控制指令，对播放窗口的大小进行调节。

在一些实施例中，当显示设备中显示有用户界面时，用户可以控制显示器中的焦点选取某个控件并触发。如图7所示，当前焦点选中了“我的应用”控件。考虑到用户利用控制装置控制焦点的移动时，可能会比较繁琐，为了增加用户的体验性，用户还可以利用动态手势选取控件。

显示设备可以设置有光标控制模式。当显示设备处于光标控制模式下，显示器中的原本的焦点可以变更为光标，如图8所示，光标选中了“我的应用”控件。用户可以利用手势控制光标进行移动，从而选中某个控件，以代替原来的焦点移动。

在一些实施例中，用户可以通过操作遥控器的指定按键，向显示设备发送光标控制模式指令。在实际应用的过程中预先绑定光标控制模式指令与遥控器按键之间的对应关系。例如，在遥控器上设置一个光标控制模式按键，当用户触控该按键时，遥控器发送光标控制模式指令至控制器，此时控制器控制显示设备进入光标控制模式。当用户再次触控该按键时，控制器可以控制显示设备退出光标控制模式。

在一些实施例中，可以预先绑定光标控制模式指令与多个遥控器按键之间的对应关系，当用户触控与光标控制模式指令绑定的多个按键时，遥控器发出光标控制模式指令。

在一些实施例中，用户可以使用显示设备的声音采集器，例如麦克风，通过语音输入的方式，向显示设备发送光标控制模式指令，使得显示设备进入光标控制模式。

在一些实施例中，用户还可以通过预设的手势或动作向显示设备发送光标控制模式指令。显示设备可以通过图像采集器实时检测用户的行为。当用户做出预设的手势或动作时，可以认为用户向显示设备发送了光标控制模式指令。

在一些实施例中，当用户使用智能设备控制显示设备时，例如使用手机时，也可以向显示设备发送光标控制模式指令。在实际应用的过程中可以在手机中设置一个控件，可以通过该控件选择是否进入光标控制模式，从而发送光标控制模式指令至显示设备。

在一些实施例中，可以在显示设备的UI界面中设置光标控制模式选项，当用户点击该选项时，可以控制显示设备进入或退出光标控制模式。

在一些实施例中，为防止用户误触发光标控制模式，当控制器接收到光标控制模式指令时，可以控制显示器显示光标控制模式确认信息，从而使得用户进行二次确认，是否要控制显示设备进入光标控制模式。图9示出了一些实施例中显示器中显示光标控制模式确认信息的示意图。

当显示设备进入光标控制模式后，用户可以利用手势控制光标进行移动，从而选中想要触发的控件。

图10示出了一些实施例中显示设备各部件的交互流程图。

在一些实施例中，当检测到显示设备进入光标控制模式时，控制器可以唤醒图像采集器，向图像采集器发送开启指令，从而启动图像采集器进行图像拍摄。此时，用户可以在图像采集器的拍摄范围内做出动态手势，图像采集器可以随着用户的动态手势动作，连续拍摄多帧用户图像，本申请实施例中利用用户行为图像指代图像采集器采集到的用户图像。

具体的，图像采集器可以按照预设的帧率拍摄用户行为图像，例如每秒拍摄30帧(30FPS)用户行为图像。同时，图像采集器还可以实时将拍摄得到的每一帧用户行为图像发送至显示设备。需要说明的是，由于图像采集器将拍摄的用户行为图像实时发送至显示设备，因此显示设备获取到用户行为图像的速率可以和图像采集器的拍摄帧率相同。例如，当图像采集器以每秒30帧的帧率进行图像拍摄时，控制器也可以按照每秒30帧的帧率获取到用户行为图像。

在一些实施例中，图像采集器采集到若干帧用户行为图像，可以依次发送给显示设备。显示设备可以对每一帧用户行为图像逐次进行识别，从而识别出用户行为图像中所包含的用户手势，以确定用户输入的控制指令。

具体的，对于采集到的用户行为图像，控制器对用户行为图像进行手势识别处理，例如可以使用预设的动态手势识别模型对每一帧用户行为图像逐次进行处理。

控制器可以将用户行为图像输入到动态手势识别模型中，动态手势识别模型进一步可以识别图像中所包含的用户手势，例如，可以识别出用户行为图像中所包含的手指、关节、手腕等关键点的位置信息，关键点位置指的是关键点在用户行为图像中的位置坐标。在识别之后，可以依次输出每一帧用户行为图像的用户手势信息。

图11示出了一些实施例中用户手势的示意图。可以设定为：用于表征用户手势的关键点包括21个手指关键点。动态手势识别模型可以对用户行为图像中的用户手势进行确认，并识别出用户手部这21个手指关键点的位置信息，即位于用户行为图像中的位置坐标，每个关键点的位置信息都可以通过对应点的坐标进行表示。

需要说明的是，动态手势识别模型在识别用户行为图像时，可能识别出用户手势，获取到了每个手指关键点的位置信息。此时，输出的用户手势信息中可以包括所有手指关键点的位置信息。但受到用户不同手势的影响，有的手指关键点可能被用户掩盖住，导致用户行为图像中并未出现这些手指关键点，此时，动态手势识别模型则无法获取到这些手指关键点的位置信息，这些手指关键点的位置信息只能是空值。即，在用户手势信息中，包括动态手势识别模型识别到的手指关键点的位置信息，没有识别到的手指关键点的位置信息则为空值。

在一些实施例中，动态手势识别模型得到每一帧的用户手势信息后，可以输出至控制器。控制器进一步可以根据每一帧的用户手势信息，确定出用户指示的控制指令。由于用户想要控制光标进行移动，因此用户指示的控制指令可以认为是用户指示光标需要移动的位置指令。此时，控制器可以根据每一帧用户手势信息获取每一帧的光标位置。

在一些实施例中，考虑到显示设备的计算能力可能较弱，如果显示设备当前处在实现一些其他的功能，例如远场语音、4K视频播放等，显示设备会处于一个较高负载的状态。此时，如果向动态手势识别模型中输入的用户行为图像的帧率较高时，实时数据处理量过大，模型处理用户行为图像时的速率便可能较慢，从而使得获取光标位置的速率较慢，导致显示器中光标移动时会较为卡顿。

因此，控制器可以先检测显示设备当前的负载率的情况。当负载率高于预设阈值，例如高于60％时，控制器可以令动态手势识别模型以固定周期等间隔处理每一帧用户行为图像。例如，可以设定固定周期为一秒处理15帧图像。使得动态手势识别模型可以稳定处理图像。当检测到显示设备的负载率没有高于预设阈值时，则可以令动态手势识别模型实时处理每一帧用户行为图像。此时，控制器可以实时将图像采集器发送过来的用户行为图像输入到动态手势识别模型中，并控制模型进行识别。也可以令动态手势识别模型以固定周期等间隔处理。

需要说明的是，动态手势识别模型输出用户手势信息的速率和处理用户行为图像的速率可以是相同的。当动态手势识别模型以固定周期等间隔处理图像时，其会以固定周期等间隔地输出用户手势信息。当模型实时处理图像时，其也会实时输出用户手势信息。

图12示出了一些实施例中根据用户手势信息确定光标位置的流程示意图。

在一些实施例中，为了使显示器中显示的光标能根据用户的动态手势生成实时的运动轨迹，使得光标流畅的跟随动态手势运动，控制器可以根据用户利用手势所指示的信息，确定出每一帧的光标位置。

考虑到用户利用手势控制光标时，在一段时间内连续拍摄到的用户运动的手势图像中，有些帧拍到的图片可能较为模糊或者出现手势被遮挡的情况，此时动态手势识别模型无法识别出结果，未能得到目标手势的相关信息，例如用户手势信息为空值。此时，则无法根据用户手势信息获取用户所指示的信息，即无法获取到光标位置，因此显示设备可以预测该帧图像对应的光标位置，避免由于缺少光标位置使得光标不移动，而导致光标出现卡顿、轨迹中断、跟随用户手势时丢失的情况。

显示设备可以根据动态手势识别模型获取到的用户手势信息，例如图11所示的手指关键点的位置信息，确定是否能够获取到用户指示的信息。当动态手势识别模型的结果为空，即用户手势信息为空值时，可以进行光标位置预测。

在本申请实施例中，可以设定为：当检测到预先设定的目标手势时，认为用户指示了光标移动的位置信息。其中，目标手势可以是用户展示预设的手指关键点。对于如图11所示的用户手势示意图，可以设定为9号关键点为用户指示光标进行移动的控制点，即当检测到预设的手指关键点的位置信息时，确定用户指示了光标的移动。显示设备可以根据该预设的手指关键点的位置信息进一步确定出光标移动的位置信息。

因此，当在用户手势信息中检测到了该预设的手指关键点的位置信息，则可以获取到光标移动的位置信息。本申请实施例中使用虚拟位置信息指代预设的手指关键点的位置信息，即目标手势在用户行为图像中的位置信息。

在一些实施例中，显示设备可以检测每一帧用户手势信息中是否包括虚拟位置信息。如果某一帧用户手势信息中包括虚拟位置信息，即识别出了预设的手指关键点的位置信息，则认为该帧用户行为图像中检测到了目标手势，即用户具体指示了光标如何进行移动。此时，显示设备可以根据虚拟位置信息确定出光标需要移动的位置信息。

如果某一帧用户手势信息中不包括虚拟位置信息，即预设的手指关键点的位置信息为空值，则认为该帧用户行为图像中没有检测到目标手势，此时用户没有具体指示出光标应该如何进行移动，显示设备需要自行预测补充光标需要移动的位置信息。

在一些实施例中，对于某一帧的目标用户行为图像，对于其中是否检测到了目标手势的两种情况，控制器均可以分别获取到光标需要移动的位置信息。

如果检测到了目标手势，即该帧用户手势信息中包含虚拟位置信息，此时，可以根据该虚拟位置信息获取到光标需要移动的位置信息，即目标用户行为图像所对应的光标位置。

具体的，虚拟位置信息表征的为目标用户行为图像中识别到的，预设的手指关键点的位置信息，用于表示用户的目标手势的位置信息。但该位置信息为手指关键点位于目标用户行为图像中的位置，因此，显示设备可以将用户的目标手势映射到显示器中，从而得到光标的位置。需要说明的是，在将用户的目标手势映射到显示器中时，可以根据光标的初始位置进行参照，当首次检测到用户的目标手势时，将该帧图像中手指关键点的位置确定为光标初始的位置，形成一个映射关系。在后续的映射中，可以按照预设的映射方法，将后续用户的目标手势依次映射到显示器中，从而得到各帧图像所对应的光标位置。

在一些实施例中，在获取到光标的位置信息后，考虑到用户的手势运动是立体的，在空中运动的，运动方向不仅有上下左右，还有前后，在光标的映射过程中，如果手势频繁运动，手势状态不稳定，那么光标会出现抖动等问题，为了使光标运动更平滑，用户体验更好，显示设备还可以对光标位置进行调节优化，使得光标能够动态防抖，移动轨迹平滑、平稳。

显示设备可以根据虚拟位置信息，将目标用户行为图像中的目标手势映射到显示器中，得到原始光标位置Fc。本申请实施例中原始光标位置指的是：动态手势识别模型识别的坐标直接映射到显示器中的坐标。通过对原始光标位置进行调节优化，可以得到目标光标位置，本申请实施例中目标光标位置指的是：经过调节优化后，光标真正在显示器中显示的坐标位置。

具体的，显示设备对原始光标位置可以按照以下方法进行调节：

显示设备可以根据目标用户行为图像的上一帧用户行为图像对应的光标位置Fp以及预设的调节阈值获取第一位置数值，同时可以根据原始光标位置和预设的调节阈值获取第二位置数值。根据第一位置数值和第二位置数值可以获取目标用户行为图像对应的目标光标位置Fc1。可以用公式1表示：

F_c1＝E₁*F_p+(1-E₁)*F_c (1)

其中：

F_c1表示调节后的目标光标位置；

E₁表示预设的调节阈值；

F_c表示调节前的原始光标位置，F_p表示上一帧用户行为图像对应的光标位置。

通过预设的调节阈值，可以根据上一帧图像对应的光标位置对原始光标位置进行调节，从而减小该帧目标手势可能出现的抖动偏移，以优化光标的移动。

其中，调节阈值可以根据以下方法预先设定：

其中：

E₁表示预设的调节阈值。

k表示第一调节参数；g表示第二调节参数；第一调节参数和第二调节参数均为0-1之间的数，可以由相关技术人员自行进行设定。

S_g表示目标用户行为图像的尺寸。用户行为图像的尺寸指的是用户行为图像相对于显示器的尺寸。

具体的，显示设备可以将拍摄到用户行为图像展示在显示器中，使得用户能够直观的确定当前的手势情况。图13示出了一些实施例中显示器显示摄像头区域的示意图。其中，摄像头区域中显示摄像头拍摄的画面情况，整个摄像头区域的尺寸可以由显示设备进行设置。用户可以选择开启或者关闭摄像头区域，但在摄像头区域关闭时，其尺寸大小和开启时设定为相同。

S_c表示目标用户行为图像的前一帧用户行为图像对应的光标位置处的控件的尺寸。对于每一次光标移动后，均可认为光标选中了某个控件。因此，可以根据上一帧光标选中的控件设定调节阈值。

S_tv表示显示器的尺寸。

在对原始光标位置进行调节后，可以确定出目标用户行为图像对应的目标光标位置，即光标需要移动到的位置。

在一些实施例中，在目标用户行为图像中，如果没有检测到用户的目标手势，即该帧用户手势信息中不包含虚拟位置信息，此时，显示设备可以预测目标用户行为图像对应的光标位置，从而令光标能够正常移动。

具体的，为了更好地预测出光标的位置，显示设备可以先确定出光标移动的类型。需要说明的是，光标移动的类型可以分为两类：直线运动和曲线运动。当光标沿着直线进行移动时，表示用户的手势动作也是沿着直线进行移动的，相对来说会比较稳定，拍摄图像时一般不会出现丢帧现象。但当光标沿着曲线进行移动时，表示用户的手势动作也是沿着曲线进行移动的，此时，相比于直线来说，稳定性较差，导致丢帧率会略高。因此，可以预先设定一个用于检测丢帧的阈值，来判断光标时直线运动还是曲线运动。

显示设备可以检测目标用户行为图像之前的若干帧图像中，可以是预设的检测数量的用户行为图像中，例如20帧图像内，出现丢帧情况，即没有检测到用户的目标手势的用户行为图像的数量，是否超过了预设的检测阈值，可以将检测阈值设定为0。

因此，可以检测前20帧图像中，出现丢帧情况的图像的数量是否大于0，也即检测前20帧图像中是否存在图像出现丢帧情况。如果没有出现过丢帧情况，则认为光标正在做直线运动，本申请实施例中设定为第一类运动；如果出现过丢帧情况，则认为光标正在做曲线运动，本申请实施例中设定为第二类运动。

在一些实施例中，当检测到光标正在做直线运动时，显示设备可以对目标用户行为图像进行第一处理，从而预测得到目标光标位置。

图14示出了一些实施例中光标沿直线运动的示意图。其中，光标的初始位置为A1，已经获取到的光标位置依次为A2、A3和A4。光标沿着直线运动，A5为预测得到的本帧目标光标位置。

具体的，控制器可以根据目标用户行为图像的前两帧用户行为图像对应的光标位置获取历史光标位置偏移量，用于表征上次光标的移动情况。

控制器可以根据历史光标位置偏移量和第一时间获取光标移动速度。其中，第一时间指的是：预设的动态手势识别模型处理前两帧用户行为图像所间隔的时间。一般来说，动态手势识别模型处理一帧图像所消耗的时间时固定的，因此，第一时间也可以认为是：动态手势识别模型输出前两帧用户行为图像对应的用户手势信息，所间隔的时间。

需要说明的是，当动态手势识别模型以固定周期等间隔处理图像时，第一时间是一个固定值不变，不需要每次都获取。当动态手势识别模型实时处理图像时，则需要实时获取模型输出前两帧图像的识别结果相差的时间。

控制器可以根据光标移动速度、第二时间和预设的第一预测阈值获取光标的目标光标位置偏移量。其中，第二时间为：预设的动态手势识别模型处理目标用户行为图像和前一帧用户行为图像所间隔的时间，也即模型输出前一帧图像的识别结果的时刻，到模型输出本帧图像的识别结果的时刻，所间隔的时间。控制器可以预测出本次光标的移动情况。

最后，控制器可以对前一帧用户行为图像对应的坐标位置和目标光标位置偏移量求和，通过在前一帧光标的位置处进行本次的偏移移动，可以得到目标光标位置。

预测方法可以用公式3、4表示：

F₀＝v*Δt₀*E₂+F_0-1 (3)

v＝(F_0-1-F_0-2)/Δt (4)

其中：

F₀表示目标光标位置；v表示光标本次移动的速度，表示Δt₀表示第二时间；

S_f表示预设的第一预测阈值；

F_0-1表示前一帧用户行为图像对应的坐标位置；

F_0-2表示前第二帧用户行为图像对应的坐标位置；Δt表示第一时间。

其中，第一预测阈值可以根据以下方法预先设定：

其中：

E₂表示第一预测阈值，可以是值为0.6。a₁表示第一预测参数；a₂表示第二预测参数。第一预测参数和第二预测参数均为0-1之间的数，可以由相关技术人员自行进行设定。

D_f表示预设时间内预设的动态手势识别模型对用户行为图像的处理速率。

C_f表示预设时间内所述图像采集器采集用户行为图像的速率。

P_f表示预设时间内光标移动的帧率。其中，光标移动的帧率指的是光标移动次数的频率，也可以认为是单位时间内光标移动了多少次，光标从一个光标位置移动到下一个光标位置为移动一次。

具体的，预设时间可以是1s。因此可以获取目标用户行为图像前一秒内，模型处理图像的速率、图像采集器拍摄图像的速率以及光标移动的帧率。进而，可以设定出第一预测阈值。

根据上述公式，可以预测直线运动下光标的位置坐标。

在一些实施例中，当检测到光标正在做曲线运动时，显示设备可以对目标用户行为图像进行第二处理，从而预测得到目标光标位置。

图15示出了一些实施例中光标沿曲线运动的示意图。其中，光标的初始位置为A1，已经获取到的光标位置依次为A2-A9。光标位置A4对应图像出现了第一次丢帧现象，由于是第一次丢帧，认定光标当前运动(A1到A4之间的运动)为直线运动情况。A5、A6位置为根据用户的目标手势映射得到的坐标。光标位置A7对应图像出现了第二次丢帧现象，因此认为光标当前运动(A5到A7之间的运动)沿着曲线运动，并根据预测得到光标位置A7。A8、A9位置为根据用户的目标手势映射得到的坐标。此时，目标用户行为图像出现丢帧现象，为整体(预设的检测数量)第三次丢帧，此时，认为光标沿着曲线运动(A8到A10之间的运动)，可以预测得到光标位置A10。

对于目标用户行为图像出现了第二次丢帧，因此认为光标沿着曲线运动，目标用户行为图像经预测得到的光标位置可以为A8。

需要说明的是，在进行曲线运动时，预测光标位置的方法和直线运动类似。均可以先获取上次光标的移动情况，即历史光标位置偏移量。

再根据历史光标位置偏移量和第一时间获取光标移动速度。并根据光标移动速度、第二时间和预设的第二预测阈值获取光标的目标光标位置偏移量。

最后，控制器可以对前一帧用户行为图像对应的坐标位置和目标光标位置偏移量求差，通过在前一帧光标的位置处进行本次的偏移移动，可以得到目标光标位置。

具体的预测方法可以用公式6、7表示：

F₀＝F_0-1-v*Δt₀*E₃ (6)

v＝(F_0-1-F_0-2)/Δt (7)

其中：

S_b表示第二预测阈值，可以是值为0.3。

具体的，第二预测阈值可以根据以下方法预先设定：

E₃＝b*E₂ (8)

其中，b表示第三预测参数。第三预测参数为0-1之间的数，可以由相关技术人员自行进行设定，可以是0.5。

根据上述公式，可以预测曲线运动下光标的位置坐标。

在一些实施例中，考虑到连续多帧用户行为图像可能会出现丢帧情况，可以设定一个连续丢帧的预设阈值，可以是4。在这个阈值内，如果用户行为图像持续出现丢帧情况，显示设备可以持续预测光标的位置。

具体的，在对本帧的目标用户行为图像进行手势识别之前，可先检测本帧图像之前预设阈值的用户行为图像中，可以是4帧用户行为图像中，这些图像是否全部都没有检测到目标手势，也即目标用户行为图像的前4帧图像是否全部丢帧。

如果是，则可以认为用户不再利用手势指示光标位置，此时用户可能已经放下手，已经确定了光标应该选中的控件。此时，可以控制光标不进行移动，认为本轮用户手势运动结束。直到摄像头再次拍摄到用户手势时，可以进行下一轮手势识别。

如果不是，则认为用户还在利用手势指示光标位置，只是前几帧因为一些情况全部丢帧。此时，控制器可以继续对目标用户行为图像进行手势识别，并确定本帧图像对应的光标位置。

在一些实施例中，对于预测光标位置的情况，只会出现在光标已经开始移动之后的过程中，也即光标的第一个位置不会是预测得到的，只会是根据用户指示得到的，具体的，当显示设备进入光标控制模式后，可以设定为：当首次检测到用户的目标手势后，允许光标开始移动，以避免首帧图像出现丢帧的情况。

在一些实施例中，在确定了目标用户行为图像对应的目标光标位置后，可以根据光标位置确定用户的手势移动轨迹。考虑到每两帧光标位置之间的距离会比较短，因此可以认为两帧光标位置之间光标进行直线运动。可以使目标光标位置从上一帧的光标位置沿直线到达目标光标位置。即将目标光标位置和上一帧的光标位置相连接，得到手势移动轨迹。

控制器可以再令光标沿着手势移动轨迹进行移动。

在一些实施例中，当光标沿着手势移动轨迹进行移动后，用户可能不再控制光标进行移动。此时，光标可能会位于某个控件的区域范围内，也可能位于某个控件的边缘处。当光标位于某个控件的区域内，可以确定用户选择了该控件，显示设备可以让用户确认是否触发该控件。然而如果光标位于控件的边缘及以外的区域，导致未能选中某个控件，显示设备便无法令用户确认触发控件。

因此，当光标没有明确落入到某个控件的区域内时，需要确定出光标停止不动时对应的控件，即确定用户最终选择的控件。

具体的，可以根据光标的位置确定出预设寸尺的位置信息。例如，预设尺寸可以是500*500。对于光标位置(a，b)，可以以该坐标为中心，确定出尺寸为500*500的一块区域。

控制器可以确定出该区域内所有的控件，并获取所有的控件到光标的距离。控件到光标的距离设定为：控件的四条边的中点到光标的平均距离。如图16所示，光标的位置为点O。对于一个控件A，其四条边的中点依次为B1、B2、B3、B4。四个中点到光标的距离依次为X1、X2、X3、X4。因此，控件到光标的距离为：(X1+X2+X3+X4)/4

在一些实施例中，考虑到当控件尺寸较小时，其四边中点到光标距离可能会较短，从而影响判断结果。因此，还可以按照下述方法确定每个控件到光标的距离。

具体的，本申请实施例中设定为光标和控件有两种位置关系。一种是光标和控件位于同一水平方向或同一竖直方向，一种是光标和控件既不位于同一水平方向也不位于同一竖直方向。

图17示出了一些实施例中光标和控件的位置关系的示意图。

光标位置为(a，b)。对于一个控件来说，设定其尺寸为宽w、高h。四个顶点的坐标依次为：(x-w，y-h)、(x+w，y-h)、(x+w，y+h)、(x-w，y+h)。控件的两条竖直边对应的竖直直线分别为L1和L2，两条水平边对应的水平直线分别为L3和L4。本申请实施例中设定，如果光标位于竖直直线之间的区域内，则认为光标和控件位于同一竖直方向；如果光标位于水平直线之间的区域内，则认为光标和控件位于同一水平方向。如果光标没有位于这两个区域内，则认为光标和控件既不位于同一水平方向也不位于同一竖直方向。如图17中，光标O1和控件A位于同一竖直方向，光标O2和控件A位于同一水平方向，光标O3和控件A既不位于同一水平方向也不位于同一竖直方向。

具体的，对区域内所有的控件来说，可以判断光标位置和控件位置的关系。

如果x<a<x+w，且y<b<y+h。说明光标位于该控件区域内，此时无需考虑其他控件，可以确定该控件为用户选择的控件。

如果满足x<a<x+w，但不满足y<b<y+h，则光标和控件位于同一竖直方向。

如果不满足x<a<x+w，但满足y<b<y+h，则光标和控件位于同一水平方向。

如果不满足x<a<x+w，也不满足y<b<y+h，则光标和控件既不位于同一水平方向也不位于同一竖直方向。

如果光标和控件位于同一竖直方向或同一水平方向，可以按照下述方法计算光标和控件之间的距离。

分别获取控件A四条边到光标O的距离：T1、T2、T3、T4。并将四个距离中数值最小的结果作为光标和控件之间的距离，距离为：MIN(T1、T2、T3、T4)。

如果光标和控件既不位于同一水平方向也不位于同一竖直方向，可以按照下述方法计算光标和控件之间的距离。

分别获取控件A四个顶点到光标O的距离：P1、P2、P3、P4。并将四个距离中数值最小的结果作为光标和控件之间的距离，距离为：MIN(P1、P2、P3、P4)。

控制器可以将距离最短的控件设定为光标选中的控件。

当用户触控确认键时，显示设备可以触发光标选中的控件。

本申请实施例还提供了一种手势轨迹识别方法，应用于显示设备，如图18所示，该方法包括：

步骤1801、控制所述图像采集器采集用户的若干帧用户行为图像。

步骤1802、对所述用户行为图像进行手势识别处理，得到每一帧所述用户行为图像的用户手势信息。

步骤1803、根据所述用户手势信息获取每一帧所述用户行为图像对应的光标位置；所述光标位置为所述用户行为图像中，用户的手势映射到所述显示器中的显示位置。

步骤1804、根据所述光标位置确定用户的手势移动轨迹，控制所述显示器中的光标沿着所述手势移动轨迹进行移动。

本说明书中各个实施例之间相同相似的部分互相参照即可，在此不再赘述。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分的方法。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (11)

1.一种显示设备，其特征在于，包括：

显示器；

图像输入接口，被配置为连接图像采集器；

控制器，被配置为：

控制所述图像采集器采集用户的若干帧用户行为图像；

对所述用户行为图像进行手势识别处理，得到每一帧所述用户行为图像的用户手势信息；

根据所述用户手势信息获取每一帧所述用户行为图像对应的光标位置；所述光标位置为所述用户行为图像中，用户的目标手势映射到所述显示器中的显示位置；

根据所述光标位置确定用户的手势移动轨迹，控制所述显示器中的光标沿着所述手势移动轨迹进行移动。

2.根据权利要求1所述的显示设备，其特征在于，所述控制器还被配置为：

在执行对所述用户行为图像进行手势识别处理，得到每一帧所述用户行为图像的用户手势信息的步骤中，

基于预设的动态手势识别模型对所述用户行为图像进行处理，得到每一帧所述用户行为图像的用户手势信息；

检测所述用户手势信息中是否包括虚拟位置信息，所述虚拟坐标信息为预设的目标手势在所述用户行为图像中的位置信息；

如果所述用户手势信息包括虚拟位置信息，则确定为所述用户行为图像中检测到了目标手势；

如果所述用户手势信息不包括虚拟位置信息，则确定为所述用户行为图像中没有检测到目标手势。

3.根据权利要求2所述的显示设备，其特征在于，所述控制器进一步被配置为：

在执行根据所述用户手势信息获取每一帧所述用户行为图像对应的光标位置的步骤中，

对于某一帧的目标用户行为图像，判断所述目标用户行为图像中是否检测到目标手势；

如果检测到了目标手势，则根据所述虚拟位置信息获取所述目标用户行为图像对应的光标位置；

如果没有检测到目标手势，则预测所述目标用户行为图像对应的光标位置。

4.根据权利要求3所述的显示设备，其特征在于，所述控制器进一步被配置为：

在执行根据所述虚拟位置信息获取所述目标用户行为图像对应的光标位置的步骤中，

根据所述虚拟位置信息，将所述目标用户行为图像的用户手势映射到所述显示器中，得到原始光标位置；

根据所述目标用户行为图像的上一帧用户行为图像对应的光标位置以及预设的调节阈值获取第一位置数值；根据所述原始光标位置和预设的调节阈值获取第二位置数值；

根据所述第一位置数值和所述第二位置数值获取所述目标用户行为图像对应的目标光标位置。

5.根据权利要求4所述的显示设备，其特征在于，所述预设的调节阈值的设定方法包括：

其中：

E₁表示预设的调节阈值；k表示第一调节参数；g表示第二调节参数；

S_g表示所述目标用户行为图像的尺寸；

S_c表示所述目标用户行为图像的前一帧用户行为图像对应的光标位置处的控件的尺寸；

S_tv表示所述显示器的尺寸。

6.根据权利要求3所述的显示设备，其特征在于，所述控制器进一步被配置为：

在执行预测所述目标用户行为图像对应的光标位置的步骤中，

判断在所述目标用户行为图像之前，预设的检测数量的用户行为图像中，没有检测到目标手势的用户行为图像的数量是否超过了预设的检测阈值；

若否，则确定为所述光标应进行第一类运动，并对所述目标用户行为图像进行第一处理，得到所述目标用户行为图像对应的目标光标位置；

若是，则确定为所述光标应进行第二类运动，并对所述目标用户行为图像进行第二处理，得到所述目标用户行为图像对应的目标光标位置。

7.根据权利要求6所述的显示设备，其特征在于，所述第一类运动为直线运动，所述控制器进一步被配置为：

在执行对所述目标用户行为图像进行第一处理的步骤中，

根据所述目标用户行为图像的前两帧用户行为图像对应的光标位置获取历史光标位置偏移量；

根据所述历史光标位置偏移量和第一时间获取光标移动速度；所述第一时间为：预设的动态手势识别模型处理所述前两帧用户行为图像所间隔的时间；

根据所述光标移动速度、第二时间和预设的第一预测阈值获取所述光标的目标光标位置偏移量；所述第二时间为：预设的动态手势识别模型处理所述目标用户行为图像和前一帧用户行为图像所间隔的时间；

对所述前一帧用户行为图像对应的坐标位置和所述目标光标位置偏移量求和，得到目标光标位置。

8.根据权利要求7所述的显示设备，其特征在于，所述第一预测阈值的设定方法包括：

其中：

E₂表示第一预测阈值；a₁表示第一预测参数；a₂表示第二预测参数；

D_f表示预设时间内预设的动态手势识别模型对用户行为图像的处理速率；

C_f表示预设时间内所述图像采集器采集用户行为图像的速率；

P_f表示预设时间内光标移动的帧率。

9.根据权利要求6所述的显示设备，其特征在于，所述第一类运动为曲线运动，所述控制器进一步被配置为：

在执行对所述目标用户行为图像进行第二处理的步骤中，

根据所述目标用户行为图像的前两帧用户行为图像对应的光标位置获取历史光标位置偏移量；

根据所述历史光标位置偏移量和第一时间获取光标移动速度；所述第一时间为：预设的动态手势识别模型处理所述前两帧用户行为图像所间隔的时间；

根据所述光标移动速度、第二时间和预设的第二预测阈值获取所述光标的目标光标位置偏移量；所述第二时间为：预设的动态手势识别模型处理所述目标用户行为图像和前一帧用户行为图像所间隔的时间；

对所述前一帧用户行为图像对应的坐标位置和所述目标光标位置偏移量求差值，得到目标光标位置。

10.根据权利要求3所述的显示设备，其特征在于，所述控制器进一步被配置为：

在执行预测所述目标用户行为图像对应的光标位置的步骤前，

检测所述目标用户行为图像之前的预设阈值的用户行为图像中，是否全部没有检测到目标手势；

若是，则控制所述光标不进行移动；

若否，则执行预测所述目标用户行为图像对应的光标位置的步骤。

11.一种手势轨迹识别方法，应用于显示设备，其特征在于，所述方法包括：

控制所述图像采集器采集用户的若干帧用户行为图像；

对所述用户行为图像进行手势识别处理，得到每一帧所述用户行为图像的用户手势信息；

根据所述用户手势信息获取每一帧所述用户行为图像对应的光标位置；所述光标位置为所述用户行为图像中，用户的目标手势映射到所述显示器中的显示位置；

根据所述光标位置确定用户的手势移动轨迹，控制所述显示器中的光标沿着所述手势移动轨迹进行移动。

Images