CN117806456A - 一种显示设备及基于手势识别控制浏览器的方法 - Google Patents

Abstract

本申请提供一种显示设备及基于手势识别控制浏览器的方法，方法包括：响应于启动浏览器的操作事件，获取摄像头拍摄的手势图像；识别手势图像中的手势类别；根据手势类别生成控制指令，以及锁定控制指令的控制方向，控制方向为通过手势控制页面的手势首次运动的方向；基于控制指令和控制方向控制浏览器执行页面操作，页面操作为页面移动、标签页切换以及页面收藏中的一种。所述显示设备在通过手势控制浏览器的过程中，无需像遥控器方向键一次多次按取，识别到用户的手势就会执行对应的控制流程，因此，可以解决通过浏览器执行翻页、上下移动页面或者切换标签页等功能时，操作过程比较繁琐、操作效率低的问题。

Description

一种显示设备及基于手势识别控制浏览器的方法

技术领域

本申请涉及显示设备技术领域，尤其涉及一种显示设备及基于手势识别控制浏览器的方法。

背景技术

显示设备在播放视频、音频等媒资时，可以通过浏览器来呈现。显示设备中可以部署有多个应用(Application，APP)，应用APP也可以通过浏览器来显示媒资数据。例如，显示设备可以通过浏览器呈现媒资播放的应用界面，在媒资播放应用界面中可以包括多个媒资选项，用户可以通过点击任一媒资选项，可以控制浏览器播放对应的媒资内容。

通过显示设备中的浏览器访问网页或者观看媒资时，需要执行翻页、上下移动页面或者切换标签页的操作。为了实现翻页、上下移动页面或者切换标签页的功能，可以通过遥控器控制光标的移动来完成。例如，显示设备可以设置有配套的遥控器，所有对浏览器的控制都可以通过遥控器控制光标的移动来完成。显示设备每接收到一次来自遥控器的方向键信号，就将光标的位置移动一个预设距离，这样，就可以通过光标移动的方式来执行翻页、上下移动页面或者切换标签页等操作。

但是，无论是上述哪种操作，在光标移动的过程中，都需要频繁的执行方向键的按键操作。这样，在通过浏览器执行翻页、上下移动页面或者切换标签页等功能时，操作过程比较繁琐、操作效率低。

发明内容

本申请一些实施例提供一种显示设备及基于手势识别控制浏览器的方法，以解决通过浏览器执行翻页、上下移动页面或者切换标签页等功能时，操作过程比较繁琐、操作效率低的问题。

第一方面，本申请一些实施例提供一种显示设备，包括：

显示器，被配置为显示用户界面；

图像采集接口，被配置为连接摄像头，以采集用户的手势图像；

控制器，被配置为：

响应于启动浏览器的操作事件，获取所述摄像头拍摄的手势图像；

识别所述手势图像中的手势类别；

根据所述手势类别生成控制指令，以及锁定所述控制指令的控制方向，所述控制方向为通过手势控制页面的手势首次运动的方向；

基于所述控制指令和所述控制方向控制浏览器执行页面操作，所述页面操作为页面移动、标签页切换以及页面收藏中的一种。

第二方面，本申请一些实施例提供一种基于手势识别控制浏览器的方法，应用于第一方面的显示设备，所述基于手势识别控制浏览器的方法，包括：

响应于启动浏览器的操作事件，获取所述摄像头拍摄的手势图像；

识别所述手势图像中的手势类别；

根据所述手势类别生成控制指令，以及锁定所述控制指令的控制方向，所述控制方向为通过手势控制页面的手势首次运动的方向；

基于所述控制指令和所述控制方向控制浏览器执行页面操作，所述页面操作为页面移动、标签页切换以及页面收藏中的一种。

由以上技术方案可知，本申请一些实施例提供一种显示设备及基于手势识别控制浏览器的方法，方法包括：响应于启动浏览器的操作事件，获取摄像头拍摄的手势图像；识别手势图像中的手势类别；根据手势类别生成控制指令，以及锁定控制指令的控制方向，控制方向为通过手势控制页面的手势首次运动的方向；基于控制指令和控制方向控制浏览器执行页面操作，页面操作为页面移动、标签页切换以及页面收藏中的一种。所述显示设备在通过手势控制浏览器的过程中，无需像遥控器方向键一次多次按取，识别到用户的手势就会执行对应的控制流程，因此，可以解决通过浏览器执行翻页、上下移动页面或者切换标签页等功能时，操作过程比较繁琐、操作效率低的问题。

附图说明

为了更清楚地说明本申请一些实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本申请一些实施例提供的显示设备与控制设备之间操作场景的示意图；

图2为本申请一些实施例提供的显示设备的硬件配置框图；

图3为本申请一些实施例提供的控制设备的硬件配置框图；

图4为本申请一些实施例提供的显示设备中软件配置示意图；

图5为本申请一些实施例提供的显示设备根据遥控器光标控制浏览器的一种效果示意图；

图6为本申请一些实施例提供的显示设备根据遥控器光标控制浏览器的另一种效果示意图；

图7为本申请一些实施例提供的显示设备根据遥控器光标切换标签页的效果示意图；

图8为本申请一些实施例提供的显示设备执行基于手势识别控制浏览器的流程示意图；

图9为本申请一些实施例提供的显示设备确定控制浏览器的操作类别的流程示意图；

图10为本申请一些实施例提供的通过开关控件的方式确定控制浏览器的操作类别示意图；

图11为本申请一些实施例提供的显示设备显示手势控制类别提醒消息的效果示意图；

图12为本申请一些实施例提供的显示设备将手势类别生成动态控制指令的流程示意图；

图13为本申请一些实施例提供的显示设备将手势类别生成动态控制指令的场景示意图；

图14为本申请一些实施例提供的显示设备生成控制指令的流程示意图；

图15为本申请一些实施例提供的显示设置执行静态控制指令的流程示意图；

图16为本申请一些实施例提供的显示设备判断手势运动方向的原理示意图；

图17为本申请一些实施例提供的基于手势识别控制浏览器的方法流程示意图。

具体实施方式

为使本申请一些实施例的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请一些实施例技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。

需要说明的是，本申请一些实施例中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请一些实施例的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

本申请一些实施例中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。

术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

图1为本申请一些实施例提供的显示设备与控制设备之间操作场景的示意图。如图1中示出，用户可通过移动终端300和控制设备100操作显示设备200。

在一些实施例中，移动终端300可与显示设备200安装软件应用，通过网络通信协议实现连接通信，实现一对一控制操作和数据通信的目的。也可以将移动终端300上显示音视频内容传输到显示设备200上，实现同步显示功能。

如图1中还示出，显示设备200还与服务器400通过多种通信方式进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。

显示设备200除了提供广播接收电视功能之外，还可以附加提供计算机支持功能的智能网络电视功能，包括但不限于，网络电视、智能电视、互联网协议电视(IPTV)等。

图2为本申请一些实施例提供的图1中显示设备200的硬件配置框图。

在一些实施例中，显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。

在一些实施例中，检测器230用于采集外部环境或与外部交互的信号。

在一些实施例中，显示器260包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件，用于接收源自控制器输出的图像信号，进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控UI界面等。

在一些实施例中，通信器220是用于根据各种通信协议类型与外部设备或服务器400进行通信的组件。

在一些实施例中，控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。

在一些实施例中，用户可在显示器260上显示的图形用户界面(GUI)输入用户命令，则用户输入接口通过图形用户界面(GUI)接收用户输入命令。

在一些实施例中，用户接口280，为可用于接收控制输入的接口。

图3为本申请一些实施例提供的图1中控制设备的硬件配置框图。如图3所示，控制设备100包括控制器110、通信接口130、用户输入/输出接口、存储器、供电电源。

控制设备100被配置为控制显示设备200，以及可接收用户的输入操作指令，且根据操作指令生成显示设备200可识别和响应的指令，起到用户与显示设备200之间交互中介作用。

在一些实施例中，控制设备100可是一种智能设备。如：控制设备100可根据用户需求安装控制显示设备200的各种应用。

在一些实施例中，如图1所示，移动终端300或其他智能电子设备，可在安装操控显示设备200的应用之后，可以起到控制设备100类似功能。

控制器110包括处理器单元112和RAM 113和ROM 114、通信接口130以及通信总线。控制器110用于控制控制设备100的运行和操作，以及内部各部件之间通信协作以及外部和内部的数据处理功能。

通信接口130在控制器110的控制下，实现与显示设备200之间控制信号和数据信号的通信。通信接口130可包括WiFi芯片131、蓝牙模块132、NFC模块133等其他近场通信模块中至少之一种。

用户输入/输出接口140，其中，输入接口包括麦克风141、触摸板142、传感器143、按键144等其他输入接口中至少一者。

在一些实施例中，控制设备100包括通信接口130和输入输出接口140中至少一者。控制设备100中配置通信接口130，如：WiFi、蓝牙、NFC等模块，可将用户输入指令通过WiFi协议、或蓝牙协议、或NFC协议编码，发送至显示设备200。

存储器190，用于在控制器的控制下存储驱动和控制控制设备100的各种运行程序、数据和应用。存储器190，可以存储用户输入的各类控制信号指令。

供电电源180，用于在控制器的控制下为控制设备100各元件提供运行电力支持。

图4为本申请一些实施例提供的图1中显示设备中软件配置示意图，在一些实施例中，将系统分为四层，从上至下分别为应用程序(Applications)层(简称“应用层”)、应用程序框架(Application Framework)层(简称“框架层”)和系统库层(简称“系统运行库层”)，以及内核层。

在一些实施例中，应用程序层中运行有至少一个应用程序，这些应用程序可以是操作系统自带的窗口(Window)程序、系统设置程序、时钟程序、相机应用等；也可以是第三方开发者所开发的应用程序。

框架层为应用程序层的应用程序提供应用编程接口(Aplication PogrammingIterface，API)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心，这个中心决定让应用层中的应用程序做出动作。

如图4所示，本申请一些实施例中应用程序框架层包括管理器(Managers)、内容提供者(Content Provider)和视图系统(View System)等。其中管理器包括以下模块中的至少一个：活动管理器(Activity Manager)用与和系统中正在运行的所有活动进行交互；位置管理器(Location Manager)用于给系统服务或应用提供了系统位置服务的访问；文件包管理器(Package Manager)用于检索当前安装在设备上的应用程序包相关的各种信息；通知管理器(Notification Manager)用于控制通知消息的显示和清除；窗口管理器(WindowManager)用于管理用户界面上的括图标、窗口、工具栏、壁纸和桌面部件。

在一些实施例中，活动管理器用于：管理各个应用程序的生命周期以及通常的导航回退功能。

在一些实施例中，窗口管理器用于管理所有的窗口程序。

在一些实施例中，系统运行库层为上层即框架层提供支撑，当框架层被访问时，操作系统会运行系统运行库层中包含的C/C++库以实现框架层要实现的功能。

在一些实施例中，内核层是硬件和软件之间的层。如图4所示，内核层至少包含以下驱动中的至少一种：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器，温度传感器，触摸传感器、压力传感器等)等。

在一些实施例中，内核层还包括用于进行电源管理的电源驱动模块。

在一些实施例中，图4中的软件架构对应的软件程序和/或模块存储在图2或图3所示的第一存储器或第二存储器中。

在一些实施例中，可以通过显示设备200播放各类媒资。显示设备200在播放视频、音频等媒资时，可以通过浏览器来呈现。显示设备200中可以部署有多个应用(Application，APP)，应用APP也可以通过浏览器来显示媒资数据。例如，显示设备200可以通过浏览器呈现媒资播放的应用界面，在媒资播放应用界面中可以包括多个媒资选项，用户可以通过点击任一媒资选项，可以控制浏览器播放对应的媒资内容。

通过显示设备200中的浏览器访问网页或者观看媒资时，需要执行翻页、上下移动页面或者切换标签页的操作。为了实现翻页、上下移动页面或者切换标签页的功能，可以通过遥控器控制光标的移动来完成。例如，显示设备可以设置有配套的遥控器，所有对浏览器的控制都可以通过遥控器控制光标的移动来完成。

图5为本申请一些实施例提供的显示设备根据遥控器光标控制浏览器的一种效果示意图，如图5所示，在浏览器的输入框输入内容并点击搜索后，光标位置位于网页顶部，如虚线部分所示。如果需要向下翻页，或向下漫游浏览器网页内容，需要按遥控器方向键中的“向下”按键，将光标移动到网页底部。参见图6，图6为本申请一些实施例提供的显示设备根据遥控器光标控制浏览器的另一种效果示意图，多次移动光标后，将光标移动到虚线部分所示的网页底部。在移动光标的过程中，显示设备每接收到一次来自遥控器的方向键信号，就将光标的位置移动一个预设距离，这样，就可以通过光标移动的方式来执行翻页、上下移动页面或者切换标签页等操作。

但是，上述移动光标的过程需要重复按向下的按键才能移动到网页底部。同理，当需要将浏览器向上翻页时，也需要频繁的按下遥控器的“向上”按键，以将光标移动到浏览器的顶部。当用户打开多个标签页时，用户想切换到不同的标签页时，也需要将光标移动到顶部点击方向键来切换不同的标签页。

示例性的，图7为本申请一些实施例提供的显示设备根据遥控器光标切换标签页的效果示意图，如图7所示，当打开多个标签页时，如果用户想要切换标签页，需要将光标移动到顶部并点击要切换的目标标签页。在切换标签页的过程中，需要长按方向键或多次按下方向键才能达到切换标签页的目的。例如，长按左键或右键，或者，左键或右键按下多次等。当用户想要收藏某个网页时，也需要将光标多次移动到收藏的功能按钮处。可以理解的是，无论是上述哪种操作，在光标移动的过程中，都需要频繁的执行方向键的按键操作。这样，当通过遥控器控制浏览器的上下翻页、切换网页时，需要频繁的执行方向键，用户的大部分时间都消耗在执行方向键的操作上。因此，在通过浏览器执行翻页、上下移动页面或者切换标签页等功能时，操作过程比较繁琐、操作效率低。

为了解决通过浏览器执行翻页、上下移动页面或者切换标签页等功能时，操作过程比较繁琐、操作效率低的问题，本申请一些实施例提供一种显示设备200。所述显示设备200包括显示器260、图像采集接口290和控制器250。其中，显示器260被配置为显示用户界面，图像采集接口290，被配置为连接摄像头2901，以采集用户的手势图像。为了便于对本申请一些实施例中技术方案的理解，下面结合一些具体实施例和附图对各个步骤进行详细说明。图8为本申请一些实施例提供的显示设备执行基于手势识别控制浏览器的流程示意图，如图8所示，在一些实施例中，显示设备执行基于手势识别控制浏览器的方法时，可以包括如下步骤S1-S4，具体内容如下：

步骤S1：响应于启动浏览器的操作事件，获取摄像头2901拍摄的手势图像。

在一些实施例中，在获取手势图像之前，显示设备200可以获取用户输入的控制浏览器的操作类别，控制浏览器的操作类别可以分为手势控制类别和非手势控制类别。手势控制类别即是指通过手势的运动或手势姿势来控制浏览器相关操作，例如，翻页、切换标签页、收藏等操作。非手势控制类别即是指通过非手势的方式来控制浏览器。例如，可以通过遥控器光标的方式控制浏览器的翻页、切换标签页、收藏等操作。如果操作类别为手势控制类别，显示设备200可以启动摄像头2901，通过摄像头2901拍摄手势图像。

在一些实施例中，显示设备200可以通过捕捉浏览器中获取到的控制指令来判断浏览器的操作类别。示例性的，如果浏览器收到的控制指令是遥控器的方向键发出的，则可以确定浏览器的操作类别为非手势控制类别。如果浏览器收到的控制指令是通过含有手势运动的图像转换而成的指令，则可以确定浏览器的操作类别为手势控制类别。还可以通过其他方式判定浏览器的操作类别，本申请对此不作具体限定。

示例性的，图9为本申请一些实施例提供的显示设备确定控制浏览器的操作类别的流程示意图，如图9所示，在一些实施例中，显示设备200在确定控制浏览器的操作类别时，首先可以监测用于选择操作类别的操作控件上的操作事件。例如，在操作浏览器之前，显示设备200中可以设置有供用户选择控制浏览器的操作方式的操作控件，用户可以根据需求选择相应的操作方式。例如，可以包括手势控制类别和非手势控制类别。操作方式选择完成之后，可以基于操作控件上的操作事件读取在操作控件中输入的输入值，可以理解的是，输入值即为操作控件对应的操作方式的值。例如，当用户点击手势控制类别时，操作控件对应的输入值即为手势控制类别，相反，如果点击的是非手势控制类别，则操作控件对应的输入值即为非手势控制类别。最后，在操作控件的输入值确定完成后，再根据输入值确定控制浏览器的操作类别。这样，就可以根据用户设置的不同操作方式执行不同控制浏览器的流程。

在一些实施例中，还可以通过开启或关闭开关控件的方式来确定控制浏览器的操作类别。图10为本申请一些实施例提供的通过开关控件的方式确定控制浏览器的操作类别示意图，如图10所示，显示设备200可以设置有供应用程序开启手势操作的开关控件，当开关关闭时，不会调用手势控制类别，也不会执行手势识别。只有当开关控件开启状态时，才会打开手势控制类别，并执行手势识别的流程。

当用户采用非手势控制类别来操作浏览器时，显示设备200还可以为用户提供手势控制类别的提醒消息。图11为本申请一些实施例提供的显示设备显示手势控制类别提醒消息的效果示意图，如图11所示，在一些实施例中，如果操作类别为非手势控制类别，显示设备200可以控制显示器260在当前浏览器页面中显示手势控制提醒消息，手势控制提醒消息用于提醒用户浏览器页面支持手势识别功能。

示例性的，当手势控制类别的开关开启后，在对浏览器执行操作时可以识别手势类别。例如，手势类别为大拇指时表示将当前显示网页添加到收藏，当手势类别为手掌上移时表示控制网页向上翻页或者向上漫游，当手势类别为手掌向下移动时表示控制网页向下翻页或者向下漫游，当手势类别为手掌左右移动时表示控制浏览器切换标签页等。具体手势的类别和操作规则可以预先设定，本申请不作具体限定。

当用户选择的操作浏览器的操作类别为手势控制类别时，显示设备200可以启动摄像头2901，以及，获取摄像头2901拍摄的手势图像。在一些实施例中，手势控制类别启动后，可以通过摄像头2901采集手势图像，并将手势图像传递给人工智能算法如AI算法。这样，AI算法可以将计算结果返回浏览器，显示设备就可以根据返回的计算结果执行后续流程。例如，将计算结果转化为控制指令，根据控制指令操控浏览器等。步骤S1执行完成后，可以执行如下步骤S2。

步骤S2：显示设备200识别手势图像中的手势类别。

在一些实施例中，用户在通过操作控件选择操控浏览器的操作方式时，操作控件可以包括使用手势控件和非使用手势控件，显示设备200在执行识别手势图像中的手势类别时，可以通过如下方式实现。首先显示设备200可以获取输入值，输入值包括对使用手势控件执行操作的第一输入值和对非使用手势控件执行操作的第二输入值，之后，检测到输入值为第一输入值，启动人工智能算法，通过人工智能算法识别手势图像，以返回手势图像中包含的手势类别；检测到输入值为第二输入值，则接收遥控器发送的方向键指令，以及，通过方向键指令控制浏览器页面的移动方向、浏览器页面的标签页切换以及浏览器的页面收藏操作。

示例性的，输入值即为对操作控件的选择结果，当输入值为第一输入值时，即用户选择的是使用手势控件，则显示设备200可以启动人工智能算法如AI算法来识别手势图像，这样就可以获取到手势图像中包含的手势类型。而检测到输入值为第二输入值时，即用户选择的是非使用手势控件时，则浏览器可以接收遥控器发送的方向键指令，并根据光标移动的方式控制浏览器页面的移动方向、标签页切换及页面收藏等操作。步骤S2执行完成后，可以执行如下步骤S3。

步骤S3：显示设备200根据手势类别生成控制指令，以及锁定控制指令控制方向。

在一些实施例中，控制指令包括动态控制指令，动态控制指令可以理解为通过手势的动态操作形成的指令。图12为本申请一些实施例提供的显示设备将手势类别生成动态控制指令的流程示意图，如图12所示，显示设备200在根据手势类别生成动态控制指令时，首先可以根据手势图像中用户手掌的中心点记录用户手掌的初始位置和目标位置，之后，基于初始位置和目标位置监控手势变化信息；再根据手势变化信息确定手势类别。手势类别确定完成后，可以提取手势类别中中心点的位移方向和位移距离，最后将位移方向和位移距离解析为动态控制指令。

示例性的，图13为本申请一些实施例提供的显示设备将手势类别生成动态控制指令的场景示意图，如图13所示，显示设备200根据手势图像可以识别到用户手掌的中心点，之后，可以基于该中心点记录用户手掌的初始位置和目标位置。根据初始位置和目标信息可以获取到手势变化信息，如图13中手势按虚线箭头方向移动，根据该手势变化信息，可以确定手势类别。例如，手势是在竖直方向上发生了变化，即产生了上下移动，且根据用户手掌中心点可以获取到位移方向和位移距离，例如，可以通过手掌中心点坐标的变化计算出位移距离，之后，基于该位移方向和位移距离可以解析为动态控制指令，以用户通过动态控制指令操作浏览器。

图14为本申请一些实施例提供的显示设备生成控制指令的流程示意图，如图14所示，在一些实施例中，显示设备200还可以执行如下流程。显示设备200首先可以监测位移方向和位移距离，如果位移方向为第一方向，位移距离位于第一距离范围内，则显示设备200生成向上翻页指令；如果位移方向为第二方向，位移距离位于第一距离范围内，则显示设备200生成向下翻页指令；其中，第二方向与第一方向相反；如果位移方向为第三方向，位移距离位于第二距离范围内，则显示设备200生成向左切换标签页指令，其中，第三方向垂直于第一方向和第二方向；如果位移方向为第四方向，位移距离位于第二距离范围内，则显示设备200生成向右切换标签页指令，其中，第四方向与第三方向相反。

示例性的，浏览器的翻页、网页漫游、切换标签页是通过识别到手势类别后，并监测到手势变化信息后解析为动态控制指令。在一些实施例中，第一距离范围可以为5-12厘米，第二距离范围也可以未5-12厘米。第一方向可以为向上的方向，第二方向可以为向下的方向，第三方向可以为向左的方向，第四方向可以为向右的方向。第二距离范围可以与第一距离范围相同，也可以不同，具体设定的范围可以根据用户实际操作的需求设定，本申请对此不作具体限定。

首次识别到用户的手掌后，可以记录手掌的初始位置。之后，在检查后续通过手势图像返回的目标位置。监测到手势向上运动的位移距离在5-12厘米内，则生成向上翻页指令，监测到手势向下运动的位移距离在5-12厘米内，则生成向下翻页指令。监测到手势向左的位移距离在5-12厘米内，则生成向左切换标签页指令，监测到手势向右的位移距离在5-12厘米内，则生成向右切换标签页指令。这样，就可以将用户的手势动作解析为动态控制指令，进而实现通过手势操控浏览器的目的。在通过手势控制浏览器的过程中，无需像遥控器方向键一次多次按取，识别到用户的手势后显示设备200就会执行对应的控制流程，因此，可以解决通过浏览器执行翻页、上下移动页面或者切换标签页等功能时，操作过程比较繁琐、操作效率低的问题。

在一些实施例中，在计算位移方向和位移记录时，还可以通过角部的某一个点作为初始位置。示例性的，可以获取用户手掌上下左右矩形区域的坐标，之后，可以取左上角的顶点作为手掌的初始位置，则在计算目标位置时，同样以左上角为基点计算目标位置。可以根据用户实际需求进行选择，本申请不作具体限定。可以理解的是，无论以手掌中心点还是角部的某个顶点作为初始位置，对位移方向和位移距离的计算结果都没有影响。步骤S3执行完成后，可以执行如下步骤S4。

步骤S4：显示设备200基于控制指令和控制方向控制浏览器执行页面操作，所述页面操作为页面移动、标签页切换以及页面收藏中的一种。

动态控制指令生成完成后，显示设备200可以基于动态控制指令控制浏览器页面的移动方向、浏览器页面的标签页切换等操作。对于非检测手势运动的控制指令，例如，通过预设姿势触发收藏页面的指令，其手势并没有发生实际位移，针对该类控制指令，可以将其称之为静态控制指令。

图15为本申请一些实施例提供的显示设置执行静态控制指令的流程示意图，如图15所示，响应于控制指令为静态控制指令，显示设备200可以解析手势图像对应的手势姿势；如果手势姿势为预设姿势，则根据预设姿势生成收藏指令；识别到第一帧手势图像与第二帧手势图像中的手势姿势均为预设姿势，显示设备200执行收藏指令。其中，第二帧手势图像为位于所述第一帧手势图像后的关键帧。

示例性的，预设姿势可以根据实际需求设定，在一些实施例中，预设姿势可以为竖起拇指的姿势。在浏览器运行过程中，在收到竖起拇指的姿势后，显示设备200就可以检测到该手势表示要收藏页面。

为了防止误将当前页面添加到收藏或重复执行手势对应的指令添加到收藏，在一些实施例中，当收到竖起拇指的姿势后，显示设备200不会立即执行该手势姿势对应的静态控制指令，当下一帧手势图像仍是竖起拇指的姿势时，再执行收藏指令。需要说明的是，下一帧与上一帧应该是连续的，这样，一方面可以对用户的手势姿势进行确认，另一方面，可以避免对页面的重复收藏。而当后续连续的其他帧也为同样的手势姿势时，由于前期已经收藏了该页面，因此，显示设备200将不执行同样的功能，即显示设备200会忽略该静态控制指令，直到手势有变化为止。例如，直到手势为空，或者将竖起拇指的手势切换到其他手势。

用户在执行动态控制指令的过程中，手势可能不会完全水平或完全竖直。人手在移动过程中可能不会保证绝对的竖直或绝对的水平，可能会有一定的倾斜。当用户手势发生倾斜时，为了准确的解析出用户的意图，显示设备200可以执行如下流程。在一些实施例中，显示设备200首先可以获取位移距离在竖直方向上的位移距离的第一绝对值和在水平方向上的第二绝对值；如果第一绝对值大于第二绝对值，则根据竖直方向和位移距离生成动态控制指令；如果第一绝对值小于第二绝对值，根据水平方向和位移距离生成动态控制指令。

示例性的，如果竖直方向的位移距离的第一绝对值较大，说明用户可能要执行竖直方向上的运动，因此，此时显示设备200可以根据竖直方向上的位移距离和方向生成动态控制指令。相反，如果水平方向的第二绝对值较大，则说明用户可能想执行水平方向的运动，因此，此时显示设备200可以根据水平方向上的位移距离和方向生成动态控制指令。也就是说，选取绝对值较大的值作为转换控制指令的基础，这样可以更切近用户的实际选择。

而当用户的手势运动方向发生倾斜时，每次的倾斜角度可能会不一样。这样就会导致每次对浏览器执行动态控制时，可能会出现误差，即显示设备200可能无法识别用户的真正意图。例如，用户想要一直执行上下翻页，但是，上下执行几次后，倾斜角度发生变化，那么第一绝对值和第二绝对值的对比结果也会发生变化，针对该场景，可能会出现对浏览器的误操作问题。

为了防止手势控制过程中对浏览器的误操作，在一些实施例中，显示设备200会锁定手势控制过程中的手掌首次的运动方向，即控制方向为通过手势控制页面的手势首次运动的方向。显示设备200首先可以识别用户手掌中心点的首次位移距离；其中，首次位移距离包括沿竖直方向的第一位移距离和沿水平方向的第二位移距离。如果第一位移距离大于第二位移距离，显示设备200将手势运动的方向锁定为竖直方向，以及，不计算沿水平方向的手势运动；如果第二位移距离大于第一位移距离，显示设备200将手势运动的方向锁定为水平方向，以及，不计算沿竖直方向的手势运动。

示例性的，图16为本申请一些实施例提供的显示设备判断手势运动方向的原理示意图，如图16所示，用户手掌中心点的初始坐标为(X_center,Y_center)，移动后的目标位置中心点坐标为(X，Y)，则手掌在X轴方向的位移为diffX＝X–X_center，在Y轴方向上的位移为diffY＝Y–Y_center。如果diffX大于0表示手势向右运动，反之手势向左运动，diffY大于0表示手势向下运动，反之向上运动。

首次识别到手势的运动方向后，如果首次手势运动方向为上下运动，则显示设备200会锁定竖直方向，只考虑竖直方向上的位移，忽略水平方向的位移，以防止解析出左右运动的控制指令，防止出现误切换标签页的情况。而当首次手势运动方向为左右运动，则显示设备200会锁定水平方向，只考虑水平方向上的位移，忽略竖直方向的位移，以防止解析出上下运动的控制指令，防止出现误翻页或误漫游的情况。这样，通过锁定手势控制过程中的运动方向，可以使显示设备200准确的解析出用户的真正意图，不会出现对浏览器误操作的情况，提升对浏览器操作的准确率。

由以上技术方案可知，上述实施例提供一种显示设备200，响应于启动浏览器的操作事件，获取用户输入的控制浏览器的操作类别；如果操作类别为手势控制类别，启动摄像头，以及，获取摄像头拍摄的手势图像；识别手势图像中的手势类别；根据手势类别生成控制指令，以及锁定控制指令控制方向；基于控制指令和控制方向控制浏览器页面的移动方向、浏览器页面的标签页切换以及浏览器的页面收藏操作。所述显示设备在通过手势控制浏览器的过程中，无需像遥控器方向键一次多次按取，识别到用户的手势就会执行对应的控制流程，因此，可以解决通过浏览器执行翻页、上下移动页面或者切换标签页等功能时，操作过程比较繁琐、操作效率低的问题。

本申请部分实施例还提供一种基于手势识别控制浏览器的方法，可以应用于上述实施例中的显示设备200。图17为本申请一些实施例提供的基于手势识别控制浏览器的方法流程示意图，如图17所示，在一些实施例中，所述基于手势识别控制浏览器的方法可以包括如下步骤S1-S4，具体内容如下：

步骤S1：响应于启动浏览器的操作事件，显示设备200获取摄像头2901拍摄的手势图像。

在一些实施例中，控制浏览器的操作类别可以分为手势控制类别和非手势控制类别。手势控制类别即是指通过手势的运动或手势姿势来控制浏览器相关操作，例如，翻页、切换标签页、收藏等操作。非手势控制类别即是指通过非手势的方式来控制浏览器。例如，可以通过遥控器光标的方式控制浏览器的翻页、切换标签页、收藏等操作。

在一些实施例中，显示设备200可以通过捕捉浏览器中获取到的控制指令来判断浏览器的操作类别。示例性的，如果浏览器收到的控制指令是遥控器的方向键发出的，则可以确定浏览器的操作类别为非手势控制类别。如果浏览器收到的控制指令是通过含有手势运动的图像转换而成的指令，则可以确定浏览器的操作类别为手势控制类别。

在一些实施例中，还可以通过开启或关闭开关控件的方式来确定控制浏览器的操作类别。显示设备200可以设置有供应用程序开启手势操作的开关控件，当开关关闭时，不会调用手势控制类别，也不会执行手势识别。只有当开关控件开启状态时，才会打开手势控制类别，并执行手势识别的流程。

当用户选择的操作浏览器的操作类别为手势控制类别时，显示设备200可以启动摄像头2901，以及，获取摄像头2901拍摄的手势图像。在一些实施例中，手势控制类别启动后，可以通过摄像头2901采集手势图像，并将手势图像传递给人工智能算法如AI算法。这样，AI算法可以将计算结果返回浏览器，显示设备就可以根据返回的计算结果执行后续流程。例如，将计算结果转化为控制指令，根据控制指令操控浏览器等。

步骤S2：显示设备200识别手势图像中的手势类别。

在一些实施例中，用户在通过操作控件选择操控浏览器的操作方式时，操作控件可以包括使用手势控件和非使用手势控件，显示设备200在执行识别手势图像中的手势类别时，可以通过如下方式实现。首先显示设备200可以获取输入值，输入值包括对使用手势控件执行操作的第一输入值和对非使用手势控件执行操作的第二输入值，之后，检测到输入值为第一输入值，启动人工智能算法，通过人工智能算法识别手势图像，以返回手势图像中包含的手势类别；检测到输入值为第二输入值，则接收遥控器发送的方向键指令，以及，通过方向键指令控制浏览器页面的移动方向、浏览器页面的标签页切换以及浏览器的页面收藏操作。

步骤S3：显示设备200根据手势类别生成控制指令，以及锁定控制指令控制方向。

在一些实施例中，控制指令包括动态控制指令，动态控制指令可以理解为通过手势的动态操作形成的指令。显示设备200在根据手势类别生成动态控制指令时，首先可以根据手势图像中用户手掌的中心点记录用户手掌的初始位置和目标位置，之后，基于初始位置和目标位置监控手势变化信息；再根据手势变化信息确定手势类别。手势类别确定完成后，可以提取手势类别中中心点的位移方向和位移距离，最后将位移方向和位移距离解析为动态控制指令。

在一些实施例中，显示设备200还可以执行如下流程。显示设备200首先可以监测位移方向和位移距离，如果位移方向为第一方向，且位移距离位于第一距离范围内，则显示设备200生成向上翻页指令；如果位移方向为第二方向，且位移距离位于第一距离范围内，则显示设备200生成向下翻页指令；其中，第二方向与第一方向相反；如果位移方向为第三方向，且位移距离位于第二距离范围内，则显示设备200生成向左切换标签页指令，其中，第三方向垂直于第一方向和第二方向；如果位移方向为第四方向，且位移距离位于第二距离范围内，则显示设备200生成向右切换标签页指令，其中，第四方向与第三方向相反。这样，就可以将用户的手势动作解析为动态控制指令，进而实现通过手势操控浏览器的目的。在通过手势控制浏览器的过程中，无需像遥控器方向键一次多次按取，识别到用户的手势后显示设备200就会执行对应的控制流程，因此，可以解决通过浏览器执行翻页、上下移动页面或者切换标签页等功能时，操作过程比较繁琐、操作效率低的问题。

步骤S4：显示设备200基于控制指令和控制方向控制浏览器执行页面操作，所述页面操作为页面移动、标签页切换以及页面收藏中的一种。

为了防止误将当前页面添加到收藏或重复执行手势对应的指令添加到收藏，在一些实施例中，当收到竖起拇指的姿势后，显示设备200不会立即执行该手势姿势对应的静态控制指令，当下一帧手势图像仍是竖起拇指的姿势时，再执行收藏指令。需要说明的是，下一帧与上一帧应该是连续的，这样，一方面可以对用户的手势姿势进行确认，另一方面，可以避免对页面的重复收藏。而当后续连续的其他帧也为同样的手势姿势时，由于前期已经收藏了该页面，因此，显示设备200将不执行同样的功能，即显示设备200会忽略该静态控制指令，直到手势有变化为止。例如，直到手势为空，或者将竖起拇指的手势切换到其他手势。

用户在执行动态控制指令的过程中，手势可能不会完全水平或完全竖直。人手在移动过程中可能不会保证绝对的竖直或绝对的水平，可能会有一定的倾斜。当用户手势发生倾斜时，为了准确的解析出用户的意图，显示设备200可以执行如下流程。在一些实施例中，显示设备200首先可以获取位移距离在竖直方向上的位移距离的第一绝对值和在水平方向上的第二绝对值；如果第一绝对值大于第二绝对值，则根据竖直方向和位移距离生成动态控制指令；如果第一绝对值小于第二绝对值，根据水平方向和位移距离生成动态控制指令。

为了防止手势控制过程中对浏览器的误操作，在一些实施例中，显示设备200会锁定手势控制过程中的手掌首次的运动方向。首次识别到手势的运动方向后，如果首次手势运动方向为上下运动，则显示设备200会锁定竖直方向，只考虑竖直方向上的位移，忽略水平方向的位移，以防止解析出左右运动的控制指令，防止出现误切换标签页的情况。而当首次手势运动方向为左右运动，则显示设备200会锁定水平方向，只考虑水平方向上的位移，忽略竖直方向的位移，以防止解析出上下运动的控制指令，防止出现误翻页或误漫游的情况。这样，通过锁定手势控制过程中的运动方向，可以使显示设备200准确的解析出用户的真正意图，不会出现对浏览器误操作的情况，提升对浏览器操作的准确率。

由以上技术方案可知，上述实施例提供一种基于手势识别控制浏览器的方法在通过手势控制浏览器的过程中，无需像遥控器方向键一次多次按取，识别到用户的手势就会执行对应的控制流程，因此，可以解决通过浏览器执行翻页、上下移动页面或者切换标签页等功能时，操作过程比较繁琐、操作效率低的问题。

本说明书中各个实施例之间相同相似的部分互相参照即可，在此不再赘述。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分的方法。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (10)

1.一种显示设备，其特征在于，包括：

显示器，被配置为显示用户界面；

图像采集接口，被配置为连接摄像头，以采集用户的手势图像；

控制器，被配置为：

响应于启动浏览器的操作事件，获取所述摄像头拍摄的手势图像；

识别所述手势图像中的手势类别；

根据所述手势类别生成控制指令，以及锁定所述控制指令的控制方向，所述控制方向为通过手势控制页面的手势首次运动的方向；

基于所述控制指令和所述控制方向控制浏览器执行页面操作，所述页面操作为页面移动、标签页切换以及页面收藏中的一种。

2.根据权利要求1所述的显示设备，其特征在于，所述控制器进一步被配置为：

获取用户输入的控制浏览器的操作类别；

如果所述操作类别为手势控制类别，启动所述摄像头；

如果所述操作类别为非手势控制类别，控制所述显示器在当前浏览器页面中显示手势控制提醒消息，所述手势控制提醒消息用于提醒用户所述浏览器页面支持手势识别功能。

3.根据权利要求2所述的显示设备，其特征在于，所述控制器执行获取用户输入的控制浏览器的操作类别的步骤，进一步被配置为：

监测用于选择所述操作类别的操作控件上的操作事件；

基于所述操作事件读取在所述操作控件中输入的输入值；

根据所述输入值确定控制浏览器的操作类别。

4.根据权利要求3所述的显示设备，其特征在于，所述操作控件包括使用手势控件和非使用手势控件，所述控制器执行识别所述手势图像中的手势类别的步骤，进一步被配置为：

获取所述输入值，所述输入值包括对所述使用手势控件执行操作的第一输入值和对所述非使用手势控件执行操作的第二输入值；

检测到所述输入值为所述第一输入值，通过人工智能图像识别算法识别所述手势图像，以返回所述手势图像中包含的手势类别；

检测到所述输入值为所述第二输入值，接收遥控器发送的方向键指令，以及，通过所述方向键指令控制浏览器执行页面操作。

5.根据权利要求1所述的显示设备，其特征在于，所述控制指令包括动态控制指令，所述控制器执行根据所述手势类别生成控制指令的步骤，进一步被配置为：

根据所述手势图像中用户手掌的中心点记录用户手掌的初始位置和目标位置；

基于所述初始位置和所述目标位置监控手势变化信息；

根据所述手势变化信息确定手势类别；

提取所述手势类别中中心点的位移方向和位移距离；

将所述位移方向和所述位移距离解析为动态控制指令。

6.根据权利要求5所述的显示设备，其特征在于，所述控制器进一步被配置为：

监测所述位移方向和所述位移距离；

如果所述位移方向为第一方向，且所述位移距离位于第一距离范围内，则生成向上翻页指令；

如果所述位移方向为第二方向，且所述位移距离位于第一距离范围内，则生成向下翻页指令；所述第二方向与所述第一方向相反；

如果所述位移方向为第三方向，且所述位移距离位于第二距离范围内，则生成向左切换标签页指令，所述第三方向垂直于所述第一方向和所述第二方向；

如果所述位移方向为第四方向，且所述位移距离位于第二距离范围内，则生成向右切换标签页指令，所述第四方向与所述第三方向相反。

7.根据权利要求6所述的显示设备，其特征在于，所述控制器进一步被配置为：

获取所述位移距离在竖直方向上的位移距离的第一绝对值和在水平方向上的第二绝对值；

如果所述第一绝对值大于所述第二绝对值，根据所述竖直方向和所述位移距离生成所述动态控制指令；

如果所述第一绝对值小于所述第二绝对值，根据所述水平方向和所述位移距离生成所述动态控制指令。

8.根据权利要求6所述的显示设备，其特征在于，所述控制器进一步被配置为：

识别用户手掌中心点的首次位移距离；所述首次位移距离包括沿竖直方向的第一位移距离和沿水平方向的第二位移距离；

如果所述第一位移距离大于所述第二位移距离，将手势运动的方向锁定为竖直方向，以及，不计算沿水平方向的手势运动；

如果所述第二位移距离大于所述第一位移距离，将手势运动的方向锁定为水平方向，以及，不计算沿竖直方向的手势运动。

9.根据权利要求1所述的显示设备，其特征在于，所述控制指令还包括静态控制指令，所述控制器进一步被配置为：

响应于所述控制指令为静态控制指令，解析所述手势图像对应的手势姿势；

如果所述手势姿势为预设姿势，根据所述预设姿势生成收藏指令；

识别到第一帧手势图像与第二帧手势图像中的手势姿势均为预设姿势，执行所述收藏指令；所述第二帧手势图像为位于所述第一帧手势图像后的关键帧。

10.一种基于手势识别控制浏览器的方法，应用于权利要求1-9任一项所述的显示设备，其特征在于，包括：

响应于启动浏览器的操作事件，获取所述摄像头拍摄的手势图像；

识别所述手势图像中的手势类别；

根据所述手势类别生成控制指令，以及锁定所述控制指令的控制方向，所述控制方向为通过手势控制页面的手势首次运动的方向；

基于所述控制指令和所述控制方向控制浏览器执行页面操作，所述页面操作为页面移动、标签页切换以及页面收藏中的一种。