CN105138122A

CN105138122A - 一种通过识别手势遥控屏幕设备的方法

Info

Publication number: CN105138122A
Application number: CN201510494357.4A
Authority: CN
Inventors: 陈洋; 陈遗保; 潘影波; 杨松祥
Original assignee: SHENZHEN CAREDEAR COMMUNICATION TECHNOLOGY Co Ltd
Current assignee: Shenzhen Duo-parent Technology Co.,Ltd.
Priority date: 2015-08-12
Filing date: 2015-08-12
Publication date: 2015-12-09
Anticipated expiration: 2035-08-12
Also published as: CN105138122B

Abstract

本发明公开了一种通过识别手势遥控屏幕设备的方法，包括用户、屏幕设备和控制器，包括以下步骤：(1)用户通过控制器向屏幕设备发送控制指令；(2)屏幕设备对可操作区域进行自动标注；(3)用户作出手势；(4)若屏幕设备获取并对手势进行识别，则进入步骤(6)，若控制器获取并对手势进行识别，则进入步骤(5)；(5)控制器将识别的手势的相应的信息发送给屏幕设备；(6)屏幕设备根据手势执行相应的操作。本发明可替代传统的数字键盘的遥控器，实现无触控的远程控制方式；还可实现基于手势识别的通用的设备远程控制方法。

Description

一种通过识别手势遥控屏幕设备的方法

技术领域

本发明涉及屏幕控制技术领域，特别是指一种通过识别手势遥控屏幕设备的方法。

背景技术

随着科技和人文的发展，带有大屏幕的系统因其直观性和易用性，被越来越多的领域所使用。与此同时，大屏幕的操控性也给人们带来了相应的困扰。

就现有技术而言，大屏幕的控制，无外乎几种方式：遥控器、按钮、PC和语音操控等。除去语音，其他的方式都是以另外的物件作为载体而实现相应的操作，可能产生的问题如下：

1、遥控器的丢失、没电；按钮失效，这些问题均会导致屏幕的失控。

2、手势与屏幕的结合，多数程度上还是直接触控的模式。少数的可以远程操控的系统的交互性还不尽人意，急需优化。

3、就遥控器举例说明，不同的设备需要不同的遥控器做相应的匹配来达到想要的控制效果，此种问题导致了各个设备之间无互通性，而且随之而来的是需收纳一堆遥控器。即现有的遥控技术不具备通用性。

发明内容

本发明提出一种通过识别手势遥控屏幕设备的方法，简化了人体手势遥控屏幕设备的过程，增加了准确性，同时具有通用性。

本发明的技术方案是这样实现的：

一种通过识别手势遥控屏幕设备的方法，包括用户、屏幕设备和控制器，包括以下步骤：

(1)用户通过控制器向屏幕设备发送控制指令；

(2)屏幕设备对可操作区域进行自动标注；

步骤(2)中自动标注包括以下步骤：

(201)开始遍历屏幕上的控件；

(202)寻找并获取一个控件；

(203)若成功获取一个控件，则进入步骤(204)，否则结束；

(204)若控件是非根控件，则进入步骤(205)，否则进入步骤(202)；

(205)若非根控件可被操作，则进入步骤(206)，否则进入步骤(202)；

(206)若非根控件与其他已被标注非根控件没有交集，则进入步骤(207)，否则进入步骤(202)；

(207)采用符号将非根控件进行标注，并将该符号加入预制符号字典。

(3)用户作出手势；

(4)若屏幕设备获取并对手势进行识别，则进入步骤(6)，若控制器获取并对手势进行识别，则进入步骤(5)；

步骤(4)中手势识别具体包括以下步骤：

(401)采集一帧手势的图像；

(402)对图像进行二值化灰度处理；

(403)对二值化灰度处理后的图像利用高斯金字塔算法进行向下采样，获取采样值；

(404)对采样值进行膨胀处理；

(405)根据膨胀处理后的采样值获取手势的轮廓；

(406)从手势的轮廓中提取手势的特征值，并与手势字典中的图像特征值进行对比，获取手势值。手势字典包括默认字典和学习字典。

(5)控制器将识别的手势的相应的信息发送给屏幕设备；

(6)屏幕设备根据手势执行相应的操作。

进一步的，屏幕设备为手持设备或数字电视，控制器为手持设备。更进一步的，控制器通过有线或无线通信方式向屏幕设备发送控制指令。

进一步的，屏幕设备通过屏幕设备上的摄像头或控制器上的摄像头获取手势。

进一步的，步骤(2)中，屏幕设备通过数字或方向对可操作区域进行自动标注。

本发明的有益效果在于：

1、通过对屏幕可操作区域进行自动识别，并使用数字进行相应标注，保证所标注的区域均可控。

2、动态的手势识别，不仅可以识别向左、向右，更可以识别相应的手势数字。

3、手势的使用，在全国甚至全球的范围，很轻易可以获得统一，并且可以适用于各种屏幕。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一个实施例的流程图；

图2为本发明的自动标注的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明提出了一种通过识别手势遥控屏幕设备的方法，包括用户、屏幕设备和控制器，屏幕设备为手持设备或数字电视，控制器为手持设备。另外，屏幕设备可理解为所有具有屏幕，并具有CPU的智能设备，具体的，包括以下步骤：

(1)用户通过控制器向屏幕设备发送控制指令；屏幕设备为手持设备或数字电视，控制器为手持设备。比如屏幕设备为数字电视，控制器为手机，用户通过手机来控制数字电视转换频道、玩游戏等等，具体的可操控数字电视的当前屏幕上的各功能模块，比如从主菜单里选择某一个相应的子菜单，最常用为通过手势作出数字的姿势，屏幕设备识别手势数字，并进行频道转换，另外，还可通过手势的左右指向，进行上一个或下一个的变换。

(2)屏幕设备对可操作区域进行自动标注；可操作区域为当前屏幕中的所有功能菜单，比如，数字电视的屏幕上有电视剧、电影、游戏等选项，这些选项即为可操作区域，原本可通过数字电视的遥控器进行选择，现在可根据手势数字来选择，但是需要提前将手势数字和可操作区域建立一个相对应的联系，可通过数字或字符将可操作区域与手势数字联系起来，比如电视剧这个可操作区域的数字标注为1，当用户在数字电视前伸出一根手指，数字电视即会打开电视剧的选项，供用户进行下一步的操作。不同的屏幕画面具有不同的可操作区域，需要屏幕设备对不同的屏幕画面上的可操作区域进行自动标注，当所有的屏幕的可操作区域都已经标注完毕后，屏幕设备可将所有的可操作区域的标注信息存储起来，然后定期进行更新，当屏幕设备搜查到可操作区域标注信息表中没有出现的可操作区域时，对其进行标注，并更新可操作区域标注信息表，即使还未到更新时间。

屏幕设备通过数字或方向对可操作区域进行自动标注。

具体的，步骤(2)中自动标注包括以下步骤：(201)开始遍历屏幕上的控件；(202)寻找并获取一个控件；(203)若成功获取一个控件，则进入步骤(204)，否则结束；(204)若控件是非根控件，则进入步骤(205)，否则进入步骤(202)；(205)若非根控件可被操作，则进入步骤(206)，否则进入步骤(202)；(206)若非根控件与其他已被标注非根控件没有交集，则进入步骤(207)，否则进入步骤(202)；(207)采用符号将非根控件进行标注，并将该符号加入预制符号字典。对非根控件进行标注的符号可以是数字或特殊符号或者英文字符或其他国家的特殊字符等。

(3)用户作出手势；一般的，用户可用左手或右手模拟出阿拉伯数字0-9，从而可选择频道，也可用左右手同时模拟，一个手作十位，一个手作个位，两手分别作出手势的时间间隔需小于5秒。对于大于9的树脂，也可通过连续作出手势N次，N为自然数，手势之间时间间隔小于5秒，取值范围为10-10N-1。若需要表示多位连续相同的数值，则每个手势之间，需要将手完全撤出摄像区，但时间间隔不能大于5秒。时间间隔仅为举例，具体操作时，可根据用户需求进行设定。

(4)若屏幕设备获取并对手势进行识别，则进入步骤(6)，若控制器获取并对手势进行识别，则进入步骤(5)；具体的，用户可直接在屏幕设备的摄像头前作出手势，也可在控制器的摄像头前作出手势，再由控制器通过有线或无线的方式将手势的相关信息发送给屏幕设备。

步骤(4)中手势识别具体包括以下步骤：(401)采集一帧手势的图像；(402)对图像进行二值化灰度处理；(403)对二值化灰度处理后的图像利用高斯金字塔算法进行向下采样，获取采样值；(404)对采样值进行膨胀处理；(405)根据膨胀处理后的采样值获取手势的轮廓；(406)从手势的轮廓中提取手势的特征值，并与手势字典中的图像特征值进行对比，获取手势值。屏幕设备可通过第N+1个手势的中心坐标与第N个手势的中心坐标计算斜率，取得两个手势的移动方向，从而根据移动方向来进行向前或向后的操作，该操作具体的可适用于视频或音频的快进或后退。

具体的，手势字典包括默认字典和学习字典；默认字典是具有共性的特征和手势的对应关系，是预制的；学习字典可以理解为默认字典的补充，在默认字典的基础之上，针对单个用户在使用过程中，不断的使用(也可以理解为训练的过程)将特定用户的特征也计入字典中。这样在识别该用户的时候，可以大幅提高识别率。这样的字典只针对特定用户个体。字典训练是一个机器学习的过程，训练的结果直接决定字典查找的准确性。训练寻找两组样本，分别是正面样本(Positive)和反面样本(Negative)；正面样本必须包含匹配目标的图片，反面样本则可以取任何图片，只要图片不包含需要检测的目标即可；手势的差别除了手势本身的含义以外，还需考虑不同肤色的人种，不同的光照和背景等因素的影响。具体的步骤如下：准备第N个手势的正面样本和反面样本，取得一副正面样本，进行随机旋转，变换光强度，将变化后的正面样本放置到不同的反面样本背景下，从中提取特征值至特征池，若还存在正面样本则对其进行随机变换等步骤，若已经不存在正面样本，则取得第N个手势的特征池，之后若不需要对第N+1个手势进行训练，则生成字典，否则就进入准备第N+1个手势的正面样本和反面样本这一步骤，并向下进行。

(5)控制器将识别的手势的相应的信息发送给屏幕设备；控制器通过有线或无线通信方式向屏幕设备发送控制指令，当屏幕设备为数字电视，控制器为手机时，手机可通过蓝牙或红外线或WiFi将一些信息发送给数字电视，数字电视也设有相应的信息接收装置。当屏幕设备为手机时，控制器也为手机本身，此时，控制器和屏幕设备之间发送信息通过手机内部的线路进行传送信息，而且，用户可通过该功能实现自拍杆功能，比如，手机放置在远处，用户摆出剪刀手的手势后，手机会自动拍照。

(6)屏幕设备根据手势执行相应的操作。

本发明一方面，可替代传统的数字键盘的遥控器，实现无触控的远程控制方式；另一方面，通过与屏幕自动标注专利相结合(PendingPatent)，可实现基于手势识别的通用的设备远程控制方法。

此外，手势识别仅需采样静态图片，且字典容量只需支持数字以及某些特定的手势，与动态的手势识别(如：向左、向右)相比，大大提高识别率。

以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种通过识别手势遥控屏幕设备的方法，包括用户、屏幕设备和控制器，其特征在于，包括以下步骤：

(1)所述用户通过所述控制器向所述屏幕设备发送控制指令；

(2)所述屏幕设备对可操作区域进行自动标注；

(3)所述用户作出手势；

(4)若所述屏幕设备获取并对所述手势进行识别，则进入步骤(6)，若所述控制器获取并对所述手势进行识别，则进入步骤(5)；

(5)所述控制器将识别的所述手势的相应的信息发送给所述屏幕设备；

(6)所述屏幕设备根据所述手势执行相应的操作。

2.根据权利要求1所述的一种通过识别手势遥控屏幕设备的方法，其特征在于，所述屏幕设备为手持设备或数字电视，所述控制器为手持设备。

3.根据权利要求1或2所述的一种通过识别手势遥控屏幕设备的方法，其特征在于，所述控制器通过有线或无线通信方式向所述屏幕设备发送控制指令。

4.根据权利要求1所述的一种通过识别手势遥控屏幕设备的方法，其特征在于，步骤(2)中所述自动标注包括以下步骤：

(201)开始遍历屏幕上的控件；

(202)寻找并获取一个控件；

(203)若成功获取一个控件，则进入步骤(204)，否则结束；

5.根据权利要求1所述的一种通过识别手势遥控屏幕设备的方法，其特征在于，所述屏幕设备通过所述屏幕设备上的摄像头或所述控制器上的摄像头获取所述手势。

6.根据权利要求1或5所述的一种通过识别手势遥控屏幕设备的方法，其特征在于，步骤(4)中所述手势识别具体包括以下步骤：

(401)采集一帧所述手势的图像；

(402)对所述图像进行二值化灰度处理；

(404)对采样值进行膨胀处理；

(405)根据膨胀处理后的采样值获取手势的轮廓；

(406)从手势的轮廓中提取手势的特征值，并与手势字典中的图像特征值进行对比，获取手势值。

7.根据权利要求6所述的一种通过识别手势遥控屏幕设备的方法，其特征在于，所述手势字典包括默认字典和学习字典。

8.根据权利要求1所述的一种通过识别手势遥控屏幕设备的方法，其特征在于，步骤(2)中，所述屏幕设备通过数字或方向对可操作区域进行自动标注。