CN105323619A - 基于模拟按键板的手势控制方法及手势控制电视机 - Google Patents

Abstract

本发明实施例公开了一种基于模拟按键板的手势控制方法及手势控制电视机，手势控制方法先通过识别用户的手势启动模拟按键板，然后再识别用户的手指指尖运动来识别用户手指在模拟按键板上的移动和按键情况，并自动触发相应按键来响应用户的手势操作。本发明具有如下有益效果：利用手势控制方法，增强了人机交互的亲和力，实现了智能电视机的高度智能化，使电视遥控更加便捷，同时也节约了更换遥控器的成本。另外，本发明手势控制方法基于现有的模拟按键板，不但提供了一种可视化人机操作界面，而且降低了手势图像的识别成本，数据库中只需存储启动模拟按键板、左移、右移、上移、下移和按键等几个简单的动作样本就能有效识别用户的全部手势操作。

Description

基于模拟按键板的手势控制方法及手势控制电视机

技术领域

本发明涉及电视技术领域，尤其涉及一种基于模拟按键板的手势控制方法及手势控制电视机。

背景技术

随着电视技术的不断发展，现在的智能电视机都由于应用的增加，都采用了适用于电脑的模拟键盘的技术，通过遥控器可以随时在需要输入文字或数字的时候调取出模拟按键盘。

另一方面，智能电视机的发展趋向于高度智能化，而人机交互的智能化是其中的重要特性之一。传统的人机交互主要是通过操作遥控器或者电视机面板按键来实现对电视机的各种控制指令。传统的电视机面板按键板操作有距离局限性，必须距离电视机很近，手可以触摸到的范围才可以操作。而遥控器虽然可以远距离操作，但经常会出现因找不到遥控器而带来的不便，而且在按键时间长后，遥控器也会变得不够灵敏甚至损坏，进而增加了用户的使用成本。

发明内容

本发明实施例所要解决的技术问题在于，针对现有技术通过按键板或遥控器控制智能电视机造成使用不够方便、人机交互体验差的缺陷，提供一种手势控制智能电视机的方法及手势控制的智能电视机。

为了解决上述技术问题，本发明实施例提供了一种基于按键板的手势控制方法，包括以下步骤：

S1.采集手势操作图像；

S2.根据所述手势操作图像启动模拟按键板；

S3.连续采集手指的运动图像，进而获得手指图像帧；

S4.根据所述手指图像帧控制模拟按键板响应手指的控制操作。

其中，所述步骤S2进一步包括以下步骤：

S21.解析所述手势操作图像；

S22.将解析的手势操作图像与预存的样本进行比较；

S23.判断比较结果是否相同，若是，则转步骤S24，否则返回步骤S1；

S24.生成启动模拟按键板的控制指令，进而启动模拟按键板。

进一步地，所述步骤S3包括以下步骤：

S31.进入手指按键控制模式；

S32.以预定的采样频率连续采集手指运动图像；

S33.根据所述采集的手指运动图像获得手指图像帧。

优选地，所述步骤S4进一步包括以下步骤：

S41.对比手指图像帧的前后帧的手指空间三维数据，进而生成与手指指尖运动相对应的运动数据；

S42.将所述运动数据在预存的控制手指数据库中进行匹配，获得与所述运动数据相匹配的控制手指动作数据；

S43.将所述控制手指动作数据在预存的按键指令库中进行匹配，获得与所述控制手指动作数据相匹配的按键控制指令；

S44.根据所述按键控制指令自动移动所述模拟按键板上的标识或触发相应按键。

优选地，所述模拟按键板上至少包括增减音量键、增减频道键、数字键、开关键和菜单键。

相应地，本发明还提供了一种手势控制电视机，包括：微处理器、存储器、模拟按键板和图像摄取设备；

所述图像摄取设备用于采集手势操作图像和手指运动图像，并根据手指运动图像获得手指图像帧；所述微处理器用于根据所述手势操作图像启动所述模拟按键板并控制所述模拟按键板响应手指的控制操作；所述模拟按键板用于响应手指的控制操作；所述存储器用于存储所述手势操作图像和手指运动图像。

优选地，所述微处理器进一步包括：图像解析模块、图像比较模块和判断模块；

所述图像解析模块用于解析所述手势操作图像并将解析的图像数据发送给所述图像比较模块；所述图像比较模块用于从所述存储器中读取预存的样本，并将所接收到的所述解析的图像数据与所述预存的样本相比较，进而输出比较结果至所述判断模块；所述判断模块用于根据所述比较结果输出相应的控制信号，如果所述比较结果相同则控制所述图像摄取设备采集手指运动图像；否则所述图像摄取设备继续采集手势操作图像。

其中，所述图像摄取设备进一步包括：控制信号接收模块、采样频率设置模块和图像处理模块；

所述控制信号接收模块用于接收控制信号并使所述图像摄取设备进入手指按键控制模式；所述采样频率设置模块用于设置采样频率并使所述图像摄取设备以预定的采样频率连续采集手指运动图像；所述图像处理模块用于根据所述手指运动图像生成手指图像帧。

优选地，所述微处理器还包括：手指运动数据生成模块、控制手指动作数据生成模块、按键控制指令生成模块和模拟按键板操作控制模块；

所述手指运动数据生成模块用于对比手指图像帧的前后帧的手指空间三维数据，进而生成与手指指尖运动相对应的运动数据；所述控制手指动作数据生成模块用于将所述运动数据在预存的控制手指数据库中进行匹配，获得与所述运动数据相匹配的控制手指动作数据；所述按键控制指令生成模块用于将所述控制手指动作数据在预存的按键指令库中进行匹配，获得与所述控制手指动作数据相匹配的按键控制指令；所述模拟按键板操作控制模块用于根据所述按键控制指令自动移动所述模拟按键板上的标识或触发相应按键。

优选地，所述模拟按键板上至少包括增减音量键、增减频道键、数字键、开关键和菜单键。

实施本发明实施例，具有如下有益效果：利用手势控制方法，增强了人机交互的亲和力，实现了智能电视机的高度智能化，使电视遥控更加便捷，同时也节约了更换遥控器的成本。另外，本发明手势控制方法基于现有的模拟按键板，不但提供了一种可视化人机操作界面，而且降低了手势图像的识别成本，数据库中只需存储启动模拟按键板、左移、右移、上移、下移和按键等几个简单的动作样本就能有效识别用户的全部手势操作。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的第一实施例手势控制方法流程图；

图2是本发明提供的第二实施例手势控制方法流程图；

图3是本发明提供的第三实施例手势控制方法流程图；

图4是本发明提供的第四实施例手势控制电视机结构方框图；

图5是本发明提供的第五实施例微处理器结构方框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参见图1，图1是本发明提供的第一实施例手势控制方法流程图。如图1所示，本实施例提供的手势控制方法包括以下步骤：

A1、检测手势操作的控制请求；

具体地，手势检测设备实时检测布控范围内的用户的手势操作，并将手势操作图像编码后发送给接收模块；

A2、接收手势操作控制请求；

A3、解析手势操作并转换为相应的控制指令；

具体地，手势操作解析模块根据手势的运动变化生成运动数据，并将此运动数据与数据库中预存的运动数据样本进行匹配，匹配成功后生成与样本对应的控制指令；

A4、根据转换的控制指令执行相应的操作。

执行的操作包括启动模拟按键板、向左移、向右移、向上移、向下移和按键等。

本实施例从总体上给出了手势控制方法的设计思路，本设计思路下产生的电视机手势控制方法适用于任何电视机。下面的实施例中将给出一个在本设计思路下设计的一个具体的手势控制方案。

请参见图2，图2是本发明提供的第二实施例手势控制方法流程图。如图2所示，本实施例提供的手势控制方法具体包括以下步骤：

S1、采集手势操作图像；

S2、根据手势操作图像启动模拟按键板；

S3、连续采集手指的运动图像，进而获得手指图像帧；

S4、根据手指图像帧控制模拟按键板响应手指的控制操作。

也就是说，本实施例提供的手势控制方法包括关键的两个步骤：第一步，根据手势操作图像启动模拟按键板；第二步，根据手指运动图像在模拟按键板上进行相应控制操作，进而通过模拟按键板触发智能电视机执行手势的控制指令。在上一实施例的设计思想指导下，本实施例具体细化了步骤A3(解析手势操作并转换为相应控制指令)的技术方案，即先启动模拟按键板，再根据用户手势操作模拟按键板。本实施例提供的技术方案具有方法简单、能提供可视化人机操作界面、增加人机交互亲和力的有益效果。下面的实施例将进一步详述在此实施方式下的具体实施方案。

请参见图3，图3是本发明提供的第三实施例手势控制方法流程图。如图3所示，第二实施例中的步骤S2进一步包括以下步骤：

S21.解析手势操作图像；

解析模块主要用于将图像摄取设备压缩编码的手势图像解压并译码，进而生成与预存的样本格式相同的图像数据；

S22.将解析的手势操作图像与预存的样本进行比较；

预存的样本包括出厂预设的样本和用户自定义的样本，其中，出厂预设的样本只有一个，而用户自定义的样本可以是多个。比如，一家中有多个人，每个人启动手势控制所使用的惯用姿势不一样，则可以根据实际需要自定义多个启动手势控制的样本。解析模块只要比较模块只要比较出与预设的样本是一样的，就启动模拟按键板供用户用手势操作模拟按键板；

S23.判断比较结果是否相同，若是，则转步骤S24；若否，则返回步骤S1；

S24.生成启动模拟按键板的控制指令，进而启动模拟按键板。

本实施例中，手势控制电视机识别用户的启动模拟按键板的手势所需的软硬件成本非常低，因为模拟按键板技术是现有技术，而且在这一步骤中，手势控制电视机并不需要分析手势的运动及变化趋势，只需要对比采集的手势图像是否与样本一致，而样本的数量又很少(出厂预置的一个样本或用户自定义的几个样本)，比较所需代价也很低。因此，识别用户的启动模拟按键板进而通过手势来遥控电视这一步骤具有非常简单、易于实现的特点，对软硬件要求低。

而第二实施例的步骤S3进一步包括：

S31.进入手指按键控制模式；

S32.以预定的采样频率连续采集手指运动图像；

也就是说，对于图像摄取设备而言，有两种工作模式，一种工作模式为常态，实时检测用户手势，进而判断用户是否需要通过手势遥控电视机；另一种工作模式为手指按键控制模式，在这一模式下表示已经检测到用户需要手势遥控电视机，进而以一定的频率采集用户手指的运动图像，采集频率越高，对软硬件需求则越大，相应对用户操作的判断精确度越高，响应也越快；

通过设计图像采取设备的两种工作模式，可以更加合理、更加充分地利用软硬件资源，同时又能有效地识别用户的手势操作，增强了用户体验，节约了识别成本；

S33.根据采集的手指运动图像获得手指图像帧。

因为要对手指的运动和变化进行解析，必须结合以一定频率采集的多个图像，才能判断出手指的运动，所以需要将图像数据以图像帧的方式存储，便于解析模块识别多个图像之间的关系。

优选地，第二实施例的步骤S4包括以下操作步骤：

S41.对比手指图像帧的前后帧的手指空间三维数据，进而生成与手指指尖运动相对应的运动数据；

S42.将运动数据在预存的控制手指数据库中进行匹配，获得与运动数据相匹配的控制手指动作数据；

S43.将控制手指动作数据在预存的按键指令库中进行匹配，获得与控制手指动作数据相匹配的按键控制指令；

按键控制指令包括从当前按键位置向上移、向下移、向左移、向右移和触发当前按键；

S44.根据按键控制指令自动移动模拟按键板上的标识或触发相应按键。

模拟按键板上的标识用于向用于示意当前按键位置，进而指示用户根据当前按键位置选择合适的移动方向移动到用户想触发的目标按键位置。模拟按键板上的标识可以是闪动或静止的箭头、光标、手型图等可以示意的小图形。模拟按键板上的标识随着用户的手指动作相应移动或触发按键，进而控制电视机执行相应的响应。本实施例提供的手势控制方法，基于现有的模拟按键板，不但提供了一种可视化人机操作界面，增强了人机交互的亲和力和趣味性，而且降低了手势图像的识别成本，因为数据库中只需存储左移、右移、上移、下移和按键等几个简单的动作样本就能有效识别用户的全部手指运动指示。

在本发明提供的一个优选实施例中，为了实现基本的遥控功能，模拟按键板上至少包括增减音量键、增减频道键、数字键、开关键和菜单键。菜单键里面包含了设置相关参数的设置选项。另外，为了实现手势控制文字输入功能，模拟软键盘还包括字母键。在另一优选实施例中，模拟按键板上还包括增减亮度键、增减饱和度键等功能按键，当然，这些按键也可以集成到菜单键中。

请参见图4，图4是本发明提供的第四实施例手势控制电视机结构方框图。如图4所示，手势控制电视机包括：微处理器1、存储器2、图像摄取设备3和模拟按键板4。

图像摄取设备3用于采集手势操作图像和手指运动图像，并根据手指运动图像获得手指图像帧；模拟按键板4用于响应手指的控制操作；存储器2用于存储所述手势操作图像和手指运动图像。

如图4所示，微处理器1分别连接存储器2、图像摄取设备3和模拟按键板4，也就是说存储器2、图像摄取设备3和模拟按键板4都与微处理器进行数据通信，且存储器2、图像摄取设备3和模拟按键板4之间的数据通信也受控于微处理器1。

应理解，本实施例提供的手势控制电视机至给出了完成手势控制的必要技术特征，并不表示手势控制电视机的所有结构只包含这些。手势控制电视机当然还包括一般智能电视机所必须具备的通用功能模块，如显示器、网络模块等。本发明实施例通过手势控制触发模拟按键板4生成控制指令后，经微处理器1传输给相应的指令接收模块，在传统的通过遥控器遥控的电视机中，红外信号接收模块解析遥控器的红外信号后发送给微处理器1，微处理器1再将控制指令发送给同一指令接收模块。也就是说在控制指令的接收、解析进而触发电视机响应这一部分，手势控制与遥控器控制方法相同，因此再次不再累述触发模拟按键以后的信号传输过程与原理。

在现有技术中，模拟按键板技术已经非常成熟，现在的很多智能电视机都集成了这一技术。本发明在现有模拟按键板技术基础上，通过图像摄取设备3和对微处理器1的改进，实现手势控制电视机的技术，不但可提供可视化人机操作界面，而且本技术方案易于实现、实现了电视机的高度智能化。

在本发明提供的另一优选实施例中，图像摄取设备3包括：控制信号接收模块、采样频率设置模块和图像处理模块。控制信号接收模块用于接收微处理器的控制信号并使图像摄取设备进入手指按键控制模式；采样频率设置模块用于设置采样频率并使图像摄取设备以预定的采样频率连续采集手指运动图像；图像处理模块用于根据手指运动图像生成手指图像帧。

对于图像摄取设备3来说，通常的工作状态是非受控模式，在此模式下实时检测用户的手势，进而发送给微处理器1判断是否是启动模拟按键板的手势，如果是，微处理器1就会给图像摄取设备3反馈一个控制信号，使图像摄取设备3进入受控模式，即手指按键控制模式，在此工作模式下，图像摄取设备3以预定的采样频率连续采集用户的手势运动图像，并将采集的多个运动图像生成手指图像帧发送给微处理器1。采样频率越高，对软硬件需求则越大，相应对用户操作的判断精确度越高，响应也越快。

通过设计图像采取设备的两种工作模式，可以更加合理、更加充分地利用软硬件资源，同时又能有效地识别用户的手势操作，增强了用户体验，节约了识别成本。

在本发明提供的另一优选实施例中，为了实现电视机关机、开机、换台、选台、音量调节等功能，模拟按键板4上至少应包括增减音量键、增减频道键、数字键、开关键和菜单键。另外，为了实现手势控制文字输入功能，模拟按键板4还包括字母键。在另一优选实施例中，模拟按键板4上还包括增减亮度键、增减饱和度键等功能按键，当然，这些按键也可以集成到菜单键中。

请参见图5，图5是本发明提供的第五实施例微处理器结构方框图。如图5所示，本实施例提供的微处理器1包括：图像解析模块11、图像比较模块12、判断模块13、手指运动数据生成模块14、控制手指动作数据生成模块15、按键控制指令生成模块16和模拟按键板操作控制模块17，各模块依次连接。图像解析模块11用于解析手势操作图像并将解析的图像数据发送给图像比较模块12；图像比较模块12用于从存储器2中读取预存的样本，并将所接收到的解析的图像数据与预存的样本相比较，进而输出比较结果至判断模块13；判断模块用于根据比较结果输出相应的控制信号，如果比较结果相同则控制图像摄取设备3采集手指运动图像；否则图像摄取设备3继续采集手势操作图像；手指运动数据生成模块13用于对比手指图像帧的前后帧的手指空间三维数据，进而生成与手指指尖运动相对应的运动数据；控制手指动作数据生成模块15用于将运动数据在预存的控制手指数据库中进行匹配，获得与运动数据相匹配的控制手指动作数据；按键控制指令生成模块16用于将控制手指动作数据在预存的按键指令库中进行匹配，获得与控制手指动作数据相匹配的按键控制指令；模拟按键板操作控制模块17用于根据按键控制指令自动移动模拟按键板上的标识或触发相应按键。

在工作中，图像解析模块将图像摄取设备3发送过来的图像数据解压并译码，进而生成与预存的样本格式相同的图像数据。模拟按键板4上的标识移动的方向包括上下左右四个方向，每次只移动一个按键格。如果检测到用户的手指动作是按当前键，则会触发模拟按键板4上的当前按键。

上述描述涉及各种模块。这些模块通常包括硬件和/或硬件与软件的组合(例如固化软件)。这些模块还可以包括包含指令(例如，软件指令)的计算机可读介质(例如，永久性介质)，当处理器执行这些指令时，就可以执行本发明的各种功能性特点。相应地，除非明确要求，本发明的范围不受实施例中明确提到的模块中的特定硬件和/或软件特性的限制。作为非限制性例子，本发明在实施例中可以由一种或多种处理器(例如微处理器、数字信号处理器、基带处理器、微控制器)执行软件指令(例如存储在非永久性存储器和/或永久性存储器)。另外，本发明还可以用专用集成电路(ASIC)和/或其他硬件元件执行。需要指出的是，上文对各种模块的描述中，分割成这些模块，是为了说明清楚。然而，在实际实施中，各种模块的界限可以是模糊的。例如，本文中的任意或所有功能性模块可以共享各种硬件和/或软件元件。又例如，本文中的任何和/或所有功能模块可以由共有的处理器执行软件指令来全部或部分实施。另外，由一个或多个处理器执行的各种软件子模块可以在各种软件模块间共享。相应地，除非明确要求，本发明的范围不受各种硬件和/或软件元件间强制性界限的限制。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (10)

1.一种基于模拟按键板的手势控制方法，其特征在于，包括以下步骤：

S1.采集手势操作图像；

S2.根据所述手势操作图像启动模拟按键板；

S3.连续采集手指的运动图像，进而获得手指图像帧；

S4.根据所述手指图像帧控制模拟按键板响应手指的控制操作。

2.根据权利要求1所述手势控制方法，其特征在于，所述步骤S2进一步包括以下步骤：

S21.解析所述手势操作图像；

S22.将解析的手势操作图像与预存的样本进行比较；

S23.判断比较结果是否相同，若是，则转步骤S24，否则返回步骤S1；

S24.生成启动模拟按键板的控制指令，进而启动模拟按键板。

3.根据权利要求1所述手势控制方法，其特征在于，所述步骤S3包括以下步骤：

S31.进入手指按键控制模式；

S32.以预定的采样频率连续采集手指运动图像；

S33.根据所述采集的手指运动图像获得手指图像帧。

4.根据权利要求1所述手势控制方法，其特征在于，所述步骤S4进一步包括以下步骤：

S41.对比手指图像帧的前后帧的手指空间三维数据，进而生成与手指指尖运动相对应的运动数据；

S42.将所述运动数据在预存的控制手指数据库中进行匹配，获得与所述运动数据相匹配的控制手指动作数据；

S43.将所述控制手指动作数据在预存的按键指令库中进行匹配，获得与所述控制手指动作数据相匹配的按键控制指令；

S44.根据所述按键控制指令自动移动所述模拟按键板上的标识或触发相应按键。

5.根据权利要求1所述手势控制方法，其特征在于，所述模拟按键板上至少包括增减音量键、增减频道键、数字键、开关键和菜单键。

6.一种手势控制电视机，包括微处理器、存储器和模拟按键板，其特征在于，还包括图像摄取设备；

所述图像摄取设备用于采集手势操作图像和手指运动图像，并根据手指运动图像获得手指图像帧；

所述微处理器用于根据所述手势操作图像启动所述模拟按键板并控制所述模拟按键板响应手指的控制操作；

所述模拟按键板用于响应手指的控制操作；

所述存储器用于存储所述手势操作图像和手指运动图像。

7.根据权利要求6所述手势控制电视机，其特征在于，所述微处理器进一步包括：图像解析模块、图像比较模块和判断模块；

所述图像解析模块用于解析所述手势操作图像并将解析的图像数据发送给所述图像比较模块；

所述图像比较模块用于从所述存储器中读取预存的样本，并将所接收到的所述解析的图像数据与所述预存的样本相比较，进而输出比较结果至所述判断模块；

所述判断模块用于根据所述比较结果输出相应的控制信号，如果所述比较结果相同则控制所述图像摄取设备采集手指运动图像；否则所述图像摄取设备继续采集手势操作图像。

8.根据权利要求6所述手势控制电视机，其特征在于，所述图像摄取设备进一步包括：控制信号接收模块、采样频率设置模块和图像处理模块；

所述控制信号接收模块用于接收控制信号并使所述图像摄取设备进入手指按键控制模式；

所述采样频率设置模块用于设置采样频率并使所述图像摄取设备以预定的采样频率连续采集手指运动图像；

所述图像处理模块用于根据所述手指运动图像生成手指图像帧。

9.根据权利要求6所述手势控制电视机，其特征在于，所述微处理器还包括：手指运动数据生成模块、控制手指动作数据生成模块、按键控制指令生成模块和模拟按键板操作控制模块；

所述手指运动数据生成模块用于对比手指图像帧的前后帧的手指空间三维数据，进而生成与手指指尖运动相对应的运动数据；

所述控制手指动作数据生成模块用于将所述运动数据在预存的控制手指数据库中进行匹配，获得与所述运动数据相匹配的控制手指动作数据；

所述按键控制指令生成模块用于将所述控制手指动作数据在预存的按键指令库中进行匹配，获得与所述控制手指动作数据相匹配的按键控制指令；

所述模拟按键板操作控制模块用于根据所述按键控制指令自动移动所述模拟按键板上的标识或触发相应按键。

10.根据权利要求6所述手势控制电视机，其特征在于，所述模拟按键板上至少包括增减音量键、增减频道键、数字键、开关键和菜单键。