CN103294195A - 基于手势识别的遥控装置及其方法 - Google Patents

Abstract

本发明公开一种基于手势识别的遥控方法和装置，本方法包括：获取用户进行手势操作的图像帧；判断图像帧中是否有用户的手势的相关信息输入；若是，则将含有用户手势的图像帧按照获取的先后顺序进行缓存；每隔一预设时间将缓存的图像帧按照存储的先后顺序取出，并根据取出的图像帧进行识别，并将识别结果转化为相应的遥控信号。本发明提出的方法，避免了现有技术中进行手势识别以转化成遥控信号时，因短时间内发送大量的图像帧导致拥堵或出现前一帧图像来不及处理而被后一帧图像覆盖住等丢帧的情况。

Description

基于手势识别的遥控装置及其方法

技术领域

本发明涉及通信技术领域，尤其涉及一种基于手势识别的遥控装置及其方法。

背景技术

随着智能时代的到来，遥控系统也越来越智能。当前对电视进行远程遥控的模式主要有以下几种：1、红外电视远程遥控器；2、类似鼠标的遥控器输入；3、采用手写板的遥控器手写输入。以上几种远程遥控模式都需要用户使用外部设备以输入遥控信号，例如：用户需要使用遥控器，首先要找到遥控器。

现在已经出现一种通过手势控制技术来实现遥控的功能。手势控制技术的特点是用户通过操作者的手部动作(例如，挥手)来控制终端设备，来达到例如切换电视频道，调节音量等功能，从而省去了用户寻找遥控器来进行操作的过程，用户在摄像头前面挥挥手即可实现对电视的控制，从而将用户从对遥控器的依赖中解放出来。

手势识别的核心是摄像头抓取图像帧。但是现有技术中，摄像头抓取的图像帧在传送过程中容易出现丢失的情况，例如因阻塞、被覆盖、漏帧等原因导致丢失。若丢失了部分图像帧，意味着各图像帧组成的用户手势轨迹不完整，将很可能造成后续手势识别结果出错，从而导致遥控信号出错。

发明内容

本发明的主要目的是提供一种基于手势识别的遥控装置及方法，旨在避免进行手势识别以转化成遥控信号时，因短时间内发送大量的图像帧导致拥堵或出现前一帧图像来不及处理而被后一帧图像覆盖住等丢帧的情况。

为了达到上述目的，本发明提出一种基于手势识别的遥控方法，包括以下步骤：

获取用户进行手势操作的图像帧；

判断所述图像帧中是否有用户的手势的相关信息输入；若是，则将含有用户手势的所述图像帧按照获取的先后顺序进行缓存；

每隔一预设时间将缓存的所述图像帧按照存储的先后顺序取出，根据取出的图像帧进行识别，并将识别结果转化为相应的遥控信号。

优选地，所述当感应到用户进行手势操作时，获取用户手势操作的图像帧的步骤之后还包括：

对所述图像帧进行相应的处理以调整为合适的大小。

优选地，所述对所述图像帧进行相应的处理以调整为合适的大小的步骤至少包括：

将所述图像帧进行色彩转化以便进行演算；

将所述图像帧进行去噪点处理。

优选地，所述判断所述图像帧中是否有用户的手势的相关信息输入；若是，则将含有用户手势的所述图像帧按照获取的先后顺序进行缓存的步骤包括：

判断所述图像帧中是否有用户的手势的图像，若是，则进一步判断该手势的图像是否属于预存的家庭成员库中的手势的图像，若是，则将该图像帧按获取的先后顺序进行缓存。

优选地，当该手势的图像不属于预存的家庭成员库中的手势的图像时，包括：

将该图像帧存入一个新建用户的数据库中。

本发明进一步还提出一种基于手势识别的遥控装置，包括：

图像获取模块，用于获取用户进行手势操作的图像帧；

手势区分模块，用于判断所述图像帧中是否有用户的手势的相关信息输入；

图像缓存模块，用于当判断所述图像帧中是否有用户的手势的相关信息输入时，将含有用户手势的所述图像帧按照获取的先后顺序进行缓存；

图像缓存输出模块，用于每隔一预设时间将缓存的所述图像帧按照存储的先后顺序取出，

手势识别模块，用于对图像缓存输出模块取出的图像帧进行识别，并将识别结果转化为相应的遥控信号。

优选地，所述基于手势识别的遥控装置还包括：

图像处理模块，用于对所述图像帧进行相应的处理以调整为合适的大小。

优选地，所述图像处理模块至少包括：

色彩转换单元，用于将所述图像帧进行色彩转化以便进行演算；

去噪点单元，用于将所述图像帧进行去噪点处理。

优选地，所述手势区分模块具体包括用于：判断所述图像帧中是否有用户的手势的图像，若是，则进一步判断该手势的图像是否属于预存的家庭成员库中的手势的图像；

所述图像缓存模块具体包括用于：当所述手势区分模块判断出图像帧中手势的图像属于预存的家庭成员库中的手势的图像后，将该图像帧按获取的先后顺序进行缓存。

优选地，所述图像处理模块还包括：

新用户图像存储模块，用于当所述手势区分模块判断出图像帧中手势的图像不属于预存的家庭成员库中的手势的图像后，将该图像帧存入一个新建用户的数据库中。

本实施例提出的基于手势识别的遥控方法，首先判断图像帧中是否有用户的手势的相关信息输入；确认含有用户手势的图像帧再进行缓存，从而节约了存储设备的存储空间，同时可减少无意义的图像帧的发送，以减少多个图像帧在识别时产生的拥堵。另外，通过先将图像帧进行缓存，然后每隔一预设时间将缓存的所述图像帧按照存储的先后顺序取出来识别并转化为遥控信号，这种方法避免了现有技术中因短时间内发送大量的图像帧导致拥堵或出现前一帧图像来不及处理而被后一帧图像覆盖住等丢帧的情况。

附图说明

图1为本发明基于手势识别的遥控方法的第一实施例的流程示意图；

图2为本发明基于手势识别的遥控方法的第二实施例的流程示意图；

图3为本发明基于手势识别的遥控方法第二实施例中对图像帧进行相应的处理以调整为合适的大小的流程示意图；

图4为本发明基于手势识别的遥控方法第二实施例中将含有用户手势的图像帧按照获取的先后顺序进行缓存的流程示意图；

图5为本发明基于手势识别的遥控装置的第一实施例的结构示意图；

图6为本发明基于手势识别的遥控装置的第二实施例的结构示意图；

图7为图6所示的图像处理模块的结构示意图；

图8为本发明基于手势识别的遥控装置的第三实施例的结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

本发明实施例的解决方案主要是：当用户使用手势以控制终端时，终端感应到用户进行手势操作时，获取用户进行手势操作的图像帧；首先判断所述图像帧中是否有用户的手势的相关信息输入；当确认当前获取的图像帧为手势的图像，才将图像帧进行缓存，然后，每隔一预设时间将缓存的图像帧按照存储的先后顺序取出，根据取出的图像帧进行识别，并转化为相应的遥控信号。通过将图像帧缓存再逐个取出以进行识别，可避免了短时间内发送大量的图像帧导致拥堵或出现前一帧图像来不及处理而被后一帧图像覆盖住等丢帧的情况。

本发明提出一种基于手势识别的遥控方法。

具体地，如图1所示，本发明第一实施例提出一种基于手势识别的遥控方法，包括：

步骤S10，获取用户进行手势操作的图像帧；

本实施例中，用户进行手势操作以遥控的被控终端可以为电视、电脑等，本发明对此不作限定。获取手势操作的图像采集设备可以是在终端上设置的摄像头等。本实施例中，可通过摄像头感应用户是否在终端前是否进行手势操作，当感应到用户进行手势操作时获取用户进行手势操作的图像帧。另外，也可通过用户手动输入手势操作控制终端的开始信息，如用户按下在遥控器中设置的手势操作的启动按键，然后再通过摄像头获取到用户进行手势操作的图像帧。

当用户在图像采集设备前进行手势操作时，图像采集设备获取到获取用户进行手势操作的图像帧。

步骤S20，判断图像帧中是否有用户的手势的相关信息输入；若是，则执行步骤S30；若否，则执行步骤S40；

步骤S30，将含有用户手势的所述图像帧按照获取的先后顺序进行缓存；

步骤S40；对当前的图像帧不进行缓存；

当图像采集设备获取到获取用户进行手势操作的图像帧后，因有时获取到的图像帧中不含有用户的手势的相关信息输入，如用户进行手势操作完成后，如果此时图像采集设备继续将当前的图像帧缓存，则会造成终端的存储设备中存储了大量的不含有用户的手势的图像帧，这部分的图像帧会浪费存储设备的存储空间。

步骤S50，每隔一预设时间将缓存的所述图像帧按照存储的先后顺序取出，根据取出的图像帧进行识别，并将识别结果转化为相应的遥控信号。

本实施例中，预设时间可以提前设定，如可设置为10ms或20ms等，具体可通过定时器以实现。在10ms的时间段内，将获取到的含有用户手势操作的图像帧按获取的先后顺序缓存，当识别用户手势操作时，将缓存的图像帧按照存取的先后顺序取出，即先存储的图像帧先取出进行手势识别。

具体在识别用户的手势操作时，可根据获取到的多个图像帧建立人体模型，在该人体模型的基础上进行通过多目跟踪方法以进行轨迹判别和动态手势识别。其中，具体地，多目跟踪方法有：联合概率数据关联滤波器(JPDAF)、多假设跟踪(MHT)算法、动态多位分配算法等。基于以上算法，将人体模型与轨迹库的模型匹配，将预先设定的轨迹库作为被参考比较对象，以识别当前的用户的指令，将用户的手势操作转化为相应的控制信号。当轨迹识别出人体模型的运动轨迹与轨迹库一致，则可产生相应的控制信号。例如，系统识别出用户的手势指令，该用户的手势指令是用户需要调整音量的功能，如识别出手势从左向右运动20cm后，就为终端的音量调整增加一个单位。

本实施例提出的基于手势识别的遥控方法，首先判断图像帧中是否有用户的手势的相关信息输入，确认含有用户手势的图像帧再进行缓存，从而节约了存储设备的存储空间，同时可减少无意义的图像帧的发送，以减少多个图像帧在识别时产生的拥堵。另外，通过先将图像帧进行缓存，然后每隔一预设时间将缓存的所述图像帧按照存储的先后顺序取出来识别并转化为遥控信号，这种方法避免了现有技术中因短时间内发送大量的图像帧导致拥堵、而出现前一帧图像来不及处理而被后一帧图像覆盖住的情况。

如图2所示，本发明第二实施例提出一种基于手势识别的遥控方法，在上述实施例的基础上，在上述步骤S10和步骤S20之间，还包括：

步骤S60，对所述图像帧进行相应的处理以调整为合适的大小。

具体地，参照图3，上述步骤S60至少包括以下步骤：

步骤S61，所述图像帧进行色彩转化以便进行演算；

将用户手势操作的图像帧的大小为适合的演算大小，如可对该图像帧进行色彩转换，比如将RGB 24bit处理为8bit 灰阶，从而减少图像帧的大小，以节省存储设备的存储空间。

步骤S62，将所述图像帧进行去噪点处理。

对图像帧去噪点的方法很多，具体可以通过低通滤波器实现。

通过将图像帧进行相应的处理，调整为合适的大小以便进行图像的比对识别，可以节约存储设备的存储空间。

具体地，如图4所示，上述第二实施例中步骤S30具体包括：

步骤S31，判断所述图像帧中是否有用户的手势的图像；若是，则执行步骤S32；若否，则执行步骤S33。

步骤S32，判断该手势的图像是否属于预存的家庭成员库中的手势的图像；若是，则执行步骤S34；若否，则执行步骤S35。

步骤S33，将该图像帧按获取的先后顺序进行缓存。

步骤S35，将图像帧存入一个新建用户的数据库中

通过将获取到的图像帧中提取的手势的图像与预存的家庭成员库中手势的图像进行比较，以得到当前在终端前进行手势操作的用户是否为家庭成员。

本实施例中，在当前用户不为家庭成员时，也可不将当前用户不为家庭成员的所述图像帧存入一个新建用户的数据库中，而是直接将这部分图像帧缓存起来作为手势识别为遥控信息的基础。

通过将当前用户不为家庭成员的所述图像帧存入一个新建用户的数据库中，从而使新用户的手势的图像不会覆盖掉预存的家庭成员库中手势的图像。

本发明进一步提出一种基于手势识别的遥控装置。

参照图5，具体地，本基于手势识别的遥控装置的第一实施例中，基于手势识别的遥控装置包括：

图像获取模块10，用于获取用户进行手势操作的图像帧；

本实施例中，用户进行手势操作以遥控的被控终端可以为电视、电脑等，本发明对此不作限定。当用户在图像采集设备前进行手势操作时，图像获取模块10获取到获取用户进行手势操作的图像帧。

手势区分模块20，用于判断所述图像帧中是否有用户的手势的相关信息输入；

当图像获取模块10获取到获取用户进行手势操作的图像帧后，因有时获取到的图像帧中不含有用户的手势的相关信息输入，如用户进行手势操作完成后，如果此时图像获取模块10继续将当前的图像帧缓存，则会造成终端的存储设备中存储了大量的不含有用户的手势的图像帧，这部分的图像帧会浪费存储设备的存储空间。此时，设置手势区分模块20对图像帧进行初步过滤。

图像缓存模块30，用于当判断所述图像帧中是否有用户的手势的相关信息输入时，将含有用户手势的所述图像帧按照获取的先后顺序进行缓存；

图像缓存输出模块40，用于每隔一预设时间将缓存的所述图像帧按照存储的先后顺序取出，

手势识别模块50，用于对图像缓存输出模块取出的图像帧进行识别，并将识别结果转化为相应的遥控信号。

本实施例中，预设时间可以提前设定，如可设置为10ms或20ms等，具体可通过定时器以实现。在10ms的时间段内，将获取到的含有用户手势操作的图像帧按获取的先后顺序缓存，当识别用户手势操作时，将缓存的图像帧按照存取的先后顺序取出来识别，即先存储的图像帧先取出。

具体在识别用户的手势操作时，可根据获取到的多个图像帧建立人体模型，在该人体模型的基础上进行通过多目跟踪方法以进行轨迹判别和动态手势识别。其中，具体地，多目跟踪方法有：联合概率数据关联滤波器(JPDAF)、多假设跟踪(MHT)算法、动态多位分配算法等。基于以上算法，将人体模型与轨迹库的模型匹配，将预先设定的轨迹库作为被参考比较对象，以识别当前的用户的指令，将用户的手势操作转化为相应的控制信号。当轨迹识别出人体模型的运动轨迹与轨迹库一致，则可产生相应的控制信号。例如，系统识别出用户的手势指令，该用户的手势指令是用户需要调整音量的功能，如识别出手势从左向右运动20cm后，就为终端的音量调整增加一个单位。

本实施例提出的基于手势识别的遥控装置，首先手势区分模块20判断图像帧中是否有用户的手势的相关信息输入；确认含有用户手势的图像帧再进行缓存，从而节约了存储设备的存储空间，同时减少无意义的图像帧的发送，以减少多个图像帧识别时的拥堵。另外，通过先将图像帧进行缓存，然后每隔一预设时间将缓存的所述图像帧按照存储的先后顺序取出，从而根据取出的图像帧进行识别以转化为相应的遥控信号，避免了现有技术中因短时间内发送大量的图像帧导致拥堵、而出现前一帧图像来不及处理而被后一帧图像覆盖住的情况。

进一步地，参照图6，本实施例在上述基于手势识别的遥控装置的第一实施例的基础之上，本发明提出基于手势识别的遥控装置的第二实施例。本实施例中，基于手势识别的遥控装置还包括：

图像处理模块60，用于对对所述图像帧进行相应的处理以调整为合适的大小。

具体地，参照图7，图像处理模块至少包括：

色彩转换单元61，用于将所述图像帧进行色彩转化以便进行演算；

色彩转换单元61可将用户进行手势操作的图像帧的大小为适合的演算大小，如可对该图像帧进行色彩转换，比如将RGB 24bit处理为8bit灰阶，从而减少图像帧的大小，以节省存储设备的存储空间。

去噪点单元62，用于将所述图像帧进行去噪点处理。

通过设置图像处理模块60将图像帧进行相应的处理，将图像帧调整为合适的大小以便进行图像的比对识别，可以节约存储设备的存储空间。

进一步地，参照图8，本实施例在上述基于手势识别的遥控装置的第二实施例的基础之上，本发明提出基于手势识别的遥控装置的第三实施例。本实施例中，基于手势识别的遥控装置还包括：

新用户图像存储模块70，用于当所述图像帧中手势的图像不属于预存的家庭成员库中手势的图像时，将当前用户不为家庭成员的所述图像帧存入一个新建用户的数据库中。

另外，手势区分模块20具体包括用于：判断所述图像帧中是否有用户的手势的图像，若是，则进一步判断该手势的图像是否属于预存的家庭成员库中的手势的图像。

图像缓存模块30具体包括用于：当所述手势区分模块判断出图像帧中手势的图像属于预存的家庭成员库中的手势的图像后，将该图像帧按获取的先后顺序进行缓存。。

通过将当前用户不为家庭成员的所述图像帧存入一个新建用户的数据库中，从而使新用户的手势的图像不会覆盖掉预存的家庭成员库中手势的图像。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于手势识别的遥控方法，其特征在于，包括以下步骤：

获取用户进行手势操作的图像帧；

判断所述图像帧中是否有用户的手势的相关信息输入；若是，则将含有用户手势的所述图像帧按照获取的先后顺序进行缓存；

每隔一预设时间将缓存的所述图像帧按照存储的先后顺序取出，根据取出的图像帧进行识别，并将识别结果转化为相应的遥控信号。

2.如权利要求1所述的基于手势识别的遥控方法，其特征在于，所述当感应到用户进行手势操作时，获取用户手势操作的图像帧的步骤之后还包括：

对所述图像帧进行相应的处理以调整为合适的大小。

3.如权利要求2所述的基于手势识别的遥控方法，其特征在于，所述对所述图像帧进行相应的处理以调整为合适的大小的步骤至少包括：

将所述图像帧进行色彩转化以便进行演算；

将所述图像帧进行去噪点处理。

4.如权利要求1所述的基于手势识别的遥控方法，其特征在于，所述判断所述图像帧中是否有用户的手势的相关信息输入；若是，则将含有用户手势的所述图像帧按照获取的先后顺序进行缓存的步骤包括：

判断所述图像帧中是否有用户的手势的图像，若是，则进一步判断该手势的图像是否属于预存的家庭成员库中的手势的图像，若是，则将该图像帧按获取的先后顺序进行缓存。

5.如权利要求4所述的基于手势识别的遥控方法，其特征在于，当该手势的图像不属于预存的家庭成员库中的手势的图像时，包括：

将该图像帧存入一个新建用户的数据库中。

6.一种基于手势识别的遥控装置，其特征在于，包括：

图像获取模块，用于获取用户进行手势操作的图像帧；

手势区分模块，用于判断所述图像帧中是否有用户的手势的相关信息输入；

图像缓存模块，用于当判断所述图像帧中是否有用户的手势的相关信息输入时，将含有用户手势的所述图像帧按照获取的先后顺序进行缓存；

图像缓存输出模块，用于每隔一预设时间将缓存的所述图像帧按照存储的先后顺序取出，

手势识别模块，用于对图像缓存输出模块取出的图像帧进行识别，并将识别结果转化为相应的遥控信号。

7.如权利要求6所述的基于手势识别的遥控装置，其特征在于，还包括：

图像处理模块，用于对所述图像帧进行相应的处理以调整为合适的大小。

8.如权利要求7所述的基于手势识别的遥控装置，其特征在于，所述图像处理模块至少包括：

色彩转换单元，用于将所述图像帧进行色彩转化以便进行演算；

去噪点单元，用于将所述图像帧进行去噪点处理。

9.如权利要求6或7所述的基于手势识别的遥控装置，其特征在于，

所述手势区分模块具体包括用于：判断所述图像帧中是否有用户的手势的图像，若是，则进一步判断该手势的图像是否属于预存的家庭成员库中的手势的图像；

所述图像缓存模块具体包括用于：当所述手势区分模块判断出图像帧中手势的图像属于预存的家庭成员库中的手势的图像后，将该图像帧按获取的先后顺序进行缓存。

10.如权利要求9所述的基于手势识别的遥控装置，其特征在于，还包括：

新用户图像存储模块，用于当所述手势区分模块判断出图像帧中手势的图像不属于预存的家庭成员库中的手势的图像后，将该图像帧存入一个新建用户的数据库中。

Images