CN108629272A - 一种基于单目摄像头的嵌入式手势控制方法及系统 - Google Patents

Abstract

本发明公开了一种基于单目摄像头的嵌入式手势控制方法及系统，该方法包括以下步骤：S1、自动调节单目摄像头曝光参数，获取具有清晰轮廓的手势图片；S2、静态手势的识别，输出静态手势识别结果；S3、动态手势的识别，输出动态手势识别结果；S4、融合识别结果，选择输出动态识别结果或静态识别结果。本发明通过在低性能的嵌入式平台上利用单目摄像头实现多种静态手势以及三个维度的动态手势的识别，可以应用于诸如智能家居的控制、机器人的控制、车辆驾驶的控制、PPT控制，音乐控制等场合，其能运行在绝大多数的嵌入式平台、资源占用率低、受诸如光照环境的影响小且识别效果好。

Description

一种基于单目摄像头的嵌入式手势控制方法及系统

技术领域

本发明涉及手势识别技术领域，尤其涉及一种基于单目摄像头的嵌入式手势控制方法及系统。

背景技术

现有技术中，对手势的识别一般分为硬件层面和算法层面，硬件层面上一般有数据手套、VR手柄、3D摄像头，数据手套一般操作起来十分不便，不是一种“自然”的交互方式；VR手柄：类似于“遥控器”，能很好感知手的空间方位，但手的姿态信息无法获取；3D摄像头：嵌入式层面很难满足3D摄像头所需的计算量要求且成本相对较高。

在算法层面上，对手势的识别基于光流法的手势识别包括基于肤色或者其他特征进行滤波的手势识别、基于神经网络的手势识别、基于深度图的手势识别和基于双目摄像头的手势识别。基于光流法的手势识别：只能检测手的运动，且无法甄别运动的是否是手。基于肤色或者其他特征进行滤波的手势识别：受诸如光照环境的影响非常大。基于神经网络的手势识别：识别效果很好，但消耗资源太大，不适合嵌入式平台。基于深度图的手势识别：较为鲁棒的深度信息一般需要庞大的计算量，不适合嵌入式平台。基于双目摄像头的手势识别：本质上双目视觉通过“估算”深度信息来达到更好的检测效果，不适用于实时嵌入式手势识别。

发明内容

本发明主要是解决现有技术中所存在的技术问题，从而提供一种基于单目摄像头的嵌入式手势控制方法及系统。

本发明的上述技术问题主要是通过下述技术方案得以解决的：

本发明提供的基于单目摄像头的嵌入式手势控制方法，其包括以下步骤：

S1、自动调节单目摄像头曝光参数，获取具有清晰轮廓的手势图片；

S2、静态手势的识别，输出静态手势识别结果；

S3、动态手势的识别，输出动态手势识别结果；

S4、融合识别结果，选择输出动态识别结果或静态识别结果。

进一步地，所述步骤S1具体包括：

S11、初始化单目摄像头，并读取所述单目摄像头的手势图片数据；

S12、计算所述手势图片的亮度，并判断亮度是否达到上限，若是，则执行步骤S13，若否，则执行步骤S14；

S13、调低所述单目摄像头的曝光时长；

S14、调高所述单目摄像头的曝光时长。

进一步地，所述步骤S12中，手势图片亮度计算公式：

式中，cols为图像的列数；rows为图像的行数；mat为图像所有像素的矩阵值；i为图像像素点的编号。

进一步地，所述步骤S2具体包括：

S21、对所述单目摄像头采集的手势图片进行金字塔采样及提取fHog特征；

S22、与不同的单种手势检测器进行匹配；

S23、将每个单种手势检测器的输出结果以带有权值的投票方式进行融和；

S24、计算后输出单帧手势的识别结果。

进一步地，所述步骤S22中，所述单种手势检测器的生成方法包括：将每种手势按照姿态训练存储为多个不同的姿态检测器，将所有的所述姿态检测器并联成一个单种手势检测器。

进一步地，所述步骤S22中，金字塔采样及提取fHog特征后的所述手势图片与不同的单种手势检测器进行匹配的方法包括：以固定大小的矩形框进行滑动，与不同的单种手势检测器进行模板匹配。

进一步地，所述步骤S24具体包括：单种手势检测器的权值乘以匹配程度为单种手势检测器的得分，分值最高且高于设定阈值的手势作为单帧手势的识别结果。

进一步地，所述步骤S3具体包括：

S31、利用KCF多尺度追踪手势所在的位置；

S32、利用静态手势识别的结果确定手势的平面重心位置；

S33、在不同的维度上储存m帧手势重心所在的位置，利用队列的结构，先进先出；

S34、处理m帧手势数据，在某个方向上的斜率方向一致且超过设定阈值就可以判断手的运动方向。

进一步地，所述步骤S4具体包括：

S41、判断连续m帧手势的运动是否剧烈，如果剧烈，则不输出静态手势结果；

S42、判断动态手势是否鲁棒，是否满足几种运动手势的预设要求，如果是，则输出动态结果，否则，返回继续处理。

本发明提供的基于单目摄像头的嵌入式手势控制系统，其包括：红外补光灯、单目摄像头和控制单元，所述控制单元分别与所述补光灯和单目摄像头相连接，其中，所述控制单元包括：

计算模块，用于计算单目摄像头采集的手势图片的亮度，并判断亮度是否达到上限；

调节模块，用于调低或调高所述单目摄像头的曝光时长；

单种手势检测器，用于对所述单目摄像头采集的手势图片进行单帧手势识别；

存储模块，用于在不同的维度上储存m帧手势重心所在的位置，其中，m大于1；

融和结果模块，用于选择输出动态识别结果或静态识别结果。

本发明的有益效果在于：通过在低性能的嵌入式平台上利用单目摄像头实现多种静态手势以及三个维度的动态手势的识别，可以应用于诸如智能家居的控制、机器人的控制、车辆驾驶的控制、PPT控制，音乐控制等场合，其能运行在绝大多数的嵌入式平台、资源占用率低、受诸如光照环境的影响小且识别效果好。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的基于单目摄像头的嵌入式手势控制方法的方法流程图；

图2是本发明的基于单目摄像头的嵌入式手势控制方法的自动调节单目摄像头曝光参数的方法流程图；

图3是本发明的基于单目摄像头的嵌入式手势控制方法的静态手势识别的方法流程图；

图4是本发明的基于单目摄像头的嵌入式手势控制方法的动态手势识别的方法流程图；

图5是本发明的基于单目摄像头的嵌入式手势控制方法的融合识别结果的方法流程图。

具体实施方式

下面结合附图对本发明的优选实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

参阅图1-5所示，本发明的基于单目摄像头的嵌入式手势控制方法，其包括以下步骤：

S1、自动调节单目摄像头曝光参数，获取具有清晰轮廓的手势图片；

S2、静态手势的识别，输出静态手势识别结果；

S3、动态手势的识别，输出动态手势识别结果；

S4、融合识别结果，选择输出动态识别结果或静态识别结果。

本发明通过在低性能的嵌入式平台上利用单目摄像头实现多种静态手势以及三个维度的动态手势的识别，可以应用于诸如智能家居的控制、机器人的控制、车辆驾驶的控制、PPT控制，音乐控制等场合，其能运行在绝大多数的嵌入式平台、资源占用率低、受诸如光照环境的影响小且识别效果好。。

参阅图2所示，步骤S1具体包括：

S11、初始化单目摄像头，并读取单目摄像头的手势图片数据；

S12、计算手势图片的亮度，并判断亮度是否达到上限，若是，则执行步骤S13，若否，则执行步骤S14；

S13、调低单目摄像头的曝光时长；

S14、调高单目摄像头的曝光时长。

本发明中，在无前景(没有手)遮挡的情况下，根据图片亮度自主调节摄像头曝光参数到预设的范围，以保证配合补光灯能获取到清晰的手的轮廓，这里预设的参数与训练的静态手势检测器模型有关，如果训练样本的背景亮度偏暗则曝光时间需要缩短，反之增长。

具体地，步骤S12中，手势图片亮度计算公式：

式中，cols为图像的列数；rows为图像的行数；mat为图像所有像素的矩阵值；i为图像像素点的编号。

参阅图3所示，步骤S2具体包括：

S21、对单目摄像头采集的手势图片进行金字塔采样及提取fHog特征；

S22、与不同的单种手势检测器进行匹配；

S23、将每个单种手势检测器的输出结果以带有权值的投票方式进行融和；

S24、计算后输出单帧手势的识别结果。

本发明中，金字塔采样包括：仿照金字塔的构建方式，分为上采样和下采样，可以获取到不同尺度的图片。Hog特征包括：方向梯度直方图(Histogram of OrientedGradient,HOG)特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。检测手的模块采取的是Hog特征，也可以采用诸如LBP，Harr特征等等，而fHog特征为：融和的方向梯度直方图。

具体地，本发明步骤S22中，单种手势检测器的生成方法包括：将每种手势按照姿态训练存储为多个不同的姿态检测器，将所有的姿态检测器并联成一个单种手势检测器。以及，步骤S22中，金字塔采样及提取fHog特征后的手势图片与不同的单种手势检测器进行匹配的方法包括：以固定大小的矩形框进行滑动，与不同的单种手势检测器进行模板匹配。

步骤S24具体包括：单种手势检测器的权值乘以匹配程度为单种手势检测器的得分，分值最高且高于设定阈值的手势作为单帧手势的识别结果。其中，阈值较为宽松或有一定过拟合的单种手势检测器权值相对小；反之阈值严谨、模型训练效果好的权值可以增大。

参阅图4所示，步骤S3具体包括：

S31、利用KCF多尺度追踪手势所在的位置；本发明中，多尺度手势追踪模块除了KCF也可以采用诸如TLD、Median Flow、MIL等等。

S32、利用静态手势识别的结果确定手势的平面重心位置；

例如正面手掌的重心位置计算方式：

正面剪刀手的重心位置计算方式为:

不同姿势不同手势可以做一些细微的调整，让平面重心位置不随着手势的改变而有较为剧烈的变化，避免手势改变误识为运动手势。

S33、在不同的维度上储存m帧手势重心所在的位置，利用队列的结构，先进先出；

S34、处理m帧手势数据，在某个方向上的斜率方向一致且超过设定阈值就可以判断手的运动方向。

本发明中，当手势发生变化或者手移出视野范围的时候，退出追踪手势继续执行静态手势识别，本实施例中，采用KCF多尺度追踪算法可以有效地减少全图遍历搜索手势的开销，极大解决了系统资源占用率高的缺陷；此外，利用手所在的矩形框的大小来判别手距离单目摄像头远近的方法，KCF多尺度追踪算法的可识别距离远大于单纯地采用静态手势识别。

本发明中，静态手势识别以及动态手势识别相辅相成，静态手势识别为动态手势识别提供重心计算的参考，动态手势识别可以判断手是否相对静止从而判断出人的意图是否为要被识别为静态手势。

参阅图5所示，步骤S4具体包括：

S41、判断连续m帧手势的运动是否剧烈，如果剧烈，则不输出静态手势结果；

S42、判断动态手势是否鲁棒，是否满足几种运动手势的预设要求，如果是，则输出动态结果，否则，返回继续处理。

本发明的基于单目摄像头的嵌入式手势控制系统，其包括：红外补光灯、单目摄像头和控制单元，控制单元分别与补光灯和单目摄像头相连接，本发明中，补光灯和普通真彩摄像头也能达到类似的效果，短焦距摄像头可以拉近前景推远背景，补光灯可以增强前景(手)。

其中，控制单元包括：

计算模块，用于计算单目摄像头采集的手势图片的亮度，并判断亮度是否达到上限；

调节模块，用于调低或调高单目摄像头的曝光时长；

单种手势检测器，用于对单目摄像头采集的手势图片进行单帧手势识别；

存储模块，用于在不同的维度上储存m帧手势重心所在的位置，其中，m大于1；

融和结果模块，用于选择输出动态识别结果或静态识别结果。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何不经过创造性劳动想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书所限定的保护范围为准。

Claims (10)

1.一种基于单目摄像头的嵌入式手势控制方法，其特征在于，包括以下步骤：

S1、自动调节单目摄像头曝光参数，获取具有清晰轮廓的手势图片；

S2、静态手势的识别，输出静态手势识别结果；

S3、动态手势的识别，输出动态手势识别结果；

S4、融合识别结果，选择输出动态识别结果或静态识别结果。

2.如权利要求1所述的基于单目摄像头的嵌入式手势控制方法，其特征在于，所述步骤S1具体包括：

S11、初始化单目摄像头，并读取所述单目摄像头的手势图片数据；

S12、计算所述手势图片的亮度，并判断亮度是否达到上限，若是，则执行步骤S13，若否，则执行步骤S14；

S13、调低所述单目摄像头的曝光时长；

S14、调高所述单目摄像头的曝光时长。

3.如权利要求2所述的基于单目摄像头的嵌入式手势控制方法，其特征在于，所述步骤S12中，手势图片亮度计算公式：

式中，cols为图像的列数；rows为图像的行数；mat为图像所有像素的矩阵值；i为图像像素点的编号。

4.如权利要求1所述的基于单目摄像头的嵌入式手势控制方法，其特征在于，所述步骤S2具体包括：

S21、对所述单目摄像头采集的手势图片进行金字塔采样及提取fHog特征；

S22、与不同的单种手势检测器进行匹配；

S23、将每个单种手势检测器的输出结果以带有权值的投票方式进行融和；

S24、计算后输出单帧手势的识别结果。

5.如权利要求4所述的基于单目摄像头的嵌入式手势控制方法，其特征在于，所述步骤S22中，所述单种手势检测器的生成方法包括：将每种手势按照姿态训练存储为多个不同的姿态检测器，将所有的所述姿态检测器并联成一个单种手势检测器。

6.如权利要求5所述的基于单目摄像头的嵌入式手势控制方法，其特征在于，所述步骤S22中，金字塔采样及提取fHog特征后的所述手势图片与不同的单种手势检测器进行匹配的方法包括：以固定大小的矩形框进行滑动，与不同的单种手势检测器进行模板匹配。

7.如权利要求6所述的基于单目摄像头的嵌入式手势控制方法，其特征在于，所述步骤S24具体包括：单种手势检测器的权值乘以匹配程度为单种手势检测器的得分，分值最高且高于设定阈值的手势作为单帧手势的识别结果。

8.如权利要求7所述的基于单目摄像头的嵌入式手势控制方法，其特征在于，所述步骤S3具体包括：

S31、利用KCF多尺度追踪手势所在的位置；

S32、利用静态手势识别的结果确定手势的平面重心位置；

S33、在不同的维度上储存m帧手势重心所在的位置，利用队列的结构，先进先出；

S34、处理m帧手势数据，在某个方向上的斜率方向一致且超过设定阈值就可以判断手的运动方向。

9.如权利要求8所述的基于单目摄像头的嵌入式手势控制方法，其特征在于，所述步骤S4具体包括：

S41、判断连续m帧手势的运动是否剧烈，如果剧烈，则不输出静态手势结果；

S42、判断动态手势是否鲁棒，是否满足几种运动手势的预设要求，如果是，则输出动态结果，否则，返回继续处理。

10.一种基于单目摄像头的嵌入式手势控制系统，其特征在于，包括：红外补光灯、单目摄像头和控制单元，所述控制单元分别与所述补光灯和单目摄像头相连接，其中，所述控制单元包括：

计算模块，用于计算单目摄像头采集的手势图片的亮度，并判断亮度是否达到上限；

调节模块，用于调低或调高所述单目摄像头的曝光时长；

单种手势检测器，用于对所述单目摄像头采集的手势图片进行单帧手势识别；

存储模块，用于在不同的维度上储存m帧手势重心所在的位置，其中，m大于1；

融和结果模块，用于选择输出动态识别结果或静态识别结果。