CN112329646A - 一种基于手的质心坐标的手势运动方向识别方法 - Google Patents

Abstract

一种基于手的质心坐标的手势运动方向识别方法属动态手势识别领域，本发明通过Matlab编程软件与摄像头来获取手部图像、视频帧并实时处理，对得到的视频图像进行预处理，将基于彩色空间的RGB模型转换为YCbCr模型，再利用积分投影法对二值图像分别进行水平和垂直方向的积分投影，得到水平和垂直方向的积分投影直方图后，就可判断出目标物体在整幅图像中的位置，方便求得手部的质心坐标，通过得到的一段时间间隔内的两帧图像中手的不同坐标，进行计算差值与方向角的计算，完成对手的运动方向的判别。本发明增加了对手势运动范围的判定，在对质点的求取以及方位角的判断上更加直观精确，能更加快速准确地识别判断出手势的运动方向。

Description

一种基于手的质心坐标的手势运动方向识别方法

技术领域

本发明属手势识别技术领域，具体涉及一种基于手的质心坐标的手势运动方向识别方法。

背景技术

近几年来，随着科学技术日新月益的飞速发展，一些面向计算机的交互技术已经逐渐不能满足人们的需求，交互技术已经慢慢从面向计算机向面向自然人转变，也就是人机交互的应用在人们的日常生活中变得越来越普遍。以前的人机交互是以机器为主，而现在的人机交互主要是以人为中心，在以往的人机交互技术中，键盘和鼠标占据了大部分主导地位，然而这种传统的交互方式已经不再利于人机交互技术的发展与推广。而手势作为一种自然、方便、实用的方式，受到了很多人机交互研究者的喜爱以及大众的欢迎。因此，以人为中心的手势识别技术逐渐得到人们的关注与青睐。

对于手势交互来说，就是用简单的手的姿势形状或者运动轨迹来向机器表达自己的想法，并不需要直接触碰它。手势交互对于人机智能交互是十分重要的，特点鲜明，自然方便，并且它的应用领域非常广阔，主要包括：聋哑人手语识别、机器人控制、虚拟现实、智能家居、生活质量提高、智能汽车、工业4.0、智能制造等。

现在的手势识别主要分成两类：一类是静态手势识别，另一类是动态手势识别，其中，静态手势识别主要是根据手的不同姿势与形状来代表不同的含义，不用考虑手的运动轨迹以及特征，比较简单，所以其表达的含义也比较简单，不能够做到充分表示出人们的想法。而动态手势识别不仅需要对手部的区域形状进行分析，还需要对整个手部的运动轨迹信息进行分析，所以更加像是结合了静态的手部区域形状与动态的运动轨迹信息，可以很全面的表达出其丰富的语义内容，可以更好的满足人机交互的需求，所以有更加广阔的应用前景。

手势识别可以使用摄像头采集手势数据，进行分析计算识别相应的手势。也可以是基于惯性传感器的手势识别，这种方法是通过加速度计和角速度计获取目标物的加速度值和角速度值，再结合一系列算法，根据计算出的信息识别相应的手势。手势识别的难点主要在于会有大量的冗余信息，给手势的准确分析和计算造成很大的困难。

发明内容

本发明的目的在于提供一种能快速准确识别判断手势运动方向的基于手的质心坐标的手势运动方向识别方法。

本发明的基于手的质心坐标的手势运动方向识别方法，包括下列步骤：

1.1利用Matlab编程软件与摄像头来获取手部图像，具体步骤如下：

1.1.1读取摄像头：使用Matlab的基本函数a＝imaqhwinfo和vid＝videoinput读取摄像机的基本属性，并捕获视频帧，得到能实时处理的视频帧；

1.1.2设定重复触发以及帧的抓取时间间隔，进行视频采集，设置一个循环，在采集100帧后停止；

1.2对步骤1.1.2得到的视频图像进行预处理，具体步骤如下：

1.2.1取当前的一帧彩色图像，分别将RGB空间转换为HSV空间和YCrCb空间，然后让皮肤像素在YCrCb空间中指向1，使用简单的YCrCb肤色模型对原始图像进行肤色分割，初步得到粗糙的基本肤色区域；

将基于彩色空间的RGB模型转换为YCbCr模型，公式如下：

1.2.2分割黄色皮肤区域，去除小的连接像素；显示出皮肤区域，标记连接区域，分割黄色皮肤区域的阈值的设定如下：

1.3手的质心坐标计算，包括下列步骤：

1.3.1去除小的连接像素，显示皮肤区域，标记连接区域，然后进行二值化处理，得到手的二值化图像，获得只有0和1组成的二维矩阵；

1.3.2利用积分投影法对二值图像分别进行水平方向和垂直方向的积分投影，水平方向的积分投影记录的是二值图像中每行的非零像素值的个数，垂直方向的积分投影记录的是二值图像中每列的非零像素值的个数，X方向投影得到Y方向上的移动范围：n₁-n₂，Y方向投影得到X方向上的移动范围:m₁-m₂；得到水平和垂直方向的积分投影直方图后，就能判断出目标物体在整幅图像中的位置；

1.3.3手的质心的坐标计算：

用f(x,y)表示点(x,y)的像素值，因为此时的图像为二值图像，也就是0和1组成的二维矩阵，那么图像的像素值f(x,y)为(x,y)处的质量；[m₁-m₂,n₁-n₂]大小图像中的所有像素值之和用m表示，如下列公式所示：

用下列公式计算，能得到手的质心位置处的坐标

1.4识别手的运动方向，包括下列步骤：

1.4.1坐标作差：在手势运动时取两帧图像，得到两个手的质心坐标，由下列公式进行作差计算：

分析得到的数值：

当x_t≥0时，手势运动的方向只能是上、左、右；若此时y_t≥0时，手势的运动方向只能是上、右；

1.4.2方向角的分析：

方向角的计算公式为：

在y_t≥0的情况下，将运动角度划分为“上、右”两个方向，其中

为上，

为右，以此能分析剩下的三种情况，将运动方向划分为“上、下、左、右”，编码分别用“up、down、right、left”表示。

本发明通过对摄像机实时采集得到的视频，进行了一系列的图像处理的操作，并通过计算得出手的质心坐标。通过一定时间间隔的两帧不同图像中不同的坐标值，判断识别出运动方向。

与已有的手势识别技术相比，增加了对手势运动范围的判定，在对质点的求取以及方位角的判断上更加直观精确，可以更加快速识别判断出运动方向，提高了准确性。

附图说明

图1为基于手的质心坐标的手势运动方向识别方法的流程图

图2为实验用到的带USB口的摄像头

图3为手的RGB图像

图4为手的二值图像

图5为当只可能为“上、右”两个方向时方向角的划分范围

图6为“上、下、左、右”四个方向的方向角划分范围

具体实施方式

下面结合附图描述本发明。

本发明的基于手的质心坐标的手势运动方向识别方法，包括如图1所示的步骤：

1.1利用Matlab编程软件与摄像头(如图2所示)来获取手部图像，具体步骤如下：

1.1.1读取摄像头：使用Matlab的基本函数a＝imaqhwinfo和vid＝videoinput读取摄像机的基本属性，并捕获视频帧，得到能实时处理的视频帧；

1.1.2设定重复触发以及帧的抓取时间间隔，进行视频采集，设置一个循环，在采集100帧后停止；

1.2对步骤1.1.2得到的视频图像进行预处理，具体步骤如下：

1.2.1取当前的一帧彩色图像，分别将RGB空间转换为HSV空间和YCrCb空间，然后让皮肤像素在YCrCb空间中指向1，使用简单的YCrCb肤色模型对原始图像进行肤色分割，初步得到粗糙的基本肤色区域；

将基于彩色空间的RGB模型转换为YCbCr模型，公式如下：

1.2.2分割黄色皮肤区域，去除小的连接像素；显示出皮肤区域，标记连接区域，分割黄色皮肤区域的阈值的设定如下：

1.3手的质心坐标计算，包括下列步骤：

1.3.1去除小的连接像素，显示皮肤区域，标记连接区域，然后进行二值化处理，得到手的二值化图像，获得只有0和1组成的二维矩阵；

1.3.2利用积分投影法对二值图像分别进行水平方向和垂直方向的积分投影，水平方向的积分投影记录的是二值图像中每行的非零像素值的个数，垂直方向的积分投影记录的是二值图像中每列的非零像素值的个数，X方向投影得到Y方向上的移动范围：n₁-n₂，Y方向投影得到X方向上的移动范围:m₁-m₂；得到水平和垂直方向的积分投影直方图后，就能判断出目标物体在整幅图像中的位置；

1.3.3手的质心的坐标计算：

用f(x,y)表示点(x,y)的像素值，因为此时的图像为二值图像，也就是0和1组成的二维矩阵，那么图像的像素值f(x,y)为(x,y)处的质量；[m₁-m₂,n₁-n₂]大小图像中的所有像素值之和用m表示，如下列公式所示：

用下列公式计算，能得到手的质心位置处的坐标

1.4识别手的运动方向，包括下列步骤：

1.4.1坐标作差：在手势运动时取两帧图像，得到两个手的质心坐标，由下列公式进行作差计算：

分析得到的数值：

当x_t≥0时，手势运动的方向只能是上、左、右；若此时y_t≥0时，手势的运动方向只能是上、右；

1.4.2方向角的分析：

方向角的计算公式为：

在y_t≥0的情况下，将运动角度划分为“上、右”两个方向，其中

为上，

为右，以此能分析剩下的三种情况，将运动方向划分为“上、下、左、右”，编码分别用“up、down、right、left”表示。

Claims (1)

1.一种基于手的质心坐标的手势运动方向识别方法，其特征在于包括下列步骤：

1.1利用Matlab编程软件与摄像头来获取手部图像，具体步骤如下：

1.1.1读取摄像头：使用Matlab的基本函数a＝imaqhwinfo和vid＝videoinput读取摄像机的基本属性，并捕获视频帧，得到能实时处理的视频帧；

1.1.2设定重复触发以及帧的抓取时间间隔，进行视频采集，设置一个循环，在采集100帧后停止；

1.2对步骤1.1.2得到的视频图像进行预处理，具体步骤如下：

1.2.1取当前的一帧彩色图像，分别将RGB空间转换为HSV空间和YCrCb空间，然后让皮肤像素在YCrCb空间中指向1，使用简单的YCrCb肤色模型对原始图像进行肤色分割，初步得到粗糙的基本肤色区域；

将基于彩色空间的RGB模型转换为YCbCr模型，公式如下：

1.2.2分割黄色皮肤区域，去除小的连接像素；显示出皮肤区域，标记连接区域，分割黄色皮肤区域的阈值的设定如下：

1.3手的质心坐标计算，包括下列步骤：

1.3.1去除小的连接像素，显示皮肤区域，标记连接区域，然后进行二值化处理，得到手的二值化图像，获得只有0和1组成的二维矩阵；

1.3.2利用积分投影法对二值图像分别进行水平方向和垂直方向的积分投影，水平方向的积分投影记录的是二值图像中每行的非零像素值的个数，垂直方向的积分投影记录的是二值图像中每列的非零像素值的个数，X方向投影得到Y方向上的移动范围：n₁-n₂，Y方向投影得到X方向上的移动范围:m₁-m₂；得到水平和垂直方向的积分投影直方图后，就能判断出目标物体在整幅图像中的位置；

1.3.3手的质心的坐标计算：

用f(x,y)表示点(x,y)的像素值，因为此时的图像为二值图像，也就是0和1组成的二维矩阵，那么图像的像素值f(x,y)为(x,y)处的质量；[m₁-m₂,n₁-n₂]大小图像中的所有像素值之和用m表示，如下列公式所示：

用下列公式计算，能得到手的质心位置处的坐标

1.4识别手的运动方向，包括下列步骤：

1.4.1坐标作差：在手势运动时取两帧图像，得到两个手的质心坐标，由下列公式进行作差计算：

分析得到的数值：

当x_t≥0时，手势运动的方向只能是上、左、右；若此时y_t≥0时，手势的运动方向只能是上、右；

1.4.2方向角的分析：

方向角的计算公式为：

在y_t≥0的情况下，将运动角度划分为“上、右”两个方向，其中

为上，

为右，以此能分析剩下的三种情况，将运动方向划分为“上、下、左、右”，编码分别用“up、down、right、left”表示。

Images