CN103268482B - 一种低复杂度的手势提取和手势深度获取方法 - Google Patents

Abstract

本发明公开了一种低复杂度的手势提取和手势深度获取的方法，涉及手势识别领域，所述方法包括：对左右图像的每一行进行分段，根据手可能出现的范围，划定视差值范围，在所述视差值范围内对左图像和右图像的段进行段间匹配，匹配的段则为提取出的手势，与之对应的匹配段的匹配视差值则为手势的视差值。本发明所述方法能够低复杂度地进行手势提取并获取手势的视差，进而可以获得手势的深度。所述方法计算量小、复杂度低，而且受光照、复杂背景以及其他外界干扰的影响较小。

Description

一种低复杂度的手势提取和手势深度获取方法

技术领域

本发明涉及手势识别领域，特别涉及一种低复杂度的手势提取和手势深度获取方法。

背景技术

手势操作是一种方便，快捷，直观的人机交互方式，有着广泛的应用，尤其是在穿戴式设备中。穿戴式设备由于其体积，重量的限制以及对实时性的较高要求，因此需要一种低复杂度的手势识别方法。低复杂度的识别方法可以降低功耗，从而不需要体积大，重量重的电池来提供庞大的电力。通过获取手势视差，可以知道手相对于穿戴式设备的三维坐标，进而可以进行三维的手势识别，从而让人们在三维空间中进行手势操作，因此手势提取和手势视差获取是进行手势操作的第一步也是很关键的一步。

如公开号为CN101763515A，CN101661556A以及CN1218936A的专利申请所述的方法，需要建立人手肤色模型，受光线影响较大，且会受其他颜色近似的物体的干扰，如他人的手、人脸等，而且只能适用于特定种群的人群。

如公开号为CN1360440A的专利申请所述的方法，需要对每个像素都进行操作，运算复杂，实现功耗较大，不适合便携式的穿戴式设备使用。

如公开号为CN102194097A的专利申请所述的方法，需要静止的背景以提取手势，这要求穿戴式设备保持不动以及背景不动，对实际应用带来了限制。

针对以上方法的不足，本发明利用穿戴式设备的手势操作的特点，即人在这类情况下手离穿戴式设备最近，通过在手会出现的视差范围内匹配左右图像，来提取手势，因此可以避免复杂变化的背景，变化光照以及其他人的手或者人脸对手势提取的干扰。对于左右图像的匹配，采用逐行的段和段的匹配方法，极大的减小了运算量，使算法复杂度降低。

发明内容

（一）要解决的技术问题

本发明的目的在于提供一种适用于穿戴式设备使用的，近距离，低功耗，受环境、光线等干扰小的低复杂度的手势提取和手势深度获取方法。

（二）技术方案

为解决上述技术问题，本发明提供了一种低复杂度的手势提取和手势深度获取方法，具体包括以下步骤：

S1、对图像传感器采集的待提取手势的左右图像进行矫正，使左右图像对应的极线在同一行上；

S2、分别选取左图像和右图像的第i行；

S3、分别在左右图像中找出第i行中的边界点，依据边界点把上述行分割成段；

S4、对左右图像的第i行的各段进行匹配，能够匹配的段作为提取的手势，根据匹配段的匹配视差值计算手势深度；

S5、更新i的取值，重复步骤S2至S4，将左右图像的所有行都处理完，完成手势提取以及手势深度获取过程。

具体地，所述左右图像是RGB格式图像，或者由其他格式转换成的RGB格式的图像。

具体地，步骤S3中边界点的确定具体包括以下步骤：

S3.1、设定一阈值C₀；

S3.2、分别提取所述第i行中每个像素的R、G、B分量，构造三个N维向量R＝（r₁,r₂,…,r_N）、G＝（g₁,g₂,…,g_N）、B＝（b₁,b₂,…,b_N），其中N表示所述行包含的像素数量，并分别计算上述三个分量的梯度▽R、▽G、▽B；

S3.3、计算上述三个梯度▽R、▽G、▽B中两两梯度对应元素的差值的绝对值，得到向量dRG、dGB、dBR，对上述向量滤波得到dRG'、dGB'、dBR'；

S3.4、利用dRG'、dGB'、dBR'构造diff函数；

S3.5、求diff函数的极大值点，并将所述diff函数的极大值点中大于所述阈值C₀的点作为边界点；

所述diff函数表示为：

diff＝MAX(X,Y,Z)＝[max(X₁,Y₁,Z₁),max(X₂,Y₂,Z₂),...,max(X_M-1,Y_M-1,Z_M-1)]其中X_k指向量X中的第k个元素的值，其中Y_k指向量Y中的第k个元素的值，其中Z_k指向量Z中的第k个元素的值；符号max(X_k,Y_k,Z_k)指取X_k,Y_k,Z_k中的最大值，其中1≤k≤M-1，M为向量的元素个数；上述步骤中X、Y、Z分别对应经过步骤S3.3得到的dRG'、dGB'、dBR'。

优选地，步骤S3.3所述的滤波方法为高斯滤波或者中值滤波。

进一步地，步骤S4具体包括以下步骤：

S4.1、选取右图像第i行的第k^R段，标记为S^R；

S4.2、选取所有未匹配的左图像第i行的段，从中筛选出与S^R的视差在一定视差范围内的段；

S4.3、逐一计算上述筛选出的左图像的段与S^R的长度差，进一步筛选出长度差小于预设阈值的所有左图像第i行的段；

S4.4、计算从上述步骤筛选出的左图像的段与S^R从的差别以及对应的段的匹配视差值，从中选取与S^R的差别最小的段，若对应差别小于或等于预设阈值，则认为该段与S^R匹配，并将对应的段的匹配视差值作为相应的匹配段的匹配视差值；若对应差别大于预设阈值，则认为不存在与S^R相匹配的左图像的段；

S4.5、更新k^R的取值，重复步骤S4.1至S4.4，直至右图像的段全部处理完毕；

S4.6、输出上述步骤得到的左右图像相匹配的段作为提取的手势，并根据上述匹配段的匹配视差值计算手势的深度。

进一步地，步骤S4也能够通过以下步骤实现：

S4.1’、选取左图像第i行的第k^L段，标记为S^L；

S4.2’、选取所有未匹配的右图像第i行的段，从中筛选出与S^L的视差在一定视差范围内的段；

S4.3’、逐一计算上述筛选出的右图像的段与S^L的长度差，进一步筛选出长度差小于预设阈值的所有右图像第i行的段；

S4.4’、计算从上述步骤筛选出的右图像的段与S^L的差别以及对应的段的匹配视差值，从中选取与S^L的差别最小的段，若对应差别小于或等于预设阈值，则认为该段与S^L匹配，并将对应的段的匹配视差值作为相应的匹配段的匹配视差值；若对应差别大于预设阈值，则认为不存在与S^L相匹配的右图像的段；

S4.5’、更新k^L的取值，重复步骤S4.1’至S4.4’，直至左图像的段全部处理完毕；

S4.6’、输出上述步骤得到的左右图像相匹配的段作为提取的手势，并根据上述匹配段的匹配视差值计算手势的深度。

具体地，所述视差是指选取的左右图像的段中相同位置的像素分别在左右图像中的列的序号的差值；

所述长度差是指选取的左右图像的段所包含的像素个数的差值。

具体地，所述视差范围是从(B·f)/Z₁到(B·f)/Z₀,其中f是采集左右图像的图像传感器的焦距，B是两图像传感器间的基线，手势操作过程中，手势到双目视觉系统的距离从Z₀变到Z₁。

具体地，所述视差范围还可以是从0到(B·f)/Z₀，其中f是采集左右图像的图像传感器的焦距，B是两图像传感器间的基线，手势操作的最近距离是Z₀，最远距离是Z₁；

在步骤S4.5和S4.5’之后还包括步骤：

S4B、判断左右图像匹配段的匹配视差是否在从(B·f)/Z₁到(B·f)/Z₀的范围内；若在该范围内，则保留上述匹配段；若不在从(B·f)/Z₁到(B·f)/Z₀的范围内，则舍去。

具体地，所述的差别能够用SAD或者SSD计算；

计算差别以及匹配视差值的具体步骤如下：

S4.4.1、在选取的左右图像的段中，标记较短的段的长度为Len_min，较长的段的长度为Len_max,初始化j=1；

S4.4.2、在较长的段中选取第j到j+Len_min-1个连续像素点作为比较段；

S4.4.3、计算：

$\mathrm{SAD}\left(j\right)={\mathrm{\Σ}}_{m=1}^{{\mathrm{Len}}_{\min }}{\mathrm{\Σ}}_{X\∈\{R,G,B\}}|X{\left(m\right)}^L-X{\left(m\right)}^R|$

或者

$\mathrm{SSD}\left(j\right)={\mathrm{\Σ}}_{m=1}^{{\mathrm{Len}}_{\min }}{\mathrm{\Σ}}_{X\∈\{R,G,B\}}{(X{\left(m\right)}^L-X{\left(m\right)}^R)}^2$

其中X(m)^L是指选取的左图像的段中，上述截取的长度为Len_min的连续像素点的第m个像素的X分量值；X(m)^R是指选取的右图像的段中，上述截取的长度为Len_min的连续像素点的第m个像素的X分量的值；

S4.4.4、j++;

S4.4.5、判断j是否大于Len_max-Len_min+1？如果是，则转至步骤S4.4.6；如果否，则转至步骤S4.4.2；

S4.4.6、若采用SAD来计算，则找出使SAD(j)最小的j，若采用SSD来计算，则找出使SSD(j)最小的j；

将对应的差别SAD(j)或者SSD(j)作为选取的左右图像的段的差别；将较长的段中选取的第j到j+Len_min-1个像素点与较短的段对应的视差值作为段的匹配视差值。

优选地，步骤S4和步骤S5之间还包括以下步骤：

S5A、对上述步骤提取的手势进行滤波，起到去噪和平滑的作用。

（三）有益效果

本发明提供了一种低复杂度的手势提取和手势深度获取方法，利用穿戴式设备的手势操作的特点，即人在这类情况下手离穿戴式设备最近，通过在手会出现的视差范围内匹配左右图像，来提取手势并通过计算手势视差获取手势的深度。本发明提供的方法可以低复杂度的提取手势并获取手势视差，所述方法不受人种、肤色限制，受复杂背景、变化光线以及其他人手和人脸的影响较小。

附图说明

图1是本发明实施例1的低复杂度的手势提取和手势深度获取方法的流程图；

图2是图1中步骤S3的具体方法流程图；

图3是图1中步骤S4的具体方法流程图；

图4是图3中步骤S4.4的具体方法流程图；

图5是本发明实施例1的极线示意图；

图6是本发明实施例1的边界点示意图；

图7是本发明实施例1的最终提取出来的手势的示意图；

图8是本发明实施例1的最终提取出来的手势视差的示意图；

图9是本发明实施例1的RGB三个分量的示意图；

图10是本发明实施例1的RGB三个分量梯度的示意图；

图11是本发明实施例1的RGB三个分量梯度两两之间差值的示意图；

图12是图2中步骤S3.5中所述的的示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

实施例1

在实施例1中，该方法接收来自组成双目视觉系统的两图像传感器的左右图像，或者接收来自于存储设备中已采集好的由双目视觉系统两图像传感器采集的左右图像。

步骤S1：

对左右图像进行图像矫正(imagerectification)，使左右图像相对应的极线（epipolarline）在同一行上。

其中极线的定义如下给出：如图5，O_L为第一个图像传感器的光心，O_R为第二个图像传感器的光心；I_L为第一个图像传感器的图像平面，I_R为第二个图像传感器的图像平面；O_LO_R的连线叫做基线（baseline），基线与图像平面I_L和I_R的交点为极点（epipoleorepipolarpoint），分别为E_L和E_R；空间中任意一物体P到图像平面的成像为p_L和p_R，p_L是O_LP与I_L的交点，p_R是O_RP与I_R的交点；两个图像传感器采集到的任意一物体P和图像传感器的光学中心O_L和O_R组成的射线O_LP和O_RP定义了一个极面（epipolarplane），该极面与图像平面I_L和I_R相交于极线，即为图5中的直线p_LE_L和p_RE_R。

步骤S2：

分别选取左图像和右图像的第i行（1≤i≤图像的行数）。

步骤S3：

找出左图像的边界，边界个数为个，依据边界将左图像的第i行分割成段（如图6中的第300行，一共有10个边界，该行被分为11段，其中白色符号+表示边界）；找出右图像的边界，边界个数为个，依据边界将右图像的第i行分割成段。

其中，的上标L表示左图像，的上标R表示右图像，下同。

步骤S4：

将左图像中的段与右图像中的段进行段和段的匹配，并求出匹配段的匹配视差值（disparity）；匹配的段则认为是手势一部分，对应的匹配段的匹配视差值则为手势的视差，从该视差可以很容易的得到手的深度Z＝(B·f)/d，其中采集左右图像的图像传感器的焦距是f，两图像传感器间的基线是B，所述匹配段的匹配视差值为d。

步骤S5：

判断是否左右图像的每一行都被处理过：如果否，转至步骤S2，选取另一未被处理的左右图像的i行；如果是，则结束。

如图7所示，图中白色部分为根据上述手势片段恢复出的手势，图8中，视差为0的部分为非手的部分，其余部分表示手势的视差，视差大小以颜色亮度表示。

其中步骤S3包括以下步骤：

步骤S3.1：

若图像为RGB格式，直接取得左图像第i行的RGB三个分量（如图9为图6的第300行的RGB三个分量的示意图，图9上为R分量的值，图9中为G分量的值，图9下为B分量的值）和右图像第i行的RGB三个分量；如果是其他格式，可以通过转换得到RGB格式，再取得左图像第i行的RGB三个分量和右图像第i行的RGB三个分量。

步骤S3.2：

求左图像的第i行RGB三个分量的梯度：R分量梯度为G分量梯度为B分量梯度为（如10为图9的RGB三个分量的梯度的示意图，图10上为R分量梯度，图10中为G分量梯度，图10下为B分量梯度）；并求右图像的第i行RGB三个分量的梯度：R分量梯度为G分量梯度为B分量梯度为

其中所述X分量梯度为：

▽X_i＝[X(i,2)-X(i,1),X(i,3)-X(i,2),…,X(i,N)-X(i,N-1)]

其中X(m,n)是指图像中第m行的第n列像素的X分量的值，N为图像的列数，即图像一行所包含的像素个数。

步骤S3.3：

求左图像的两两差值的绝对值，即 ${\mathrm{dRG}}_i^L=|{\▿R}_i^L-{\▿G}_i^L|,$ ${\mathrm{dGB}}_i^L=|{\▿G}_i^L-{\▿B}_i^L|,$ ${\mathrm{dBR}}_i^L=|{\▿B}_i^L-{\▿R}_i^L|$ （如图11的RGB三个分量梯度两两之间的差值的示意图，图11上为，图11中为，图11下为）；求右图像的两两差值的绝对值，即 ${\mathrm{dRG}}_i^R=|{\▿R}_i^R-{\▿G}_i^R|,$ ${\mathrm{dGB}}_i^R=|{\▿G}_i^R-{\▿B}_i^R|,$ ${\mathrm{dBR}}_i^R=|{\▿B}_i^R-{\▿R}_i^R|.$

其中符号|X|表示求X的绝对值。

步骤S3.4：

分别对进行滤波,分别得到

其中所述的滤波方法可以是高斯滤波或者是中值滤波。

步骤S3.5:

求 ${{\mathrm{diff}}_i}^L=\mathrm{MAX}({\mathrm{dRG}}_i^{L^{\′}},{\mathrm{dGB}}_i^{L^{\′}},{\mathrm{dBR}}_i^{L^{\′}})$ （如图12）；求 ${{\mathrm{diff}}_i}^R=\mathrm{MAX}({\mathrm{dRG}}_i^{R^{\′}},{\mathrm{dGB}}_i^{R^{\′}},{\mathrm{dBR}}_i^{R^{\′}}).$

其中符号MAX(X,Y,Z)是指集合[max(X₁,Y₁,Z₁),max(X₂,Y₂,Z₂),…,max(X_N-1,Y_N-1,Z_N-1)]，其中X_k指向量X中的第k个（1≤k≤N-1）元素的值，其中Y_k指向量Y中的第k个（1≤k≤N-1）元素的值，其中Z_k指向量Z中的第k个（1≤k≤N-1）元素的值；符号max(X_k,Y_k,Z_k)指取X_k,Y_k,Z_k中的最大值，其中1≤k≤N-1。

步骤S3.6：

找出大于一阈值C₀的极大值点作为边界点；假设左图像共有个边界点，其中第k^L个边界点对应的列数为C(i,k^L)^L，这些边界点将左图像分成段，第k^L段长度为Len(i,k^L)^L＝C(i,k^L)^L-C(i,k^L-1)^L,其中C(i，0)^L=1，N为图像的列数，即图像一行所包含的像素个数。

找出的极大值并且大于一阈值C₀的点作为边界点，假设右图像共有个边界点，其中第k^R个边界点对应的列数为C(i,k^R)^R，这些边界点将右图像分成段，第k^R段长度为Len(i,k^R)^R＝C(i,k^R)^R-C(i,k^R-1)^R,其中C(i，0)^R=1，N为图像的列数，即图像一行所包含的像素个数。

其中所述C₀越大，分段越粗，计算越简单，但是分段越不精确。C₀的取值是以可以提取出手的边缘为准，本实施例中，图像传感器在照度合适的大部分情况下，所述C₀＝2.5。

其中步骤S4包括以下步骤：

步骤S4.1:

选取右图像的第k^R段

步骤S4.2:

选取左图像的第k^L段且该段未被匹配成对，并且该段与右图像的第k^R段的相同位置的像素分别在左右图像中的列的序号的差值在一定视差范围内，如该段的第一个（最后一个）像素的列数C(i,k^L-1)^L（或者C(i,k^L)^L）与右图像的第k^R段的第一个（最后一个）像素的列数C(i,k^R-1)^R（或者C(i,k^R)^R）的视差在一定视差范围内。

该视差范围确定如下：手势操作到双目视觉系统的距离是Z，采集左右图像的图像传感器的焦距是f，两图像传感器间的基线是B，则视差d＝(B·f)/Z，若手势操作的距离是从Z₀到Z₁，则所述的视差范围为从(B·f)/Z₁到(B·f)/Z₀。

步骤S4.3:

判断右图像的第k^R段的长度Len(i,k^R)^R和左图像第K^L段长度Len(i,k^L)^L的差是否足够小？如果小于等于一门限值则转至步骤S4.4；如果大于该门限值，则转至步骤S4.5。

其中所述门限值可以设为min(C₁·min(Len(i,k^L)^L,Len(i,k^R)^R),C₂)；其中符号min(X,Y)表示取X，Y中的最小值；C₁确定如下：

假设人手指横截面近似为矩形，宽度为x，厚度为y，采集左右图像的图像传感器的焦距为f，两图像传感器间的基线为B，若手势操作的距离是从Z₀到Z₁，则对应的视差范围为从(B·f)/Z₁到(B·f)/Z₀；则C₁应为在手势操作范围内，两个摄像头采集到手指的最大的相对差别，在本实施例的设备和应用下，近似地令 $C_1=\frac{(\sqrt{x^2+y^2}-x)\·\sqrt{B^2+{Z_0}^2}}{x\·Z_0}\≈\frac{\sqrt{x^2+y^2}-x}{x},$ 再考虑分段误差的影响，最终取C₁＝0.5；

C₂的确定如下：

假设人手指横截面近似为矩形，宽度为x，厚度为y，采集左右图像的图像传感器的焦距为f，两图像传感器间的基线为B，若手势操作的距离是从Z₀到Z₁，则对应的视差范围为从(B·f)/Z₁到(B·f)/Z₀；则C₂应为在手势操作范围内，两个摄像头采集到手指的最大的绝对差别，在本实施例的设备和应用下，近似地令 $C_2=\frac{(\sqrt{x^2+y^2}-x)\·\sqrt{B^2+{Z_0}^2}\·f}{{Z_0}^2}\≈\frac{(\sqrt{x^2+y^2}-x)\·f}{Z_0},$ 再考虑分段误差的影响，最终取C₂＝30；或者还可以令C₂是随着搜索的视差变化而自适应的，其中Z₀＝(B·f)/d，d为搜索的视差，则C₂可以近似等于在本实施例的设备和应用下，C₂＝0.17d；

步骤S4.4:

计算右图像的第k^R段和左图像第k^L段的差别，并计算其相应的段的匹配视差值。该差别可以用SAD，SSD等方法来计算。

步骤S4.5:

判断左图像未被匹配成对，且与右图像的第k^R段的视差在所述视差范围内（从(B·f)/Z₁到(B·f)/Z₀）的段是否都遍历了一次？如果是，则转至步骤S4.6；如果不是，则转至步骤S4.2，选择一个新的左图像的第k^L段。

步骤S4.6:

找出使差别最小且小于一门限值的左图像的某段，记该段为左图像的段，则标记右图像的第k^R段和左图像第段已被匹配成对，对应的段的匹配视差值则为匹配段的匹配视差值。

所述门限值可以为3C₃·min(Len(i,k^L)^L,Len(i,k^R)^R)；C₃为系数，若C₃越大，则段更容易被认为匹配，但是也会更容易误匹配。C₃与图像传感器的噪声大小，和图像传感器间的色差有关，在本实施例的图像传感器下，若使用SAD，C₃取值为25；若使用SSD，C₃取值为625。

步骤S4.7:

判断是否右图像所有段都遍历了一次？如果是，则结束；如果不是，则转至步骤S4.1，选取一新的右图像的第k^R段

需要注意的是，上述步骤中如果先固定左图像的一段，然后在右图像中寻找与该段匹配的段效果也是一样的，也应视为属于本发明要保护的范围。

其中步骤S4.4包括以下步骤：

步骤S4.4.1:

比较右图像的第k^R段的长度Len(i,k^R)^R和左图像第k^L段长度Len(i,k^L)^L的大小，令Len_min＝min(Len(i,k^L)^L,Len(i,k^R)^R)，Len_max＝max(Len(i,k^L)^L,Len(i,k^R)^R)；并初始化j=1。

步骤S4.4.2:

选取长度较长的段第j到j+Len_min-1个像素点作为比较段（1≤j≤Len_max-Len_min+1）。

步骤S4.4.3:

比较长度较短的段和所述比较段的差别大小，所述差别可以用SAD或者SSD来表示。

假设左图像的第k^R段为长度较短的段，上述的SAD为：

$\mathrm{SAD}\left(j\right)={\mathrm{\Σ}}_{m=1}^{{\mathrm{Len}}_{\min }}{\mathrm{\Σ}}_{X\∈\{R,G,B\}}|X{(i,C{(i,k^L-1)}^L+m-1)}^L-X{(i,C{(i,k^R-1)}^R+j+m-2)}^R|$

上述的SSD为：

$\mathrm{SSD}\left(j\right)={\mathrm{\Σ}}_{m=1}^{{\mathrm{Len}}_{\min }}{\mathrm{\Σ}}_{X\∈\{R,G,B\}}{(X{(i,C{(i,k^L-1)}^L+m-1)}^L-X{(i,C{(i,k^R-1)}^R+j+m-2)}^R)}^2$

其中X(i,n)^L表示左图像第i行的第n个像素的X分量的值，X(i,n)^R表示右图像第i行的第n个像素的X分量的值，X可以是R、G或者B。

步骤S4.4.4：

令j=j+1。

步骤S4.4.5:

判断j是否大于Len_max-Len_min+1？如果是，则转至步骤S4.4.6；如果否，则转至步骤S4.4.2。

步骤S4.4.6：

找出使差别最小的j，将对应的差别作为右图像的第k^R段和左图像第k^L段的差别的大小，若左图像的第k^L段为长度较长的段，则对应的段的匹配视差值为C(i，k^L-1)^L-C(i，k^R-1)^R+j-1；若左图像的第k^L段为长度较短的段，则对应的段的匹配视差值为C(i，k^L-1)^L-C(i，k^R-1)^R-j+1。

实施例2

在实施例2中，实施例1中的步骤S4.2和步骤S4.5中的所述的视差范围也可以为从0到(B·f)/Z₀，其中手势操作到双目视觉系统的距离为Z，采集左右图像的图像传感器的焦距为f，两图像传感器间的基线为B，则视差d＝(B·f)/Z，若手势操作的最近距离是Z₀，则对应的视差为(B·f)/Z₀。

实施例1中的步骤S4后加一步骤S4B：判断匹配段的匹配视差是否在从(B·f)/Z₁到(B·f)/Z₀的范围内；若在该范围内，则保留下来作为手势，对应的匹配段的匹配视差值为手势的视差，从该视差值可以很容易的得到手势的深度；若不在该范围内，则舍去。

因为手势操作到双目视觉系统的距离范围是从Z₀到Z₁，采集左右图像的图像传感器的焦距是f，双目视觉系统两图像传感器的基线是B，所以手势所在的视差范围为从(B·f)/Z₁到(B·f)/Z₀。

实施例3

在实施例3中，实施例1和实施例2中的步骤S5前面可以加上一步骤S5A：对提取出来的手势进行滤波，则滤波后提取出来的手以及其对应的匹配段的匹配视差值即为所求。

所述的滤波的具体步骤是：

当已处理的行数i达到一数值M时，对i-M+1到i行进行膨胀操作和腐蚀操作，再把返回的结果写入第i-(M-1)/2行；增加的手势的匹配视差值取上下手势的匹配视差值的平均值。

其中M取奇数，M的取能去掉噪声并且使手平滑的奇数，在本实施例的应用和设备下，可以取3,5,7,9,11或者13。

实施例1和实施例2中的步骤S1后加一步骤S1B：初始化令i=1；

实施例1和实施例2中的步骤S5改为：判断是否左右图像的每一行都被处理过：如果否，转至步骤S2，选取i=i+1；如果是，则结束。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (9)

1.一种低复杂度的手势提取和手势深度获取方法，其特征在于，该方法包括以下步骤：

S1、对图像传感器采集的待提取手势的左右图像进行矫正，使左右图像对应的极线在同一行上；

S2、分别选取左图像和右图像的第i行；

S3、分别在左右图像中找出第i行中的边界点，依据边界点把上述行分割成段；

S4、对左右图像的第i行的各段进行匹配，能够匹配的段作为提取的手势，根据匹配段的匹配视差值计算手势深度；

步骤S4具体包括以下步骤：

S4.1、选取右图像第i行的第k^R段，标记为S^R；

S4.2、选取所有未匹配的左图像第i行的段，从中筛选出与S^R的视差在一定视差范围内的段；

S4.3、逐一计算上述筛选出的左图像的段与S^R的长度差，进一步筛选出长度差小于预设阈值的所有左图像第i行的段；

S4.4、计算从上述步骤筛选出的左图像的段与S^R的差别以及对应的段的匹配视差值，从中选取与S^R的差别最小的段，若对应差别小于或等于预设阈值，则认为该段与S^R匹配，并将对应的段的匹配视差值作为相应的匹配段的匹配视差值；若对应差别大于预设阈值，则认为不存在与S^R相匹配的左图像的段；

S4.5、更新k^R的取值，重复步骤S4.1至S4.4，直至右图像的段全部处理完毕；

S4.6、输出上述步骤得到的左右图像相匹配的段作为提取的手势，并根据上述匹配段的匹配视差值计算手势的深度；

或者，

步骤S4具体包括以下步骤：

S4.1’、选取左图像第i行的第k^L段，标记为S^L；

S4.2’、选取所有未匹配的右图像第i行的段，从中筛选出与S^L的视差在一定视差范围内的段；

S4.3’、逐一计算上述筛选出的右图像的段与S^L的长度差，进一步筛选出长度差小于预设阈值的所有右图像第i行的段；

S4.4’、计算从上述步骤筛选出的右图像的段与S^L的差别以及对应的段的匹配视差值，从中选取与S^L的差别最小的段，若对应差别小于或等于预设阈值，则认为该段与S^L匹配，并将对应的段的匹配视差值作为相应的匹配段的匹配视差值；若对应差别大于预设阈值，则认为不存在与S^L相匹配的右图像的段；

S4.5’、更新k^L的取值，重复步骤S4.1’至S4.4’，直至左图像的段全部处理完毕；

S4.6’、输出上述步骤得到的左右图像相匹配的段作为提取的手势，并根据上述匹配段的匹配视差值计算手势的深度；

S5、更新i的取值，重复步骤S2至S4，将左右图像的所有行都处理完，完成手势提取以及手势深度获取过程。

2.如权利要求1所述的方法，其特征在于，所述左右图像是RGB格式图像，或者由其他格式转换成的RGB格式的图像。

3.如权利要求2所述的方法，其特征在于，步骤S3中边界点的确定具体包括以下步骤：

S3.1、设定一阈值C₀；

S3.2、分别提取所述第i行中每个像素的R、G、B分量，构造三个N维向量R＝(r₁,r₂,…,r_N)、G＝(g₁,g₂,…,g_N)、B＝(b₁,b₂,…,b_N)，其中N表示所述行包含的像素数量，并分别计算上述三个分量的梯度▽R、▽G、▽B；

S3.3、计算上述三个梯度▽R、▽G、▽B中两两梯度对应元素的差值的绝对值，得到向量dRG、dGB、dBR，对上述向量滤波得到dRG'、dGB'、dBR'；

S3.4、利用dRG'、dGB'、dBR'构造diff函数；

S3.5、求diff函数的极大值点，并将所述diff函数的极大值点中大于所述阈值C₀的点作为边界点；

所述diff函数表示为：

diff＝MAX(X,Y,Z)＝[max(X₁,Y₁,Z₁),max(X₂,Y₂,Z₂),...,max(X_M-1,Y_M-1,Z_M-1)]

其中X_k指向量X中的第k个元素的值，其中Y_k指向量Y中的第k个元素的值，其中Z_k指向量Z中的第k个元素的值；符号max(X_k,Y_k,Z_k)指取X_k,Y_k,Z_k中的最大值，其中1≤k≤M-1，M为向量的元素个数；上述步骤中X、Y、Z分别对应经过步骤S3.3得到的dRG'、dGB'、dBR'。

4.如权利要求3所述的方法，其特征在于，步骤S3.3所述的滤波方法为高斯滤波或者中值滤波。

5.如权利要求1所述的方法，其特征在于，所述视差是指选取的左右图像的段中相同位置的像素分别在左右图像中的列的序号的差值；

所述长度差是指选取的左右图像的段所包含的像素个数的差值。

6.如权利要求1所述的方法，其特征在于，所述视差范围是从(B·f)/Z₁到(B·f)/Z₀，其中f是采集左右图像的图像传感器的焦距，B是两图像传感器间的基线，手势操作过程中，手势到双目视觉系统的距离从Z₀变到Z₁。

7.如权利要求1所述的方法，其特征在于，所述视差范围是从0到(B·f)/Z₀，其中f是采集左右图像的图像传感器的焦距，B是两图像传感器间的基线，手势操作的最近距离是Z₀，最远距离是Z₁；

步骤S4.5和S4.5’之后还包括步骤：

S4B、判断左右图像匹配段的匹配视差是否在从(B·f)/Z₁到(B·f)/Z₀的范围内；若在该范围内，则保留上述匹配段；若不在从(B·f)/Z₁到(B·f)/Z₀的范围内，则舍去。

8.如权利要求1所述的方法，其特征在于，所述的差别能够用SAD或者SSD计算；

计算差别以及匹配视差值的具体步骤如下：

S4.4.1、在选取的左右图像的段中，标记较短的段的长度为Len_min，较长的段的长度为Len_max,初始化j＝1；

S4.4.2、在较长的段中选取第j到j+Len_min-1个连续像素点作为比较段；

S4.4.3、计算：

$SAD\left(j\right)={\Σ}_{m=1}^{{\mathrm{Len}}_{\min }}{\Σ}_{X\∈\left\{R,G,B\right\}}|X{\left(m\right)}^L-X{\left(m\right)}^R|$

或者

$SSD\left(j\right)={\Σ}_{m=1}^{{\mathrm{Len}}_{\min }}{\Σ}_{X\∈\left\{R,G,B\right\}}{\left(X{\left(m\right)}^L-X{\left(m\right)}^R\right)}^2$

其中X(m)^L是指选取的左图像的段中，选取的长度为Len_min的连续像素点的第m个像素的X分量值；X(m)^R是指选取的右图像的段中，选取的长度为Len_min的连续像素点的第m个像素的X分量的值；

S4.4.4、j++；

S4.4.5、判断j是否大于Len_max-Len_min+1？如果是，则转至步骤S4.4.6；如果否，则转至步骤S4.4.2；

S4.4.6、若采用SAD来计算，则找出使SAD(j)最小的j，若采用SSD来计算，则找出使SSD(j)最小的j；

将对应的差别SAD(j)或者SSD(j)作为选取的左右图像的段的差别；将较长的段中选取的第j到j+Len_min-1个像素点与较短的段对应的视差值作为段的匹配视差值。

9.如权利要求1所述的方法，其特征在于，步骤S4与步骤S5之间还包括以下步骤：

S5A、对上述步骤提取的手势进行滤波，起到去噪和平滑的作用。