CN108564070B - 用于提取手势的方法及其装置 - Google Patents

Abstract

本发明的实施例提供了用于提取手势的方法。在该方法中，获取手势的彩色图像和整体深度图像。根据彩色图像，确定彩色图像中的肤色区域，并根据整体深度图像，确定位于第一距离范围内的第一深度图像。根据所述第一深度图像和所述肤色区域，确定手势深度图像，并将手势深度图像转换成三维空间图像。在所述三维空间图像中，确定与预设点之间的距离位于第二距离内的空间点，并在所述手势深度图像中，确定与所述空间点对应的部分为手势区域。根据本发明的实施例，能够准确地提取手势，并具有较好的实时性。

Description

用于提取手势的方法及其装置

技术领域

本发明涉及手势识别领域，尤其涉及用于提取手势的方法及其装置。

背景技术

随着虚拟现实(VR)和增强现实(AR)技术的发展，人机交互越来越受到关注。手势作为一种重要的人机交互方式，在VR/AR技术领域得到了广泛的应用。

深度相机可以同时获取彩色图像(例如，RGB图像)和深度图像，因此，深度相机也被众多VR/AR设备的厂家作为主要的相机。利用深度相机对VR/AR设备进行手势提取成为了主流趋势。但是，简单的手势提取算法不能很好的去除周围环境的干扰，而复杂的算法又不能达到系统所要求的实时性。

发明内容

本发明的实施例提供了用于提取手势的方法及其装置，能够准确地提取手势，并具有较好的实时性。

根据本发明的第一方面，提供了一种用于提取手势的方法。在该方法中，获取手势的彩色图像和整体深度图像。根据在彩色图像确定彩色图像中的肤色区域，并根据整体深度图像确定位于第一距离范围内的第一深度图像。根据第一深度图像和肤色区域，确定手势深度图像。将手势深度图像转换成三维空间图像。在三维空间图像中，确定与预设点之间的距离位于第二距离内的空间点，并在手势深度图像中，确定与空间点对应的部分为手势区域。

在本发明的实施例中，预设点基于拍摄手势的图像设备与手势的相对位置而确定。

在本发明的实施例中，预设点是距离图像设备最远的空间点。

在本发明的实施例中，根据第一深度图像和肤色区域，确定手势深度图像包括：在第一深度图像中，确定与肤色区域对应的区域为手势深度图像。

在本发明的实施例中，将手势深度图像转换成三维空间图像包括：通过以下公式，将手势深度图像中的像素的像素坐标(u，v)转换成三维空间图像中的空间点的三维坐标(x，y，z)：x＝(u*d-d*Cx)/fx；y＝(v*d-d*Cy)/fy；z＝d，其中，fx、fy表示拍摄手势的图像设备在x轴和y轴上的焦距，Cx、Cy表示手势深度图像的中心和图像设备的光轴的中心在x和y方向上的偏移，d表示所述手势深度图像中各像素点的深度值。

在本发明的实施例中，根据彩色图像确定彩色图像中的肤色区域包括：将彩色图像中的像素的R、G和B分量转换成YCrCb空间中的Y、Cr和Cb分量；对YCrCb空间中的Y、Cr和Cb分量进行非线性变换，以获得Cr’和Cb’分量；以及确定包括Cr’分量的值在133至173的范围内并且Cb’分量的值在77至127的范围内的像素的区域为肤色区域。

在本发明的实施例中，对YCrCb空间中的Y、Cr和Cb分量进行非线性变换，以获得C_r’和C_b’分量包括：对Y分量进行变换以获得

和

对Y分量进行变换以获得肤色区域的宽度Wc_b和Wc_r：

以及

基于Wc_b和Wc_r进行非线性变换以获得C_r’和C_b’分量：

其中，K_i、K_h为常数，Y_min、Y_max为常数，Wc_i、WLc_i、WHc_i为常数，i＝b或r。

在本发明的实施例中，基于肤色区域，对彩色图像进行二值化处理。

在本发明的实施例中，所述二值化处理包括：将所述彩色图像中的肤色区域的像素的灰度设为255，将所述彩色图像中肤色区域以外的像素的灰度设为0。

在本发明的实施例中，所述方法还包括以下步骤中的至少一个：

将第一深度图像之外的像素的灰度设置为零；

将手势深度图像之外的像素的灰度设置为零；

将手势区域之外的像素的灰度设置为零。

在本发明的实施例中，第一距离范围是0.5米至1米。

在本发明的实施例中，第二距离是在0.16米至0.23米内。

根据本发明的第二方面，提供了一种用于提取手势的装置。该装置包括：一个或多个处理器；存储器，其与处理器耦接，并存储有计算机程序指令；与所述处理器耦接的图像设备，被配置为采集手势的彩色图像和整体深度图像；其中，计算机程序指令在被处理器执行时使得装置：获取手势的彩色图像和整体深度图像；根据彩色图像确定彩色图像中的肤色区域；根据整体深度图像确定位于第一距离范围内的第一深度图像；根据第一深度图像和肤色区域，确定手势深度图像；将手势深度图像转换成三维空间图像；在三维空间图像中，确定与预设点之间的距离位于第二距离内的空间点；以及在手势深度图像中，确定与空间点对应的部分为手势区域。

在本发明的实施例中，预设点基于拍摄手势的图像设备与手势的相对位置来确定。

在本发明的实施例中，预设点是距离图像设备最远的空间点。

在本发明的实施例中，计算机程序指令在被处理器执行时使得装置通过以下操作根据第一深度图像和肤色区域确定手势深度图像：在第一深度图像中，将与肤色区域对应的区域确定为手势深度图像。

在本发明的实施例中，计算机程序指令在被处理器执行时使得装置通过以下操作将手势深度图像转换成三维空间图像：通过以下公式，将手势深度图像中的像素的像素坐标(u，v)转换成三维空间图像中的空间点的三维坐标(x，y，z)：x＝(u*d-d*Cx)/fx；y＝(v*d-d*Cy)/fy；z＝d，其中，fx、fy表示拍摄手势的图像设备在x轴和y轴上的焦距，Cx、Cy表示手势深度图像的中心和图像设备的光轴的中心在x和y方向上的偏移，d表示所述手势深度图像中各像素点的深度值。

在本发明的实施例中，计算机程序指令在被处理器执行时使得装置通过以下操作根据彩色图像确定彩色图像中的肤色区域：将彩色图像中的像素的R、G和B分量转换成YCrCb空间中的Y、Cr和Cb分量；对YCrCb空间中的Y、Cr和Cb分量进行非线性变换，以获得Cr’和Cb’分量；以及确定包括Cr’分量的值在133至173的范围内并且Cb’分量的值在77至127的范围内的像素的区域为肤色区域。

在本发明的实施例中，计算机程序指令在被处理器执行时进一步使得装置基于肤色区域，对彩色图像进行二值化处理。

在本发明的实施例中，计算机程序指令在被处理器执行时使得装置将第一深度图像之外的像素的灰度设置为零。

在本发明的实施例中，计算机程序指令在被处理器执行时使得装置将手势深度图像之外的像素的灰度设置为零。

在本发明的实施例中，计算机程序指令在被处理器执行时使得装置将手势区域之外的像素的灰度设置为零。根据本发明的实施例，通过结合手势的彩色图像和整体深度图像，能够去除其它环境因素的干扰，准确地提取手势，并具有较好的实时性。

适应性的进一步的方面和范围从本文中提供的描述变得明显。应当理解，本申请的各个方面可以单独或者与一个或多个其它方面组合实施。还应当理解，本文中的描述和特定实施例旨在说明的目的，并不旨在限制本申请的范围。

附图说明

本文中描述的附图用于仅对所选择的实施例的说明的目的，并不是所有可能的实施方式，并且不旨在限制本申请的范围，其中：

图1是根据本发明的实施例的用于提取手势的方法的示意性流程图；

图2示出了示例性的手势的深度图像；

图3是说明图1所示的实施例中确定肤色区域的过程的示意性流程图；

图4是根据本发明的实施例的用于提取手势的装置的示意性框图。

具体实施方式

为使本发明的实施例的目的、技术方案和优点更加清楚，下面将结合本发明的实施例的附图，对本发明的实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。下文中将参考附图并结合实施例来详细说明本发明的实施例。需要说明的是，在不冲突的情况下，本发明中的实施例中的特征可以相互组合。

图1是根据本发明的实施例的用于提取手势的方法的示意性流程图。如图1所示，在步骤102中，获取手势的彩色图像和整体深度图像。在本发明的实施例中，可通过图像设备(例如，深度相机)拍摄手势，得到手势的彩色图像和整体深度图像。其中，彩色图像和整体深度图像可具有相同的图像大小。

在彩色图像中，图像的每个像素可由R、G、B分量构成，其中R、G、B是由不同的灰度来表示。通过R、G、B三个分量可呈现出彩色图像。图2示出了示例性的手势的整体深度图像。通常在深度图像中，每个像素的灰度与深度对应。深度表示所拍摄的对象到图像设备的距离。在本发明的实施例中，灰度越大，表示与图像设备的距离越近；灰度越小，表示与图像设备的距离越远。在一个例子中，灰度255可表示与图像设备距离最近，灰度0表示与图像设备距离最远。

然后，在步骤104中，根据彩色图像，在彩色图像中确定肤色区域，以便在彩色图像中区分具有肤色的手势与其它不具有肤色的部分。

图3是说明图1所示的实施例中确定肤色区域的过程的示意性流程图。如图3所示，首先，在步骤1042中，将彩色图像中的各像素的R、G和B分量转换成YCrCb空间中的Y、Cr和Cb分量。在本发明的实施例中，可通过如下公式进行转换：

在式(1)中，R表示红色分量，G表示绿色分量，B表示蓝色分量，Y表示亮度分量，Cb表示蓝色分量，Cr表示红色分量。本领域的技术人员知道，还可以采用其它方法将R、G和B分量转换成Y、Cr和Cb分量。

然后，在步骤1044中，对YCrCb空间中的Y、Cr和Cb分量进行非线性变换，以获得C_r’和C_b’分量。在本发明的实施例中，首先，通过如下公式对Y分量进行变换以获得

和

在式(2)和(3)中，K_i、K_h为常数，表示函数的分段阈值，其中，K_i＝125、K_h＝188；Y_min、Y_max也为常数，表示肤色区域中Y分量的最小值和最大值，它们可由实验数据得到，其中，Y_min＝16、Y_max＝235。

接着，计算肤色区域的宽度Wc_b(Y)和Wc_r(Y)，可通过如下分段函数计算：

在式(4)中，i＝b或r，其中，Wc_b＝46.97、WLc_b＝23、WHc_b＝14，Wc_r＝38.76、WLc_r＝20、WHc_r＝10。

最终，基于Wc_b和Wc_r进行非线性变换以获得C_r’和C_b’分量：

在式(5)中，i＝b或r。

经过上述转换后，色彩空间YC_r’C_b’对于肤色区域具有较强的鲁棒性。

在步骤1046中，将C_r’分量和C_b’分量的值设置在预定范围内，然后确定包括这些像素的区域为肤色区域。在一个示例实施例中，肤色区域中的像素的C_r’分量和C_b’分量的值可以在以下范围中：133<C_r’<173、77<C_b’<127。

虽然以上已经详细描述了确定彩色图像中的肤色区域的一个示例，但本领域的技术人员知道，还可以采用其它方法来确定彩色图像中的肤色区域。

在本发明的实施例中，可基于肤色区域，对彩色图像进行二值化处理，以将彩色图像中的肤色区域标识出来。在一个示例实施例中，可将肤色区域中的像素的灰度设置为255(即，肤色区域表示为白色)，并将肤色区域之外的像素的灰度设置为0(即，非肤色区域表示为黑色)。因此，利用二值255和0可以将彩色图像中的肤色区域标识出来。

继续参考图1，在步骤106中，根据整体深度图像确定位于第一距离范围内的第一深度图像。在本发明的实施例中，第一深度图像可基于图像设备与手势的相对位置来确定。在一个示例实施例中，图像设备可被穿戴在发出手势的对象上(例如，戴在对象的头部上或位于对象的身体前)。在这种情况下，手势与图像设备之间的最远距离是手臂的长度，而手臂的长度通常是在0.5米至1米的范围内。因此，在整体深度图像中，可确定具有灰度与0.5米至1米距离范围对应的像素，并将包括这些像素的图像确定为第一深度图像。在一个示例实施例中，在整体深度图像中，可将第一深度图像之外的像素的灰度设置为0(即，表示为黑色)。通过该过程，可去除其它对象(例如，远距离的其它对象)的干扰。

在步骤108中，根据第一深度图像和肤色区域确定手势深度图像。在本发明的实施例中，如前所述，彩色图像和整体深度图像具有相同的图像大小，因此，可以在第一深度图像中，确定与肤色区域中的像素对应的像素，然后将包括这些像素的图像确定为手势深度图像。在一个示例实施例中，在第一深度图像中，可以将手势深度图像之外的像素的灰度设置为零，从而将手势深度图像标识出来。

通过上述过程，可以粗略地将手势区分出来。为了更准确地确定手势区域，在步骤110中，将手势深度图像转换成三维空间图像。在本发明的实施例中，可通过以下公式，将手势深度图像中的像素的像素坐标(u，v)转换成三维空间图像中的空间点的三维坐标(x，y，z)：

x＝(u*d-d*Cx)/fx；

y＝(v*d-d*Cy)/fy；

z＝d，

其中，fx、fy表示图像设备在x轴和y轴上的焦距，Cx、Cy表示手势深度图像的中心和图像设备的光轴的中心在x和y方向上的偏移，d表示手势深度图像中各像素点的深度值。所述深度值就是图像设备在采集手势深度图像时手势深度图像中的各点与图像设备的实际距离。通过该过程，可将手势深度图像中的像素一一对应到构成三维空间图像的空间点。

继续参考图1，在步骤112中，在三维空间图像中，确定与预设点之间的空间距离在第二距离内的空间点。在本发明的实施例中，在三维空间图像中，可基于图像设备与手势的相对位置确定预设点。如上所述，图像设备可被穿戴在发出手势的对象上(例如，戴在对象的头部上或位于对象的身体前)。在这种情况下，对象在发出手势时，手势与图像设备的距离最远。因此，预设点可以是距离图像设备最远的空间点。可替换地，如果图像设备没有穿戴在发出手势的对象上，例如，位于该对象的对面，则对象在发出手势时，手势与图像设备的距离最近。在这种情况下，预设点可以是距离图像设备最近的空间点。通常，对象的手的大小是在0.16米至0.23米内。因此，在本发明的实施例中，第二距离可从0.16米至0.23米的范围内选择。。

由于手势深度图像中的像素与三维空间图像中的空间点一一对应，因此，在步骤114中，在手势深度图像中，可以确定与步骤112中所确定的空间点一一对应的像素，然后将包括这些像素的部分确定为手势区域。在一个示例实施例中，在手势深度图像中，可以将手势区域之外的像素的灰度设置为0(即，表示为黑色)。通过上述过程，可以去除手臂等其它因素的干扰，从而将手部所发出的手势提取出来。

通过以上描述可以看出，采用根据本发明的实施例的方法，通过结合手势的彩色图像和整体深度图像，可以去除手部之外的其它对象的干扰，缩小了手势区域的范围，准确地提取手势。此外，根据本发明的实施例的手势提取的方法简单快速，具有较好的实时性。

图1所示的流程图仅仅用于示例，其中，步骤104可以与步骤106并行执行，或者可以先执行步骤106再执行步骤104。本领域的技术人员知道，可以对所示的流程图或其中描述的步骤进行各种变形。

图4是根据本发明的实施例的用于提取手势的装置50的示意性步骤图。如图4所示，装置50包括一个或多个处理器502以及存储器504、与所述处理器耦接的图像设备508，被配置为采集手势的彩色图像和整体深度图像。存储器504与处理器502通过总线与I/O接口506耦接，并存储计算机程序指令。

当计算机程序指令由处理器502执行时，装置50可获取手势的彩色图像和整体深度图像。装置50可根据彩色图像在彩色图像中确定肤色区域。装置50还可根据整体深度图像确定位于第一距离范围内的第一深度图像。装置50可根据第一深度图像和肤色区域确定手势深度图像。然后，装置50将手势深度图像转换成三维空间图像。接着，装置50在三维空间图像中，确定与预设点之间的距离位于第二距离内的空间点。最后，装置50在手势深度图像中确定与空间点对应的部分为手势区域。

在本发明的实施例中，装置50可进一步在三维空间图像中，基于拍摄手势的图像设备与手势的相对位置确定预设点。在本发明的实施例中，在图像设备被穿戴在发出手势的对象上时，装置50可进一步将距离图像设备最远的空间点确定为预设点。

在本发明的实施例中，装置50可在第一深度图像中，将与肤色区域对应的区域确定为手势深度图像。

在本发明的实施例中，装置50可通过以下公式，将手势深度图像中的像素的像素坐标(u，v)转换成三维空间图像的空间点的三维坐标(x，y，z)：x＝(u*d-d*Cx)/fx；y＝(v*d-d*Cy)/fy；z＝d，其中，fx、fy表示拍摄手势的图像设备在x轴和y轴上的焦距，Cx、Cy表示手势深度图像的中心和图像设备的光轴的中心在x和y方向上的偏移，d表示所述手势深度图像中各像素点的深度值。

在本发明的实施例中，装置50可进一步将彩色图像中的像素的R、G和B分量转换成YCrCb空间中的Y、Cr和Cb分量。然后，对YCrCb空间中的Y、Cr和Cb分量进行非线性变换，以获得C_r’和C_b’分量。最后，确定包括Cr’分量的值在133至173的范围内并且Cb’分量的值在77至127的范围内的像素的区域为肤色区域。

在本发明的实施例中，装置50还可基于肤色区域，对彩色图像进行二值化处理。

在本发明的实施例中，装置50还可将第一深度图像之外的像素的灰度设置为零。

在本发明的实施例中，装置50还可将手势深度图像之外的像素的灰度设置为零。

在本发明的实施例中，装置50还可将手势区域之外的像素的灰度设置为零。

在本发明的实施例中，图像设备可以是深度相机。可替换地，图像设备可以是集成有深度相机的可穿戴设备，例如VR/AR设备。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种用于提取手势的方法，包括：

获取所述手势的彩色图像和整体深度图像；

根据所述彩色图像确定所述彩色图像中的肤色区域；

根据所述整体深度图像确定位于第一距离范围内的第一深度图像，其中，所述第一距离范围被设定为人的手臂的长度的范围；

根据所述第一深度图像和所述肤色区域，确定手势深度图像；

将所述手势深度图像转换成三维空间图像；

在所述三维空间图像中，确定与预设点之间的空间距离位于第二距离内的空间点，其中，所述第二距离被设定为人的手部的大小；以及

在所述手势深度图像中，确定与所述空间点对应的部分为手势区域，

其中，如果拍摄所述手势的图像设备被穿戴在发出所述手势的对象上，则所述预设点是距离所述图像设备最远的空间点；如果拍摄所述手势的图像设备未被穿戴在发出所述手势的对象上，则所述预设点是距离所述图像设备最近的空间点。

2.根据权利要求1所述的方法，其中，根据所述第一深度图像和所述肤色区域，确定手势深度图像包括：在所述第一深度图像中，确定与所述肤色区域对应的区域为所述手势深度图像。

3.根据权利要求1所述的方法，其中，将所述手势深度图像转换成所述三维空间图像包括：

通过以下公式，将所述手势深度图像中的像素的像素坐标(u，v)转换成三维空间图像中的空间点的三维坐标(x，y，z)：

x＝(u*d-d*Cx)/fx；

y＝(v*d-d*Cy)/fy；

z＝d，

其中，fx、fy表示拍摄所述手势的图像设备在x轴和y轴上的焦距，Cx、Cy表示所述手势深度图像的中心和所述图像设备的光轴的中心在x和y方向上的偏移，d表示所述手势深度图像中各像素点的深度值。

4.根据权利要求1所述的方法，其中，根据所述彩色图像确定所述彩色图像中的肤色区域包括：

将所述彩色图像中的像素的R、G和B分量转换成YCrCb空间中的Y、Cr和Cb分量；

对YCrCb空间中的Y、Cr和Cb分量进行非线性变换，以获得Cr’和Cb’分量；以及

确定包括所述Cr’分量的值在133至173的范围内并且所述Cb’分量的值在77至127的范围内的像素的区域为所述肤色区域。

5.根据权利要求4所述的方法，其中，对所述YCrCb空间中的所述Y、Cr和Cb分量进行所述非线性变换，以获得所述C_r’和C_b’分量包括：

对Y分量进行变换以获得

和

对Y分量进行变换以获得所述肤色区域的宽度Wc_b和Wc_r：

基于Wc_b和Wc_r进行非线性变换以获得所述C_r’和C_b’分量：

其中，K_i、K_h为常数，Y_min、Y_max为常数，Wc_i、WLc_i、WHc_i为常数，i＝b或r。

6.根据权利要求1至5中任一项所述的方法，还包括：基于所述肤色区域，对所述彩色图像进行二值化处理。

7.根据权利要求6所述的方法，所述二值化处理包括：

将所述彩色图像中的肤色区域的像素的灰度设为255，将所述彩色图像中肤色区域以外的像素的灰度设为0。

8.根据权利要求6所述的方法，还包括以下步骤中的至少一个：

将所述第一深度图像之外的像素的灰度设置为零；

将所述手势深度图像之外的像素的灰度设置为零；

将所述手势区域之外的像素的灰度设置为零。

9.根据权利要求1所述的方法，其中，所述第一距离范围是0.5米至1米。

10.根据权利要求1或9所述的方法，其中，所述第二距离是在0.16米至0.23米内。

11.一种用于提取手势的装置，包括：

一个或多个处理器；

存储器，其与所述处理器耦接，并存储有计算机程序指令；

与所述处理器耦接的图像设备，被配置为采集手势的彩色图像和整体深度图像；

其中，所述计算机程序指令在被所述处理器执行时使得所述装置：

获取手势的彩色图像和整体深度图像；

根据所述彩色图像确定所述彩色图像中的肤色区域；

根据所述整体深度图像确定位于第一距离范围内的第一深度图像，其中，所述第一距离范围被设定为人的手臂的长度的范围；

根据所述第一深度图像和所述肤色区域，确定手势深度图像；

将所述手势深度图像转换成三维空间图像；

在所述三维空间图像中，确定与预设点之间的空间距离位于第二距离内的空间点，其中，所述第二距离被设定为人的手部的大小；以及

在所述手势深度图像中，确定与所述空间点对应的部分为手势区域，

其中，如果拍摄所述手势的图像设备被穿戴在发出所述手势的对象上，则所述预设点是距离所述图像设备最远的空间点；如果拍摄所述手势的图像设备未被穿戴在发出所述手势的对象上，则所述预设点是距离所述图像设备最近的空间点。

Images