CN104978012A - 一种指向交互方法、装置及系统 - Google Patents

Abstract

本发明提供了一种指向交互方法、装置及系统，该方法包括获取手部图像和手臂部分图像；根据所述手部图像确定指尖的空间坐标，并根据所述手臂部分图像确定手臂关键部位的空间坐标；对所述指尖的空间坐标和所述手臂关键部位的空间坐标进行融合计算，确定指尖指向与显示屏幕交点在所述显示屏幕上的二维坐标。从而使得指向交互装置只需采用指尖和手臂关键部位的空间坐标就可实现高精准度的指向，并且具有良好的实时性。

Description

一种指向交互方法、装置及系统

技术领域

本发明实施例涉及交互方法及装置，尤其涉及一种指向交互方法、装置及系统。

背景技术

教学授课或会议报告过程中由于经常采用投影系统，因此操作者通常需要使用远距离指向工具。

目前大部分操作者都是使用激光笔作为远距离指向工具，一种是手持式，另一种是佩戴式。无论哪一种形式的激光笔，它们的尺寸都比较小，并且由于使用者经常在移动过程中使用，很容易随手放在某处并遗忘。另外，一般激光笔耗电量都比较大，有时又会因为没有及时更换电池而无法使用，这些都给使用者的使用带来很大不便。

现有技术中提出了一种指向系统，这种指向系统根据头部、后背或者眼睛视线与指尖位置来定位指向。

然而，采用眼睛、后背或者头部位置与指尖进行指向，它们的指向精准度并不高。

发明内容

本申请为了克服现有技术中存在的缺陷，提供了一种指向交互方法、装置及系统，从而使操作者无需再佩戴激光笔，仅通过手指指向便可实现类似激光笔的指向功能，实时性好，准确性高，符合人的操作习惯。

第一方面，本发明实施例提供了一种指向交互方法，包括：获取手部图像和手臂部分图像，根据手部图像确定指尖的空间坐标，并根据手臂部分图像确定手臂关键部位的空间坐标；对指尖的空间坐标和手臂关键部位的空间坐标进行融合计算，确定指尖指向与显示屏幕交点在显示屏幕上的二维坐标。

结合第一方面，在第一方面的第一种可能的实现方式中，获取手部图像和手臂部分图像，具体包括：获取深度摄像头拍摄到的深度图像；根据设定的深度图像的阈值提取所述深度图像中的手部图像和手臂部分图像。

结合第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，获取深度摄像头拍摄到的深度图像之后，还包括：对深度图像进行去除噪声处理。

结合第一方面或第一方面的第一种可能的实现方式或第一方面的第二种可能的实现方式任一项，在第一方面的第三种可能的实现方式中，根据手部图像确定指尖的空间坐标，具体包括：根据手部图像提取手部轮廓；若指尖与显示屏幕不垂直，则通过对手部轮廓进行曲率识别确定指尖的空间坐标；或者，若指尖与显示屏幕垂直，则通过对手部轮廓进行高斯分布计算所述指尖的空间坐标。

结合第一方面或第一方面的第一种可能的实现方式或第一方面的第二种可能的实现方式或第一方面的第三种可能的实现方式任一项，在第一方面的第四种可能的实现方式中，对指尖的空间坐标和手臂关键部位的空间坐标进行融合计算，确定指尖指向与显示屏幕交点在显示屏幕上的二维坐标，具体包括：根据指尖的空间坐标和手臂关键部位的空间坐标确定指尖指向；计算指尖指向与显示屏幕的交点的空间坐标；根据深度摄像头和显示屏幕的坐标对应关系，将交点的空间坐标转换为在显示屏幕上的二维坐标。

第二方面，本发明实施例提供了一种指向交互装置，包括：获取模块，用于获取手部图像和手臂部分图像；确定模块，用于根据手部图像确定指尖的空间坐标，并根据手臂部分图像确定手臂关键部位的空间坐标；计算模块，用于对指尖的空间坐标和手臂关键部位的空间坐标进行融合计算，确定指尖指向与显示屏幕交点在显示屏幕上的二维坐标。

结合第二方面，在第二方面的第一种可能的实现方式中，获取模块具体用于：获取深度摄像头拍摄到的深度图像，根据设定的深度图像的阈值提取深度图像中的手部图像和手臂部分图像。

结合第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式中，获取模块在深度摄像头拍摄到的深度图像之后，还用于对深度图像进行去除噪声处理。

结合第二方面或第二方面的第一种可能的实现方式或第二方面的第二种可能的实现方式任一项，在第二方面的第三种可能的实现方式中，确定模块具体用于：根据手部图像提取手部轮廓；若指尖与显示屏幕不垂直，则通过对手部轮廓进行曲率识别确定指尖的空间坐标；或者，若指尖与显示屏幕垂直，则通过对手部轮廓进行高斯分布计算指尖的空间坐标。

结合第二方面或第二方面的第一种可能的实现方式或第二方面的第二种可能的实现方式或第二方面的第三种可能的实现方式任一项，在第二方面的第四种可能的实现方式中，计算模块具体用于：根据指尖的空间坐标和手臂关键部位的空间坐标确定指尖指向；计算指尖指向与显示屏幕的交点的空间坐标；根据深度摄像头和显示屏幕的坐标对应关系，将交点的空间坐标转换为在显示屏幕上的二维坐标。

第三方面，本发明实施例提供了一种指向交互系统，包括：深度摄像头，及所述的指向交互装置，与指向交互装置连接的投影仪，以及显示屏幕；深度摄像头，用于采集手部图像和手臂部分图像；投影仪，用于在所述显示屏幕上所述二维坐标对应的位置显示焦点。

本发明提供的实施例的一种指向交互方法、装置及系统，包括：指向交互装置根据获取到的手部图像和手臂部分图像确定指尖和手臂关键部位的空间坐标，并对指尖的空间坐标和手臂关键部位的空间坐标进行融合计算，最终确定指尖指向与显示屏幕交点在显示屏幕上的二维坐标。从而使得指向交互装置只需采用指尖和手臂关键部位的空间坐标就可实现高精准度的指向，并且具有良好的实时性。

附图说明

图1为本发明一实施例提供的一种指向交互方法的流程图；

图2为本发明另一实施例提供的确定指尖的空间坐标方法的流程图；

图3为本发明再一实施例提供的确定指尖指向与显示屏幕交点的二维坐标的方法流程图；

图4为空间坐标系与显示屏幕的平面坐标系之间的对应关系示意图；

图5为本发明一实施例提供的一种指向交互装置的结构示意图；

图6为本发明一实施例提供的一种指向交互系统。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明一实施例提供的一种指向交互方法的流程图，本实施例提供的指向交互方法可适用于教学授课或会议报告等场景中，该方法可以由指向交互装置来执行，该指向交互装置可以为计算机等智能设备。其中指向交互方法具体包括如下步骤：

S101：获取手部图像和手臂部分图像。

具体地，上述智能设备可以从摄像装置中获取用户的手部图像和手臂部分图像。可以建立深度摄像头和显示屏幕之间的空间对应关系，其中深度摄像头朝向与显示屏幕朝向相对，并且在显示屏幕的设定位置上进行相应标记，通过该标记得到深度摄像头和显示屏幕之间的空间对应关系。获取深度摄像头拍摄到的深度图像之后，可选的，可以根据设定的深度图像的阈值提取深度图像中的手部图像和手臂部分图像。具体的：

其中，获取深度摄像头拍摄到的深度图像之后，还可以对深度图像进行去除噪声处理。

具体地，由于深度摄像头拍摄到深度图像往往含有较多的噪声，因此指向交互装置需要对深度图像进行去除噪声处理，另外由于操作者手部、手臂部位等在进行指向动作过程中会与显示屏幕之间的距离有所差异，即深度值存在差异，因此指向交互装置可以根据操作者手部、手臂部位等的深度值设置阈值，首先深度摄像头视野范围内的最主要物体为人体，通过检测算法可以得到人体的大致深度信息，进而根据人体深度信息估算得到手部深度值。然后根据手部深度值d，设定[d-100,d+100]范围为手部图像的阈值，单位为毫米。手臂部分图像阈值选取过程类似上述的手部图像获取阈值的过程，从而通过设定的深度图像的阈值提取深度图像中的手部图像和手臂部分图像。

S102：根据手部图像确定指尖的空间坐标，并根据手臂部分图像确定手臂关键部位的空间坐标。

具体地，指向交互装置可以根据手部图像提取手部轮廓，并且根据指尖是否与显示屏幕垂直确定采用何种算法来计算指尖的空间坐标，例如：在指尖与显示屏幕垂直时，则通过对手部轮廓进行高斯分布计算指尖的空间坐标；在指尖与显示屏幕不垂直时，则通过对手部轮廓进行曲率识别确定所述指尖的空间坐标。同时指向交互装置也可以根据手臂部分图像确定手臂关键部位，如手腕、手肘、肩膀等关键部位的空间坐标。

S103：对指尖的空间坐标和手臂关键部位的空间坐标进行融合计算，确定指尖指向与显示屏幕交点在显示屏幕上的二维坐标。

具体地，由于S102已经确定了指尖的空间坐标和手臂关键部位的空间坐标，因此通过指尖的空间坐标和手臂关键部位的空间坐标可以确定操作者的指尖指向，通过指尖指向和指尖的空间坐标以及手臂关键部位的空间坐标进行融合计算来确定出指尖指向与显示屏幕交点的空间坐标，具体可以对指尖的空间坐标和手臂关键部位的空间坐标应用空间直线方程确定指尖指向，将指尖指向的直线方程与显示屏幕对应的平面方程联合，求解交点的空间坐标。同时根据深度摄像头和显示屏幕之间的坐标对应关系将交点的空间坐标转换为二维坐标。

本实施例提供了一种指向交互方法，其中指向交互装置根据获取到的手部图像和手臂部分图像确定指尖和手臂关键部位的空间坐标，并对指尖的空间坐标和手臂关键部位的空间坐标进行融合计算，最终确定指尖指向与显示屏幕交点在显示屏幕上的二维坐标。从而使得指向交互装置只需采用指尖和手臂关键部位的空间坐标就可实现高精准度的指向，并且具有良好的实时性。

图2为本发明另一实施例提供的确定指尖的空间坐标方法的流程图。本实施例是在上一实施例的基础上，提供了S102根据手部图像确定指尖的空间坐标，并根据手臂部分图像确定手臂关键部位的空间坐标的一种具体的实施方式，具体包括如下步骤：

S1021：根据手部图像提取手部轮廓。

具体地，原始的图像经过去噪、分割后得到二值化图像，轮廓提取的算法即对二值化图像掏空内部点，仅保留边缘的点。其中，在二值化图像中，假设背景像素灰度值为0，前景目标的像素灰度值为1。对图像中的每一个像素点进行扫描，轮廓提取的规则如下：

（1）如果中心像素为1，且它的相邻8个像素的值也全为1，则将该中心像素置为0；

（2）如果中心像素为0，则不管其周围8个相邻像素为何值，都将该像素保留为0；

（3）除此之外，全部的中心像素都置为1。

假设图像的背景为黑色，即当扫描到某一像素点为白色时，如果它的8个相邻像素点也全为白色，就将背景黑点判别为图像的内部点，并将其删除。扫描结束后，留下的点就是图像的轮廓。由于分割后得到的二值化的图像具有完整的轮廓，所以轮廓提取的边缘具有连续性，避免了边缘断裂的影响。同时，用这种轮廓提取算法得到的边缘宽度为单像素，具有较高的边缘检测精度。由于噪声的影响，图像在阈值化后得到的边界都很不光滑，或多或少存在一些毛刺。另外，物体区域也存在噪声的空洞，需要通过数学形态学操作滤除小的噪声物体，进而改善图像质量便于后续处理。

S1022：判断指尖与显示屏幕是否垂直。

具体地，当指向交互装置检测到的手部轮廓不明显，并且是一个类似圆形的图案，则指向交互装置判断指尖与显示屏幕之间是垂直关系。若垂直则进行步骤S1024，否则确定指尖与显示屏幕之间不垂直，进行步骤S1023。

S1023：通过对手部轮廓进行曲率识别确定指尖的空间坐标。

具体地，若指尖与显示屏幕不垂直，则通过曲率识别指尖的空间坐标。其中曲率的计算公式如下：

$K_1\left(p\right)=\frac{1}{2}\left[\frac{1+\stackrel{\→}{P_{1}P}\·\stackrel{\→}{{\mathrm{PP}}_2}}{\left|\right|\stackrel{\→}{P_{1}P}\left|\right|\left|\right|\stackrel{\→}{{\mathrm{PP}}_2}\left|\right|}\right]$

其中，p₁、p和p₂是轮廓上连续的点。p位于p₁与p₂中间，每个点之间都相隔l个轮廓像素。算法通过计算不同尺度下轮廓上所有点的K_l(p)值，不同尺度即参数l不同。如果轮廓上的点P同时满足以下两个条件，将p点定位为指尖：

（1）至少在某一尺度下，K_l(p)超过一定的阈值；

（2）K_l(p)是轮廓上邻域内的局部极大值（不同检测尺度之间独立）。

S1024：通过对手部轮廓进行高斯分布计算指尖的空间坐标。

具体地，若指尖与显示屏幕不垂直，指向交互装置首先获得手部轮廓所形成的类似圆形的图像内的每个像素的深度值和它们的空间坐标值，并将每个像素的深度值x作为高斯分布公式的输入值，其中高斯分布公式具体为：

$f\left(x\right)=\frac{1}{\mathrm{\σ}\sqrt{2\mathrm{\π}}}{e}^{-\frac{{(x-\mathrm{\μ})}^2}{{2\mathrm{\σ}}^2}}$

高斯分布公式输出每个像素深度值对应的概率分布，概率值最小像素即为指尖位置，指向交互装置可以确定指尖的空间坐标。

本实施例提供了一种确定指尖的空间坐标的方法，指向交互装置首先判断指尖与显示屏幕之间的位置关系，从而通过曲率识别算法或是高斯分布算法准确的计算出指尖的空间坐标。从而使得指向交互装置只需采用指尖和手臂关键部位的空间坐标就可实现高精准度的指向，并且具有良好的实时性。

图3为本发明再一实施例提供的确定指尖指向与显示屏幕交点的二维坐标的方法流程图。本实施例是在图1对应实施例的基础上，提供了S103对指尖的空间坐标和手臂关键部位的空间坐标进行融合计算，确定指尖指向与显示屏幕交点在显示屏幕上的二维坐标的一种具体的实施方式，具体步骤如下：

S1031：根据指尖的空间坐标和手臂关键部位的空间坐标确定指尖指向。

具体地，假设指尖坐标为(x₁,y₁,z₁)，手臂关键部位中的手腕坐标为(x₂,y₂,z₂)，则指尖指向可以通过下面的空间直线方程确定：

$\frac{x-x_1}{x_2-x_1}=\frac{y-y_1}{y_2-y_1}=\frac{z-z_1}{z_2-z_1}$

S1032：计算指尖指向与显示屏幕的交点的空间坐标。

具体地，显示屏幕可以用z=-ky-b表示，其中深度摄像头的俯角用θ表示，k=tanθ，b表示深度摄像头与显示屏幕之间的水平距离。那么通过上述两个公式可以计算出手指指向与显示屏幕交点的空间坐标：

$y=\frac{(z_2-z_1)y_1-(y_2-y_1)(z_1+b)}{(z_2-z_1+{\mathrm{ky}}_2-{\mathrm{ky}}_1)},x=\frac{y-y_1}{y_2-y_1}\×(x_2-x_1)+x_1,z=-\mathrm{ky}-b$

S1033：根据深度摄像头和显示屏幕的坐标对应关系，将交点的空间坐标转换为在显示屏幕上的二维坐标。

具体地，图4为空间坐标系与显示屏幕的平面坐标系之间的对应关系示意图。通过空间坐标系1与显示屏幕2可以确定手指指向与显示屏幕的交点在显示屏幕上的二维坐标。具体地，设手指指向与显示屏幕的交点在显示屏幕上的二维坐标为(x',y')。如图4所示则y'=-y。其中W表示显示屏幕的宽度。

本实施例提供了确定指尖指向与显示屏幕交点的二维坐标的方法，其中包括通过指尖指向和显示屏幕方程计算交点空间坐标，最终根据深度摄像头和显示屏幕的坐标对应关系，将交点的空间坐标转换为在显示屏幕上的二维坐标，从而使得指向交互装置只需采用指尖和手臂关键部位的空间坐标就可实现高精准度的指向，并且具有良好的实时性。

图5为本发明一实施例提供的一种指向交互装置的结构示意图，其中包括获取模块501，确定模块502，计算模块503，该指向交互装置可以为计算机等智能设备。

具体地，获取模块501用于获取手部图像和手臂部分图像，确定模块502用于根据手部图像确定指尖的空间坐标，并根据手臂部分图像确定手臂关键部位的空间坐标，计算模块503用于对指尖的空间坐标和手臂关键部位的空间坐标进行融合计算，确定指尖指向与显示屏幕交点在显示屏幕上的二维坐标。进一步地，获取模块501具体用于获取深度摄像头拍摄到的深度图像，根据设定的深度图像的阈值提取深度图像中的手部图像和手臂部分图像，获取模块501在深度摄像头拍摄到的深度图像之后，还用于对深度图像进行去除噪声处理。

进一步地，确定模块502具体用于：根据手部图像提取手部轮廓，若指尖与显示屏幕不垂直，则通过对手部轮廓进行曲率识别确定指尖的空间坐标；或者若指尖与显示屏幕垂直，则通过对手部轮廓进行高斯分布计算指尖的空间坐标。

更进一步地，计算模块503具体用于：根据指尖的空间坐标和手臂关键部位的空间坐标确定指尖指向，计算指尖指向与显示屏幕的交点的空间坐标，根据深度摄像头和显示屏幕的坐标对应关系，将交点的空间坐标转换为在显示屏幕上的二维坐标。

本实施例的指向交互装置，可以用于执行指向交互方法的实施技术方案，其实现原理和技术效果类似，此处不再赘述。

图6为本发明一实施例提供的一种指向交互系统，其中包括：深度摄像头601，上一实施例中所述的指向交互装置602，与指向交互装置602连接的投影仪603，以及显示屏幕604。

本实施例的指向交互系统包括上一实施例中的指向交互装置，该指向交互装置可以用于执行指向交互方法的实施技术方案，其实现原理和技术效果类似，此处不再赘述。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (11)

1.一种指向交互方法，其特征在于，包括：

获取手部图像和手臂部分图像；

根据所述手部图像确定指尖的空间坐标，并根据所述手臂部分图像确定手臂关键部位的空间坐标；

对所述指尖的空间坐标和所述手臂关键部位的空间坐标进行融合计算，确定指尖指向与显示屏幕交点在所述显示屏幕上的二维坐标。

2.根据权利要求1所述方法，其特征在于，所述获取手部图像和手臂部分图像，具体包括：

获取深度摄像头拍摄到的深度图像；

根据设定的所述深度图像的阈值提取所述深度图像中的所述手部图像和所述手臂部分图像。

3.根据权利要求2所述方法，其特征在于，所述获取深度摄像头拍摄到的深度图像之后，还包括：

对所述深度图像进行去除噪声处理。

4.根据权利要求1-3任一项所述方法，其特征在于，所述根据所述手部图像确定指尖的空间坐标，具体包括：

根据所述手部图像提取手部轮廓；

若所述指尖与所述显示屏幕不垂直，则通过对所述手部轮廓进行曲率识别确定所述指尖的空间坐标；或者，若所述指尖与所述显示屏幕垂直，则通过对所述手部轮廓进行高斯分布计算所述指尖的空间坐标。

5.根据权利要求1-4任一项所述方法，其特征在于，所述对所述指尖的空间坐标和所述手臂关键部位的空间坐标进行融合计算，确定指尖指向与显示屏幕交点在所述显示屏幕上的二维坐标，具体包括：

根据所述指尖的空间坐标和所述手臂关键部位的空间坐标确定指尖指向；

计算所述指尖指向与所述显示屏幕的交点的空间坐标；

根据深度摄像头和所述显示屏幕的坐标对应关系，将所述交点的空间坐标转换为在所述显示屏幕上的二维坐标。

6.一种指向交互装置，其特征在于，包括：

获取模块，用于获取手部图像和手臂部分图像；

确定模块，用于根据所述手部图像确定指尖的空间坐标，并根据所述手臂部分图像确定手臂关键部位的空间坐标；

计算模块，用于对所述指尖的空间坐标和所述手臂关键部位的空间坐标进行融合计算，确定指尖指向与显示屏幕交点在所述显示屏幕上的二维坐标。

7.根据权利要求6所述装置，其特征在于，所述获取模块具体用于：获取深度摄像头拍摄到的深度图像，根据设定的所述深度图像的阈值提取所述深度图像中的所述手部图像和所述手臂部分图像。

8.根据权利要求7所述装置，其特征在于，所述获取模块在深度摄像头拍摄到的深度图像之后，还用于对所述深度图像进行去除噪声处理。

9.根据权利要求6-8任一项所述装置，其特征在于，所述确定模块具体用于：

根据所述手部图像提取手部轮廓；

若所述指尖与所述显示屏幕不垂直，则通过对所述手部轮廓进行曲率识别确定所述指尖的空间坐标；或者，若所述指尖与所述显示屏幕垂直，则通过对所述手部轮廓进行高斯分布计算所述指尖的空间坐标。

10.根据权利要求6-9任一项所述装置，其特征在于，所述计算模块具体用于：

根据所述指尖的空间坐标和所述手臂关键部位的空间坐标确定指尖指向；

计算所述指尖指向与所述显示屏幕的交点的空间坐标；

根据深度摄像头和所述显示屏幕的坐标对应关系，将所述交点的空间坐标转换为在所述显示屏幕上的二维坐标。

11.一种指向交互系统，其特征在于，包括：深度摄像头，及权利要求6-10任一项所述的指向交互装置，与所述指向交互装置连接的投影仪，以及显示屏幕；

所述深度摄像头，用于采集手部图像和手臂部分图像；

所述投影仪，用于在所述显示屏幕上所述二维坐标对应的位置显示焦点。