CN115617157A - 一种基于手势识别的投影增强交互方法 - Google Patents

Abstract

本发明涉及智能制造和人机交互领域，具体地说，涉及一种基于手势识别的投影增强交互方法。该方法利用了基于用户习惯的指尖识别图像处理算法和基于LeapMotion和Kinect的手势识别算法，通过基于LeapMotion和Kinect的手势识别算法可以有效排除在复杂装配过程中异物进入交互区域，造成误操作的问题。利用基于用户习惯的指尖识别图像处理算法可以让操作人员利用手点击投影出的按钮即可完成交互，从而有效提升交互的直观性和自然性。通过使用方法与手势和投影交互的实验对比，发现该方法克服了单纯手势识别的不直观和不稳定性，以及投影增强交互过程中错误触发的问题，有效提高了用户的操作体验。

Description

一种基于手势识别的投影增强交互方法

技术领域：

本发明涉及智能制造和人机交互领域，具体地说，涉及一种基于手势识别的投影增强交互方法。

背景技术：

AR是一种融合物理世界和虚拟世界的计算机系统，通过视、听、触等人机交互方式作用于用户，为用户提供高度融合的交互式虚实融合场景。AR系统的重要特征包括 信息融合真实性、实时交互性和空间同步性。基于投影的增强现实显示技术是增强现 实技术中，发展较为早的一项技术，它通过将计算机中的虚拟信息，通过投影仪直接 投射到现实物理环境中，从而达到将虚拟信息叠加到真实物体上的目的。早期的投影 显示技术主要应用于教育、商务、娱乐等领域。近年来，随着数字化生产制造的普及， 投影显示技术才逐步走入制造领域当中。由于应用场景的变化，在实际的制造过程中 应用投影显示技术不仅仅为了实现信息引导，实现基于投影显示的自然人机交互也显 得尤为重要。

投影增强交互系统利用相机检测装配场景，利用投影仪在现实场景中投影显示出虚拟图像。由于引入了交互，在复杂装配任务中会对投影仪和相机的成像光路形成遮 挡。对于投影仪的引起的光路遮挡问题，可以使用多个投影仪进行投影叠加来解决。 但是，在点击投影出来的菜单时会存在误点误触的问题，特别是零件进入交互区域会 带来误交互的问题。

为了解决投影增强交互中点击投影菜单存在的误点误触及零件干扰问题，本发明专利通过利用Leap Motion和Kinect进行手势识别，然后根据图像处理的方式确定 交互指令的方法，保证最终交互的准确性和鲁棒性。

发明内容：

本发明提供一种基于手势识别的投影增强交互方法，旨在解决投影增强装配过程中原有的人机交互方式难以适应现场装配、存在误点误触及零件干扰正常交互的问题。

为了解决以上技术问题，本发明通过一种技术方案实现了基于手势识别的投影增强交互方法，首先利用Leap Motion和Kinect分别获取手部信息，根据检测结果排除 实验干扰物，从而保证在交互区域交互的为用户的手而非异物。根据此先决条件，通 过图像处理的方式确定手指指尖的位置，然后将该点的像素点坐标与投影出的菜单中 的按钮位置进行比对，根据停留时间确定是否触发相应的装配指令，从而保证增强装 配交互的准确进行。

本发明提出的一种基于手势识别的投影增强交互方法，其特点是采用以下步骤：

步骤1：利用Leap motion和Kinect设备分别获取人机交互中操作人员的手部信息，根据Leap motion如图3所示，及Kinect自身内部手势检测算法输出进入交互区 域的是人手还是异物，进而确定是否进行接下来的操作，如图1所示。如果进入该交 互区域的是人手则设定为需要进行交互操作，否则，认定为异物如图2所示的情形， 系统不进行任何反馈；

步骤2：如图4所示，根据图像处理的相关常用算法如图像分割、灰度处理等， 然后利用本文提出的基于用户习惯的指尖检测算法实时获取手指指尖所在的像素点坐 标，并将该信息传递给系统，其中基于用户习惯的指尖检测算法是利用经过图像处理 的视频流，通过查找并绘制轮廓、排除微小不连续区域、轮廓边缘检测遍历等操作获 取到操作人员的手指指尖所在的像素点坐标；

步骤3：系统根据前面传递回来的信息，通过判断步骤2中获取的用户指尖在交 互区域相应按钮上的停留时间确定是否触发相应的装配指令。根据相应的用户实验证 明，该停留时间大于等于0.5s时可以认为用户已经进行了点击操作，即触发了相应的 装配指令。当装配指令的触发时，系统将相应的装配引导信息呈现给用户，进而引导 用户完成相应的装配任务。

本发明的有益效果是：投影增强装配场景中的人机交互区域为本发明方法的数据采集输入区域，首先利用Leap Motion和Kinect分别对该区域进行信息捕捉，从而获 取到该部分的数据信息。利用捕捉的信息，经过Leap Motion及Kinect内部手势检测 算法，判断进入交互区域的为人手或者异物。从而保证点击投影出的菜单的为操作人 员的手，进而避免装配零件误入导致的误操作问题。

在确认进行交互的对象为操作人员的手时，即操作人员即将进行点击的动作从而进行交互，此时系统开始对进入到投影出的菜单区域的对象进行图像处理，首先利用 相机获取整个交互区域的视频流，进行灰度处理、图像分割等操作，进而利用图像的 帧差法获取当前帧与背景帧之间的差值，并排除可能存在的微小噪点，最终获取手所 在区域的凸包，利用本发明的基于用户习惯的指尖识别算法，计算出操作人员手指指 尖所在的像素点坐标。根据该像素点坐标与按钮所在像素点区域进行对比，从而判断 是否落在相应的按钮区域，并将信号传递给下一步。

根据前两步传递来的信号，根据本发明提出的基于手势识别的投影增强交互算法， 只有当第一步两个信号均为真时才进行操作指令判断。在操作指令判断过程，根据落在投影出的按钮区域的时间来判断是否触发相应的装配指令，即在步骤二的信号为真 的前提下。从而保证整个过程高效、有效地完成交互任务。

与现有技术相比，本发明的主要优点在于：本发明采用的方法利用了基于用户习惯的指尖识别图像处理算法和基于Leap Motion和Kinect的手势识别算法。通过基于 LeapMotion和Kinect的手势识别算法可以有效排除在复杂装配过程中异物进入交互 区域，造成误操作的问题。利用基于用户习惯的指尖识别图像处理算法可以让操作人 员利用手点击投影出的按钮即可完成交互，从而有效提升交互的直观性和自然性。通 过使用方法与手势和投影交互的实验对比，发现该方法克服了单纯手势识别的不直观 和不稳定性，以及投影增强交互过程中错误触发的问题，有效提高了用户的操作体验。 因此，本发明的方法可以有效地应用到现场投影增强装配的过程中，便于操作人员与 系统实现自然交互及整个装配系统智能化的进程。

附图说明：

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，在附图中，相同的或对应的技术特征或部件将采用相 同或对应的附图标记来表示。

图1为本发明提出的一种基于手势识别的投影增强交互方法的流程示意图；

图2为本发明中异物干扰问题示意图；

图3为本发明应用的Leap Motion识别手势的过程示意图；

图4为本发明提出的基于用户习惯的指尖识别算法的示意图；

具体实施方式：

参照图1，本发明实施案例所提供的基于手势识别的投影增强交互方法的一个流程示意图，该方法流程如下：

实施案例为增强投影装配过程，输入为人机交互区域场景信息。然后Leap Motion和Kinect捕获该区域场景信息，利用自身的手势检测算法计算出当前对象是否为操作 人员的手部，其具体过程参照图3。首先获取通过Leap类函数获取帧对象，然后利用 帧类成员函数获取人手对象，可以得到手掌数、手指等信息。帧对象可以获取手的地 址，帧是否有效等信息，Kinect的原理类似。根据该信息，得出信号1和信号2，当 检测到存在手时为真，不存在时为假，并将结果传递给基于手势识别的增强投影交互 算法。

相机在获取视频流之前需要标定，在标定结束后，投影出的菜单上的各点均有对应的像素点坐标区域。接下来根据基于用户习惯的指尖判断算法，即参考图4，首先 进行灰度处理，与背景做差，然后进行阀值化处理，进而利用中值滤波、膨胀处理等 操作，从而完成对每一帧图片的图像处理。接下来通过查找并绘制轮廓、排除微小不 连续区域、轮廓边缘检测遍历等操作获取到操作人员的手指指尖所在的像素点坐标。 将该坐标与按钮像素点坐标进行比对，从而判断是否落入按钮所在区域，并最终以信 号3的形式传递给下一步，当落在相应区域时为真，不在时为假；

根据以上获取的信息，按照公式

res＝a*f1+b*f2+c*f3+…+n*fn

其中a、b、c表示相应的系数，此时n为3，f1、f2、f3对应的是信号1、信号2、信 号3，当信号为真时，相应的系数为1，否则为0，当且仅当a、b、c均为真时res为 真。在res为真的情况下，根据停留的时间在满足要求的情况下认为操作人员进行了 点击的操作，从而触发相应的交互指令，即完成了整个装配交互任务。

Claims (1)

1.一种基于手势识别的投影增强交互方法，其特征在于，包括如下步骤：

步骤1：利用Leap motion和Kinect设备分别获取人机交互中操作人员的手部信息，根据Leap motion及Kinect自身内部手势检测算法输出进入交互区域的是人手还是异物，进而确定是否进行接下来的操作：如果进入该交互区域的是人手则设定为需要进行交互操作，否则，认定为异物情形，系统不进行任何反馈；

步骤2：根据图像处理的相关算法，利用基于用户习惯的指尖检测算法实时获取手指指尖所在的像素点坐标，并将该信息传递给系统，其中基于用户习惯的指尖检测算法是利用经过图像处理的视频流，通过查找并绘制轮廓、排除微小不连续区域、轮廓边缘检测遍历操作获取到操作人员的手指指尖所在的像素点坐标；

步骤3：系统根据前面传递回来的信息，通过判断步骤2中获取的用户指尖在交互区域相应按钮上的停留时间确定是否触发相应的装配指令，所述停留时间大于等于0.5s时可以认为用户已经进行了点击操作，即触发了相应的装配指令，当装配指令的触发时，系统将相应的装配引导信息呈现给用户，进而引导用户完成相应的装配任务。

Images