CN114967927B - 一种基于图像处理的智能手势交互方法 - Google Patents

Abstract

本发明公开了一种基于图像处理的智能手势交互方法。该方法使用目标检测和管道追踪的方法对每一帧手势图像输入数据进行刻画操作，得到手掌和手指的每个关键节点的坐标位置；其次，使用几何计算和坐标变换得到左键和右键等鼠标操作所需的关键信息；最后，通过对关键信息进行处理和组合，模拟鼠标的操作过程，达到人机智能交互的目的。该方法在一定程度上增加了人机交互的可理解性和可操作性。

Description

一种基于图像处理的智能手势交互方法

技术领域

本发明涉及到图像识别处理和人机交互领域，具体涉及一种基于图像处理的人机之间智能手势交互方法。

背景技术

智能手势交互是图像处理领域的延展和应用。其主要目的是通过对手势图像进行识别和处理，然后针对不同的手势图像处理结果情况做出对应的响应。目前正处于图像处理的快速发展阶段，图像处理相关的硬件设备的日趋普及，如电脑摄像头、工业机器人的视觉系统、智能监控或交互设备等各类图像处理和交互应用随处可见，使得人们开始追求更加智能化的交互化方式。然而在人机交互过程中，人们不仅需要考虑如何完成智能交互的过程，更重要的需求是如何让广大用户轻松理解和使用这一智能交互方式。在传统的交互过程中，用户往往通过鼠标、键盘、手写板、触控屏等终端输入设备调用PC机、平板电脑等主机的命令，然后主机对用户的操作做出相应的响应。近年来计算机外围硬件设备得到了快速发展，各个组成部分对应的功能越来越强大，价格越来越低廉，性价比越来越高。一些中低端图像处理和交互设备也走进了人们的生活。然而利用现有这些终端的交互过程已经难以满足日益增长的用户人机交互需求。为此，迫切需要解决的问题是如何用新的方式或技术取代键盘或者鼠标这类终端的操作，达到无接触式智能人机交互的目的。

发明内容

针对上述问题，本发明提供了一种基于图像处理的智能手势交互方法。该方法通过对用户的手势及其对应的手势图像进行识别处理，并结合实际人机操作情形模拟终端鼠标的操作方式，达到人机智能手势交互的目的。

为解决上述问题，本发明是通过以下技术方案实现：

一种基于图像处理的智能手势交互方法，包括如下步骤：

(1)采用OpenCV技术监听摄像头获取手势交互视频流，对交互视频流进行每一帧的截取，以10毫秒为间隔截取一帧作为手势交互图像输入；

(2)采用Mediapipe模型对输入的那一帧的手势图像做处理，将手势图像中手掌以及手指的关键节点标注出来；

(3)根据步骤(2)得到的手势图像中每个关键节点的位置计算出每个关键节点在当前手势图像中的具体坐标，以左上角的点为原点，记为O(0,0)，以向右和向下的方向作为x轴和y轴的正方向；

(4)通过对步骤(3)中得到的具体坐标进行坐标变换，将变换后的坐标投影到屏幕上，得到了每个关键节点在屏幕中的具体坐标，并将大拇指的指尖节点作为鼠标原点；

(5)通过对每根手指上的关键节点和掌心节点进行几何计算，判断每根手指的开合状态；

(6)根据步骤(5)得到的手势交互过程中的手指的开合状态，模拟鼠标的左键、右键操作过程；

(7)通过判别预处理模块，获取上一帧的手势图像中的鼠标原点位置，然后将当前鼠标移动到上一次的鼠标原点位置；

(8)根据互斥变量交替使用操作鼠标的权限，只有当上一次操作过程完全结束后，下一次鼠标操作才会正常响应。

步骤(2)所述的Mediapipe模型的操作过程是：

1)结合OpenCV技术，对摄像头进行监控，通过对视频流中的每一帧做监听，追踪手势图像的每一帧中的手掌所在位置；

2)对手掌进行刻画操作，将手掌和手指的21个关键节点和骨架刻画出来，并将每个关键点的3维空间坐标返回。

步骤(4)所述的坐标变换过程是：

首先得到大拇指指尖的坐标，记为mouse(x₄,y₄)，同时获取到屏幕的宽w₁和高h₁；假设手势图片的宽为w₂，高为h₂，坐标变换后的鼠标在屏幕上的投影坐标为(x,y)＝((1-(x₄/w₂))×w₁),(y₄/h₂)×h₁)。

步骤(5)所述的几何计算过程是：

根据计算得到关键节点在手势图片中的坐标，一共有21个点，即存在21组坐标，记为(x₀,y₀)到(x₂₀,y₂₀)；假设每根手指的指尖坐标为(x₂,y₂)，每根手指弯曲处的那个节点的坐标为(x₁,y₁)，掌心节点的坐标为(x₀,y₀)，当(x₁,y₁)与(x₀,y₀)之间的几何距离大于(x₂,y₂)与(x₀,y₀)之间的几何距离，判定当前手指进入了弯曲状态；否则，手指就是张开状态：

步骤(6)所述的根据手指开合状态模拟鼠标的操作过程是：

将大拇指指尖节点记为鼠标的原点，记作mouse(x₀,y₀)；

当大拇指、食指和中指张开时，当前阶段记为鼠标移动阶段；

当食指进行点击弯曲时，食指进入闭合状态，当前阶段记为鼠标点击阶段；

当中指进行点击弯曲时，中指进入闭合状态，当前阶段记为鼠标右击阶段；

当食指弯曲超过0.5秒，当前阶段记为鼠标拖拽阶段；

当食指和中指同时弯曲时，食指和中指同时进入闭合状态，当前阶段记为双击阶段；

当5根手指全部张开，5根手指同时处于张开状态，当前阶段记为滑轮下滑阶段或者放大阶段；

当5根手指全部紧闭，5根手指同时进入闭合状态，当前阶段记为滑轮上滑阶段或者缩小阶段。

本发明的效果是：

(1)本发明采用了智能算法处理，为了保证每一帧手势图像处理完成后的操作会对下一帧的处理结果造成影响，引入了互斥变量的概念。比如单击操作，当前一帧的手势图像处理结果完成后，调用自封装的鼠标库函数，操作鼠标完成对当前坐标点的单击，此时，互斥变量进入临界区，下一帧的手势图像处理结果将不会进行响应。当前一次点击完成，鼠标进入自由状态后，互斥变量推出临界区，此时，下一帧的手势图像操作的处理结果才会正常响应。

(2)本发明采用智能算法处理过程中加入了判别预处理模块，对于手势图像的单一处理问题进行改进。手势图像的单一处理问题指的是：由于图像只能每隔一帧处理一次，所以需要解决鼠标的原点坐标的跳度的问题，即鼠标会出现卡顿和跳跃。本发明通过加入预处理模块，获取到前一帧的鼠标所在坐标，在新的一帧处理时，将鼠标坐标移动到新的坐标点，当我们把每一帧的采集频率缩小时，这个鼠标跳度问题就得到了很好的解决。

(3)本发明通过加入智能算法处理，让用户使用手势图像进行操作的过程完整以及流畅，达到了很好的人机交互的水平。

附图说明

图1为本发明实施例中基于手势人机交互流程图。

图2为本发明中利用mediapipe模型得到的手掌关键节点分布图。

图3-图6为本发明测试结果示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的阐述。

实施例：

参照图1，本发明基于图像处理的智能手势交互方法，主要包括以下步骤：

(1)采用OpenCV技术监听摄像头获取手势交互视频流，对交互视频流进行每一帧的截取，以10毫秒为间隔截取一帧作为手势交互图像输入。

(2)采用Mediapipe模型对输入的那一帧的手势图像做处理，将手势图像中手掌以及手指的关键节点标注出来。其中Mediapipe模式是谷歌公司开源的并用来跟踪手势的模型。本方案对手势图像上进行识别并获取到手掌以及手指所在的具体位置。Mediapipe模型的具体训练过程是：

首先给定大量的手势图像数据集，为了能够获得更好的识别效果，需要对手势图像数据进行预处理，手势图像的预处理即进行图像的滤波操作，过滤掉不重要信息和干扰部分。采用图像平滑技术，先对手势图像进行全局处理，除去图像中的噪声部分。中值滤波是非线性滤波的一种，其原理是将序列或数字图像中的一个点的值替换为场中每个点的中值，得到一张低噪声图片。数字图像中值的定义为y_ij＝Mid{x_ij}＝Mid{X_(i+r),(j+s),(r,s)∈A,(i,j)∈I₂}，式中，(X_ij,(i,j)∈I₂)代表图像各点的灰度值；A表示滤波窗口；y_ij表示在A中选取的X_ij中值。

将处理完成的数据集通过图像变换操作将手势图像数据统一处理224*224的3个通道格式。然后对数据集进行划分，采用0.8和0.2的比例进行数据划分操作，得到训练手势图片集和验证手势图片集。

其次，在手势识别过程中，摄像头采集到的手势图像包括了复杂的背景，为了消除这些复杂背景的影响，这里通过yolo目标检测方式对原始数据集进行训练，通过对锚框进行调整得到合适检测模型，用来检测手掌在手势图片中的位置。

最后，Mediapipe通过将Object Detection和Box Tracking结合创建一个对象检测与追踪管道，提供了基于实例的追踪，即对象ID能够在多帧中维持。这样不仅可以跟踪到手掌以及手指的每个关键节点，同时为移动设备保持管道轻巧和实时。

在本实施例中，Mediapipe对输入的手势图像进行处理的具体过程是：

Mediapipe结合OpenCV技术，对摄像头进行监控，通过对视频流中的每一帧做监听，追踪手势图像的每一帧中的手掌所在位置。

然后对手掌进行刻画操作，将手掌和手指的21个关键节点和骨架刻画出来，并将每个关键点的3维空间坐标返回。

标注完成的手掌关键节点分布图如图1所示。

(3)根据上一步骤得到的手势图像中每个关键节点的位置计算出每个关键节点在当前手势图像中的具体坐标。以左上角的点为原点，记为O(0,0)，以向右和向下的方向作为x轴和y轴的正方向。本实施实例中每个关键节点的具体计算过程是：

首先，获取到每个节点在横轴和纵轴上的百分比，记为x和y。

然后，获取到当前输入手势图像数据的宽和高，记为w和h。

最后，计算每个坐标点在手势图像中的对应坐标，计算公式是：point_x＝x×w,point_y＝y×h。

(4)通过对上一步骤中得到的具体坐标进行坐标变换，将变换后的坐标投影到屏幕上，得到了每个关键节点在屏幕中的具体坐标，并将大拇指的指尖节点作为鼠标原点。本实施实例中具体的坐标变换过程是：

首先得到大拇指指尖的坐标，记为mouse(x₄,y₄)，同时获取到屏幕的宽w₁和高h₁。

假设手势图片的宽为w₂，高为h₂，坐标变换后的鼠标在屏幕上的投影坐标为(x,y)＝((1-(x₄/w₂))×w₁),(y₄/h₂)×h₁)。

(5)通过对每根手指上的关键节点和掌心节点进行几何计算，判断每根手指的开合状态。本实施例中几何计算的具体过程是：

首先根据计算得到关键节点在手势图片中的坐标，一共有21个点，即存在21组坐标，记为(x₀,y₀)到(x₂₀,y₂₀)。

假设每根手指的指尖坐标为(x₂,y₂)，每根手指弯曲处的那个节点的坐标为(x₁,y₁)，掌心节点的坐标为(x₀,y₀)，当(x₁,y₁)与(x₀,y₀)之间的几何距离大于(x₂,y₂)与(x₀,y₀)之间的几何距离，判定当前手指进入了弯曲状态；否则，手指就是张开状态。

(6)根据上一步骤得到的手势交互过程中的手指的开合状态来模拟鼠标的左键、右键等操作过程。本实施实例中模拟鼠标操作的具体过程是：

将大拇指指尖节点记为鼠标的原点，记作mouse(x₀,y₀)。

当大拇指、食指和中指张开时，当前阶段记为鼠标移动阶段。

当食指进行点击弯曲时，食指进入闭合状态，当前阶段记为鼠标点击阶段。

当中指进行点击弯曲时，中指进入闭合状态，当前阶段记为鼠标右击阶段。

当食指弯曲超过0.5秒，当前阶段记为鼠标拖拽阶段。

当食指和中指同时弯曲时，食指和中指同时进入闭合状态，当前阶段记为双击阶段。

当5根手指全部张开，5根手指同时处于张开状态，当前阶段记为滑轮下滑阶段或者放大阶段。

当5根手指全部紧闭，5根手指同时进入闭合状态，当前阶段记为滑轮上滑阶段或者缩小阶段。

(7)通过判别预处理模块，获取上一帧的手势图像中的鼠标原点位置，然后将当前鼠标移动到上一次的鼠标原点位置。

(8)根据互斥变量交替使用操作鼠标的权限，只有当上一次操作过程完全结束后，下一次鼠标操作才会正常响应。

Claims (5)

1.一种基于图像处理的智能手势交互方法，包括如下步骤：

(1)采用OpenCV技术监听摄像头获取手势交互视频流，对交互视频流进行每一帧的截取，以10毫秒为间隔截取一帧作为手势交互图像输入；

(2)采用Mediapipe模型对输入的那一帧的手势图像做处理，将手势图像中手掌以及手指的关键节点标注出来；

(3)根据步骤(2)得到的手势图像中每个关键节点的位置计算出每个关键节点在当前手势图像中的具体坐标，以左上角的点为原点，记为O(0,0)，以向右和向下的方向作为x轴和y轴的正方向；

(4)通过对步骤(3)中得到的具体坐标进行坐标变换，将变换后的坐标投影到屏幕上，得到了每个关键节点在屏幕中的具体坐标，并将大拇指的指尖节点作为鼠标原点；

(5)通过对每根手指上的关键节点和掌心节点进行几何计算，判断每根手指的开合状态；

(6)根据步骤(5)得到的手势交互过程中的手指的开合状态，模拟鼠标的左键、右键操作过程；

(7)通过判别预处理模块，获取上一帧的手势图像中的鼠标原点位置，然后将当前鼠标移动到上一次的鼠标原点位置；

(8)根据互斥变量交替使用操作鼠标的权限，只有当上一次操作过程完全结束后，下一次鼠标操作才会正常响应。

2.根据权利要求1所述的智能手势交互方法，其特征是：步骤(2)所述的Mediapipe模型的操作过程是：

1)结合OpenCV技术，对摄像头进行监控，通过对视频流中的每一帧做监听，追踪手势图像的每一帧中的手掌所在位置；

2)对手掌进行刻画操作，将手掌和手指的21个关键节点和骨架刻画出来，并将每个关键点的3维空间坐标返回。

3.根据权利要求1所述的智能手势交互方法，其特征是：步骤(4)所述的坐标变换过程是：

首先得到大拇指指尖的坐标，记为mouse(x₄,y₄)，同时获取到屏幕的宽w₁和高h₁；假设手势图片的宽为w₂，高为h₂，坐标变换后的鼠标在屏幕上的投影坐标为(x,y)＝((1-(x₄/w₂))×w₁),(y₄/h₂)×h₁)。

4.根据权利要求1所述的智能手势交互方法，其特征是：步骤(5)所述的几何计算过程是：

根据计算得到关键节点在手势图片中的坐标，一共有21个点，即存在21组坐标，记为(x₀,y₀)到(x₂₀,y₂₀)；假设每根手指的指尖坐标为(x₂,y₂)，每根手指弯曲处的那个节点的坐标为(x₁,y₁)，掌心节点的坐标为(x₀,y₀)，当(x₁,y₁)与(x₀,y₀)之间的几何距离大于(x₂,y₂)与(x₀,y₀)之间的几何距离，判定当前手指进入了弯曲状态；否则，手指就是张开状态：

5.根据权利要求1所述的智能手势交互方法，其特征是：步骤(6)所述的根据手指开合状态模拟鼠标的操作过程是：

将大拇指指尖节点记为鼠标的原点，记作mouse(x₀,y₀)；

当大拇指、食指和中指张开时，当前阶段记为鼠标移动阶段；

当食指进行点击弯曲时，食指进入闭合状态，当前阶段记为鼠标点击阶段；

当中指进行点击弯曲时，中指进入闭合状态，当前阶段记为鼠标右击阶段；

当食指弯曲超过0.5秒，当前阶段记为鼠标拖拽阶段；

当食指和中指同时弯曲时，食指和中指同时进入闭合状态，当前阶段记为双击阶段；

当5根手指全部张开，5根手指同时处于张开状态，当前阶段记为滑轮下滑阶段或者放大阶段；

当5根手指全部紧闭，5根手指同时进入闭合状态，当前阶段记为滑轮上滑阶段或者缩小阶段。