CN114967927B - 一种基于图像处理的智能手势交互方法 - Google Patents

一种基于图像处理的智能手势交互方法 Download PDF

Info

Publication number
CN114967927B
CN114967927B CN202210599145.2A CN202210599145A CN114967927B CN 114967927 B CN114967927 B CN 114967927B CN 202210599145 A CN202210599145 A CN 202210599145A CN 114967927 B CN114967927 B CN 114967927B
Authority
CN
China
Prior art keywords
mouse
finger
gesture
stage
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210599145.2A
Other languages
English (en)
Other versions
CN114967927A (zh
Inventor
谢武
周天
范勇
王兴宇
强保华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Electronic Technology
Original Assignee
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Electronic Technology filed Critical Guilin University of Electronic Technology
Priority to CN202210599145.2A priority Critical patent/CN114967927B/zh
Publication of CN114967927A publication Critical patent/CN114967927A/zh
Application granted granted Critical
Publication of CN114967927B publication Critical patent/CN114967927B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486Drag-and-drop
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于图像处理的智能手势交互方法。该方法使用目标检测和管道追踪的方法对每一帧手势图像输入数据进行刻画操作,得到手掌和手指的每个关键节点的坐标位置;其次,使用几何计算和坐标变换得到左键和右键等鼠标操作所需的关键信息;最后,通过对关键信息进行处理和组合,模拟鼠标的操作过程,达到人机智能交互的目的。该方法在一定程度上增加了人机交互的可理解性和可操作性。

Description

一种基于图像处理的智能手势交互方法
技术领域
本发明涉及到图像识别处理和人机交互领域,具体涉及一种基于图像处理的人机之间智能手势交互方法。
背景技术
智能手势交互是图像处理领域的延展和应用。其主要目的是通过对手势图像进行识别和处理,然后针对不同的手势图像处理结果情况做出对应的响应。目前正处于图像处理的快速发展阶段,图像处理相关的硬件设备的日趋普及,如电脑摄像头、工业机器人的视觉系统、智能监控或交互设备等各类图像处理和交互应用随处可见,使得人们开始追求更加智能化的交互化方式。然而在人机交互过程中,人们不仅需要考虑如何完成智能交互的过程,更重要的需求是如何让广大用户轻松理解和使用这一智能交互方式。在传统的交互过程中,用户往往通过鼠标、键盘、手写板、触控屏等终端输入设备调用PC机、平板电脑等主机的命令,然后主机对用户的操作做出相应的响应。近年来计算机外围硬件设备得到了快速发展,各个组成部分对应的功能越来越强大,价格越来越低廉,性价比越来越高。一些中低端图像处理和交互设备也走进了人们的生活。然而利用现有这些终端的交互过程已经难以满足日益增长的用户人机交互需求。为此,迫切需要解决的问题是如何用新的方式或技术取代键盘或者鼠标这类终端的操作,达到无接触式智能人机交互的目的。
发明内容
针对上述问题,本发明提供了一种基于图像处理的智能手势交互方法。该方法通过对用户的手势及其对应的手势图像进行识别处理,并结合实际人机操作情形模拟终端鼠标的操作方式,达到人机智能手势交互的目的。
为解决上述问题,本发明是通过以下技术方案实现:
一种基于图像处理的智能手势交互方法,包括如下步骤:
(1)采用OpenCV技术监听摄像头获取手势交互视频流,对交互视频流进行每一帧的截取,以10毫秒为间隔截取一帧作为手势交互图像输入;
(2)采用Mediapipe模型对输入的那一帧的手势图像做处理,将手势图像中手掌以及手指的关键节点标注出来;
(3)根据步骤(2)得到的手势图像中每个关键节点的位置计算出每个关键节点在当前手势图像中的具体坐标,以左上角的点为原点,记为O(0,0),以向右和向下的方向作为x轴和y轴的正方向;
(4)通过对步骤(3)中得到的具体坐标进行坐标变换,将变换后的坐标投影到屏幕上,得到了每个关键节点在屏幕中的具体坐标,并将大拇指的指尖节点作为鼠标原点;
(5)通过对每根手指上的关键节点和掌心节点进行几何计算,判断每根手指的开合状态;
(6)根据步骤(5)得到的手势交互过程中的手指的开合状态,模拟鼠标的左键、右键操作过程;
(7)通过判别预处理模块,获取上一帧的手势图像中的鼠标原点位置,然后将当前鼠标移动到上一次的鼠标原点位置;
(8)根据互斥变量交替使用操作鼠标的权限,只有当上一次操作过程完全结束后,下一次鼠标操作才会正常响应。
步骤(2)所述的Mediapipe模型的操作过程是:
1)结合OpenCV技术,对摄像头进行监控,通过对视频流中的每一帧做监听,追踪手势图像的每一帧中的手掌所在位置;
2)对手掌进行刻画操作,将手掌和手指的21个关键节点和骨架刻画出来,并将每个关键点的3维空间坐标返回。
步骤(4)所述的坐标变换过程是:
首先得到大拇指指尖的坐标,记为mouse(x4,y4),同时获取到屏幕的宽w1和高h1;假设手势图片的宽为w2,高为h2,坐标变换后的鼠标在屏幕上的投影坐标为(x,y)=((1-(x4/w2))×w1),(y4/h2)×h1)。
步骤(5)所述的几何计算过程是:
根据计算得到关键节点在手势图片中的坐标,一共有21个点,即存在21组坐标,记为(x0,y0)到(x20,y20);假设每根手指的指尖坐标为(x2,y2),每根手指弯曲处的那个节点的坐标为(x1,y1),掌心节点的坐标为(x0,y0),当(x1,y1)与(x0,y0)之间的几何距离大于(x2,y2)与(x0,y0)之间的几何距离,判定当前手指进入了弯曲状态;否则,手指就是张开状态:
步骤(6)所述的根据手指开合状态模拟鼠标的操作过程是:
将大拇指指尖节点记为鼠标的原点,记作mouse(x0,y0);
当大拇指、食指和中指张开时,当前阶段记为鼠标移动阶段;
当食指进行点击弯曲时,食指进入闭合状态,当前阶段记为鼠标点击阶段;
当中指进行点击弯曲时,中指进入闭合状态,当前阶段记为鼠标右击阶段;
当食指弯曲超过0.5秒,当前阶段记为鼠标拖拽阶段;
当食指和中指同时弯曲时,食指和中指同时进入闭合状态,当前阶段记为双击阶段;
当5根手指全部张开,5根手指同时处于张开状态,当前阶段记为滑轮下滑阶段或者放大阶段;
当5根手指全部紧闭,5根手指同时进入闭合状态,当前阶段记为滑轮上滑阶段或者缩小阶段。
本发明的效果是:
(1)本发明采用了智能算法处理,为了保证每一帧手势图像处理完成后的操作会对下一帧的处理结果造成影响,引入了互斥变量的概念。比如单击操作,当前一帧的手势图像处理结果完成后,调用自封装的鼠标库函数,操作鼠标完成对当前坐标点的单击,此时,互斥变量进入临界区,下一帧的手势图像处理结果将不会进行响应。当前一次点击完成,鼠标进入自由状态后,互斥变量推出临界区,此时,下一帧的手势图像操作的处理结果才会正常响应。
(2)本发明采用智能算法处理过程中加入了判别预处理模块,对于手势图像的单一处理问题进行改进。手势图像的单一处理问题指的是:由于图像只能每隔一帧处理一次,所以需要解决鼠标的原点坐标的跳度的问题,即鼠标会出现卡顿和跳跃。本发明通过加入预处理模块,获取到前一帧的鼠标所在坐标,在新的一帧处理时,将鼠标坐标移动到新的坐标点,当我们把每一帧的采集频率缩小时,这个鼠标跳度问题就得到了很好的解决。
(3)本发明通过加入智能算法处理,让用户使用手势图像进行操作的过程完整以及流畅,达到了很好的人机交互的水平。
附图说明
图1为本发明实施例中基于手势人机交互流程图。
图2为本发明中利用mediapipe模型得到的手掌关键节点分布图。
图3-图6为本发明测试结果示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的阐述。
实施例:
参照图1,本发明基于图像处理的智能手势交互方法,主要包括以下步骤:
(1)采用OpenCV技术监听摄像头获取手势交互视频流,对交互视频流进行每一帧的截取,以10毫秒为间隔截取一帧作为手势交互图像输入。
(2)采用Mediapipe模型对输入的那一帧的手势图像做处理,将手势图像中手掌以及手指的关键节点标注出来。其中Mediapipe模式是谷歌公司开源的并用来跟踪手势的模型。本方案对手势图像上进行识别并获取到手掌以及手指所在的具体位置。Mediapipe模型的具体训练过程是:
首先给定大量的手势图像数据集,为了能够获得更好的识别效果,需要对手势图像数据进行预处理,手势图像的预处理即进行图像的滤波操作,过滤掉不重要信息和干扰部分。采用图像平滑技术,先对手势图像进行全局处理,除去图像中的噪声部分。中值滤波是非线性滤波的一种,其原理是将序列或数字图像中的一个点的值替换为场中每个点的中值,得到一张低噪声图片。数字图像中值的定义为yij=Mid{xij}=Mid{X(i+r),(j+s),(r,s)∈A,(i,j)∈I2},式中,(Xij,(i,j)∈I2)代表图像各点的灰度值;A表示滤波窗口;yij表示在A中选取的Xij中值。
将处理完成的数据集通过图像变换操作将手势图像数据统一处理224*224的3个通道格式。然后对数据集进行划分,采用0.8和0.2的比例进行数据划分操作,得到训练手势图片集和验证手势图片集。
其次,在手势识别过程中,摄像头采集到的手势图像包括了复杂的背景,为了消除这些复杂背景的影响,这里通过yolo目标检测方式对原始数据集进行训练,通过对锚框进行调整得到合适检测模型,用来检测手掌在手势图片中的位置。
最后,Mediapipe通过将Object Detection和Box Tracking结合创建一个对象检测与追踪管道,提供了基于实例的追踪,即对象ID能够在多帧中维持。这样不仅可以跟踪到手掌以及手指的每个关键节点,同时为移动设备保持管道轻巧和实时。
在本实施例中,Mediapipe对输入的手势图像进行处理的具体过程是:
Mediapipe结合OpenCV技术,对摄像头进行监控,通过对视频流中的每一帧做监听,追踪手势图像的每一帧中的手掌所在位置。
然后对手掌进行刻画操作,将手掌和手指的21个关键节点和骨架刻画出来,并将每个关键点的3维空间坐标返回。
标注完成的手掌关键节点分布图如图1所示。
(3)根据上一步骤得到的手势图像中每个关键节点的位置计算出每个关键节点在当前手势图像中的具体坐标。以左上角的点为原点,记为O(0,0),以向右和向下的方向作为x轴和y轴的正方向。本实施实例中每个关键节点的具体计算过程是:
首先,获取到每个节点在横轴和纵轴上的百分比,记为x和y。
然后,获取到当前输入手势图像数据的宽和高,记为w和h。
最后,计算每个坐标点在手势图像中的对应坐标,计算公式是:point_x=x×w,point_y=y×h。
(4)通过对上一步骤中得到的具体坐标进行坐标变换,将变换后的坐标投影到屏幕上,得到了每个关键节点在屏幕中的具体坐标,并将大拇指的指尖节点作为鼠标原点。本实施实例中具体的坐标变换过程是:
首先得到大拇指指尖的坐标,记为mouse(x4,y4),同时获取到屏幕的宽w1和高h1
假设手势图片的宽为w2,高为h2,坐标变换后的鼠标在屏幕上的投影坐标为(x,y)=((1-(x4/w2))×w1),(y4/h2)×h1)。
(5)通过对每根手指上的关键节点和掌心节点进行几何计算,判断每根手指的开合状态。本实施例中几何计算的具体过程是:
首先根据计算得到关键节点在手势图片中的坐标,一共有21个点,即存在21组坐标,记为(x0,y0)到(x20,y20)。
假设每根手指的指尖坐标为(x2,y2),每根手指弯曲处的那个节点的坐标为(x1,y1),掌心节点的坐标为(x0,y0),当(x1,y1)与(x0,y0)之间的几何距离大于(x2,y2)与(x0,y0)之间的几何距离,判定当前手指进入了弯曲状态;否则,手指就是张开状态。
(6)根据上一步骤得到的手势交互过程中的手指的开合状态来模拟鼠标的左键、右键等操作过程。本实施实例中模拟鼠标操作的具体过程是:
将大拇指指尖节点记为鼠标的原点,记作mouse(x0,y0)。
当大拇指、食指和中指张开时,当前阶段记为鼠标移动阶段。
当食指进行点击弯曲时,食指进入闭合状态,当前阶段记为鼠标点击阶段。
当中指进行点击弯曲时,中指进入闭合状态,当前阶段记为鼠标右击阶段。
当食指弯曲超过0.5秒,当前阶段记为鼠标拖拽阶段。
当食指和中指同时弯曲时,食指和中指同时进入闭合状态,当前阶段记为双击阶段。
当5根手指全部张开,5根手指同时处于张开状态,当前阶段记为滑轮下滑阶段或者放大阶段。
当5根手指全部紧闭,5根手指同时进入闭合状态,当前阶段记为滑轮上滑阶段或者缩小阶段。
(7)通过判别预处理模块,获取上一帧的手势图像中的鼠标原点位置,然后将当前鼠标移动到上一次的鼠标原点位置。
(8)根据互斥变量交替使用操作鼠标的权限,只有当上一次操作过程完全结束后,下一次鼠标操作才会正常响应。

Claims (5)

1.一种基于图像处理的智能手势交互方法,包括如下步骤:
(1)采用OpenCV技术监听摄像头获取手势交互视频流,对交互视频流进行每一帧的截取,以10毫秒为间隔截取一帧作为手势交互图像输入;
(2)采用Mediapipe模型对输入的那一帧的手势图像做处理,将手势图像中手掌以及手指的关键节点标注出来;
(3)根据步骤(2)得到的手势图像中每个关键节点的位置计算出每个关键节点在当前手势图像中的具体坐标,以左上角的点为原点,记为O(0,0),以向右和向下的方向作为x轴和y轴的正方向;
(4)通过对步骤(3)中得到的具体坐标进行坐标变换,将变换后的坐标投影到屏幕上,得到了每个关键节点在屏幕中的具体坐标,并将大拇指的指尖节点作为鼠标原点;
(5)通过对每根手指上的关键节点和掌心节点进行几何计算,判断每根手指的开合状态;
(6)根据步骤(5)得到的手势交互过程中的手指的开合状态,模拟鼠标的左键、右键操作过程;
(7)通过判别预处理模块,获取上一帧的手势图像中的鼠标原点位置,然后将当前鼠标移动到上一次的鼠标原点位置;
(8)根据互斥变量交替使用操作鼠标的权限,只有当上一次操作过程完全结束后,下一次鼠标操作才会正常响应。
2.根据权利要求1所述的智能手势交互方法,其特征是:步骤(2)所述的Mediapipe模型的操作过程是:
1)结合OpenCV技术,对摄像头进行监控,通过对视频流中的每一帧做监听,追踪手势图像的每一帧中的手掌所在位置;
2)对手掌进行刻画操作,将手掌和手指的21个关键节点和骨架刻画出来,并将每个关键点的3维空间坐标返回。
3.根据权利要求1所述的智能手势交互方法,其特征是:步骤(4)所述的坐标变换过程是:
首先得到大拇指指尖的坐标,记为mouse(x4,y4),同时获取到屏幕的宽w1和高h1;假设手势图片的宽为w2,高为h2,坐标变换后的鼠标在屏幕上的投影坐标为(x,y)=((1-(x4/w2))×w1),(y4/h2)×h1)。
4.根据权利要求1所述的智能手势交互方法,其特征是:步骤(5)所述的几何计算过程是:
根据计算得到关键节点在手势图片中的坐标,一共有21个点,即存在21组坐标,记为(x0,y0)到(x20,y20);假设每根手指的指尖坐标为(x2,y2),每根手指弯曲处的那个节点的坐标为(x1,y1),掌心节点的坐标为(x0,y0),当(x1,y1)与(x0,y0)之间的几何距离大于(x2,y2)与(x0,y0)之间的几何距离,判定当前手指进入了弯曲状态;否则,手指就是张开状态:
5.根据权利要求1所述的智能手势交互方法,其特征是:步骤(6)所述的根据手指开合状态模拟鼠标的操作过程是:
将大拇指指尖节点记为鼠标的原点,记作mouse(x0,y0);
当大拇指、食指和中指张开时,当前阶段记为鼠标移动阶段;
当食指进行点击弯曲时,食指进入闭合状态,当前阶段记为鼠标点击阶段;
当中指进行点击弯曲时,中指进入闭合状态,当前阶段记为鼠标右击阶段;
当食指弯曲超过0.5秒,当前阶段记为鼠标拖拽阶段;
当食指和中指同时弯曲时,食指和中指同时进入闭合状态,当前阶段记为双击阶段;
当5根手指全部张开,5根手指同时处于张开状态,当前阶段记为滑轮下滑阶段或者放大阶段;
当5根手指全部紧闭,5根手指同时进入闭合状态,当前阶段记为滑轮上滑阶段或者缩小阶段。
CN202210599145.2A 2022-05-30 2022-05-30 一种基于图像处理的智能手势交互方法 Active CN114967927B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210599145.2A CN114967927B (zh) 2022-05-30 2022-05-30 一种基于图像处理的智能手势交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210599145.2A CN114967927B (zh) 2022-05-30 2022-05-30 一种基于图像处理的智能手势交互方法

Publications (2)

Publication Number Publication Date
CN114967927A CN114967927A (zh) 2022-08-30
CN114967927B true CN114967927B (zh) 2024-04-16

Family

ID=82958633

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210599145.2A Active CN114967927B (zh) 2022-05-30 2022-05-30 一种基于图像处理的智能手势交互方法

Country Status (1)

Country Link
CN (1) CN114967927B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101344816A (zh) * 2008-08-15 2009-01-14 华南理工大学 基于视线跟踪和手势识别的人机交互方法及装置
CN102193631A (zh) * 2011-05-05 2011-09-21 上海大学 可穿戴式三维手势交互系统及其使用方法
WO2012034469A1 (zh) * 2010-09-17 2012-03-22 腾讯科技(深圳)有限公司 基于手势的人机交互方法及系统、计算机存储介质
CN102981742A (zh) * 2012-11-28 2013-03-20 无锡市爱福瑞科技发展有限公司 基于计算机视觉的手势交互系统
KR102052449B1 (ko) * 2019-01-14 2019-12-05 전남대학교산학협력단 가상 마우스 시스템 및 그 제어 방법
CN110569817A (zh) * 2019-09-12 2019-12-13 北京邮电大学 基于视觉实现手势识别的系统和方法
CN114445853A (zh) * 2021-12-23 2022-05-06 北京时代民芯科技有限公司 一种视觉手势识别系统识别方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009128064A2 (en) * 2008-04-14 2009-10-22 Pointgrab Ltd. Vision based pointing device emulation
TWI366780B (en) * 2008-05-16 2012-06-21 Tatung Co A video based apparatus and method for controlling the cursor
US8390577B2 (en) * 2008-07-25 2013-03-05 Intuilab Continuous recognition of multi-touch gestures

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101344816A (zh) * 2008-08-15 2009-01-14 华南理工大学 基于视线跟踪和手势识别的人机交互方法及装置
WO2012034469A1 (zh) * 2010-09-17 2012-03-22 腾讯科技(深圳)有限公司 基于手势的人机交互方法及系统、计算机存储介质
CN102193631A (zh) * 2011-05-05 2011-09-21 上海大学 可穿戴式三维手势交互系统及其使用方法
CN102981742A (zh) * 2012-11-28 2013-03-20 无锡市爱福瑞科技发展有限公司 基于计算机视觉的手势交互系统
KR102052449B1 (ko) * 2019-01-14 2019-12-05 전남대학교산학협력단 가상 마우스 시스템 및 그 제어 방법
CN110569817A (zh) * 2019-09-12 2019-12-13 北京邮电大学 基于视觉实现手势识别的系统和方法
CN114445853A (zh) * 2021-12-23 2022-05-06 北京时代民芯科技有限公司 一种视觉手势识别系统识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
人机交互过程中数字手势的识别方法;贾丙佳;李平;;华侨大学学报(自然科学版);20200320(02);全文 *
基于投影仪摄像机系统的人机交互关键技术研究;吕昊;张成元;;科学技术创新;20200405(10);全文 *

Also Published As

Publication number Publication date
CN114967927A (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
CN102831439B (zh) 手势跟踪方法及系统
WO2010006087A9 (en) Process for providing and editing instructions, data, data structures, and algorithms in a computer system
CN111680594A (zh) 一种基于手势识别的增强现实交互方法
Kumar et al. Mouse simulation using two coloured tapes
Chua et al. Hand gesture control for human–computer interaction with Deep Learning
CN102520794B (zh) 手势辨识系统及方法
EP2618237B1 (en) Gesture-based human-computer interaction method and system, and computer storage media
Ueng et al. Vision based multi-user human computer interaction
CN114967927B (zh) 一种基于图像处理的智能手势交互方法
Khan et al. Computer vision based mouse control using object detection and marker motion tracking
US20220050528A1 (en) Electronic device for simulating a mouse
Annachhatre et al. Virtual Mouse Using Hand Gesture Recognition-A Systematic Literature Review
Lech et al. Virtual Whiteboard: A gesture-controlled pen-free tool emulating school whiteboard
US20230169399A1 (en) System and methods for robotic process automation
Sangtani et al. Artificial Intelligence Virtual Mouse using Hand Gesture
Lech et al. Hand gesture recognition supported by fuzzy rules and Kalman filters
Basak et al. A vision interface framework for intuitive gesture recognition using color based blob detection
Parihar et al. Hand Gesture Recognition: A Review
Kavitha et al. Simulated Mouse Mechanism using Hand Movement Signals
Chandra Gope Hand tracking and hand gesture recognition for human computer interaction
Patil et al. Mouse on Finger Tips using ML and AI
Bested et al. A social interactive whiteboard system using finger-tracking for mobile devices
Suriya et al. An Efficient Artificial Intelligence based Human-Machine Interaction System
Jayasathyan et al. Implementation of Real Time Virtual Clicking using OpenCV
Wensheng et al. Implementation of virtual mouse based on machine vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant