CN114967927B - 一种基于图像处理的智能手势交互方法 - Google Patents
一种基于图像处理的智能手势交互方法 Download PDFInfo
- Publication number
- CN114967927B CN114967927B CN202210599145.2A CN202210599145A CN114967927B CN 114967927 B CN114967927 B CN 114967927B CN 202210599145 A CN202210599145 A CN 202210599145A CN 114967927 B CN114967927 B CN 114967927B
- Authority
- CN
- China
- Prior art keywords
- mouse
- finger
- gesture
- stage
- key
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000003993 interaction Effects 0.000 title claims abstract description 38
- 238000012545 processing Methods 0.000 title claims abstract description 32
- 230000009466 transformation Effects 0.000 claims abstract description 11
- 238000004364 calculation method Methods 0.000 claims abstract description 9
- 210000003811 finger Anatomy 0.000 claims description 81
- 210000003813 thumb Anatomy 0.000 claims description 12
- 238000012544 monitoring process Methods 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 claims description 8
- 238000005452 bending Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000007717 exclusion Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 abstract description 5
- 238000001914 filtration Methods 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0486—Drag-and-drop
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种基于图像处理的智能手势交互方法。该方法使用目标检测和管道追踪的方法对每一帧手势图像输入数据进行刻画操作,得到手掌和手指的每个关键节点的坐标位置;其次,使用几何计算和坐标变换得到左键和右键等鼠标操作所需的关键信息;最后,通过对关键信息进行处理和组合,模拟鼠标的操作过程,达到人机智能交互的目的。该方法在一定程度上增加了人机交互的可理解性和可操作性。
Description
技术领域
本发明涉及到图像识别处理和人机交互领域,具体涉及一种基于图像处理的人机之间智能手势交互方法。
背景技术
智能手势交互是图像处理领域的延展和应用。其主要目的是通过对手势图像进行识别和处理,然后针对不同的手势图像处理结果情况做出对应的响应。目前正处于图像处理的快速发展阶段,图像处理相关的硬件设备的日趋普及,如电脑摄像头、工业机器人的视觉系统、智能监控或交互设备等各类图像处理和交互应用随处可见,使得人们开始追求更加智能化的交互化方式。然而在人机交互过程中,人们不仅需要考虑如何完成智能交互的过程,更重要的需求是如何让广大用户轻松理解和使用这一智能交互方式。在传统的交互过程中,用户往往通过鼠标、键盘、手写板、触控屏等终端输入设备调用PC机、平板电脑等主机的命令,然后主机对用户的操作做出相应的响应。近年来计算机外围硬件设备得到了快速发展,各个组成部分对应的功能越来越强大,价格越来越低廉,性价比越来越高。一些中低端图像处理和交互设备也走进了人们的生活。然而利用现有这些终端的交互过程已经难以满足日益增长的用户人机交互需求。为此,迫切需要解决的问题是如何用新的方式或技术取代键盘或者鼠标这类终端的操作,达到无接触式智能人机交互的目的。
发明内容
针对上述问题,本发明提供了一种基于图像处理的智能手势交互方法。该方法通过对用户的手势及其对应的手势图像进行识别处理,并结合实际人机操作情形模拟终端鼠标的操作方式,达到人机智能手势交互的目的。
为解决上述问题,本发明是通过以下技术方案实现:
一种基于图像处理的智能手势交互方法,包括如下步骤:
(1)采用OpenCV技术监听摄像头获取手势交互视频流,对交互视频流进行每一帧的截取,以10毫秒为间隔截取一帧作为手势交互图像输入;
(2)采用Mediapipe模型对输入的那一帧的手势图像做处理,将手势图像中手掌以及手指的关键节点标注出来;
(3)根据步骤(2)得到的手势图像中每个关键节点的位置计算出每个关键节点在当前手势图像中的具体坐标,以左上角的点为原点,记为O(0,0),以向右和向下的方向作为x轴和y轴的正方向;
(4)通过对步骤(3)中得到的具体坐标进行坐标变换,将变换后的坐标投影到屏幕上,得到了每个关键节点在屏幕中的具体坐标,并将大拇指的指尖节点作为鼠标原点;
(5)通过对每根手指上的关键节点和掌心节点进行几何计算,判断每根手指的开合状态;
(6)根据步骤(5)得到的手势交互过程中的手指的开合状态,模拟鼠标的左键、右键操作过程;
(7)通过判别预处理模块,获取上一帧的手势图像中的鼠标原点位置,然后将当前鼠标移动到上一次的鼠标原点位置;
(8)根据互斥变量交替使用操作鼠标的权限,只有当上一次操作过程完全结束后,下一次鼠标操作才会正常响应。
步骤(2)所述的Mediapipe模型的操作过程是:
1)结合OpenCV技术,对摄像头进行监控,通过对视频流中的每一帧做监听,追踪手势图像的每一帧中的手掌所在位置;
2)对手掌进行刻画操作,将手掌和手指的21个关键节点和骨架刻画出来,并将每个关键点的3维空间坐标返回。
步骤(4)所述的坐标变换过程是:
首先得到大拇指指尖的坐标,记为mouse(x4,y4),同时获取到屏幕的宽w1和高h1;假设手势图片的宽为w2,高为h2,坐标变换后的鼠标在屏幕上的投影坐标为(x,y)=((1-(x4/w2))×w1),(y4/h2)×h1)。
步骤(5)所述的几何计算过程是:
根据计算得到关键节点在手势图片中的坐标,一共有21个点,即存在21组坐标,记为(x0,y0)到(x20,y20);假设每根手指的指尖坐标为(x2,y2),每根手指弯曲处的那个节点的坐标为(x1,y1),掌心节点的坐标为(x0,y0),当(x1,y1)与(x0,y0)之间的几何距离大于(x2,y2)与(x0,y0)之间的几何距离,判定当前手指进入了弯曲状态;否则,手指就是张开状态:
步骤(6)所述的根据手指开合状态模拟鼠标的操作过程是:
将大拇指指尖节点记为鼠标的原点,记作mouse(x0,y0);
当大拇指、食指和中指张开时,当前阶段记为鼠标移动阶段;
当食指进行点击弯曲时,食指进入闭合状态,当前阶段记为鼠标点击阶段;
当中指进行点击弯曲时,中指进入闭合状态,当前阶段记为鼠标右击阶段;
当食指弯曲超过0.5秒,当前阶段记为鼠标拖拽阶段;
当食指和中指同时弯曲时,食指和中指同时进入闭合状态,当前阶段记为双击阶段;
当5根手指全部张开,5根手指同时处于张开状态,当前阶段记为滑轮下滑阶段或者放大阶段;
当5根手指全部紧闭,5根手指同时进入闭合状态,当前阶段记为滑轮上滑阶段或者缩小阶段。
本发明的效果是:
(1)本发明采用了智能算法处理,为了保证每一帧手势图像处理完成后的操作会对下一帧的处理结果造成影响,引入了互斥变量的概念。比如单击操作,当前一帧的手势图像处理结果完成后,调用自封装的鼠标库函数,操作鼠标完成对当前坐标点的单击,此时,互斥变量进入临界区,下一帧的手势图像处理结果将不会进行响应。当前一次点击完成,鼠标进入自由状态后,互斥变量推出临界区,此时,下一帧的手势图像操作的处理结果才会正常响应。
(2)本发明采用智能算法处理过程中加入了判别预处理模块,对于手势图像的单一处理问题进行改进。手势图像的单一处理问题指的是:由于图像只能每隔一帧处理一次,所以需要解决鼠标的原点坐标的跳度的问题,即鼠标会出现卡顿和跳跃。本发明通过加入预处理模块,获取到前一帧的鼠标所在坐标,在新的一帧处理时,将鼠标坐标移动到新的坐标点,当我们把每一帧的采集频率缩小时,这个鼠标跳度问题就得到了很好的解决。
(3)本发明通过加入智能算法处理,让用户使用手势图像进行操作的过程完整以及流畅,达到了很好的人机交互的水平。
附图说明
图1为本发明实施例中基于手势人机交互流程图。
图2为本发明中利用mediapipe模型得到的手掌关键节点分布图。
图3-图6为本发明测试结果示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的阐述。
实施例:
参照图1,本发明基于图像处理的智能手势交互方法,主要包括以下步骤:
(1)采用OpenCV技术监听摄像头获取手势交互视频流,对交互视频流进行每一帧的截取,以10毫秒为间隔截取一帧作为手势交互图像输入。
(2)采用Mediapipe模型对输入的那一帧的手势图像做处理,将手势图像中手掌以及手指的关键节点标注出来。其中Mediapipe模式是谷歌公司开源的并用来跟踪手势的模型。本方案对手势图像上进行识别并获取到手掌以及手指所在的具体位置。Mediapipe模型的具体训练过程是:
首先给定大量的手势图像数据集,为了能够获得更好的识别效果,需要对手势图像数据进行预处理,手势图像的预处理即进行图像的滤波操作,过滤掉不重要信息和干扰部分。采用图像平滑技术,先对手势图像进行全局处理,除去图像中的噪声部分。中值滤波是非线性滤波的一种,其原理是将序列或数字图像中的一个点的值替换为场中每个点的中值,得到一张低噪声图片。数字图像中值的定义为yij=Mid{xij}=Mid{X(i+r),(j+s),(r,s)∈A,(i,j)∈I2},式中,(Xij,(i,j)∈I2)代表图像各点的灰度值;A表示滤波窗口;yij表示在A中选取的Xij中值。
将处理完成的数据集通过图像变换操作将手势图像数据统一处理224*224的3个通道格式。然后对数据集进行划分,采用0.8和0.2的比例进行数据划分操作,得到训练手势图片集和验证手势图片集。
其次,在手势识别过程中,摄像头采集到的手势图像包括了复杂的背景,为了消除这些复杂背景的影响,这里通过yolo目标检测方式对原始数据集进行训练,通过对锚框进行调整得到合适检测模型,用来检测手掌在手势图片中的位置。
最后,Mediapipe通过将Object Detection和Box Tracking结合创建一个对象检测与追踪管道,提供了基于实例的追踪,即对象ID能够在多帧中维持。这样不仅可以跟踪到手掌以及手指的每个关键节点,同时为移动设备保持管道轻巧和实时。
在本实施例中,Mediapipe对输入的手势图像进行处理的具体过程是:
Mediapipe结合OpenCV技术,对摄像头进行监控,通过对视频流中的每一帧做监听,追踪手势图像的每一帧中的手掌所在位置。
然后对手掌进行刻画操作,将手掌和手指的21个关键节点和骨架刻画出来,并将每个关键点的3维空间坐标返回。
标注完成的手掌关键节点分布图如图1所示。
(3)根据上一步骤得到的手势图像中每个关键节点的位置计算出每个关键节点在当前手势图像中的具体坐标。以左上角的点为原点,记为O(0,0),以向右和向下的方向作为x轴和y轴的正方向。本实施实例中每个关键节点的具体计算过程是:
首先,获取到每个节点在横轴和纵轴上的百分比,记为x和y。
然后,获取到当前输入手势图像数据的宽和高,记为w和h。
最后,计算每个坐标点在手势图像中的对应坐标,计算公式是:point_x=x×w,point_y=y×h。
(4)通过对上一步骤中得到的具体坐标进行坐标变换,将变换后的坐标投影到屏幕上,得到了每个关键节点在屏幕中的具体坐标,并将大拇指的指尖节点作为鼠标原点。本实施实例中具体的坐标变换过程是:
首先得到大拇指指尖的坐标,记为mouse(x4,y4),同时获取到屏幕的宽w1和高h1。
假设手势图片的宽为w2,高为h2,坐标变换后的鼠标在屏幕上的投影坐标为(x,y)=((1-(x4/w2))×w1),(y4/h2)×h1)。
(5)通过对每根手指上的关键节点和掌心节点进行几何计算,判断每根手指的开合状态。本实施例中几何计算的具体过程是:
首先根据计算得到关键节点在手势图片中的坐标,一共有21个点,即存在21组坐标,记为(x0,y0)到(x20,y20)。
假设每根手指的指尖坐标为(x2,y2),每根手指弯曲处的那个节点的坐标为(x1,y1),掌心节点的坐标为(x0,y0),当(x1,y1)与(x0,y0)之间的几何距离大于(x2,y2)与(x0,y0)之间的几何距离,判定当前手指进入了弯曲状态;否则,手指就是张开状态。
(6)根据上一步骤得到的手势交互过程中的手指的开合状态来模拟鼠标的左键、右键等操作过程。本实施实例中模拟鼠标操作的具体过程是:
将大拇指指尖节点记为鼠标的原点,记作mouse(x0,y0)。
当大拇指、食指和中指张开时,当前阶段记为鼠标移动阶段。
当食指进行点击弯曲时,食指进入闭合状态,当前阶段记为鼠标点击阶段。
当中指进行点击弯曲时,中指进入闭合状态,当前阶段记为鼠标右击阶段。
当食指弯曲超过0.5秒,当前阶段记为鼠标拖拽阶段。
当食指和中指同时弯曲时,食指和中指同时进入闭合状态,当前阶段记为双击阶段。
当5根手指全部张开,5根手指同时处于张开状态,当前阶段记为滑轮下滑阶段或者放大阶段。
当5根手指全部紧闭,5根手指同时进入闭合状态,当前阶段记为滑轮上滑阶段或者缩小阶段。
(7)通过判别预处理模块,获取上一帧的手势图像中的鼠标原点位置,然后将当前鼠标移动到上一次的鼠标原点位置。
(8)根据互斥变量交替使用操作鼠标的权限,只有当上一次操作过程完全结束后,下一次鼠标操作才会正常响应。
Claims (5)
1.一种基于图像处理的智能手势交互方法,包括如下步骤:
(1)采用OpenCV技术监听摄像头获取手势交互视频流,对交互视频流进行每一帧的截取,以10毫秒为间隔截取一帧作为手势交互图像输入;
(2)采用Mediapipe模型对输入的那一帧的手势图像做处理,将手势图像中手掌以及手指的关键节点标注出来;
(3)根据步骤(2)得到的手势图像中每个关键节点的位置计算出每个关键节点在当前手势图像中的具体坐标,以左上角的点为原点,记为O(0,0),以向右和向下的方向作为x轴和y轴的正方向;
(4)通过对步骤(3)中得到的具体坐标进行坐标变换,将变换后的坐标投影到屏幕上,得到了每个关键节点在屏幕中的具体坐标,并将大拇指的指尖节点作为鼠标原点;
(5)通过对每根手指上的关键节点和掌心节点进行几何计算,判断每根手指的开合状态;
(6)根据步骤(5)得到的手势交互过程中的手指的开合状态,模拟鼠标的左键、右键操作过程;
(7)通过判别预处理模块,获取上一帧的手势图像中的鼠标原点位置,然后将当前鼠标移动到上一次的鼠标原点位置;
(8)根据互斥变量交替使用操作鼠标的权限,只有当上一次操作过程完全结束后,下一次鼠标操作才会正常响应。
2.根据权利要求1所述的智能手势交互方法,其特征是:步骤(2)所述的Mediapipe模型的操作过程是:
1)结合OpenCV技术,对摄像头进行监控,通过对视频流中的每一帧做监听,追踪手势图像的每一帧中的手掌所在位置;
2)对手掌进行刻画操作,将手掌和手指的21个关键节点和骨架刻画出来,并将每个关键点的3维空间坐标返回。
3.根据权利要求1所述的智能手势交互方法,其特征是:步骤(4)所述的坐标变换过程是:
首先得到大拇指指尖的坐标,记为mouse(x4,y4),同时获取到屏幕的宽w1和高h1;假设手势图片的宽为w2,高为h2,坐标变换后的鼠标在屏幕上的投影坐标为(x,y)=((1-(x4/w2))×w1),(y4/h2)×h1)。
4.根据权利要求1所述的智能手势交互方法,其特征是:步骤(5)所述的几何计算过程是:
根据计算得到关键节点在手势图片中的坐标,一共有21个点,即存在21组坐标,记为(x0,y0)到(x20,y20);假设每根手指的指尖坐标为(x2,y2),每根手指弯曲处的那个节点的坐标为(x1,y1),掌心节点的坐标为(x0,y0),当(x1,y1)与(x0,y0)之间的几何距离大于(x2,y2)与(x0,y0)之间的几何距离,判定当前手指进入了弯曲状态;否则,手指就是张开状态:
5.根据权利要求1所述的智能手势交互方法,其特征是:步骤(6)所述的根据手指开合状态模拟鼠标的操作过程是:
将大拇指指尖节点记为鼠标的原点,记作mouse(x0,y0);
当大拇指、食指和中指张开时,当前阶段记为鼠标移动阶段;
当食指进行点击弯曲时,食指进入闭合状态,当前阶段记为鼠标点击阶段;
当中指进行点击弯曲时,中指进入闭合状态,当前阶段记为鼠标右击阶段;
当食指弯曲超过0.5秒,当前阶段记为鼠标拖拽阶段;
当食指和中指同时弯曲时,食指和中指同时进入闭合状态,当前阶段记为双击阶段;
当5根手指全部张开,5根手指同时处于张开状态,当前阶段记为滑轮下滑阶段或者放大阶段;
当5根手指全部紧闭,5根手指同时进入闭合状态,当前阶段记为滑轮上滑阶段或者缩小阶段。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210599145.2A CN114967927B (zh) | 2022-05-30 | 2022-05-30 | 一种基于图像处理的智能手势交互方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210599145.2A CN114967927B (zh) | 2022-05-30 | 2022-05-30 | 一种基于图像处理的智能手势交互方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114967927A CN114967927A (zh) | 2022-08-30 |
CN114967927B true CN114967927B (zh) | 2024-04-16 |
Family
ID=82958633
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210599145.2A Active CN114967927B (zh) | 2022-05-30 | 2022-05-30 | 一种基于图像处理的智能手势交互方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114967927B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101344816A (zh) * | 2008-08-15 | 2009-01-14 | 华南理工大学 | 基于视线跟踪和手势识别的人机交互方法及装置 |
CN102193631A (zh) * | 2011-05-05 | 2011-09-21 | 上海大学 | 可穿戴式三维手势交互系统及其使用方法 |
WO2012034469A1 (zh) * | 2010-09-17 | 2012-03-22 | 腾讯科技(深圳)有限公司 | 基于手势的人机交互方法及系统、计算机存储介质 |
CN102981742A (zh) * | 2012-11-28 | 2013-03-20 | 无锡市爱福瑞科技发展有限公司 | 基于计算机视觉的手势交互系统 |
KR102052449B1 (ko) * | 2019-01-14 | 2019-12-05 | 전남대학교산학협력단 | 가상 마우스 시스템 및 그 제어 방법 |
CN110569817A (zh) * | 2019-09-12 | 2019-12-13 | 北京邮电大学 | 基于视觉实现手势识别的系统和方法 |
CN114445853A (zh) * | 2021-12-23 | 2022-05-06 | 北京时代民芯科技有限公司 | 一种视觉手势识别系统识别方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009128064A2 (en) * | 2008-04-14 | 2009-10-22 | Pointgrab Ltd. | Vision based pointing device emulation |
TWI366780B (en) * | 2008-05-16 | 2012-06-21 | Tatung Co | A video based apparatus and method for controlling the cursor |
US8390577B2 (en) * | 2008-07-25 | 2013-03-05 | Intuilab | Continuous recognition of multi-touch gestures |
-
2022
- 2022-05-30 CN CN202210599145.2A patent/CN114967927B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101344816A (zh) * | 2008-08-15 | 2009-01-14 | 华南理工大学 | 基于视线跟踪和手势识别的人机交互方法及装置 |
WO2012034469A1 (zh) * | 2010-09-17 | 2012-03-22 | 腾讯科技(深圳)有限公司 | 基于手势的人机交互方法及系统、计算机存储介质 |
CN102193631A (zh) * | 2011-05-05 | 2011-09-21 | 上海大学 | 可穿戴式三维手势交互系统及其使用方法 |
CN102981742A (zh) * | 2012-11-28 | 2013-03-20 | 无锡市爱福瑞科技发展有限公司 | 基于计算机视觉的手势交互系统 |
KR102052449B1 (ko) * | 2019-01-14 | 2019-12-05 | 전남대학교산학협력단 | 가상 마우스 시스템 및 그 제어 방법 |
CN110569817A (zh) * | 2019-09-12 | 2019-12-13 | 北京邮电大学 | 基于视觉实现手势识别的系统和方法 |
CN114445853A (zh) * | 2021-12-23 | 2022-05-06 | 北京时代民芯科技有限公司 | 一种视觉手势识别系统识别方法 |
Non-Patent Citations (2)
Title |
---|
人机交互过程中数字手势的识别方法;贾丙佳;李平;;华侨大学学报(自然科学版);20200320(02);全文 * |
基于投影仪摄像机系统的人机交互关键技术研究;吕昊;张成元;;科学技术创新;20200405(10);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114967927A (zh) | 2022-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102831439B (zh) | 手势跟踪方法及系统 | |
WO2010006087A9 (en) | Process for providing and editing instructions, data, data structures, and algorithms in a computer system | |
CN111680594A (zh) | 一种基于手势识别的增强现实交互方法 | |
Kumar et al. | Mouse simulation using two coloured tapes | |
Chua et al. | Hand gesture control for human–computer interaction with Deep Learning | |
CN102520794B (zh) | 手势辨识系统及方法 | |
EP2618237B1 (en) | Gesture-based human-computer interaction method and system, and computer storage media | |
Ueng et al. | Vision based multi-user human computer interaction | |
CN114967927B (zh) | 一种基于图像处理的智能手势交互方法 | |
Khan et al. | Computer vision based mouse control using object detection and marker motion tracking | |
US20220050528A1 (en) | Electronic device for simulating a mouse | |
Annachhatre et al. | Virtual Mouse Using Hand Gesture Recognition-A Systematic Literature Review | |
Lech et al. | Virtual Whiteboard: A gesture-controlled pen-free tool emulating school whiteboard | |
US20230169399A1 (en) | System and methods for robotic process automation | |
Sangtani et al. | Artificial Intelligence Virtual Mouse using Hand Gesture | |
Lech et al. | Hand gesture recognition supported by fuzzy rules and Kalman filters | |
Basak et al. | A vision interface framework for intuitive gesture recognition using color based blob detection | |
Parihar et al. | Hand Gesture Recognition: A Review | |
Kavitha et al. | Simulated Mouse Mechanism using Hand Movement Signals | |
Chandra Gope | Hand tracking and hand gesture recognition for human computer interaction | |
Patil et al. | Mouse on Finger Tips using ML and AI | |
Bested et al. | A social interactive whiteboard system using finger-tracking for mobile devices | |
Suriya et al. | An Efficient Artificial Intelligence based Human-Machine Interaction System | |
Jayasathyan et al. | Implementation of Real Time Virtual Clicking using OpenCV | |
Wensheng et al. | Implementation of virtual mouse based on machine vision |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |