CN113589928B - 一种面向智能电视的手势识别方法 - Google Patents
一种面向智能电视的手势识别方法 Download PDFInfo
- Publication number
- CN113589928B CN113589928B CN202110847142.1A CN202110847142A CN113589928B CN 113589928 B CN113589928 B CN 113589928B CN 202110847142 A CN202110847142 A CN 202110847142A CN 113589928 B CN113589928 B CN 113589928B
- Authority
- CN
- China
- Prior art keywords
- hand
- image
- palm
- detection
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000001514 detection method Methods 0.000 claims abstract description 71
- 238000004458 analytical method Methods 0.000 claims abstract description 23
- 239000013598 vector Substances 0.000 claims description 24
- 238000006243 chemical reaction Methods 0.000 claims description 19
- 238000007667 floating Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 11
- 210000003857 wrist joint Anatomy 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000005452 bending Methods 0.000 claims description 3
- 210000001145 finger joint Anatomy 0.000 claims description 3
- 210000000811 metacarpophalangeal joint Anatomy 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000009877 rendering Methods 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 210000000707 wrist Anatomy 0.000 claims description 3
- 241000203475 Neopanax arboreus Species 0.000 claims description 2
- 230000003993 interaction Effects 0.000 abstract description 9
- 230000000694 effects Effects 0.000 abstract description 5
- 238000011897 real-time detection Methods 0.000 abstract description 3
- 210000003811 finger Anatomy 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000004247 hand Anatomy 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种面向智能电视的手势识别方法，包含以下步骤：手掌检测，摄像头实时采集视频流并分解成图像帧，手掌检测模型读取第一帧图像并检测返回一个包含手掌的手部边界框；手部关键点检测与标记，手部关键点检测与标记模型对手部边界框覆盖区域进行检测，并返回手部21个关键点的三维坐标；手掌跟踪，得到第一帧图像的手部边界框后产生一个手掌跟踪器，在图像帧之间追踪手掌；手势分类，手部21个关键点输入关键点分析模型中分析并返回手势识别结果。本发明可以解脱用户自身，用户不需要多余设备即可享受较好的交互效果，成本低，只需要采用普通摄像头即可，并且具有很高的识别精度，模型实时检测性能好。
Description
技术领域
本发明涉及一种手势识别方法，特别是一种面向智能电视的手势识别方法，属于智能电视技术领域。
背景技术
智能电视因为功能的增加，操控体验成为一个发展瓶颈。厂商需要开发出更加自然、更加方便的人机交互方式，诸如语音控制、动作识别等新型交互方式，以满足市场需求。动作识别技术是由手型、身体动作辅以表情姿势为符号构成的动作识别的一种技术，是人机交互模式识别领域的一项重要研究内容。
目前基于手势的动作识别主要有三种方式，一是麻省理工大学为代表的，利用数据手套、数据服装等装置，对手和身体的运动进行跟踪，完成人机交互；第二种是以微软为代表的体感游戏，它采用深度摄像头和RGB摄像头来实现手和身体的位置跟踪。前面两种技术方式都具有高成本的特点，不适于企业，特别是竞争激烈的家电企业的广泛应用。第三种是业内众所周知的HandVu，它以普通摄像头为研究的对象，具有成本低、实时性能好等优点。通过分析目前市场上一些新型遥控器，如基于加速度传感器的动作识别、遥控键盘鼠标及视频动作识别等，发现它们都存在一些问题，如精度不足、操作复杂或技术还不成熟等。
发明内容
本发明所要解决的技术问题是提供一种面向智能电视的手势识别方法，提高智能电视手势识别的速度和精度。
为解决上述技术问题，本发明所采用的技术方案是：
一种面向智能电视的手势识别方法，其特征在于包含以下步骤：
手掌检测，摄像头实时采集视频流并分解成图像帧，手掌检测模型读取第一帧图像并检测返回一个包含手掌的手部边界框；
手部关键点检测与标记，手部关键点检测与标记模型对手部边界框覆盖区域进行检测，并返回手部21个关键点的三维坐标；
手掌跟踪，得到第一帧图像的手部边界框后产生一个手掌跟踪器，在图像帧之间追踪手掌；
手势分类，手部21个关键点输入关键点分析模型中分析并返回手势识别结果。
进一步地，所述手掌检测模型、手部关键点检测与标记模型、手掌跟踪器和关键点分析模型之间相互独立并基于MediaPipe的ML管道协同工作。
进一步地，所述手掌检测模型检测的过程为：
摄像头实时采集视频流并分离成图像帧传入GPU通道中，图像帧进入图像处理单元；
在自拍模型模式下，图像帧被水平翻转，然后图像帧进入子图手掌检测单元进行手掌检测，输出归一化的矩形和检测值；
矩形转渲染数据单元和检测值转渲染数据单元分别将归一化的矩形和检测值转成渲染数据送到注释覆盖单元；
注释覆盖单元把归一化矩形和检测值的渲染数据以注释的方式覆盖到水平翻转的图像上，输出该图像帧，完成手掌检测。
进一步地，所述手部关键点检测与标记模型检测的过程为：
图像帧流入手部关键点检测与标记模型，运算单元从图像帧中裁剪出矩形区域，并将其按图像方式发送给图像转换单元；
图像转换单元把输入图像的大小缩放成256×256；缩放后的图像传入关键点推理模型得到包含检测框、手部关键点的位置以及对应的分数信息的TfLite张量；
分离TFLite张量向量计算单元根据选项中指定的范围，将TFLite张量的一个向量拆分为多个向量，包括关键点张量、手部标志张量以及惯用手张量，然后将以上三个张量将传入相对应的转换单元；
关键点字母框移除单元将字母框手部图像上的关键点调整到移除字母框的同一张图像上的相应位置；
在获得了未经变换的坐标值和手部归一化矩形情况下，关键点投影单元将裁剪后的手部图像中的手部关键点投影到完整图像上的相应位置；
拆分归一化化关键点列表单元从手部关键点中提取一个子集，包括腕关节以及其他五指的掌指关节和近端指尖关节，通过该子集来计算边缘框，随后边缘框逐步扩大到包含整个手部；
手部关键点转矩形单元将手部关键点转换为包围手部的矩形，该单元使用从上一个单元中提取所有手部关键点的子集来计算边缘框和输出矩形的旋转向量；
矩形转换单元扩大手部矩形以至于能够包含整个手，并且使其足够大。
进一步地，所述转换单元包含：
TFLite张量转分类单元将惯用手张量转换为一个浮点数，并将其作为惯用手二元分类的分数；
TFLite张量转浮点数将手部标志张量转换为浮点数，用于表示手部存在的置信度分数，随后通过阈值单元来判断手部的存在性；
TFLite张量转关键点单元将关键点张量转换成关键点列表，列表中包含21个关键点，其中关键点的实际位置信息通过图像大小进行归一化处理。
进一步地，所述图像转换单元转化成256×256时，缩放模式设置成适配以保留纵横比，同时在变换后的图像中产生潜在的字母框。
进一步地，所述手掌跟踪器追踪过程为：
手掌跟踪器在图像帧之间检测手部关键检测与标记模型产生的手部矩形框，当手部矩形框丢失了手掌目标时，重新启动手掌检测，否则一直沿用当前手部矩形框区域。
进一步地，所述关键点分析模型的分析过程为：
关键点分析模型基于关节、手指和手腕的位置进行手势分类；关键点分析模型得到每个手势下手部的21个关键点坐标数据集，然后计算并统计手腕点到关节的向量和关节到关节的向量的夹角，以此来描述该种手势下手指的弯曲程度；同时结合关键点相对距离比对环节，比对特征关键点的归一化距离，完成手势分类。
本发明与现有技术相比，具有以下优点和效果：本发明的一种面向智能电视的手势识别方法可以解脱用户自身，用户不需要多余设备即可享受较好的交互效果，成本低，只需要采用普通摄像头即可，并且具有很高的识别精度，模型实时检测性能好；本发明能够有效识别出指定的7种手势，在测试集中平均精度均值（mean Average Precision）达到96.40%，而且识别速度能够达到30 FPS以上，具备较好的实时性，同时，由于MediaPipe的体积小，易移植，易部署，使得本文的模型完成识别任务，有效提高用户与智能电视交互体验。
附图说明
图1是本发明的一种面向智能电视的手势识别方法的流程图。
图2是本发明实施例的21个手部关键点的名称与位置示意图。
图3是本发明实施例的手掌检测结果示意图。
图4是本发明实施例的手掌追踪示意图。
图5是本发明实施例的手势识别结果图。
具体实施方式
为了详细阐述本发明为达到预定技术目的而所采取的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清晰、完整地描述，显然，所描述的实施例仅仅是本发明的部分实施例，而不是全部的实施例，并且，在不付出创造性劳动的前提下，本发明的实施例中的技术手段或技术特征可以替换，下面将参考附图并结合实施例来详细说明本发明。
如图1所示，本发明的一种面向智能电视的手势识别方法，包含以下步骤：
手掌检测，摄像头实时采集视频流并分解成图像帧，手掌检测模型Palm Detector从GPU通道读取第一帧图像并检测返回一个包含手掌的手部边界框Hand Bounding Box。
手掌检测模型检测的过程为：
相机或者摄像头实时采集视频流并分离成图像帧传入GPU通道中，图像帧进入图像处理单元ImageTransformation；
在自拍模型模式下，图像帧被水平翻转，然后图像帧进入子图手掌检测单元HandDetection进行手掌检测，输出归一化的矩形Normalized Rects和检测值Detections；
矩形转渲染数据单元RectToRenderData和检测值转渲染数据单元DetectionsToRenderData分别将归一化的矩形Normalized Rects和检测值Detections转成渲染数据送到注释覆盖单元AnnotationOverlay；
注释覆盖单元AnnotationOverlay把归一化矩形和检测值的渲染数据（即绘图数据）以注释的方式覆盖到水平翻转的图像上，执行成功之后输出该图像帧，完成手掌检测。如图3所示，内框为手掌检测结果，外框为非归一化状态下的矩形。
手部关键点检测与标记，手部关键点检测与标记模型对手部边界框覆盖区域进行检测，并返回手部21个关键点的三维坐标；手部21个关键点的三维坐标和位置如图2所示。
手部关键点检测与标记模型检测的过程为：
图像帧流入手部关键点检测与标记模型，运算单元从图像帧中裁剪出矩形区域，并将其按图像方式发送给图像转换单元ImageTransformation；
接收到图像后，图像转换单元ImageTransformation把输入图像的大小缩放成256×256；在缩放图像的时候，缩放模式设置成适配以保留纵横比，同时在变换后的图像中产生潜在的字母框。缩放后的图像传入关键点推理模型TfLiteWebGlInference得到包含检测框、手部关键点的位置以及对应的分数信息的TfLite张量；
分离TFLite张量向量计算单元根据选项中指定的范围，将TFLite张量的一个向量拆分为多个向量，包括关键点张量、手部标志张量以及惯用手张量，然后将以上三个张量将传入相对应的转换单元；
其中转换单元包含：
TFLite张量转分类单元TfLiteTensorsToClassification将惯用手张量转换为一个浮点数，并将其作为惯用手二元分类的分数；
TFLite张量转浮点数TfLiteTensorsToFloats将手部标志张量转换为浮点数，用于表示手部存在的置信度分数，随后通过阈值单元Thresholding来判断手部的存在性，其中默认阈值为0.5，且该值可被调整以适应不同情况；
TFLite张量转关键点单元TfLiteTensorsToLandmarks将关键点张量转换成关键点列表，列表中包含21个关键点，其位置与名称信息如图 2所示，其中关键点的实际位置信息通过图像大小进行归一化处理。
关键点字母框移除单元LandmarkLetterboxRemoval将字母框手部图像上的关键点调整到移除字母框的同一张图像上的相应位置；其中有字母框的手部图像是经过适配模式调整后所得，关键点也经过了归一化处理，而移除了字母框的图像就是在经过图像变换单元之前的图像；
在获得了未经变换的坐标值和手部归一化矩形情况下，关键点投影单元LandmarkProjection将裁剪后的手部图像中的手部关键点投影到完整图像上的相应位置；
拆分归一化化关键点列表单元Split Normalized Landmark sList从手部关键点中提取一个子集，该子集如图2所示的0号、2号、5号、6号、9号、10号、13号、14号、17和18号，包括腕关节以及其他五指的掌指关节和近端指尖关节，通过该子集来计算边缘框，随后边缘框逐步扩大到包含整个手部；通过该种方式，在面对手部大小变化时，边缘框计算效果可以保持较好的鲁棒性。
手部关键点转矩形HandLandmarksToRect单元将手部关键点转换为包围手部的矩形，该单元使用从上一个单元中提取所有手部关键点的子集来计算边缘框和输出矩形的旋转向量；
矩形转换单元RectTransformation扩大手部矩形以至于能够包含整个手，并且使其足够大。这样即使在下一个视频帧中手部有运动，它也仍有可能包含手部。
手掌跟踪，得到第一帧图像的手部边界框后产生一个手掌跟踪器，在图像帧之间追踪手掌；直到手掌跟踪器丢失手掌目标后，图像帧才会重新进入手掌检测模型中，进行手掌检测产生新的手部边界框，以便减少手掌检测的次数，提高效率。
手掌跟踪器追踪过程为：
由于在图像帧中持续对手部进行检测需要耗费大量时间，为了提高实时状态下对手部识别效率，则需要在图像帧中减少手部检测模型的使用。因此，在进行手部检测工作前设置一个手部追踪器，可以很大程度上减少手部检测模型在图像帧上进行检测的次数。如图4所示，手掌跟踪器在图像帧之间检测手部关键检测与标记模型产生的手部矩形框，当手部矩形框丢失了手掌目标时，重新启动手掌检测，否则一直沿用当前手部矩形框区域。
手势分类，手部21个关键点输入关键点分析模型中分析并返回手势识别结果。
关键点分析模型的分析过程为：
关键点分析模型基于关节、手指和手腕的位置进行手势分类；关键点分析模型得到每个手势下手部的21个关键点坐标数据集，然后计算并统计手腕点到关节的向量和关节到关节的向量的夹角，以此来描述该种手势下手指的弯曲程度；例如拇指的夹角，如图2所示中的编号0指向编号2构成其中一个向量，编号3指向编号4构成另一个向量，求解两个向量的夹角即可。同时结合关键点相对距离比对环节，主要比对特征关键点的归一化距离，例如检测食指指尖和拇指指尖。根据以上信息，完成手势分类。如图5所示为手势识别的结果展示。
手掌检测模型、手部关键点检测与标记模型、手掌跟踪器和关键点分析模型之间相互独立并基于MediaPipe的ML管道协同工作。
本发明的一种面向智能电视的手势识别方法可以解脱用户自身，用户不需要多余设备即可享受较好的交互效果，成本低，只需要采用普通摄像头即可，并且具有很高的识别精度，模型实时检测性能好；本发明能够有效识别出指定的7种手势，在测试集中平均精度均值（mean Average Precision）达到96.40%，而且识别速度能够达到30 FPS以上，具备较好的实时性，同时，由于MediaPipe的体积小，易移植，易部署，使得本文的模型完成识别任务，有效提高用户与智能电视交互体验。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。
Claims (6)
1.一种面向智能电视的手势识别方法，其特征在于包含以下步骤：
手掌检测，摄像头实时采集视频流并分解成图像帧，手掌检测模型读取第一帧图像并检测返回一个包含手掌的手部边界框；
手部关键点检测与标记，手部关键点检测与标记模型对手部边界框覆盖区域进行检测，并返回手部21个关键点的三维坐标；
手掌跟踪，得到第一帧图像的手部边界框后产生一个手掌跟踪器，在图像帧之间追踪手掌；
手势分类，手部21个关键点输入关键点分析模型中分析并返回手势识别结果；
所述手掌检测模型检测的过程为：
摄像头实时采集视频流并分离成图像帧传入GPU通道中，图像帧进入图像处理单元；
在自拍模型模式下，图像帧被水平翻转，然后图像帧进入子图手掌检测单元进行手掌检测，输出归一化的矩形和检测值；
矩形转渲染数据单元和检测值转渲染数据单元分别将归一化的矩形和检测值转成渲染数据送到注释覆盖单元；
注释覆盖单元把归一化矩形和检测值的渲染数据以注释的方式覆盖到水平翻转的图像上，输出该图像帧，完成手掌检测；
所述手部关键点检测与标记模型检测的过程为：
图像帧流入手部关键点检测与标记模型，运算单元从图像帧中裁剪出矩形区域，并将其按图像方式发送给图像转换单元；
图像转换单元把输入图像的大小缩放成256×256；缩放后的图像传入关键点推理模型得到包含检测框、手部关键点的位置以及对应的分数信息的TfLite张量；
分离TFLite张量向量计算单元根据选项中指定的范围，将TFLite张量的一个向量拆分为多个向量，包括关键点张量、手部标志张量以及惯用手张量，然后将以上三个张量将传入相对应的转换单元；
关键点字母框移除单元将字母框手部图像上的关键点调整到移除字母框的同一张图像上的相应位置；
在获得了未经变换的坐标值和手部归一化矩形情况下，关键点投影单元将裁剪后的手部图像中的手部关键点投影到完整图像上的相应位置；
拆分归一化化关键点列表单元从手部关键点中提取一个子集，包括腕关节以及其他五指的掌指关节和近端指尖关节，通过该子集来计算边缘框，随后边缘框逐步扩大到包含整个手部；
手部关键点转矩形单元将手部关键点转换为包围手部的矩形，该单元使用从上一个单元中提取所有手部关键点的子集来计算边缘框和输出矩形的旋转向量；
矩形转换单元扩大手部矩形以至于能够包含整个手，并且使其足够大。
2.根据权利要求1所述的一种面向智能电视的手势识别方法，其特征在于：所述手掌检测模型、手部关键点检测与标记模型、手掌跟踪器和关键点分析模型之间相互独立并基于MediaPipe的ML管道协同工作。
3.根据权利要求1所述的一种面向智能电视的手势识别方法，其特征在于：所述转换单元包含：
TFLite张量转分类单元将惯用手张量转换为一个浮点数，并将其作为惯用手二元分类的分数；
TFLite张量转浮点数将手部标志张量转换为浮点数，用于表示手部存在的置信度分数，随后通过阈值单元来判断手部的存在性；
TFLite张量转关键点单元将关键点张量转换成关键点列表，列表中包含21个关键点，其中关键点的实际位置信息通过图像大小进行归一化处理。
4.根据权利要求1所述的一种面向智能电视的手势识别方法，其特征在于：所述图像转换单元转化成256×256时，缩放模式设置成适配以保留纵横比，同时在变换后的图像中产生潜在的字母框。
5.根据权利要求1所述的一种面向智能电视的手势识别方法，其特征在于：所述手掌跟踪器追踪过程为：
手掌跟踪器在图像帧之间检测手部关键检测与标记模型产生的手部矩形框，当手部矩形框丢失了手掌目标时，重新启动手掌检测 ，否则一直沿用当前手部矩形框区域。
6.根据权利要求1所述的一种面向智能电视的手势识别方法，其特征在于：所述关键点分析模型的分析过程为：
关键点分析模型基于关节、手指和手腕的位置进行手势分类；关键点分析模型得到每个手势下手部的21个关键点坐标数据集，然后计算并统计手腕点到关节的向量和关节到关节的向量的夹角，以此来描述该种手势下手指的弯曲程度；同时结合关键点相对距离比对环节，比对特征关键点的归一化距离，完成手势分类。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110847142.1A CN113589928B (zh) | 2021-07-27 | 2021-07-27 | 一种面向智能电视的手势识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110847142.1A CN113589928B (zh) | 2021-07-27 | 2021-07-27 | 一种面向智能电视的手势识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113589928A CN113589928A (zh) | 2021-11-02 |
| CN113589928B true CN113589928B (zh) | 2023-11-24 |
Family
ID=78250281
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110847142.1A Active CN113589928B (zh) | 2021-07-27 | 2021-07-27 | 一种面向智能电视的手势识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113589928B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114581535B (zh) * | 2022-03-03 | 2023-04-18 | 北京深光科技有限公司 | 图像中用户骨关键点标注方法、装置、存储介质及设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012058854A (ja) * | 2010-09-06 | 2012-03-22 | Nippon Telegr & Teleph Corp <Ntt> | ジェスチャ認識装置及び方法 |
| CN108431736A (zh) * | 2015-10-30 | 2018-08-21 | 奥斯坦多科技公司 | 用于身体上姿势接口以及投影显示的系统和方法 |
| CN207788956U (zh) * | 2018-01-29 | 2018-08-31 | 东莞理工学院 | 一种基于手势识别并应用于教学示范的六轴机械手 |
| KR102195401B1 (ko) * | 2020-10-07 | 2020-12-24 | (주)멀틱스 | Rgb 키포인트 매트릭스 이미지를 이용한 딥러닝 기반 실시간 수어 영상 스트림 인식 방법 |
| CN112183424A (zh) * | 2020-10-12 | 2021-01-05 | 北京华严互娱科技有限公司 | 一种基于视频的实时手部追踪方法和系统 |
| CN112684887A (zh) * | 2020-12-28 | 2021-04-20 | 展讯通信（上海）有限公司 | 应用设备及其隔空手势识别方法 |
| CN112784810A (zh) * | 2021-02-08 | 2021-05-11 | 风变科技（深圳）有限公司 | 手势识别方法、装置、计算机设备和存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10740694B2 (en) * | 2018-08-10 | 2020-08-11 | Vis Machina Inc. | System and method for capture and adaptive data generation for training for machine vision |
| CN112767300B (zh) * | 2019-10-18 | 2024-07-09 | 宏达国际电子股份有限公司 | 自动生成手部的标注数据的方法和计算骨骼长度的方法 |
| US11182909B2 (en) * | 2019-12-10 | 2021-11-23 | Google Llc | Scalable real-time hand tracking |
-
2021
- 2021-07-27 CN CN202110847142.1A patent/CN113589928B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012058854A (ja) * | 2010-09-06 | 2012-03-22 | Nippon Telegr & Teleph Corp <Ntt> | ジェスチャ認識装置及び方法 |
| CN108431736A (zh) * | 2015-10-30 | 2018-08-21 | 奥斯坦多科技公司 | 用于身体上姿势接口以及投影显示的系统和方法 |
| CN207788956U (zh) * | 2018-01-29 | 2018-08-31 | 东莞理工学院 | 一种基于手势识别并应用于教学示范的六轴机械手 |
| KR102195401B1 (ko) * | 2020-10-07 | 2020-12-24 | (주)멀틱스 | Rgb 키포인트 매트릭스 이미지를 이용한 딥러닝 기반 실시간 수어 영상 스트림 인식 방법 |
| CN112183424A (zh) * | 2020-10-12 | 2021-01-05 | 北京华严互娱科技有限公司 | 一种基于视频的实时手部追踪方法和系统 |
| CN112684887A (zh) * | 2020-12-28 | 2021-04-20 | 展讯通信（上海）有限公司 | 应用设备及其隔空手势识别方法 |
| CN112784810A (zh) * | 2021-02-08 | 2021-05-11 | 风变科技（深圳）有限公司 | 手势识别方法、装置、计算机设备和存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| 基于图像处理的模具特征区域描述及程序设计;赵晓芳;廖春萍;韩建峰;;东莞理工学院学报(第05期);全文 * |
| 基于机器视觉的金手指外观缺陷检测;刘华珠;林洪军;谢豪聚;吴荣海;;东莞理工学院学报(第01期);全文 * |
| 自平衡机器人视觉语音双重引导运动控制研究;黎小巨;陈洵凛;殷素峰;吴柏霖;谢小鹏;;组合机床与自动化加工技术(第10期);全文 * |
| 视觉手势识别综述;易靖国;程江华;库锡树;;计算机科学(第S1期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113589928A (zh) | 2021-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhou et al. | A novel finger and hand pose estimation technique for real-time hand gesture recognition | |
| CN110569817B (zh) | 基于视觉实现手势识别的系统和方法 | |
| CN103150019A (zh) | 一种手写输入系统及方法 | |
| Zhu et al. | Real-time hand gesture recognition with Kinect for playing racing video games | |
| CN113589928B (zh) | 一种面向智能电视的手势识别方法 | |
| Yousefi et al. | 3D gesture-based interaction for immersive experience in mobile VR | |
| Shin et al. | Hand region extraction and gesture recognition using entropy analysis | |
| CN114792443A (zh) | 一种基于图像识别的智能设备手势识别控制方法 | |
| KR102052449B1 (ko) | 가상 마우스 시스템 및 그 제어 방법 | |
| CN113961067A (zh) | 基于深度学习的非接触式涂鸦绘制方法与识别交互系统 | |
| Yang et al. | An effective robust fingertip detection method for finger writing character recognition system | |
| Choi et al. | RGB-D camera-based hand shape recognition for human-robot interaction | |
| Abdallah et al. | An overview of gesture recognition | |
| Howe et al. | Comparison of hand segmentation methodologies for hand gesture recognition | |
| CN111860086A (zh) | 基于深度神经网络的手势识别方法、装置及系统 | |
| Thomas et al. | A comprehensive review on vision based hand gesture recognition technology | |
| Aggarwal et al. | An Approach to Control the PC with Hand Gesture Recognition using Computer Vision Technique | |
| Mackie et al. | Finger detection with decision trees | |
| Yeh et al. | Sign language recognition system via Kinect: Number and english alphabet | |
| Joseph | Recent Trends and Technologies in Hand Gesture Recognition. | |
| Prabhakar et al. | AI And Hand Gesture Recognition Based Virtual Mouse | |
| Hsieh et al. | Robust visual mouse by motion history image | |
| Singh et al. | Digitized Interaction: A Gesture-Controlled Whiteboard System with OpenCV, MediaPipe and NumPy | |
| Babu et al. | Touchless User Interface for Sketching Using Hand Gesture Recognition | |
| Fang | An intelligent hand gesture extraction and recognition system for home care application |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |