CN107168527A - 基于区域卷积神经网络的第一视角手势识别与交互方法 - Google Patents
基于区域卷积神经网络的第一视角手势识别与交互方法 Download PDFInfo
- Publication number
- CN107168527A CN107168527A CN201710273519.0A CN201710273519A CN107168527A CN 107168527 A CN107168527 A CN 107168527A CN 201710273519 A CN201710273519 A CN 201710273519A CN 107168527 A CN107168527 A CN 107168527A
- Authority
- CN
- China
- Prior art keywords
- gesture
- visual angle
- neural networks
- convolutional neural
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于区域卷积神经网络的第一视角手势识别与交互方法,该方法包括如下步骤:S1、获取训练数据;S2、设计一个基于区域神经网络,在用于手部检测的同时,也用于手势分类与指尖检测,使得神经网络输入为三通道RGB图像,输出为手势区域的外接矩阵左上角坐标和右下角坐标,以及手势类别、手势骨架关键点;S3,判断手势类别,根据不同交互需求输出相应的交互结果。本发明提供了一种完整的第一视角手势识别与交互方法,通过单模型训练与部分网络共享,提高了第一视角下手势识别的识别速度与准确性。
Description
技术领域
本发明属于计算机视觉与机器学习的技术领域,具体涉及一种基于区域卷积神经网络的第一视角手势识别与交互方法。
背景技术
随着许多虚拟现实(Virtual Reality,VR)和增强现实(Augmenting Reality,AR)设备产品的推出,给人机交互方面研究的热度又增加了不少。纵观人体全身,手已经被认为是最重要和普遍的交互工具了。同时,在人机交互领域,手势识别已经是一个很重要的研究方向。而由于AR与VR的兴起,第一视角(Egocentric Vision)手势交互技术逐渐受到大家的关注,越来越多的学者及企业也纷纷投入人力物力去做相应的研究与开发。
第一视角的手势交互主要涉及两个方面,手势识别与骨架关键点定位。本发明将结合手势识别与骨架点定位形成一个综合应用。假设如下场景:用户在佩戴AR/VR设备的情况下,需要与设备中内容做相应交互,可以直接举起手进行特定的手势动作,完成特定的交互操作而无需借助其他外接设备,大大提高了产品的用户体验。
目前,由于数字摄像头的广泛普及,基于图像和视频的手势识别研究已经成为计算机视觉领域的一个重要研究方向之一。各种各样的手势识别的传统方法也早已经被提出来,例如隐马尔科夫模型(HMM)、有限状态机(FSM)、动态贝叶斯网络(DBN)、动态时间规划(DTW)和人工神经网络(ANN)。这些传统方法模型通常是需要人工预定义特征,如尺度不变特征转换(SIFT)、陈特征(SURF)、方向梯度直方图(HOG)、傅里叶描述子等手形特征描述和基于光流、运动跟踪方法的手势运动信息描述,人工选择特征的方法有很大的局限性,通常需要先验知识、经验和大量的手工调整,而且算法模型的识别率容易因为手势操作速度、方向、手形大小的差异产生很大的影响。近年来新起的深度学习技术在特征选择方面可以很好的解决上述问题。深度学习善于处理视觉信息,深度卷积神经网络(CNN)能将图像浅层特征通过层层非线性变化强化为高级深层特征,在各种视觉分类,回归问题均能有极佳的表现。
发明内容
为了克服现有技术存在的上述不足,本发明提出基于区域卷积神经网络的第一视角手势识别与交互方法,以解决第一视角下,动态视频流中手势识别与关键骨节点精准定位问题,并根据手势识别结果及利用骨节点位置信息,实现一套手势交互方案。
为了实现上述的目的,本发明提供如下的技术方案:基于区域卷积神经网络的第一视角手势识别与交互方法,包括以下步骤:
S1、获取包括多种不同第一视角下的手势的训练数据,人工标定训练数据的标签,所述训练数据的标签包括手势区域的外接矩阵左上角坐标和右下角坐标、人工标定的手势类别、人工标定的关键骨架的坐标点;
S2、设计一个基于区域卷积的神经网络,使得神经网络输入为三通道RGB图像,输出为手势区域的外接矩阵左上角坐标和右下角坐标,以及手势类别、手势骨架关键点;
S3、判断手势类别,根据不同需求输出相应的交互结果;
S4、利用手势判别结果进行指令判别,作出相应指令。
优选地,步骤S2所述基于区域卷积的神经网络包括两部分,第一部分为包括卷积层-池化层-卷积层-池化层-卷积层-池化层-全连接层的卷积神经网络CNN模型,用于训练手部检测,第一部分的输入为RGB图像,训练输出为手势区域外接矩阵左上角坐标和右下角坐标;第二部分为包括ROI池化层-卷积层-池化层-卷积层-池化层-全连接层的卷积神经网络CNN模型,输入为第一部分的最后一个池化层图像,并通过第一部分输出手势区域外接矩阵左上角坐标和右下角坐标,在ROI池化层作一致化处理,训练输出为手势类别及关键骨架的坐标位置。
从以上技术方案可知,本发明通过单模型训练与部分网络共享,提高了第一视角下手势识别的识别速度与准确性。与现有技术相比,本发明的有益效果是:
1、将数据格式转为RGB图像,不同于RBGD图像,该数据采集范围大,距离远,可同时使用于室内与室外,在第一视角下的手势识别场景下有很好的表现。
2、通过训练神经网络结构,让神经网络自动去学习对于手势分类有用的时空特征,使得手势识别方法更加鲁棒,手势识别率更加稳定。此外,本发明所使用神经网络模型由于有部分网络共享,相对于目前已有神经网络模型在计算上更加快速。
附图说明
图1为本发明第一视角下手势识别与交互算法流程图;
图2中a、b、c、d、e及f为本发明第一视角下手势类别样本示意图;
图3为本发明中区域卷积神经网络的结构图。
具体实施方式
下面将结合实施例及附图,对本发明的技术方案进行清楚、完整的描述,但本发明的实施方式不限于此。
实施例
如图1所示,本发明基于区域卷积神经网络的第一视角手势识别与交互方法,包括如下步骤:
S1、获取训练数据,人工标定训练数据的标签,标签包括手部区域的前景趋于的左上角点和右下角点,不同手势的骨架节点坐标,以及人工标记的不同手势类别。
获取数据时,将摄像头处于人眼位置,视觉方向与眼睛直视方向一致,持续采集视频流信息并转化为RGB图像,图像包括多种不同手势(如图2的a-f所示)。其中,摄像头为普通2D摄像头,采集图像为普通RGB图像,大小为640*480。训练数据包括多种不同手势,手势均为第一视角下的,其中训练数据的标签包括手势区域的外接矩阵左上角坐标和右下角坐标、人工标定的手势类别、人工标定的关键骨架的坐标点。
S2、设计一个基于区域卷积的神经网络(如图3所示),包括卷积层、池化层的多级组合,以及最后作为输出的全连接层,还有特定的ROI池化层,用于提取池化层中手部的前景区域,使得网络输入为三通道RGB图像,输出为手势区域的外接矩阵左上角坐标和右下角坐标,以及手势类别、手势骨架关键点。
基于区域卷积的神经网络在用于手部检测的同时,也用于手势分类与指尖检测,其在结构上主要包括两部分:
第一部分为一个7层卷积神经网络(CNN模型),用于训练手部检测,输入为三通道RGB图像,训练输出为手势区域外接矩阵左上角坐标和右下角坐标;这一部分7层分别为卷积层-池化层-卷积层-池化层-卷积层-池化层-全连接层,卷积层的作用是用它来对图像进行特征提取;池化层的作用是对卷积层输出的特征图进行压缩,一方面使特征图变小,简化网络计算复杂度,一方面进行特征压缩,提取主要特征;全连接层作用是连接所有的特征,将输出值送给最后分类器,得出最后分类结果,由于第一部分是回归问题,所以无需用到分类器。
第二部分从第一部分CNN模型中的池化层(pool层)取出图层,并通过网络输出的前景外接矩形左上角坐标和右下角坐标,切割出感兴趣区域,从而获得包含手部的前景区域,将该前景区域接入ROI池化层,作用为做一致性处理,使得不同大小的前景图像均能变换成相同大小的前景图像,作为后续网络的输入;后续网络为一个6层的卷积神经网络(CNN模型)用于骨节点检测与手势识别,分别为ROI池化层-卷积层-池化层-卷积层-池化层-全连接层。这里和第一部分不同,由于第二部分是分类问题,所以加上分类器做最后的输出。也就是说,第二部分CNN模型的输入为第一部分CNN模型的最后一个池化层图像,通过第一部分输出手势区域外接矩阵左上角坐标和右下角坐标切割出感兴趣区域,并在ROI池化层作一致化处理,训练输出为手势类别及关键骨节点的坐标位置。
需说明的是,神经网络的两部分模型为一体化模型,共同构成一个网络,一同训练,第一部分模型优化欧氏范数损失函数,第二部分模型优化分段损失函数,通过监督竞争学习的方式得到各层的权值,最后训练得到整个网络的参数权值,用于识别检测手势类别及关键骨节点的坐标位置。
S3、判断手势类别,根据不同需求输出相应的交互结果,若为跟踪需求,则对手势骨架关键点进行双指数滤波与坐标映射,若为判定需求,则对不同手势类别做出相应的判别结果,例如确定、取消等。
S4、利用手势判别结果进行指令判别,作出相应指令。
手势识别方法可适用于增强现实(AR),虚拟现实(VR)等需要第一视角下手势交互场景中。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (5)
1.基于区域卷积神经网络的第一视角手势识别与交互方法,其特征在于,包括以下步骤:
S1、获取包括多种不同第一视角下的手势的训练数据,人工标定训练数据的标签,所述训练数据的标签包括手势区域的外接矩阵左上角坐标和右下角坐标、人工标定的手势类别、人工标定的关键骨架的坐标点;
S2、设计一个基于区域卷积的神经网络,使得神经网络输入为三通道RGB图像,输出为手势区域的外接矩阵左上角坐标和右下角坐标,以及手势类别、手势骨架关键点;
S3、判断手势类别,根据不同需求输出相应的交互结果;
S4、利用手势判别结果进行指令判别,作出相应指令。
2.根据权利要求1所述的基于区域卷积神经网络的第一视角手势识别方法,其特征在于,步骤S2所述基于区域卷积的神经网络包括两部分,第一部分为包括卷积层-池化层-卷积层-池化层-卷积层-池化层-全连接层的卷积神经网络CNN模型,用于训练手部检测,第一部分的输入为RGB图像,训练输出为手势区域外接矩阵左上角坐标和右下角坐标;第二部分为包括ROI池化层-卷积层-池化层-卷积层-池化层-全连接层的卷积神经网络CNN模型,输入为第一部分的最后一个池化层图像,并通过第一部分输出手势区域外接矩阵左上角坐标和右下角坐标,在ROI池化层作一致化处理,训练输出为手势类别及关键骨架的坐标位置。
3.根据权利要求2所述的基于区域卷积神经网络的第一视角手势识别方法,其特征在于,步骤S2所述第一部分用于优化欧氏范数损失函数,迭代至参数稳定;第二部分用于优化分段损失函数,迭代至参数稳定。
4.根据权利要求1所述的基于区域卷积神经网络的第一视角手势识别方法,其特征在于,步骤S1获取训练数据时,将摄像头处于人眼位置,视觉方向与眼睛直视方向一致。
5.根据权利要求1所述的基于区域卷积神经网络的第一视角手势识别方法,其特征在于,步骤S3中,若为跟踪需求,则对手势骨架关键点进行双指数滤波与坐标映射;若为判定需求,则对不同手势类别做出相应的判别结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710273519.0A CN107168527B (zh) | 2017-04-25 | 2017-04-25 | 基于区域卷积神经网络的第一视角手势识别与交互方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710273519.0A CN107168527B (zh) | 2017-04-25 | 2017-04-25 | 基于区域卷积神经网络的第一视角手势识别与交互方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107168527A true CN107168527A (zh) | 2017-09-15 |
CN107168527B CN107168527B (zh) | 2019-10-18 |
Family
ID=59814003
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710273519.0A Active CN107168527B (zh) | 2017-04-25 | 2017-04-25 | 基于区域卷积神经网络的第一视角手势识别与交互方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107168527B (zh) |
Cited By (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107808143A (zh) * | 2017-11-10 | 2018-03-16 | 西安电子科技大学 | 基于计算机视觉的动态手势识别方法 |
CN107977605A (zh) * | 2017-11-08 | 2018-05-01 | 清华大学 | 基于深度学习的眼部区域边界特征提取方法及装置 |
CN108227912A (zh) * | 2017-11-30 | 2018-06-29 | 北京市商汤科技开发有限公司 | 设备控制方法和装置、电子设备、计算机存储介质 |
CN108229324A (zh) * | 2017-11-30 | 2018-06-29 | 北京市商汤科技开发有限公司 | 手势追踪方法和装置、电子设备、计算机存储介质 |
CN108229318A (zh) * | 2017-11-28 | 2018-06-29 | 北京市商汤科技开发有限公司 | 手势识别和手势识别网络的训练方法及装置、设备、介质 |
CN108256431A (zh) * | 2017-12-20 | 2018-07-06 | 中车工业研究院有限公司 | 一种手部位置标识方法及装置 |
CN108256504A (zh) * | 2018-02-11 | 2018-07-06 | 苏州笛卡测试技术有限公司 | 一种基于深度学习的三维动态手势识别方法 |
CN108921081A (zh) * | 2018-06-27 | 2018-11-30 | 百度在线网络技术(北京)有限公司 | 用户操作的检测方法和装置 |
CN108932053A (zh) * | 2018-05-21 | 2018-12-04 | 腾讯科技(深圳)有限公司 | 基于手势的绘图方法、装置、存储介质和计算机设备 |
CN108985148A (zh) * | 2018-05-31 | 2018-12-11 | 成都通甲优博科技有限责任公司 | 一种手部关键点检测方法及装置 |
CN109446994A (zh) * | 2018-10-30 | 2019-03-08 | 北京达佳互联信息技术有限公司 | 手势关键点检测方法、装置、电子设备及存储介质 |
CN109657537A (zh) * | 2018-11-05 | 2019-04-19 | 北京达佳互联信息技术有限公司 | 基于目标检测的图像识别方法、系统和电子设备 |
CN109799905A (zh) * | 2018-12-28 | 2019-05-24 | 深圳云天励飞技术有限公司 | 一种手部跟踪方法和广告机 |
CN109871828A (zh) * | 2019-03-15 | 2019-06-11 | 京东方科技集团股份有限公司 | 视频识别方法和识别装置、存储介质 |
CN110163048A (zh) * | 2018-07-10 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 手部关键点的识别模型训练方法、识别方法及设备 |
CN110334684A (zh) * | 2019-07-12 | 2019-10-15 | 上海秒针网络科技有限公司 | 指导洗手流程的方法及装置 |
CN110442238A (zh) * | 2019-07-31 | 2019-11-12 | 腾讯科技(深圳)有限公司 | 一种确定动态效果的方法及装置 |
CN110795990A (zh) * | 2019-09-11 | 2020-02-14 | 中国海洋大学 | 一种面向水下设备的手势识别方法 |
CN111062261A (zh) * | 2019-11-25 | 2020-04-24 | 维沃移动通信(杭州)有限公司 | 一种图像处理方法及装置 |
CN111104820A (zh) * | 2018-10-25 | 2020-05-05 | 中车株洲电力机车研究所有限公司 | 一种基于深度学习的手势识别方法 |
CN111124117A (zh) * | 2019-12-19 | 2020-05-08 | 芋头科技(杭州)有限公司 | 基于手绘草图的增强现实交互方法和设备 |
CN111338470A (zh) * | 2020-02-10 | 2020-06-26 | 烟台持久钟表有限公司 | 一种手势控制大钟的方法 |
CN111986174A (zh) * | 2020-08-17 | 2020-11-24 | 深圳市商汤科技有限公司 | 缺陷检测方法、装置、电子设备及计算机存储介质 |
CN112199994A (zh) * | 2020-09-03 | 2021-01-08 | 中国科学院信息工程研究所 | 一种实时检测rgb视频中的3d手与未知物体交互的方法和装置 |
CN112241204A (zh) * | 2020-12-17 | 2021-01-19 | 宁波均联智行科技有限公司 | 一种车载ar-hud的手势交互方法和系统 |
CN113673313A (zh) * | 2021-07-07 | 2021-11-19 | 华南理工大学 | 一种基于分层卷积神经网络的手势姿态识别方法 |
CN114022872A (zh) * | 2021-09-24 | 2022-02-08 | 中国海洋大学 | 基于动态神经网络的多种类农作物叶病识别方法 |
CN114185429A (zh) * | 2021-11-11 | 2022-03-15 | 杭州易现先进科技有限公司 | 手势关键点定位或姿态估计的方法、电子装置和存储介质 |
US11544931B2 (en) | 2020-05-26 | 2023-01-03 | Otis Elevator Company | Machine learning based human activity detection and classification in first and third person videos |
CN115862144A (zh) * | 2022-12-23 | 2023-03-28 | 杭州晨安科技股份有限公司 | 一种摄像机手势识别方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105718878A (zh) * | 2016-01-19 | 2016-06-29 | 华南理工大学 | 基于级联卷积神经网络的第一视角空中手写和空中交互方法 |
CN106295503A (zh) * | 2016-07-25 | 2017-01-04 | 武汉大学 | 区域卷积神经网络的高分辨率遥感影像舰船目标提取方法 |
CN106372402A (zh) * | 2016-08-30 | 2017-02-01 | 中国石油大学(华东) | 一种大数据环境下模糊区域卷积神经网络的并行化方法 |
CN106446514A (zh) * | 2016-08-31 | 2017-02-22 | 中国石油大学(华东) | 一种基于模糊理论和神经网络的测井相识别方法 |
CN106557778A (zh) * | 2016-06-17 | 2017-04-05 | 北京市商汤科技开发有限公司 | 通用物体检测方法和装置、数据处理装置和终端设备 |
-
2017
- 2017-04-25 CN CN201710273519.0A patent/CN107168527B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105718878A (zh) * | 2016-01-19 | 2016-06-29 | 华南理工大学 | 基于级联卷积神经网络的第一视角空中手写和空中交互方法 |
CN106557778A (zh) * | 2016-06-17 | 2017-04-05 | 北京市商汤科技开发有限公司 | 通用物体检测方法和装置、数据处理装置和终端设备 |
CN106295503A (zh) * | 2016-07-25 | 2017-01-04 | 武汉大学 | 区域卷积神经网络的高分辨率遥感影像舰船目标提取方法 |
CN106372402A (zh) * | 2016-08-30 | 2017-02-01 | 中国石油大学(华东) | 一种大数据环境下模糊区域卷积神经网络的并行化方法 |
CN106446514A (zh) * | 2016-08-31 | 2017-02-22 | 中国石油大学(华东) | 一种基于模糊理论和神经网络的测井相识别方法 |
Non-Patent Citations (1)
Title |
---|
张毅: "《静态手势识别的神经网络方法研究》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (48)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107977605A (zh) * | 2017-11-08 | 2018-05-01 | 清华大学 | 基于深度学习的眼部区域边界特征提取方法及装置 |
CN107808143A (zh) * | 2017-11-10 | 2018-03-16 | 西安电子科技大学 | 基于计算机视觉的动态手势识别方法 |
CN107808143B (zh) * | 2017-11-10 | 2021-06-01 | 西安电子科技大学 | 基于计算机视觉的动态手势识别方法 |
CN108229318A (zh) * | 2017-11-28 | 2018-06-29 | 北京市商汤科技开发有限公司 | 手势识别和手势识别网络的训练方法及装置、设备、介质 |
CN108227912A (zh) * | 2017-11-30 | 2018-06-29 | 北京市商汤科技开发有限公司 | 设备控制方法和装置、电子设备、计算机存储介质 |
CN108229324A (zh) * | 2017-11-30 | 2018-06-29 | 北京市商汤科技开发有限公司 | 手势追踪方法和装置、电子设备、计算机存储介质 |
CN108227912B (zh) * | 2017-11-30 | 2021-05-11 | 北京市商汤科技开发有限公司 | 设备控制方法和装置、电子设备、计算机存储介质 |
CN108256431A (zh) * | 2017-12-20 | 2018-07-06 | 中车工业研究院有限公司 | 一种手部位置标识方法及装置 |
CN108256504A (zh) * | 2018-02-11 | 2018-07-06 | 苏州笛卡测试技术有限公司 | 一种基于深度学习的三维动态手势识别方法 |
CN108932053B (zh) * | 2018-05-21 | 2021-06-11 | 腾讯科技(深圳)有限公司 | 基于手势的绘图方法、装置、存储介质和计算机设备 |
CN108932053A (zh) * | 2018-05-21 | 2018-12-04 | 腾讯科技(深圳)有限公司 | 基于手势的绘图方法、装置、存储介质和计算机设备 |
CN108985148A (zh) * | 2018-05-31 | 2018-12-11 | 成都通甲优博科技有限责任公司 | 一种手部关键点检测方法及装置 |
CN108985148B (zh) * | 2018-05-31 | 2022-05-03 | 成都通甲优博科技有限责任公司 | 一种手部关键点检测方法及装置 |
CN108921081A (zh) * | 2018-06-27 | 2018-11-30 | 百度在线网络技术(北京)有限公司 | 用户操作的检测方法和装置 |
CN108921081B (zh) * | 2018-06-27 | 2020-10-09 | 百度在线网络技术(北京)有限公司 | 用户操作的检测方法和装置 |
CN110163048A (zh) * | 2018-07-10 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 手部关键点的识别模型训练方法、识别方法及设备 |
CN110163048B (zh) * | 2018-07-10 | 2023-06-02 | 腾讯科技(深圳)有限公司 | 手部关键点的识别模型训练方法、识别方法及设备 |
CN111104820A (zh) * | 2018-10-25 | 2020-05-05 | 中车株洲电力机车研究所有限公司 | 一种基于深度学习的手势识别方法 |
US11514706B2 (en) | 2018-10-30 | 2022-11-29 | Beijing Dajia Internet Information Technology Co., Ltd. | Method and device for detecting hand gesture key points |
CN109446994A (zh) * | 2018-10-30 | 2019-03-08 | 北京达佳互联信息技术有限公司 | 手势关键点检测方法、装置、电子设备及存储介质 |
CN109446994B (zh) * | 2018-10-30 | 2020-10-30 | 北京达佳互联信息技术有限公司 | 手势关键点检测方法、装置、电子设备及存储介质 |
CN109657537A (zh) * | 2018-11-05 | 2019-04-19 | 北京达佳互联信息技术有限公司 | 基于目标检测的图像识别方法、系统和电子设备 |
CN109799905B (zh) * | 2018-12-28 | 2022-05-17 | 深圳云天励飞技术有限公司 | 一种手部跟踪方法和广告机 |
CN109799905A (zh) * | 2018-12-28 | 2019-05-24 | 深圳云天励飞技术有限公司 | 一种手部跟踪方法和广告机 |
US11113536B2 (en) | 2019-03-15 | 2021-09-07 | Boe Technology Group Co., Ltd. | Video identification method, video identification device, and storage medium |
CN109871828A (zh) * | 2019-03-15 | 2019-06-11 | 京东方科技集团股份有限公司 | 视频识别方法和识别装置、存储介质 |
CN110334684A (zh) * | 2019-07-12 | 2019-10-15 | 上海秒针网络科技有限公司 | 指导洗手流程的方法及装置 |
CN110442238A (zh) * | 2019-07-31 | 2019-11-12 | 腾讯科技(深圳)有限公司 | 一种确定动态效果的方法及装置 |
CN110795990A (zh) * | 2019-09-11 | 2020-02-14 | 中国海洋大学 | 一种面向水下设备的手势识别方法 |
CN110795990B (zh) * | 2019-09-11 | 2022-04-29 | 中国海洋大学 | 一种面向水下设备的手势识别方法 |
CN111062261A (zh) * | 2019-11-25 | 2020-04-24 | 维沃移动通信(杭州)有限公司 | 一种图像处理方法及装置 |
CN111062261B (zh) * | 2019-11-25 | 2023-07-07 | 维沃移动通信(杭州)有限公司 | 一种图像处理方法及装置 |
CN111124117A (zh) * | 2019-12-19 | 2020-05-08 | 芋头科技(杭州)有限公司 | 基于手绘草图的增强现实交互方法和设备 |
CN111124117B (zh) * | 2019-12-19 | 2024-03-29 | 芋头科技(杭州)有限公司 | 基于手绘草图的增强现实交互方法和设备 |
CN111338470A (zh) * | 2020-02-10 | 2020-06-26 | 烟台持久钟表有限公司 | 一种手势控制大钟的方法 |
CN111338470B (zh) * | 2020-02-10 | 2022-10-21 | 烟台持久钟表有限公司 | 一种手势控制大钟的方法 |
US11544931B2 (en) | 2020-05-26 | 2023-01-03 | Otis Elevator Company | Machine learning based human activity detection and classification in first and third person videos |
CN111986174A (zh) * | 2020-08-17 | 2020-11-24 | 深圳市商汤科技有限公司 | 缺陷检测方法、装置、电子设备及计算机存储介质 |
CN112199994A (zh) * | 2020-09-03 | 2021-01-08 | 中国科学院信息工程研究所 | 一种实时检测rgb视频中的3d手与未知物体交互的方法和装置 |
CN112241204A (zh) * | 2020-12-17 | 2021-01-19 | 宁波均联智行科技有限公司 | 一种车载ar-hud的手势交互方法和系统 |
CN113673313A (zh) * | 2021-07-07 | 2021-11-19 | 华南理工大学 | 一种基于分层卷积神经网络的手势姿态识别方法 |
CN113673313B (zh) * | 2021-07-07 | 2024-04-09 | 华南理工大学 | 一种基于分层卷积神经网络的手势姿态识别方法 |
CN114022872A (zh) * | 2021-09-24 | 2022-02-08 | 中国海洋大学 | 基于动态神经网络的多种类农作物叶病识别方法 |
CN114022872B (zh) * | 2021-09-24 | 2024-05-10 | 中国海洋大学 | 基于动态神经网络的多种类农作物叶病识别方法 |
CN114185429A (zh) * | 2021-11-11 | 2022-03-15 | 杭州易现先进科技有限公司 | 手势关键点定位或姿态估计的方法、电子装置和存储介质 |
CN114185429B (zh) * | 2021-11-11 | 2024-03-26 | 杭州易现先进科技有限公司 | 手势关键点定位或姿态估计的方法、电子装置和存储介质 |
CN115862144A (zh) * | 2022-12-23 | 2023-03-28 | 杭州晨安科技股份有限公司 | 一种摄像机手势识别方法 |
CN115862144B (zh) * | 2022-12-23 | 2023-06-23 | 杭州晨安科技股份有限公司 | 一种摄像机手势识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107168527B (zh) | 2019-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107168527A (zh) | 基于区域卷积神经网络的第一视角手势识别与交互方法 | |
CN107808143B (zh) | 基于计算机视觉的动态手势识别方法 | |
WO2021129064A1 (zh) | 姿态获取方法、关键点坐标定位模型的训练方法和装置 | |
CN106682598B (zh) | 一种基于级联回归的多姿态的人脸特征点检测方法 | |
Khan et al. | Hand gesture recognition: a literature review | |
CN106648103B (zh) | 一种vr头戴设备的手势跟踪方法和vr头戴设备 | |
CN105718878B (zh) | 基于级联卷积神经网络的第一视角空中手写和空中交互方法 | |
CN100407798C (zh) | 三维几何建模系统和方法 | |
CN107357427A (zh) | 一种用于虚拟现实设备的手势识别控制方法 | |
CN109800676B (zh) | 基于深度信息的手势识别方法及系统 | |
CN107145845A (zh) | 基于深度学习及多特征点融合的行人检测方法 | |
CN107742102A (zh) | 一种基于深度传感器的手势识别方法 | |
CN103886619B (zh) | 一种融合多尺度超像素的目标跟踪方法 | |
CN104463191A (zh) | 一种基于注意机制的机器人视觉处理方法 | |
CN105159452B (zh) | 一种基于人脸姿态估计的控制方法与系统 | |
Pandey et al. | Hand gesture recognition for sign language recognition: A review | |
CN107357428A (zh) | 基于手势识别的人机交互方法及装置、系统 | |
CN114265498B (zh) | 一种多模态手势识别和视觉反馈机制结合的方法 | |
CN108388882A (zh) | 基于全局-局部rgb-d多模态的手势识别方法 | |
CN110688965A (zh) | 基于双目视觉的ipt模拟训练手势识别方法 | |
CN108681711A (zh) | 一种面向移动机器人的自然路标提取方法 | |
CN104517100B (zh) | 手势预判方法和系统 | |
US10803604B1 (en) | Layered motion representation and extraction in monocular still camera videos | |
CN106503619B (zh) | 基于bp神经网络的手势识别方法 | |
CN105912126A (zh) | 一种手势运动映射到界面的增益自适应调整方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |