CN116152931A - 一种手势识别方法及vr系统 - Google Patents

一种手势识别方法及vr系统 Download PDF

Info

Publication number
CN116152931A
CN116152931A CN202310436386.XA CN202310436386A CN116152931A CN 116152931 A CN116152931 A CN 116152931A CN 202310436386 A CN202310436386 A CN 202310436386A CN 116152931 A CN116152931 A CN 116152931A
Authority
CN
China
Prior art keywords
hand bone
gesture
feature
hinging
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310436386.XA
Other languages
English (en)
Other versions
CN116152931B (zh
Inventor
阮仕叠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Future 3d Edu Tech Co ltd
Original Assignee
Shenzhen Future 3d Edu Tech Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Future 3d Edu Tech Co ltd filed Critical Shenzhen Future 3d Edu Tech Co ltd
Priority to CN202310436386.XA priority Critical patent/CN116152931B/zh
Publication of CN116152931A publication Critical patent/CN116152931A/zh
Application granted granted Critical
Publication of CN116152931B publication Critical patent/CN116152931B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Social Psychology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Psychiatry (AREA)
  • Mathematical Physics (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种手势识别方法及VR系统，方法包括：利用置信度算法对卷积网络模型关于手骨铰接特征及手骨姿态特征的预测结果进行修正；利用虚拟相机获取手势图像，并将手势图像输入到卷积网络模型；根据手势图像获取第一实时空间特征，第一实时空间特征包括第三手骨铰接特征及第三手骨姿态特征；利用卷积网络模型中的时间模块将第一实时空间空间特征转换为时间序列特征；将时间序列特征进行融合，获取第二实时空间特征，利用卷积网络模型对第二实时空间特征进行识别，获取识别结果。利用置信度算法对卷积网络模型中间预测结果进行修正，提高了识别精度，设置虚拟相机，对获取的手势图像进行转换，使得手势图像的分布一致，保证了预测精度。

Description

一种手势识别方法及VR系统
技术领域
本发明涉及虚拟交互技术领域，特别涉及一种手势识别方法及VR系统。
背景技术
虚拟现实技术具有沉浸感、交互性和想象性特点，沉浸感是虚拟现实重要的技术特征，是指用户借助交互设备和自身感知觉系统，置身于虚拟环境时的真实程度感，最理想的是人们在模拟世界中，能够感受到虚拟世界里的环境和事物是真实存在的。交互性是指用户进入虚拟环境后，通过多种传感器与多维化信息的环境发生交互作用，体验者可以利用传感设备通过自己的动作控制改变感受的内容，虚拟环境中做出的相应响应，亦与真实的一样。虚拟现实是用计算机生成的一种特殊交互环境，不仅可以再现真实存在的环境，也可以生成想象中实际不存在的甚至根本不可能实现的环境。
虚拟现实的交互技术一般包括：基于触控的交互、基于手势或姿势的交互、基于控制器的交互、手持投影仪交互、实物交互和多模态交互。基于手势或姿势的虚拟交互技术与日常生活贴近，具有交互自然的特点，符合人们的交互行为习惯。
但由于手势本身的多义性、人手形态变化的高维度以及手指之间存在无法预测的遮挡, 常常难以区分连续运动过程中用户的哪些动作是有意识的交互行为, 哪些动作是下意识的动作，在需要连续控制虚拟对象时，手势识别精度较低。
发明内容
现有技术中，在进行连续的虚拟交互时，手势识别精度低。
针对上述问题，提出一种手势识别方法及VR系统，通过利用置信度算法对卷积网络模型中间预测结果进行修正，提高模型的识别精度，通过在原始相机位置设置虚拟相机，对获取的手势图像进行转换，使得输入到模型的手势图像的分布一致，保证了预测精度。通过利用卷积网络模型识别出手势的手骨铰接特征及手骨姿态特征，提高模型对不同手势识别的兼容。
一种手势识别方法，包括步骤：
训练阶段；
识别阶段；
所述步骤：训练阶段，包括步骤：
构建卷积网络模型；
利用置信度算法对所述卷积网络模型关于手骨铰接特征及手骨姿态特征的预测结果进行修正并将修正后的手骨铰接特征及手骨姿态特征输入到所述卷积网络模型，进行训练；
所述步骤：识别阶段，包括步骤：
利用N个虚拟相机获取分布统一的手势图像，并将所述手势图像输入到卷积网络模型；
根据所述手势图像获取第一实时空间特征，所述第一实时空间特征包括第三手骨铰接特征及第三手骨姿态特征；
利用所述卷积网络模型中的时间模块将所述第一实时空间特征转换为时间序列特征；
将所述时间序列特征进行融合，获取第二实时空间特征，利用所述卷积网络模型对所述第二实时空间特征进行识别，获取识别结果。
结合本发明所述的手势识别方法，第一种可能的实施方式中，所述步骤：利用置信度算法对所述卷积网络模型关于手骨铰接特征及手骨姿态特征的预测结果进行修正并将修正后的手骨铰接特征及手骨姿态特征输入到所述卷积网络模型，进行训练，包括步骤：
从数据库获取手势样本数据，所述手势数据样本包括手势样本、手骨铰接特征样本及手骨姿态特征样本；
利用手骨铰接特征样本及手骨姿态特征样本、采用置信度预测算法对所述卷积网络模型关于手势的第一手骨铰接特征及第一手骨姿态特征预测结果的置信度进行预测；
根据置信度预测结果，对所述第一手骨铰接特征及第一手骨姿态特征的预测结果进行修正，获取第二手骨铰接特征及第二手骨姿态特征；
将所述第二手骨铰接特征及第二手骨姿态特征输入所述卷积网络模型进行训练。
结合本发明第一种可能的实施方式，第二种可能的实施方式中，所述步骤：利用N个虚拟相机获取分布统一的手势图像，并将所述手势图像输入到卷积网络模型，包括步骤：
获取原始物理相机的世界坐标；
在所述原始物理相机坐标位置构建虚拟相机；
将其中的一个虚拟相机作为参考相机；
对所述虚拟相机的内参矩阵进行设定，以使得手的所有要素均位于所述手势图像的边框内。
结合本发明第二种可能的实施方式，第三种可能的实施方式中，所述步骤：根据所述手势图像获取第一实时空间特征，所述第一实时空间特征包括第三手骨铰接特征及第三手骨姿态特征，包括步骤：
利用手骨原始铰接点的空间坐标获取其它手骨铰接点的第一铰接点空间坐标，并利用所述第一铰接点空间坐标获取第一手骨的空间位置；
对所述第一手骨的长度进行标准化处理，获取第二手骨特征；
利用所述第一铰接点空间坐标及所述第二手骨特征获取第三手骨铰接特征。
结合本发明第三种可能的实施方式，第四种可能的实施方式中，所述步骤：根据所述手势图像获取第一实时空间特征，所述第一实时空间特征包括第三手骨铰接特征及第三手骨姿态特征，还包括步骤：
获取相邻手骨的相对空间位置；
利用所述相邻手骨的相对空间位置，采用四元数算法获取第三手势姿态特征。
第二方面，一种VR系统，采用第一方面所述的识别方法对手势进行识别，包括：
VR主机；
3D眼镜；
所述VR主机包括：
显示模块；
识别模块；
所述识别模块用于对用户的操作手势进行实时识别；
所述显示模块用于输出VR内容到所述3D眼镜。
实施本发明所述的手势识别方法及VR系统，通过利用置信度算法对卷积网络模型中间预测结果进行修正，提高模型的识别精度，通过在原始相机位置设置虚拟相机，对获取的手势图像进行转换，使得输入到模型的手势图像的分布一致，保证了预测精度。通过利用卷积网络模型识别出手势的手骨铰接特征及手骨姿态特征，提高模型对不同手势识别的兼容。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明手势识别方法第一示意图；
图2为本发明手势识别方法第二示意图；
图3为本发明手势识别方法第三示意图；
图4为本发明手势识别方法第四示意图；
图5为本发明手势识别方法第五示意图；
图6为本发明手势识别方法第六示意图；
图7为本发明手势识别方法第七示意图；
图8为VR系统第一示意图；
图9为VR系统第二示意图；
附图中各数字所指代的部位名称为：10——VR主机、20——3D眼镜、11——显示模块、12——识别模块。
实施方式
下面将结合发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的其他实施例，都属于本发明保护的范围。
现有技术中，在进行连续的虚拟交互时，手势识别精度低。
针对上述问题，提出一种手势识别方法及VR系统。
一种手势识别方法，如图1，图1为本发明手势识别方法第一示意图；
本申请中实施方式中，在训练阶段主要构建卷积网络模型，利用置信度算法对中间预测结果进行修正，并将修正后的特征输入卷积网络模型进行训练，包括：
步骤100、训练阶段：
优选地，如图2，图2为本发明手势识别方法第二示意图，训练阶段步骤包括：
步骤110、构建卷积网络模型； 步骤120、利用置信度算法对卷积网络模型关于手骨铰接特征及手骨姿态特征的预测结果进行修正并将修正后的手骨铰接特征及手骨姿态特征输入到卷积网络模型，进行训练。
利用卷积网络模型可以对手势图像的深度特征进行预测提取，深度特征中可以通过手骨铰接特征和手骨姿态特征来表征操作手势。
手骨铰接特征表征手骨之间的连接关系，手骨姿态特征则表征手骨的转动或旋转角度，通过将手骨铰接特征和手骨姿态特征进行融合来预测操作手势，因此模型对手骨铰接特征和手骨姿态特征对最终的手势预测结果的准确性具有十分重要的影响。通过利用置信度算法对卷积网络模型中间预测结果进行修正，提高模型的识别精度，通过在原始相机位置设置虚拟相机，对获取的手势图像进行转换，使得输入到模型的手势图像的分布一致，保证了预测精度。通过利用卷积网络模型识别出手势的手骨铰接特征及手骨姿态特征，提高模型对不同手势识别的兼容。
在本申请实施方式中，在训练过程对手骨铰接特征及手骨姿态特征的分类预测的置信度进行预测，对于不符合置信度范围的分类结果进行修正，依此来提高模型预测的准确性，具体的，对卷积网络模型的中间预测结果（第一手骨铰接特征及第一手骨姿态特征）进行修正，如图4，图4为本发明手势识别方法第四示意图；步骤120包括：
步骤121、从数据库获取手势样本数据，手势数据样本包括手势样本、手骨铰接特征样本及手骨姿态特征样本；步骤122、利用手骨铰接特征样本及手骨姿态特征样本、采用置信度预测算法对卷积网络模型关于手势的第一手骨铰接特征及第一手骨姿态特征预测结果的置信度进行预测；步骤123、根据置信度预测结果，对第一手骨铰接特征及第一手骨姿态特征的预测结果进行修正，获取第二手骨铰接特征及第二手骨姿态特征；步骤124、将第二手骨铰接特征及第二手骨姿态特征输入卷积网络模型进行训练。
假设模型识别的置信度P为0~1，则：
第二手骨铰接特征=P
Figure SMS_1
第一手骨铰接特征+（1-P）手骨铰接特征样本；
第二手骨姿态特征=P
Figure SMS_2
第一手骨姿态特征+（1-P）手骨姿态特征样本；
采用样本对模型训练完成后，优选地，如图3，图3为本发明手势识别方法第三示意图；步骤200、识别阶段包括：
步骤210、利用N个虚拟相机获取分布统一的手势图像，并将手势图像输入到卷积网络模型。
利用相机获取输入的手势图像时，由于每个相机的位置、旋转姿态及内参有区别，最终可能导致模型的预测精度降低。
在本实施例中，在原始相机的坐标位置设置虚拟相机，将获取的原始图像进行转换，从而使得输入图像的方位、角度、离地面高度等参数分布尽可能一致，保证模型的预测精度，具体的可以实施为，如图5，图5为本发明手势识别方法第五示意图：
步骤211、获取原始物理相机的世界坐标；步骤212、在原始物理相机坐标位置构建虚拟相机；步骤213、将其中的一个虚拟相机作为参考相机；步骤214、对虚拟相机的内参矩阵进行设定，以使得手的所有要素均位于手势图像的边框内。
可以以第一个虚拟相机为参考相机，则第j个虚拟相机与参考相机的相对的关系 为
Figure SMS_3
，第j个虚拟相机的内参矩阵为
Figure SMS_4
。
可以对虚拟相机的内参矩阵
Figure SMS_5
进行设置，使得要输入的手势图像包含手势的所 有要点特征。
步骤220、根据手势图像获取第一实时空间特征，第一实时空间特征包括第三手骨铰接特征及第三手骨姿态特征。
模型在识别时，从手势图像中预测提取手骨铰接特征及手骨姿态特征。首先获取手骨铰接特征，如图6，图6为本发明手势识别方法第六示意图，具体可以实施为：步骤221、利用手骨原始铰接点的空间坐标获取其它手骨铰接点的第一铰接点空间坐标，并利用所述第一铰接点空间坐标获取第一手骨的空间位置；步骤222、对所述第一手骨的长度进行标准化处理，获取第二手骨特征；步骤223、利用所述第一铰接点空间坐标及所述第二手骨特征获取第三手骨铰接特征。
人体手掌有20个铰接点（手腕部的铰接点为原始铰接点），19个手骨。
设第i个铰接点的第一铰接点空间坐标为
Figure SMS_6
，用向量表示为
Figure SMS_7
，原始铰接 点的第一节点坐标为
Figure SMS_8
，用向量表示为
Figure SMS_9
，则第i个第一手骨的相对位置
Figure SMS_10
为：
Figure SMS_11
，i=0,1,2,…,19. （1）
参考标准的人手长度对手骨的长度进行标准化处理，则标准化后的第i个第二手骨为：
Figure SMS_12
（2）
其中，
Figure SMS_13
为标准化前的第i个第一手骨，
Figure SMS_14
为手骨的 标准长度。
然后获取手骨姿态特征，如图7，图7为本发明手势识别方法第七示意图；具体的可以实施为：步骤224、获取相邻手骨的相对空间位置；步骤225、利用所述相邻手骨的空间位置，采用四元数算法获取第三手势姿态特征。
设标准化后，第i个及第i+1个手骨分别为
Figure SMS_15
，
Figure SMS_16
；
采用四元数表征手势姿态特征，则第三手势姿态特征可以表示为：
Figure SMS_17
（3）
利用公式（3）构造旋转矩阵R(q) ，则各参数分别为：
Figure SMS_18
（4）
其中，
Figure SMS_19
（5）
上述式子中
Figure SMS_20
为旋转特征，表示角度信息，
Figure SMS_21
分别表示转动轴信息。
步骤230、利用卷积网络模型中的时间模块将第一实时空间特征转换为时间序列特征；步骤240、将时间序列特征进行融合，获取第二实时空间特征，利用卷积网络模型对第二实时空间特征进行识别，获取识别结果。
在VR环境中的手势为动态数据，具有时序性，随着时间不断变化，为了充分提取手势的时间性特征，需要将实时空间特征转换为时间序列特征，然后将时间序列特征进行融合后，利用模型进行分类识别。
第二方面，一种VR系统，如图8和图9，图8为VR系统第一示意图，图9为VR系统第二示意图；采用第一方面的识别方法对手势进行识别，包括：VR主机10、3D眼镜20；VR主机10包括显示模块11及识别模块12；识别模块12用于对用户的操作手势进行实时识别；显示模块11用于输出VR内容到3D眼镜20。
实施本发明所述的手势识别方法及VR系统，通过利用置信度算法对卷积网络模型中间预测结果进行修正，提高模型的识别精度，通过在原始相机位置设置虚拟相机，对获取的手势图像进行转换，使得输入到模型的手势图像的分布一致，保证了预测精度。通过利用卷积网络模型识别出手势的手骨铰接特征及手骨姿态特征，提高模型对不同手势识别的兼容。
以上仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种手势识别方法，其特征在于，包括步骤：
训练阶段；
识别阶段；
所述步骤：训练阶段，包括步骤：
构建卷积网络模型；
利用置信度算法对所述卷积网络模型关于手骨铰接特征及手骨姿态特征的预测结果进行修正并将修正后的手骨铰接特征及手骨姿态特征输入到所述卷积网络模型，进行训练；
所述步骤：识别阶段，包括步骤：
利用N个虚拟相机获取分布统一的手势图像，并将所述手势图像输入到卷积网络模型；
根据所述手势图像获取第一实时空间特征，所述第一实时空间特征包括第三手骨铰接特征及第三手骨姿态特征；
利用所述卷积网络模型中的时间模块将所述第一实时空间特征转换为时间序列特征；
将所述时间序列特征进行融合，获取第二实时空间特征，利用所述卷积网络模型对所述第二实时空间特征进行识别，获取识别结果。
2.根据权利要求1所述的手势识别方法，其特征在于，所述步骤：利用置信度算法对所述卷积网络模型关于手骨铰接特征及手骨姿态特征的预测结果进行修正并将修正后的手骨铰接特征及手骨姿态特征输入到所述卷积网络模型，进行训练，包括步骤：
从数据库获取手势样本数据，所述手势样本数据包括手势样本、手骨铰接特征样本及手骨姿态特征样本；
利用手骨铰接特征样本及手骨姿态特征样本、采用置信度预测算法对所述卷积网络模型关于手势的第一手骨铰接特征及第一手骨姿态特征预测结果的置信度进行预测；
根据置信度预测结果，对所述第一手骨铰接特征及第一手骨姿态特征的预测结果进行修正，获取第二手骨铰接特征及第二手骨姿态特征；
将所述第二手骨铰接特征及第二手骨姿态特征输入所述卷积网络模型进行训练。
3.根据权利要求2所述的手势识别方法，其特征在于，所述步骤：利用N个虚拟相机获取分布统一的手势图像，并将所述手势图像输入到卷积网络模型，包括步骤：
获取原始物理相机的世界坐标；
在原始物理相机坐标位置构建虚拟相机；
将其中的一个虚拟相机作为参考相机；
对所述虚拟相机的内参矩阵进行设定，以使得手的所有要素均位于所述手势图像的边框内。
4.根据权利要求3所述的手势识别方法，其特征在于，所述步骤：根据所述手势图像获取第一实时空间特征，所述第一实时空间特征包括第三手骨铰接特征及第三手骨姿态特征，包括步骤：
利用手骨原始铰接点的空间坐标获取其它手骨铰接点的第一铰接点空间坐标，并利用所述第一铰接点空间坐标获取第一手骨的空间位置；
对所述第一手骨的长度进行标准化处理，获取第二手骨特征；
利用所述第一铰接点空间坐标及所述第二手骨特征获取第三手骨铰接特征。
5.根据权利要求4所述的手势识别方法，其特征在于，所述步骤：根据所述手势图像获取第一实时空间特征，所述第一实时空间特征包括第三手骨铰接特征及第三手骨姿态特征，还包括步骤：
获取相邻手骨的相对空间位置；
利用所述相邻手骨的相对空间位置，采用四元数算法获取第三手势姿态特征。
6.一种VR系统，采用权利要求1-5任一所述的识别方法对手势进行识别，其特征在于，包括：
VR主机；
3D眼镜；
所述VR主机包括：
显示模块；
识别模块；
所述识别模块用于对用户的操作手势进行实时识别；
所述显示模块用于输出VR内容到所述3D眼镜。
CN202310436386.XA 2023-04-23 2023-04-23 一种手势识别方法及vr系统 Active CN116152931B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310436386.XA CN116152931B (zh) 2023-04-23 2023-04-23 一种手势识别方法及vr系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310436386.XA CN116152931B (zh) 2023-04-23 2023-04-23 一种手势识别方法及vr系统

Publications (2)

Publication Number Publication Date
CN116152931A true CN116152931A (zh) 2023-05-23
CN116152931B CN116152931B (zh) 2023-07-07

Family

ID=86339315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310436386.XA Active CN116152931B (zh) 2023-04-23 2023-04-23 一种手势识别方法及vr系统

Country Status (1)

Country Link
CN (1) CN116152931B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170168586A1 (en) * 2015-12-15 2017-06-15 Purdue Research Foundation Method and System for Hand Pose Detection
WO2018033154A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 手势控制方法、装置和电子设备
CN114035687A (zh) * 2021-11-12 2022-02-11 郑州大学 一种基于虚拟现实的手势识别方法和系统
CN114612938A (zh) * 2022-03-21 2022-06-10 浙江大学 基于多视角三维骨骼信息融合的动态手势识别方法
WO2023277888A1 (en) * 2021-06-29 2023-01-05 Innopeak Technology, Inc. Multiple perspective hand tracking

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170168586A1 (en) * 2015-12-15 2017-06-15 Purdue Research Foundation Method and System for Hand Pose Detection
WO2018033154A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 手势控制方法、装置和电子设备
WO2023277888A1 (en) * 2021-06-29 2023-01-05 Innopeak Technology, Inc. Multiple perspective hand tracking
CN114035687A (zh) * 2021-11-12 2022-02-11 郑州大学 一种基于虚拟现实的手势识别方法和系统
CN114612938A (zh) * 2022-03-21 2022-06-10 浙江大学 基于多视角三维骨骼信息融合的动态手势识别方法

Also Published As

Publication number Publication date
CN116152931B (zh) 2023-07-07

Similar Documents

Publication Publication Date Title
CN107485844B (zh) 一种肢体康复训练方法、系统及嵌入式设备
CN105868715B (zh) 一种手势识别方法、装置及手势学习系统
CN102576259B (zh) 手位置检测方法
CN102222431B (zh) 用于翻译手语的计算机实现的方法
Luo et al. Real-time head pose estimation and face modeling from a depth image
CN103930944B (zh) 用于空间输入装置的自适应跟踪系统
CN111401318B (zh) 动作识别方法及装置
CN112926423A (zh) 捏合手势检测识别方法、装置及系统
CN108153421B (zh) 体感交互方法、装置及计算机可读存储介质
CN110008839B (zh) 一种自适应手势识别的智能手语交互系统及方法
CN111680550B (zh) 情感信息识别方法、装置、存储介质及计算机设备
US20170161903A1 (en) Method and apparatus for gesture recognition
CN114529639A (zh) 一种生成虚拟形象动画的方法、装置、设备及存储介质
CN112927259A (zh) 基于多相机的裸手追踪显示方法、装置及系统
CN111160308B (zh) 手势动作识别方法、装置、设备及可读存储介质
CN112183424A (zh) 一种基于视频的实时手部追踪方法和系统
Ding et al. Designs of human–robot interaction using depth sensor-based hand gesture communication for smart material-handling robot operations
CN113674395B (zh) 一种基于单目rgb摄像头3d手部轻量级实时捕捉重建系统
CN112102451B (zh) 一种基于普通摄像头的无穿戴虚拟直播方法及设备
CN116152931B (zh) 一种手势识别方法及vr系统
JP2021170247A (ja) 情報処理装置、情報処理システム、情報処理方法およびプログラム
CN116543104A (zh) 人体三维模型构建方法、电子设备及存储介质
CN111783497A (zh) 视频中目标的特征确定方法、装置和计算机可读存储介质
KR101869304B1 (ko) 컴퓨터를 이용한 수화어 인식시스템, 방법 및 인식프로그램
CN110321008B (zh) 基于ar模型的交互方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant