CN107272908A - 一种手势识别装置、系统及手势识别方法 - Google Patents

一种手势识别装置、系统及手势识别方法 Download PDF

Info

Publication number
CN107272908A
CN107272908A CN201710560021.2A CN201710560021A CN107272908A CN 107272908 A CN107272908 A CN 107272908A CN 201710560021 A CN201710560021 A CN 201710560021A CN 107272908 A CN107272908 A CN 107272908A
Authority
CN
China
Prior art keywords
palm
axle
finger
datas
attitude
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710560021.2A
Other languages
English (en)
Other versions
CN107272908B (zh
Inventor
肖伟
王西颖
聂伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Qiyuan Technology Co ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201710560021.2A priority Critical patent/CN107272908B/zh
Publication of CN107272908A publication Critical patent/CN107272908A/zh
Application granted granted Critical
Publication of CN107272908B publication Critical patent/CN107272908B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了一种手势识别装置、系统及手势识别方法，通过每个手指模块的六轴惯性传感器获取每个手指的六轴姿态数据，分别通过手掌模块的第一九轴惯性传感器和手臂模块的第二九轴惯性传感器获取手掌的九轴姿态数据和手臂的九轴姿态数据，并将每个所述手指的六轴姿态数据、所述手掌的九轴姿态数据和所述手臂的九轴姿态数据发送到上位机。上位机对每个所述手指的六轴姿态数据和所述手掌的九轴姿态数据进行处理，得到每个手指与手掌的相对姿态数据，并对所述手掌的九轴姿态数据和所述手臂的九轴姿态数据进行处理，得到手掌的空间位置。本发明实现了6DOF跟踪，提高了手势识别率。

Description

一种手势识别装置、系统及手势识别方法
技术领域
本发明涉及动作识别领域，更具体的，涉及一种手势识别装置、系统及手势识别方法。
背景技术
虚拟现实技术(英文全称：Virtual Reality，英文简称：VR)是仿真技术的一个重要方向，是仿真技术与计算机图形学人机接口技术、多媒体技术、传感技术、网络技术等多种技术的集合，是一门富有挑战性的交叉技术前沿学科和研究领域。虚拟现实技术主要包括模拟环境、感知、自然技能和传感设备等方面。模拟环境是由计算机生成的、实时动态的三维立体逼真图像。感知是指理想的VR应该具有一切人所具有的感知。除计算机图形技术所生成的视觉感知外，还有听觉、触觉、力觉、运动等感知，甚至还包括嗅觉和味觉等，也称为多感知。自然技能是指人的头部转动，眼睛、手势、或其他人体行为动作，由计算机来处理与参与者的动作相适应的数据，并对用户的输入作出实时响应，并分别反馈到用户的五官。传感设备是指三维交互设备。
现有的VR控制器形式各异，包括空鼠手柄、光学手势识别控制器和手套控制器等，大多还处于发展阶段，存在很多缺陷。例如，空鼠手柄一般难以实现6DOF(英文全称：Sixdegrees of freedom)追踪，且无法识别手势；光学手势识别控制器计算复杂度高，且功耗和成本也很高，容易受光照强度的干扰，在识别率上泛化能力有限；手套控制器目前一般采用各种压力传感器来检测关节位移，难以实现6DOF追踪。
综上，目前的VR控制器手势识别率低，用户体验差。
发明内容
有鉴于此，本发明提供了一种手势识别装置、系统及手势识别方法，能够准确识别手势和手掌的空间位置，实现6DOF跟踪，提高了手势识别率，改善了用户体验。
为了实现上述发明目的，本发明提供的具体技术方案如下：
一种手势识别装置，包括：手掌模块、手臂模块和一个或一个以上手指模块；
每个所述手指模块包括六轴惯性传感器，每个所述六轴惯性传感器用于获取相应手指的六轴姿态数据；
所述手掌模块包括第一九轴惯性传感器，所述第一九轴惯性传感器用于获取手掌的九轴姿态数据，所述手掌模块用于获取每个所述手指的六轴姿态数据，并将每个所述手指的六轴姿态数据和所述手掌的九轴姿态数据发送到上位机，使所述上位机对每个所述手指的六轴姿态数据和所述手掌的九轴姿态数据进行处理得到每个手指与手掌的相对姿态数据；
所述手臂模块包括第二九轴惯性传感器和第二微控制单元，所述第二九轴惯性传感器用于获取手臂的九轴姿态数据，所述手臂模块用于将所述手臂的九轴姿态数据发送到所述上位机，使所述上位机对所述手掌的九轴姿态数据和所述手臂的九轴姿态数据进行处理得到手掌的空间位置。
优选的，所述手掌模块还包括第一微控制单元，所述第一微控制单元用于获取每个所述手指的六轴姿态数据和所述手掌的九轴姿态数据，并将每个所述手指的六轴姿态数据和所述手掌的九轴姿态数据发送到上位机；
所述手臂模块还包括第二微控制单元，所述第二微控制单元用于获取所述手臂的九轴姿态数据，并将所述手臂的九轴姿态数据发送到所述上位机。
优选的，所述手掌模块还包括第一蓝牙传输单元，所述手臂模块还包括第二蓝牙传输单元；
所述第一微控制单元，用于通过所述第一蓝牙传输单元将每个所述手指的六轴姿态数据和所述手掌的九轴姿态数据发送到所述上位机；
所述第二微控制单元，用于通过所述第二蓝牙传输单元将所述手臂的九轴姿态数据发送到所述上位机。
优选的，每个所述手指模块还包括触觉反馈单元和压力弹片，当所述第一微控制单元接收到所述上位机发送的携带有施力手指的施力指令时，根据所述施力指令控制相应手指模块的所述触觉反馈单元对相应的所述压力弹片施加压力。
优选的，所述装置还包括多段缆绳，每个所述手指模块通过相应的所述缆绳与所述手掌模块相连，所述第一微控制单元用于通过每段所述缆绳获取相应手指的六轴姿态数据。
优选的，所述手掌模块还包括缆绳拉伸控制单元，所述缆绳拉伸控制单元用于接收所述上位机发送的携带有缆绳标识的阻力施加指令，并根据所述阻力施加指令对相应的所述缆绳施加阻力，每段所述缆绳对应唯一一个的缆绳标识。
优选的，所述手掌模块还包括第一电源单元，用于为所述手掌模块供电，并通过每段所述缆绳向相应的所述手指模块供电。
优选的，所述手臂模块还包括第二电源单元，用于为所述手臂模块供电。
一种手势识别系统，包括：上位机和上述任意一项所述的手势识别装置；
所述上位机，用于接收所述手势识别装置发送的每个手指的六轴姿态数据、手掌的九轴姿态数据和手臂的九轴姿态数据，并对每个所述手指的六轴姿态数据和所述手掌的九轴姿态数据进行处理，得到每个手指与手掌的相对姿态数据，并对所述手掌的九轴姿态数据和所述手臂的九轴姿态数据进行处理，得到手掌的空间位置。
优选的，
所述上位机，用于对每个所述手指的六轴姿态数据、所述手掌的九轴姿态数据和所述手臂的九轴姿态数据分别进行融合处理，得到每个手指的三轴姿态数据、手掌的三轴姿态数据和手臂的三轴姿态数据，将每个所述手指的三轴姿态数据分别与所述手掌的三轴姿态数据做差分处理，得到每个手指与手掌的相对姿态数据，并以所述手掌的三轴姿态数据和所述手臂的三轴姿态数据作为数据输入，基于前向运动学算法，计算手掌的空间位置。
一种手势识别方法，应用于手势识别系统，所述方法包括：
获取每个手指的六轴姿态数据、手掌的九轴姿态数据和手臂的九轴姿态数据；
对每个所述手指的六轴姿态数据和所述手掌的九轴姿态数据进行处理，得到每个手指与手掌的相对姿态数据，并对所述手掌的九轴姿态数据和所述手臂的九轴姿态数据进行处理，得到手掌的空间位置。
优选的，所述对每个所述手指的六轴姿态数据和所述手掌的九轴姿态数据进行处理，得到每个手指与手掌的相对姿态数据，并对所述手掌的九轴姿态数据和所述手臂的九轴姿态数据进行处理，得到手掌的空间位置，包括：
对每个所述手指的六轴姿态数据、所述手掌的九轴姿态数据和所述手臂的九轴姿态数据分别进行融合处理，得到每个手指的三轴姿态数据、手掌的三轴姿态数据和手臂的三轴姿态数据；
将每个所述手指的三轴姿态数据分别与所述手掌的三轴姿态数据做差分处理，得到每个手指与手掌的相对姿态数据；
以所述手掌的三轴姿态数据和所述手臂的三轴姿态数据作为数据输入，基于前向运动学算法，计算手掌的空间位置。
相对于现有技术，本发明的有益效果如下：
本发明提供的手势识别装置通过每个手指模块的六轴惯性传感器获取每个手指的六轴姿态数据，分别通过手掌模块的第一九轴惯性传感器和手臂模块的第二九轴惯性传感器获取手掌的九轴姿态数据和手臂的九轴姿态数据，并将每个所述手指的六轴姿态数据、所述手掌的九轴姿态数据和所述手臂的九轴姿态数据发送到上位机。上位机对每个所述手指的六轴姿态数据和所述手掌的九轴姿态数据进行处理，得到每个手指与手掌的相对姿态数据，并对所述手掌的九轴姿态数据和所述手臂的九轴姿态数据进行处理，得到手掌的空间位置。本发明实现了6DOF跟踪，提高了手势识别率，同时，本发明提供的手势识别装置支持关节阻力控制和手指触觉控制，使用户通过使用手势识别装置有真实的触觉感受，改善了用户体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例公开的一种手势识别装置的结构示意图；
图2为本发明实施例公开的一种手势识别装置在用户手部的分布示意图；
图3为本发明实施例公开的另一种手势识别装置的结构示意图；
图4为本发明实施例公开的再一种手势识别装置的结构示意图；
图5为本发明实施例公开的一种手势识别系统的结构示意图；
图6为本发明实施例公开的一种手势识别方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本实施例公开了一种手势识别装置100，包括：手掌模块102、手臂模块103和一个或一个以上手指模块101。
所述手势识别装置可以为可穿戴式设备，也可以为其他类型的设备。
具体的，请参阅图2，用户使用本实施例公开的手势识别装置时，每个所述手指模块101对应用户的每个手指，所述手指模块101的数量可以为一个或一个以上，所述手掌模块102对应用户的手掌，所述手臂模块103对应用户的手臂。
每个所述手指模块101包括六轴惯性传感器104，每个所述六轴惯性传感器104用于获取相应手指的六轴姿态数据。
所述手掌模块102包括第一九轴惯性传感器105，所述第一九轴惯性传感器105用于获取手掌的九轴姿态数据，所述手掌模块102用于获取每个所述手指的六轴姿态数据和所述手掌的九轴姿态数据，并将每个所述手指的六轴姿态数据和所述手掌的九轴姿态数据发送到上位机，使所述上位机对每个所述手指的六轴姿态数据和所述手掌的九轴姿态数据进行处理得到每个手指与手掌的相对姿态数据；
所述上位机可以为外部计算机，也可以为具有上述功能的其他设备。
所述手臂模块103包括第二九轴惯性传感器106，所述第二九轴惯性传感器106用于获取手臂的九轴姿态数据，所述手臂模块用于将所述手臂的九轴姿态数据发送到所述上位机，使所述上位机对所述手掌的九轴姿态数据和所述手臂的九轴姿态数据进行处理得到手掌的空间位置。
优选的，请参阅图3，本实施例公开的手势识别装置中，所述手掌模块102还包括第一微控制单元107，所述第一微控制单元107用于获取每个所述手指的六轴姿态数据和所述手掌的九轴姿态数据，并将每个所述手指的六轴姿态数据和所述手掌的九轴姿态数据发送到上位机；
所述手臂模块103还包括第二微控制单元108，所述第二微控制单元108用于获取所述手臂的九轴姿态数据，并将所述手臂的九轴姿态数据发送到所述上位机。
第一九轴惯性传感器105与第一微控制单元107之间，以及第二九轴惯性传感器106与第二微控制单元108之间通过IIC(Inter-Integrated Circuit，集成电路总线)进行通信连接。
需要说明的是，惯性传感器是检测和测量加速度、倾斜、冲击、振动、旋转和多自由度(DOF)运动的传感器。手指模块101的六轴姿态数据经过融合得到三轴姿态数据，其中，仅利用roll或者pitch自由度，由于roll和pitch经过了重力修正，可以消除积分累计误差。手掌模块102的九轴姿态数据经过融合得到三轴姿态数据，其中，利用yaw、roll和pitch自由度的修正后的姿态数据。
一方面，手掌模块102的三轴姿态数据用于手掌的3DOF旋转姿态跟踪，另一方面，将各个手指模块101的三轴姿态数据(roll或pitch)分别与手掌模块102的三轴姿态数据(roll或pitch)做差分处理，得到各个手指与手掌的相对姿态数据，从而识别手势。
上位机以手掌的三轴姿态数据和手臂的三轴姿态数据作为数据输入，基于前向运动学算法，获取手掌的空间位置，实现手掌的3DOF位置跟踪，结合手掌的3DOF旋转姿态跟踪，从而实现6DOF跟踪，提高了手势识别率，改善了用户体验。
优选的，所述手掌模块102还包括第一蓝牙传输单元109，所述手臂模块103还包括第二蓝牙传输单元110；
所述第一微控制单元107，用于通过所述第一蓝牙传输单元109将每个所述手指的六轴姿态数据和所述手掌的九轴姿态数据发送到所述上位机；
所述第二微控制单元108，用于通过所述第二蓝牙传输单元110将所述手臂的九轴姿态数据发送到所述上位机。
当然，所述第一微控制单元107和所述第二微控制单元108也可以通过其他无线通信技术与上位机进行通信连接。
优选的，每个所述手指模块101还包括触觉反馈单元111和压力弹片112，当所述第一微控制单元107接收到所述上位机发送的携带有施力手指的施力指令时，根据所述施力指令控制相应手指模块的所述触觉反馈单元对相应的所述压力弹片施加压力。
本实施例通过触觉反馈单元111和压力弹片112实现触觉控制，例如，模拟点击操作，当第一微控制单元107接收到上位机发送的携带有食指的施力指令，控制食指对应的触觉反馈单元111对相应的压力弹片112施加压力，使用户体会到点击时的真实感觉，为用户带来更加真实的体验。
请参阅图4，所述手势识别装置还包括多段缆绳113，所述缆绳为具有电力信号传输功能和数据传输功能的缆绳，每个所述手指模块101通过相应的所述缆绳113与所述手掌模块102相连，所述第一微控制单元107用于通过每段所述缆绳113获取相应手指的六轴姿态数据。
在所述手势识别装置还包括多段缆绳113的基础上，优选的，所述手掌模块102还包括缆绳拉伸控制单元114，所述缆绳拉伸控制单元114用于接收所述上位机发送的携带有缆绳标识的阻力施加指令，并根据所述阻力施加指令对相应的所述缆绳113施加阻力，每段所述缆绳113对应唯一的缆绳标识。
当所述缆绳拉伸控制单元114接收到上位机发送的携带有缆绳标识的阻力施加指令时，根据所述阻力施加指令对相应缆绳113施加阻力，实现关节阻力控制。例如，模拟抓握东西，当所述缆绳拉伸控制单元114接收到上位机发送的携带有五段缆绳标识的阻力指令时，缆绳拉伸控制单元114分别对五段缆绳施加阻力，使用户体会到抓握东西时的真实感觉，为用户带来更加真实的体验。
优选的，所述手掌模块102还包括第一电源单元115，用于为所述手掌模块供电，并通过每段所述缆绳113向相应的所述手指模块101供电。
所述手臂模块103还包括第二电源单元116，用于为所述手臂模块供电。
本实施例公开的手势识别装置，通过缆绳113实现每个手指模块101与手掌模块102的电力传输和手指六轴姿态数据的传输，且通过缆绳拉伸控制单元114实现关节阻力控制，使用户在使用本实施例公开的手势识别装置时为用户带来真实的触觉感受，改善了用户体验。
请参阅图5，基于上述实施例公开的手套控制器，本实施例对应公开了一种手势识别系统，包括手势识别装置100和上位机200。
所述手势识别装置100为上述实施例中公开的任意一种手势识别装置。
所述上位机200，用于接收所述手势识别装置发送的每个手指的六轴姿态数据、手掌的九轴姿态数据和手臂的九轴姿态数据，并对每个所述手指的六轴姿态数据和所述手掌的九轴姿态数据进行处理，得到每个手指与手掌的相对姿态数据，并对所述手掌的九轴姿态数据和所述手臂的九轴姿态数据进行处理，得到手掌的空间位置。
需要说明的是，所述手势识别装置100与上位机200之间通过蓝牙等无线通信技术进行通信连接。
优选的，所述上位机200，用于对每个所述手指的六轴姿态数据、所述手掌的九轴姿态数据和所述手臂的九轴姿态数据分别进行融合处理，得到每个手指的三轴姿态数据、手掌的三轴姿态数据和手臂的三轴姿态数据，将每个所述手指的三轴姿态数据分别与所述手掌的三轴姿态数据做差分处理，得到每个手指与手掌的相对姿态数据，并以所述手掌的三轴姿态数据和所述手臂的三轴姿态数据作为数据输入，基于前向运动学算法，计算手掌的空间位置。
具体的，所述上位机基于传感器六轴融合算法对每个所述手指的六轴姿态数据分别进行融合处理，得到每个手指的三轴姿态数据。所述上位机基于传感器九轴融合算法对所述手掌的九轴姿态数据和所述手臂的九轴姿态数据分别进行融合处理，得到手掌的三轴姿态数据和手臂的三轴姿态数据。上位机对每个所述手指的六轴姿态数据、所述手掌的九轴姿态数据和所述手臂的九轴姿态数据分别进行融合处理消除了积分误差，提高了手势识别的准确性。
对应于上述实施例公开的内容，上位机还可以向手势识别装置发送携带有缆绳标识的阻力施加指令和携带有施力手指的施力指令，实现关节阻力控制和手指触觉控制，为用户带来真实的触觉感受，改善了用户体验。
基于上述实施例公开的手势识别系统，请参阅图6，本实施例公开了一种手势识别方法，具体包括以下步骤：
S101：获取每个手指的六轴姿态数据、手掌的九轴姿态数据和手臂的九轴姿态数据；
S102：对每个所述手指的六轴姿态数据和所述手掌的九轴姿态数据进行处理，得到每个手指与手掌的相对姿态数据，并对所述手掌的九轴姿态数据和所述手臂的九轴姿态数据进行处理，得到手掌的空间位置。
优选的，S102的具体执行过程如下：
对每个所述手指的六轴姿态数据、所述手掌的九轴姿态数据和所述手臂的九轴姿态数据分别进行融合处理，得到每个手指的三轴姿态数据、手掌的三轴姿态数据和手臂的三轴姿态数据；
将每个所述手指的三轴姿态数据分别与所述手掌的三轴姿态数据做差分处理，得到每个手指与手掌的相对姿态数据；
以所述手掌的三轴姿态数据和所述手臂的三轴姿态数据作为数据输入，基于前向运动学算法，计算手掌的空间位置。
本实施例公开的手势识别方法，上位机对每个所述手指的六轴姿态数据和所述手掌的九轴姿态数据进行处理，得到每个手指与手掌的相对姿态数据，并对所述手掌的九轴姿态数据和所述手臂的九轴姿态数据进行处理，得到手掌的空间位置。实现了6DOF跟踪，提高了手势识别率。
同时，对应于上述实施例公开的内容，上位机还可以向手势识别装置发送携带有缆绳标识的阻力施加指令和携带有施力手指的施力指令，实现关节阻力控制和手指触觉控制，为用户带来真实的触觉感受，改善了用户体验。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (12)

1.一种手势识别装置，其特征在于，包括：手掌模块、手臂模块和一个或一个以上手指模块；
每个所述手指模块包括六轴惯性传感器，每个所述六轴惯性传感器用于获取相应手指的六轴姿态数据；
所述手掌模块包括第一九轴惯性传感器，所述第一九轴惯性传感器用于获取手掌的九轴姿态数据，所述手掌模块用于获取每个所述手指的六轴姿态数据，并将每个所述手指的六轴姿态数据和所述手掌的九轴姿态数据发送到上位机，使所述上位机对每个所述手指的六轴姿态数据和所述手掌的九轴姿态数据进行处理得到每个手指与手掌的相对姿态数据；
所述手臂模块包括第二九轴惯性传感器和第二微控制单元，所述第二九轴惯性传感器用于获取手臂的九轴姿态数据，所述手臂模块用于将所述手臂的九轴姿态数据发送到所述上位机，使所述上位机对所述手掌的九轴姿态数据和所述手臂的九轴姿态数据进行处理得到手掌的空间位置。
2.根据权利要求1所述的手势识别装置，其特征在于，所述手掌模块还包括第一微控制单元，所述第一微控制单元用于获取每个所述手指的六轴姿态数据和所述手掌的九轴姿态数据，并将每个所述手指的六轴姿态数据和所述手掌的九轴姿态数据发送到上位机；
所述手臂模块还包括第二微控制单元，所述第二微控制单元用于获取所述手臂的九轴姿态数据，并将所述手臂的九轴姿态数据发送到所述上位机。
3.根据权利要求2所述的手势识别装置，其特征在于，所述手掌模块还包括第一蓝牙传输单元，所述手臂模块还包括第二蓝牙传输单元；
所述第一微控制单元，用于通过所述第一蓝牙传输单元将每个所述手指的六轴姿态数据和所述手掌的九轴姿态数据发送到所述上位机；
所述第二微控制单元，用于通过所述第二蓝牙传输单元将所述手臂的九轴姿态数据发送到所述上位机。
4.根据权利要求2所述的手势识别装置，其特征在于，每个所述手指模块还包括触觉反馈单元和压力弹片，当所述第一微控制单元接收到所述上位机发送的携带有施力手指的施力指令时，根据所述施力指令控制相应手指模块的所述触觉反馈单元对相应的所述压力弹片施加压力。
5.根据权利要求2所述的手势识别装置，其特征在于，所述装置还包括多段缆绳，每个所述手指模块通过相应的所述缆绳与所述手掌模块相连，所述第一微控制单元用于通过每段所述缆绳获取相应手指的六轴姿态数据。
6.根据权利要求5所述的手势识别装置，其特征在于，所述手掌模块还包括缆绳拉伸控制单元，所述缆绳拉伸控制单元用于接收所述上位机发送的携带有缆绳标识的阻力施加指令，并根据所述阻力施加指令对相应的所述缆绳施加阻力，每段所述缆绳对应唯一的缆绳标识。
7.根据权利要求5所述的手势识别装置，其特征在于，所述手掌模块还包括第一电源单元，用于为所述手掌模块供电，并通过每段所述缆绳向相应的所述手指模块供电。
8.根据权利要求1所述的手势识别装置，其特征在于，所述手臂模块还包括第二电源单元，用于为所述手臂模块供电。
9.一种手势识别系统，其特征在于，包括：上位机和权利要求1～8任意一项所述的手势识别装置；
所述上位机，用于接收所述手势识别装置发送的每个手指的六轴姿态数据、手掌的九轴姿态数据和手臂的九轴姿态数据，并对每个所述手指的六轴姿态数据和所述手掌的九轴姿态数据进行处理，得到每个手指与手掌的相对姿态数据，并对所述手掌的九轴姿态数据和所述手臂的九轴姿态数据进行处理，得到手掌的空间位置。
10.根据权利要求9所述的手势识别系统，其特征在于，
所述上位机，用于对每个所述手指的六轴姿态数据、所述手掌的九轴姿态数据和所述手臂的九轴姿态数据分别进行融合处理，得到每个手指的三轴姿态数据、手掌的三轴姿态数据和手臂的三轴姿态数据，将每个所述手指的三轴姿态数据分别与所述手掌的三轴姿态数据做差分处理，得到每个手指与手掌的相对姿态数据，并以所述手掌的三轴姿态数据和所述手臂的三轴姿态数据作为数据输入，基于前向运动学算法，计算手掌的空间位置。
11.一种手势识别方法，其特征在于，应用于手势识别系统，所述方法包括：
获取每个手指的六轴姿态数据、手掌的九轴姿态数据和手臂的九轴姿态数据；
对每个所述手指的六轴姿态数据和所述手掌的九轴姿态数据进行处理，得到每个手指与手掌的相对姿态数据，并对所述手掌的九轴姿态数据和所述手臂的九轴姿态数据进行处理，得到手掌的空间位置。
12.根据权利要求11所述的方法，其特征在于，所述对每个所述手指的六轴姿态数据和所述手掌的九轴姿态数据进行处理，得到每个手指与手掌的相对姿态数据，并对所述手掌的九轴姿态数据和所述手臂的九轴姿态数据进行处理，得到手掌的空间位置，包括：
对每个所述手指的六轴姿态数据、所述手掌的九轴姿态数据和所述手臂的九轴姿态数据分别进行融合处理，得到每个手指的三轴姿态数据、手掌的三轴姿态数据和手臂的三轴姿态数据；
将每个所述手指的三轴姿态数据分别与所述手掌的三轴姿态数据做差分处理，得到每个手指与手掌的相对姿态数据；
以所述手掌的三轴姿态数据和所述手臂的三轴姿态数据作为数据输入，基于前向运动学算法，计算手掌的空间位置。
CN201710560021.2A 2017-07-11 2017-07-11 一种手势识别装置、系统及手势识别方法 Active CN107272908B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710560021.2A CN107272908B (zh) 2017-07-11 2017-07-11 一种手势识别装置、系统及手势识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710560021.2A CN107272908B (zh) 2017-07-11 2017-07-11 一种手势识别装置、系统及手势识别方法

Publications (2)

Publication Number Publication Date
CN107272908A true CN107272908A (zh) 2017-10-20
CN107272908B CN107272908B (zh) 2021-01-22

Family

ID=60072354

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710560021.2A Active CN107272908B (zh) 2017-07-11 2017-07-11 一种手势识别装置、系统及手势识别方法

Country Status (1)

Country Link
CN (1) CN107272908B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110209270A (zh) * 2019-05-14 2019-09-06 李子琪 一种数据手套、数据手套系统、校正方法及存储介质
CN110794953A (zh) * 2018-08-02 2020-02-14 宏碁股份有限公司 使用仿生韧带的触觉回馈系统
CN112034975A (zh) * 2019-06-03 2020-12-04 博世汽车部件(苏州)有限公司 手势过滤方法、系统、装置及可读存储介质
CN112163863A (zh) * 2020-12-02 2021-01-01 北京圣点云信息技术有限公司 一种基于静脉识别的智能交互方法及子母环智能交互设备
WO2021141533A1 (en) * 2020-01-06 2021-07-15 National University Of Singapore Glove-based human machine interface
CN114201044A (zh) * 2021-12-09 2022-03-18 浙江理工大学 一种具有交互功能的类人触觉再现装置及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102520791A (zh) * 2011-11-28 2012-06-27 北京盈胜泰科技术有限公司 一种无线手势识别装置
CN102622083A (zh) * 2012-02-24 2012-08-01 北京盈胜泰科技术有限公司 一种手势识别方法及手势识别装置
CN105677036A (zh) * 2016-01-29 2016-06-15 清华大学 一种交互式数据手套
CN105824414A (zh) * 2016-03-14 2016-08-03 北京诺亦腾科技有限公司 一种用于虚拟现实系统的动作捕捉手套及虚拟现实系统
CN106125939A (zh) * 2016-07-05 2016-11-16 青海金联讯电子科技有限公司 一种基于智能手套的人机交互方法
CN106326881A (zh) * 2016-09-21 2017-01-11 济南超感智能科技有限公司 用于实现人机交互的手势识别方法和手势识别设备
CN106843504A (zh) * 2017-03-15 2017-06-13 深圳小宅科技有限公司 Vr环境与现实环境实现真实交互的触感手套及交互方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102520791A (zh) * 2011-11-28 2012-06-27 北京盈胜泰科技术有限公司 一种无线手势识别装置
CN102622083A (zh) * 2012-02-24 2012-08-01 北京盈胜泰科技术有限公司 一种手势识别方法及手势识别装置
CN105677036A (zh) * 2016-01-29 2016-06-15 清华大学 一种交互式数据手套
CN105824414A (zh) * 2016-03-14 2016-08-03 北京诺亦腾科技有限公司 一种用于虚拟现实系统的动作捕捉手套及虚拟现实系统
CN106125939A (zh) * 2016-07-05 2016-11-16 青海金联讯电子科技有限公司 一种基于智能手套的人机交互方法
CN106326881A (zh) * 2016-09-21 2017-01-11 济南超感智能科技有限公司 用于实现人机交互的手势识别方法和手势识别设备
CN106843504A (zh) * 2017-03-15 2017-06-13 深圳小宅科技有限公司 Vr环境与现实环境实现真实交互的触感手套及交互方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110794953A (zh) * 2018-08-02 2020-02-14 宏碁股份有限公司 使用仿生韧带的触觉回馈系统
CN110209270A (zh) * 2019-05-14 2019-09-06 李子琪 一种数据手套、数据手套系统、校正方法及存储介质
CN112034975A (zh) * 2019-06-03 2020-12-04 博世汽车部件(苏州)有限公司 手势过滤方法、系统、装置及可读存储介质
CN112034975B (zh) * 2019-06-03 2024-04-02 博世汽车部件(苏州)有限公司 手势过滤方法、系统、装置及可读存储介质
WO2021141533A1 (en) * 2020-01-06 2021-07-15 National University Of Singapore Glove-based human machine interface
CN115053510A (zh) * 2020-01-06 2022-09-13 新加坡国立大学 基于手套的人机接口
CN112163863A (zh) * 2020-12-02 2021-01-01 北京圣点云信息技术有限公司 一种基于静脉识别的智能交互方法及子母环智能交互设备
CN114201044A (zh) * 2021-12-09 2022-03-18 浙江理工大学 一种具有交互功能的类人触觉再现装置及方法

Also Published As

Publication number Publication date
CN107272908B (zh) 2021-01-22

Similar Documents

Publication Publication Date Title
CN107272908A (zh) 一种手势识别装置、系统及手势识别方法
US10534431B2 (en) Tracking finger movements to generate inputs for computer systems
Xu A neural network approach for hand gesture recognition in virtual reality driving training system of SPG
CN105389539B (zh) 一种基于深度数据的三维手势姿态估计方法及系统
Zhai et al. Quantifying coordination in multiple DOF movement and its application to evaluating 6 DOF input devices
Bruder et al. Redirecting walking and driving for natural navigation in immersive virtual environments
CN106200982A (zh) 一种基于虚拟现实技术的医学手术训练系统
CN206703005U (zh) 基于振动和气动结合的触觉反馈外骨骼装置
CN106389072A (zh) 五自由度上肢康复机器人的虚拟现实交互系统及方法
CN107066119A (zh) 利用运动下达指令的触控系统、触控笔与其方法
Hummel et al. An evaluation of two simple methods for representing heaviness in immersive virtual environments
Delrieu et al. Precise and realistic grasping and manipulation in virtual reality without force feedback
CN106502416B (zh) 一种智能识别双手手势的模拟驾驶系统及其控制方法
EP3690608B1 (en) Smart wearable apparatus, smart wearable device, and control method
CN115686193A (zh) 一种增强现实环境下虚拟模型三维手势操纵方法及系统
Prasad et al. A wireless dynamic gesture user interface for HCI using hand data glove
Kry et al. Handnavigator: Hands-on interaction for desktop virtual reality
CN106512391B (zh) 一种双手手势识别方法及基于其的模拟驾驶系统、方法
Besnea et al. Experiments regarding implementation of a virtual training environment for automotive industry
CN115481489A (zh) 基于增强现实的白车身与生产线适配性验证系统及方法
CN108687743A (zh) 基于振动和气动结合的触觉反馈外骨骼装置
CN112506339A (zh) 一种用于穿戴式触觉交互的虚拟手力觉合成方法及系统
Zhou et al. A mixed reality training system for hand-object interaction in simulated microgravity environments
James et al. Realtime Hand Landmark Tracking to Aid Development of a Prosthetic Arm for Reach and Grasp Motions
Kim et al. Exploration of Form Factor and Bimanual 3D Manipulation Performance of Rollable In-hand VR Controller

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210929

Address after: 210000 room 1103, building C, Xingzhi science and Technology Park, Nanjing Economic and Technological Development Zone, Nanjing, Jiangsu Province

Patentee after: Nanjing iqiyi Intelligent Technology Co., Ltd

Address before: 10 / F and 11 / F, iqiyi innovation building, No.2 Beiyi street, Haidian District, Beijing 100080

Patentee before: BEIJING QIYI CENTURY SCIENCE & TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right
CP01 Change in the name or title of a patent holder

Address after: 210000 room 1103, building C, Xingzhi science and Technology Park, Nanjing Economic and Technological Development Zone, Nanjing, Jiangsu Province

Patentee after: Nanjing Qiyuan Technology Co.,Ltd.

Address before: 210000 room 1103, building C, Xingzhi science and Technology Park, Nanjing Economic and Technological Development Zone, Nanjing, Jiangsu Province

Patentee before: Nanjing iqiyi Intelligent Technology Co.,Ltd.

CP01 Change in the name or title of a patent holder