CN112904994B - 手势识别方法、装置、计算机设备和存储介质 - Google Patents

手势识别方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN112904994B
CN112904994B CN201911131354.9A CN201911131354A CN112904994B CN 112904994 B CN112904994 B CN 112904994B CN 201911131354 A CN201911131354 A CN 201911131354A CN 112904994 B CN112904994 B CN 112904994B
Authority
CN
China
Prior art keywords
data
joint
gesture
hand model
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911131354.9A
Other languages
English (en)
Other versions
CN112904994A (zh
Inventor
谷逍驰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dexta Robotics Co ltd
Original Assignee
Shenzhen Dexta Robotics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dexta Robotics Co ltd filed Critical Shenzhen Dexta Robotics Co ltd
Priority to CN201911131354.9A priority Critical patent/CN112904994B/zh
Publication of CN112904994A publication Critical patent/CN112904994A/zh
Application granted granted Critical
Publication of CN112904994B publication Critical patent/CN112904994B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请涉及虚拟现实技术领域,提供了一种手势识别方法、装置、计算机设备和存储介质。方法包括:获取预设手势数据,预设手势数据包括多个预设手势和各个预设手势对应的待匹配数据,获取待识别虚拟手部模型中各个虚拟手指的当前手指关节数据,当前手指关节数据包括当前关节弯曲数据和当前关节平移数据,本案通过将当前关节弯曲数据和当前关节平移数据与待匹配数据进行计算和匹配,判断虚拟手部模型的手势姿势,识别出虚拟手部模型的识别手势,无需计算手指的三维空间数据,缩小了计算量,能够保证手势识别准确性的情况下,提高虚拟手部模型的手势识别效率。

Description

手势识别方法、装置、计算机设备和存储介质
技术领域
本申请涉及虚拟现实技术领域,特别是涉及一种手势识别方法、装置、计算机设备和存储介质。
背景技术
随着计算机技术的发展,虚拟现实技术也飞速发展,其中,对于虚拟模拟场景中的虚拟手部模型的手势判断变得愈发重要。目前,通过获取虚拟手部模型的各个手指的三维空间位置,并计算各个手指之间的相对空间位置和朝向来判断虚拟手部模型的手势姿势,比如,获取每个手指在x、y、z三个三维空间轴的数值和朝向数据数值,通过计算得到代表各个手指间的相对位置的位置数据,再通过各个手指的位置数据进行手势判断。然而,这种传统的手势识别和判断方法需要采集、传输、计算大量的数据,较大的数据量和计算量,导致手势识别判断时,容易出现误差,延迟、准确性不高的问题。
发明内容
基于此,有必要针对手势判断的数据量和计算量过大,导致手势识别效率不高的技术问题,提供一种手势识别方法、装置、计算机设备和存储介质。
一种手势识别方法,所述方法包括:
获取预设手势数据,所述预设手势数据包括多个预设手势和各个预设手势对应的待匹配数据;
获取待识别虚拟手部模型中各个虚拟手指的当前手指关节数据,所述当前手指关节数据包括当前关节弯曲数据和当前关节平移数据;
当各个虚拟手指的所述关节弯曲数据和所述关节平移数据与所述待匹配数据匹配成功时,成功识别到所述待识别虚拟手部模型的识别手势,所述识别手势为匹配成功的所述待匹配数据对应的预设手势。
在一个实施例中,所述方法包括:
接收手部机械外骨骼通过角度传感器采集的真实手的手指关节角度,所述手指关节角度包括各个手指关节对应的关节弯曲角度和关节平移角度;
根据所述关节弯曲角度和所述关节平移角度通过预设算法得到虚拟手部模型的关节弯曲数据和关节平移数据;
根据所述关节弯曲数据和所述关节平移数据构建所述虚拟手部模型。
在一个实施例中,所述待匹配数据包括弯曲数据范围、平移数据范围,所述方法还包括:
当所述当前关节弯曲数据在所述弯曲数据范围内、所述当前关节平移数据在所述平移数据范围内时,所述关节弯曲数据和所述关节平移数据与所述待匹配数据匹配成功。
在一个实施例中,所述方法还包括:
当成功识别到所述待识别虚拟手部模型的识别手势时,触发生成交互请求;
将所述交互请求发送至交互系统,所述交互请求携带有所述识别手势的手势标识,以使所述交互系统根据所述手势标识完成所述手势标识对应的交互内容。
在一个实施例中,所述将所述交互请求发送至交互系统,所述交互请求携带有所述识别手势的手势标识,以使所述交互系统根据所述手势标识完成所述手势标识对应的交互内容,包括:
以使所述交互系统根据所述手势标识生成控制指令,所述控制指令包括交互动作和虚拟手部模型标识;
根据所述虚拟手部模型标识将所述控制指令发送至目标虚拟手部模型,以使所述目标虚拟手部模型根据所述控制指令完成所述交互动作。
一种手势识别装置,所述装置包括:
预设手势数据获取模块,用于获取预设手势数据,所述预设手势数据包括多个预设手势和各个预设手势对应的待匹配数据;
当前手指关节数据获取模块,用于获取待识别虚拟手部模型中各个虚拟手指的当前手指关节数据,所述当前手指关节数据包括当前关节弯曲数据和当前关节平移数据;
识别手势确认模块,用于当各个虚拟手指的所述关节弯曲数据和所述关节平移数据与所述待匹配数据匹配成功时,成功识别到所述待识别虚拟手部模型的识别手势,所述识别手势为匹配成功的所述待匹配数据对应的预设手势。
在一个实施例中,所述装置还包括:
数据采集模块,用于接收手部机械外骨骼通过角度传感器采集的真实手的手指关节角度,所述手指关节角度包括各个手指关节对应的关节弯曲角度和关节平移角度;
数据转换模块,用于根据所述关节弯曲角度和所述关节平移角度通过预设算法得到虚拟手部模型的关节弯曲数据和关节平移数据;
虚拟手部模型构建模块,用于根据所述关节弯曲数据和所述关节平移数据构建所述虚拟手部模型。
在一个实施例中,所述待匹配数据包括弯曲数据范围、平移数据范围,所述识别手势确认模块包括:
匹配单元,用于当所述当前关节弯曲数据在所述弯曲数据范围内、所述当前关节平移数据在所述平移数据范围内时,所述关节弯曲数据和所述关节平移数据与所述第一手指关节数据匹配成功。
一种计算机设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述各个方法实施例中的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述各个方法实施例中的步骤。
上述手势识别方法、装置、计算机设备和存储介质,通过获取预设手势数据,预设手势数据包括多个预设手势和各个预设手势对应的待匹配数据,通过获取待识别虚拟手部模型中各个虚拟手指的当前手指关节数据,当前手指关节数据包括当前关节弯曲数据和当前关节平移数据,将当前关节弯曲数据和当前关节平移数据与待匹配数据进行计算和匹配,当匹配成功时,就成功识别到待识别虚拟手部模型的识别手势,本案的手势识别方法无需获取虚拟手部模型手指的三维空间位置,无需通过大量计算手指的三维空间轴数据来判断虚拟手部模型的手势姿势。本案通过将当前关节弯曲数据和当前关节平移数据与待匹配数据进行计算和匹配,判断虚拟手部模型的手势姿势,识别出虚拟手部模型的识别手势,缩小了计算量,能够保证手势识别准确性的情况下,提高虚拟手部模型的手势识别效率。
附图说明
图1为一个实施例手势识别方法的应用环境图;
图2为一个实施例中手部示意图;
图3为一个实施例中手势识别方法的流程示意图;
图4为一个实施例中构建虚拟手部模型的流程示意图;
图5为另一个实施例中手势识别方法的流程示意图;
图6为一个实施例中手势识别装置的结构框图;
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例中提供的手势识别方法,可以应用于如图1所示的应用环境中。应用环境包括下位机102和上位机104,下位机与上位机之间通过网络进行通信,其中,上位机和下位机的个数不限,通信网络可以是无线或者有线通信网络,例如IP网络、蜂窝移动通信网络等,具体地,下位机与上位机可以是通过2.4G无线模块进行通信。
其中,下位机用于获取现实世界中真实手的数据,下位机包括但不限于是直接控制设备获取数据的单片机、各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。上位机用于对数据进行处理,运行虚拟应用,上位机包括但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑。虚拟应用,例如VR(Virtual Reality,虚拟现实)、游戏等。
具体地,下位机实时获取现实世界中真实手的数据,并将数据发送至上位机,上位机对数据进行处理并根据处理后的数据建立虚拟手部模型,虚拟手部模型的姿势根据对应的真实手的姿势变化而实时变化。上位机通过获取预设手势数据,预设手势数据包括多个预设手势和各个预设手势对应的待匹配数据,上位机获取待识别虚拟手部模型中各个虚拟手指的当前手指关节数据,当前手指关节数据包括当前关节弯曲数据和当前关节平移数据,当各个虚拟手指的关节弯曲数据和关节平移数据与待匹配数据匹配成功时,上位机成功识别到待识别虚拟手部模型的识别手势,识别手势为匹配成功的待匹配数据对应的预设手势。上位机通过将当前关节弯曲数据和当前关节平移数据与待匹配数据进行计算和匹配,判断虚拟手部模型的手势姿势,识别出虚拟手部模型的识别手势,缩小计算量,能够保证手势识别准确性的情况下,提高虚拟手部模型的手势识别效率。
在一个实施例中,如图3所示,提供了一种手势识别方法,以该方法应用于图1中的上位机104为例进行说明,包括以下步骤:
步骤310,获取预设手势数据,预设手势数据包括多个预设手势和各个预设手势对应的待匹配数据。
其中,上位机获取预设手势数据,预设手势数据预先存储在上位机的存储器中,用于后续判断和识别虚拟手部模型的虚拟手势。具体地,在需要进行手势识别时,上位机的手势识别系统会从上位机的存储器中读取预设手势数据。预设手势数据包括多个预设手势和各个预设手势对应的待匹配数据。待匹配数据包括预设手势对应的5个手指的各个手指关节的Bend数据和Split数据。其中,Bend数据是指手指关节相对于初始位置的上下弯曲数据,Split数据是指手指关节相对于初始位置左右摆动的数据。
具体地,上位机的存储器中存储了很多的预设手势,预设手势包括但不限于:八字手势、点赞手势、剪刀手手势......等,每一种预设手势对应一种待匹配数据。可以理解的是,预设手势并不是恒定不变的,可以根据实际需求,将需要识别的手势和该手势对应的数据存储在上位机的存储器中。在一个实施例中,比如,预设手势是八字手势时,八字手势对应的待匹配数据是:大拇指和食指的Bend数据为0,同时其他手指的Bend数据为1。预设手势是点赞手势时,点赞手势对应的待匹配数据是:大拇指的Bend数据为0,同时其他手指的Bend数据为1。
步骤320,获取待识别虚拟手部模型中各个虚拟手指的当前手指关节数据,当前手指关节数据包括当前关节弯曲数据和当前关节平移数据。
其中,上位机获取待识别虚拟手部模型中各个虚拟手指的当前手指关节数据。虚拟手部模型是根据采集到的真实手的运动数据在虚拟环境中形成的可视化的三维仿真手部模型,虚拟手部模型的姿势变化和运动变化随真实手的姿势变化而变化,待识别虚拟手部模型可由手动选择确定或者自动选择确定。
在一个实施例中,虚拟手部模型类似于真实手,包括5个手指和手掌,每个手指对应三个手指关节。如图2所示,图2为手部示意图,包括DIP(Distal InterphalangealPoint,远侧指间关节)202、PIP(Proximal Interphalangeal Point,近侧指间关节)204、MCP(Metacarpophalangeal point,掌间关节)206和掌心208。
具体地,在识别待识别虚拟手部模型的手势时,实时获取待识别虚拟手部模型中各个虚拟手指的当前手指关节数据,即获取当前时刻的每一个虚拟手指关节的数据,包括当前关节弯曲数据和当前关节平移数据。当前关节弯曲数据是指当前关节相对于初始位置上下弯曲运动的数据,可以是当前关节朝着掌心方向或背离掌心方向运动的数据。关节平移数据是指当前关节相对于初始位置左右摆动平移的运动数据,可以是当前关节向其他手指方向平移运动的数据。
步骤330,当各个虚拟手指的当前关节弯曲数据和当前关节平移数据与所述待匹配数据匹配成功时,成功识别到待识别虚拟手部模型的识别手势,识别手势为匹配成功的待匹配数据对应的预设手势。
具体地,上位机中的手势识别系统将各个虚拟手指的当前关节弯曲数据和当前关节平移数据与待匹配数据进行匹配,当数据匹配成功时,成功识别到待识别虚拟手部模型的识别手势。其中,匹配是指将待识别虚拟手部模型的各个虚拟手指的各个当前手指关节数据依次与预设匹配数据中对应的手指关节的数据进行对比,当各个手指关节都满足预设匹配数据的条件时,视为匹配成功,视为识别到匹配成功的预设匹配数据对应的预设手势。
上述手势识别方法,通过获取预设手势数据,预设手势数据包括多个预设手势和各个预设手势对应的待匹配数据,通过获取待识别虚拟手部模型中各个虚拟手指的当前手指关节数据,当前手指关节数据包括当前关节弯曲数据和当前关节平移数据,将当前关节弯曲数据和当前关节平移数据与待匹配数据进行计算和匹配,当匹配成功时,就成功识别到待识别虚拟手部模型的识别手势。本案的手势识别方法无需获取虚拟手部模型手指的三维空间位置,无需通过大量计算手指的三维空间轴数据来判断虚拟手部模型的手势姿势。本案通过将当前关节弯曲数据和当前关节平移数据与待匹配数据进行计算和匹配,判断虚拟手部模型的手势姿势,识别出虚拟手部模型的识别手势,缩小了计算量,能够保证手势识别准确性的情况下,提高虚拟手部模型的手势识别效率。
在一个实施例中,如图4所示,图4为构建虚拟手部模型的流程示意图,提供的一种手势识别方法还包括构建虚拟手部模型,以该方法应用于图1中的下位机102和上位机104为例进行说明,包括以下步骤:
步骤410,接收手部机械外骨骼通过角度传感器采集的真实手的手指关节角度,手指关节角度包括各个手指关节对应的关节弯曲角度和关节平移角度。
具体地,下位机接收手部机械外骨骼通过角度传感器实时采集的真实手的手指关节角度。其中,手部机械外骨骼是一种由机械框架构成并且可佩戴于人体手部的机器装置。手部机械外骨骼中设有两种角度传感器,分别用于采集真实手的手指关节的关节弯曲角度和关节平移角度。其中,关节平移角度是手指关节左右摆动的角度,关节弯曲角度是手指关节向掌心方向或背离掌心方向运动的角度。具体地,可以在手部机械外骨骼对应各个手指关节的位置设置这两种角度传感器。
进一步的,在一个实施例中,如图2所示的手部示意图,可以仅在手部机械外骨骼对应的各个掌间关节206的位置设置这两种角度传感器,上位机可以通过下位机采集的掌间关节206对应的关节弯曲角度和关节平移角度,推算出其他远侧指间关节202和近侧指间关节204的关节弯曲角度和关节平移角度。通过仅在手部机械外骨骼上的5个掌间关节位置设置角度传感器,可以获取到整个手部各个手指关节的关节弯曲角度和关节平移角度的同时,减少了角度传感器的设置,从而减少数据冗余,提高上位机与下位机之间的数据传输速率。
步骤420,根据关节弯曲角度和关节平移角度通过预设算法得到虚拟手部模型的关节弯曲数据和关节平移数据。
具体地,下位机将采集到的关节弯曲角度和关节平移角度发送至上位机,上位机通过预设算法将关节弯曲角度和关节平移角度转换成虚拟手部模型的关节弯曲数据和关节平移数据。
在一个具体的实施例中,例如,当真实手做出一个八字手势时,通过角度传感器采集到真实手的大拇指和食指的各个关节弯曲角度为0度、关节平移角度为0度,其他手指的各个关节弯曲角度为90度、关节平移角度为0度,根据预设算法得到虚拟手部模型的数据是大拇指和食指的关节弯曲数据为0、关节平移数据为0,同时其他手指的关节弯曲数据为1、关节平移数据为0。上位机将采集到的真实手的角度数据转换成构建模型时对应的数据,再根据转换后的数据建立虚拟手部模型。
步骤430,根据关节弯曲数据和关节平移数据构建虚拟手部模型。
其中,上位机根据关节弯曲数据和关节平移数据构建虚拟手部模型,通过虚拟手部模型,实时复现真实手的姿势。可以理解的是,由于真实手的角度数据是实时采集的,采集的角度数据会随着真实手的运动不断变化,角度数据转换得到的关节弯曲数据和关节平移数据也会随之变化。因此,通过关节弯曲数据和关节平移数据构建得到虚拟手部模型会随着真实手同步运动,实时复现真实手的姿势和运动轨迹,从而实现虚拟场景和现实场景的交互。
在本实施例中,通过实时采集真实手的各个手指关节的关节弯曲角度和关节平移角度,快速的根据角度转换得到的关节弯曲数据和关节平移数据,并根据关节弯曲数据和关节平移数据快速构建虚拟手部模型,快速复现时真实手的姿势和运动轨迹,实现虚拟场景和现实场景的交互。
在一个实施例中,待匹配数据包括弯曲数据范围、平移数据范围,手势识别方法还包括以下步骤:
当当前关节弯曲数据在弯曲数据范围内、当前关节平移数据在平移数据范围内时,关节弯曲数据和关节平移数据与待匹配数据匹配成功。
其中,待匹配数据包括弯曲数据范围、平移数据范围。弯曲数据范围和平移数据范围是预先设定的弯曲数据和平移数据的数据范围。通过设定数据范围来设定预设手势对应的手指关节的活动范围,该活动范围也就是手势识别所允许误差范围,即当手部模型的关节弯曲数据在弯曲数据范围内、关节平移数据在平移数据范围内时,满足匹配条件,视为匹配成功。可以理解的是,在有些应用场景中,在进行虚拟手部模型的手势识别时,不需要虚拟手部模型的姿势和预设手势完全一样才能识别虚拟手的手势,只需要虚拟手的姿势与预设手势的姿势大致相同,就识别到虚拟手部模型的手势。在本实施例中,通过设定待匹配数据的数值范围来允许在一定范围内对手势进行判断,能够更加灵活的对虚拟手部模型的手势进行识别。
进一步的,在一个实施例中,可将弯曲数据范围、平移数据范围设定为具体的数值,当手部模型的关节弯曲数据和关节平移数据都与待匹配数据的数值一一对应视为匹配成功。可以理解的是,在有些应用场景中,在进行虚拟手部模型的手势识别时,对虚拟手部模型的姿势需要十分精确的判断,需要虚拟手部模型的姿势和预设手势完全一样时,对虚拟手的手势进行识别,在本实施例中通过将弯曲数据范围、平移数据范围设定为具体的数值,对虚拟手部模型的手势进行精确的判断和识别。
在一个实施例中,如图5示,图5为另一个实施例中手势方法的流程结构图,以该方法应用于图1中的上位机104为例进行说明,包括以下步骤:
步骤510,当成功识别到待识别虚拟手部模型的识别手势时,触发生成交互请求。
步骤520,将交互请求发送至交互系统,交互请求携带有识别手势的手势标识,以使交互系统根据手势标识完成手势标识对应的交互内容。
其中,上位机中的手势识别系统成功识别到待识别虚拟手部模型的识别手势时,触发生成交互请求,并将交互请求发送至交互系统,以使得交互系统完成交互内容。交互请求是将多源信息融合的、交互式的三维动态视景虚拟环境和实体行为产生交互的具体指令。交互内容是使得用户与该虚拟环境产生特定的联系和互动,根据不同的指令完成不同的交互动作。交互请求携带有识别手势的手势标识,在交互系统中,不同的手势标识对应不同的交互内容。其中,手势标识是代表每一种不同识别手势的标识。
在本实施例中,通过识别到虚拟手部模型的手势时,生成交互请求,根据交互请求完成交互内容,让用户与该虚拟环境产生特定的联系和互动,增加手势识别的趣味性。
在一个实施例中,步骤520包括:以使交互系统根据手势标识生成控制指令,控制指令包括交互动作和虚拟手部模型标识。根据虚拟手部模型标识将控制指令发送至目标虚拟手部模型,以使目标虚拟手部模型根据控制指令完成所述交互动作。
具体地,上位机将交互请求发送至交互系统,交互系统接收到交互请求时,根据交互请求携带的手势标识生成控制指令。控制指令是控制特定的虚拟手部模型完成特定的交互动作的指令,控制指令包括交互动作和虚拟手部模型标识。上位机根据虚拟手部模型标识将控制指令发送至目标虚拟手部模型,以使目标虚拟手部模型根据控制指令完成所述交互动作。其中,目标虚拟手部模型是指根据虚拟手部模型标识确定的将要完成交互动作的特定的虚拟手。
在本实施例中,通过生成控制指令,控制特定的虚拟手部模型完成特定的交互动作,加深用户与虚拟环境产生特定的联系和互动,增加手势识别的趣味性。
应该理解的是,虽然图3-5的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图3-5中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图6所示,提供了一种手指识别装置,包括:预设手势数据获取模块610、当前手指关节数据获取模块620、识别手势确认模块630,其中:
预设手势数据获取模块610,用于获取预设手势数据,预设手势数据包括多个预设手势和各个预设手势对应的待匹配数据。
当前手指关节数据获取模块620,用于获取待识别虚拟手部模型中各个虚拟手指的当前手指关节数据,当前手指关节数据包括当前关节弯曲数据和当前关节平移数据。
识别手势确认模块630,用于当各个虚拟手指的关节弯曲数据和关节平移数据与待匹配数据匹配成功时,成功识别到待识别虚拟手部模型的识别手势,识别手势为匹配成功的待匹配数据对应的预设手势。
在一个实施例中,装置还包括:数据采集模块、数据转换模块、虚拟手部模型构建模块,其中:
数据采集模块,用于接收手部机械外骨骼通过角度传感器采集的真实手的手指关节角度,手指关节角度包括各个手指关节对应的关节弯曲角度和关节平移角度。
数据转换模块,用于根据关节弯曲角度和关节平移角度通过预设算法得到虚拟手部模型的关节弯曲数据和关节平移数据。
虚拟手部模型构建模块,用于根据关节弯曲数据和关节平移数据构建所述虚拟手部模型。
在一个实施例中,待匹配数据包括弯曲数据范围、平移数据范围,识别手势确认模块630包括匹配单元,匹配单元用于当当前关节弯曲数据在弯曲数据范围内、当前关节平移数据在平移数据范围内时,当前关节弯曲数据和当前关节平移数据与第一手指关节数据匹配成功。
在一个实施例中,所述装置还包括交互请求生成模块、交互模块,其中:
交互请求生成模块,用于当成功识别到所述待识别虚拟手部模型的识别手势时,触发生成交互请求。
交互模块,用于将所述交互请求发送至交互系统,交互请求携带有识别手势的手势标识,以使交互系统根据手势标识完成手势标识对应的交互内容。
在一个实施例中,所述交互模块包括控制指令生成单元、交互动作完成单元,包括:
控制指令生成单元,用于通过交互系统根据手势标识生成控制指令,控制指令包括交互动作和虚拟手部模型标识。
交互动作完成单元,用于根据虚拟手部模型标识将控制指令发送至目标虚拟手部模型,以使目标虚拟手部模型根据控制指令完成交互动作。
关于手势识别装置的具体限定可以参见上文中对于手势识别方法的限定,在此不再赘述。上述手势识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种手势识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图7中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,该存储器存储有计算机程序,该处理器执行计算机程序时实现以下步骤:获取预设手势数据,预设手势数据包括多个预设手势和各个预设手势对应的待匹配数据;获取待识别虚拟手部模型中各个虚拟手指的当前手指关节数据,当前手指关节数据包括当前关节弯曲数据和当前关节平移数据;当各个虚拟手指的当前关节弯曲数据和当前关节平移数据与待匹配数据匹配成功时,成功识别到待识别虚拟手部模型的识别手势,识别手势为匹配成功的待匹配数据对应的预设手势。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:接收手部机械外骨骼通过角度传感器采集的真实手的手指关节角度,手指关节角度包括各个手指关节对应的关节弯曲角度和关节平移角度;根据关节弯曲角度和关节平移角度通过预设算法得到虚拟手部模型的关节弯曲数据和关节平移数据;根据关节弯曲数据和关节平移数据构建所述虚拟手部模型。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:当当前关节弯曲数据在弯曲数据范围内、当前关节平移数据在平移数据范围内时,当前关节弯曲数据和当前关节平移数据与当前待匹配数据匹配成功。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:当成功识别到待识别虚拟手部模型的识别手势时,触发生成交互请求;将交互请求发送至交互系统,交互请求携带有识别手势的手势标识,以使交互系统根据手势标识完成手势标识对应的交互内容。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:根据虚拟手部模型标识将控制指令发送至目标虚拟手部模型,以使目标虚拟手部模型根据所述控制指令完成交互动作。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:获取预设手势数据,预设手势数据包括多个预设手势和各个预设手势对应的待匹配数据;获取待识别虚拟手部模型中各个虚拟手指的当前手指关节数据,当前手指关节数据包括当前关节弯曲数据和当前关节平移数据;当各个虚拟手指的当前关节弯曲数据和当前关节平移数据与待匹配数据匹配成功时,成功识别到待识别虚拟手部模型的识别手势,识别手势为匹配成功的待匹配数据对应的预设手势。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:接收手部机械外骨骼通过角度传感器采集的真实手的手指关节角度,手指关节角度包括各个手指关节对应的关节弯曲角度和关节平移角度;根据关节弯曲角度和关节平移角度通过预设算法得到虚拟手部模型的关节弯曲数据和关节平移数据;根据关节弯曲数据和关节平移数据构建所述虚拟手部模型。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:当当前关节弯曲数据在弯曲数据范围内、当前关节平移数据在平移数据范围内时,当前关节弯曲数据和当前关节平移数据与当前待匹配数据匹配成功。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:当成功识别到待识别虚拟手部模型的识别手势时,触发生成交互请求;将交互请求发送至交互系统,交互请求携带有识别手势的手势标识,以使交互系统根据手势标识完成手势标识对应的交互内容。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:根据虚拟手部模型标识将控制指令发送至目标虚拟手部模型,以使目标虚拟手部模型根据所述控制指令完成交互动作。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)、DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种手势识别方法,所述方法包括:
获取预设手势数据,所述预设手势数据包括多个预设手势和各个预设手势对应的待匹配数据;
获取虚拟手部模型,所述虚拟手部模型是根据真实手的手指关节角度数据通过预设算法处理得到的,所述虚拟手部模型是虚拟环境中形成的可视化的三维仿真手部模型,所述真实手的手指关节角度数据是通过可穿戴设备角度传感器采集到的;
获取所述虚拟手部模型中各个虚拟手指的当前手指关节数据,所述当前手指关节数据包括当前关节弯曲数据和当前关节平移数据;
当所述各个虚拟手指的所述当前关节弯曲数据和所述当前关节平移数据与所述待匹配数据匹配成功时,成功识别到所述虚拟手部模型的识别手势,所述识别手势为匹配成功的所述待匹配数据对应的预设手势。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
接收手部机械外骨骼通过角度传感器采集的真实手的手指关节角度,所述手指关节角度包括各个手指关节对应的关节弯曲角度和关节平移角度;
根据所述关节弯曲角度和所述关节平移角度通过预设算法得到虚拟手部模型的关节弯曲数据和关节平移数据;
根据所述关节弯曲数据和所述关节平移数据构建所述虚拟手部模型。
3.根据权利要求1所述的方法,所述待匹配数据包括弯曲数据范围、平移数据范围,其特征在于,所述方法还包括:
当所述当前关节弯曲数据在所述弯曲数据范围内、所述当前关节平移数据在所述平移数据范围内时,所述当前关节弯曲数据和所述当前关节平移数据与所述待匹配数据匹配成功。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述方法还包括:
当成功识别到所述虚拟手部模型的识别手势时,触发生成交互请求;
将所述交互请求发送至交互系统,所述交互请求携带有所述识别手势的手势标识,以使所述交互系统根据所述手势标识完成所述手势标识对应的交互内容。
5.根据权利要求4所述的方法,其特征在于,所述将所述交互请求发送至交互系统,所述交互请求携带有所述识别手势的手势标识,以使所述交互系统根据所述手势标识完成所述手势标识对应的交互内容,包括:
以使所述交互系统根据所述手势标识生成控制指令,所述控制指令包括交互动作和虚拟手部模型标识;
根据所述虚拟手部模型标识将所述控制指令发送至目标虚拟手部模型,以使所述目标虚拟手部模型根据所述控制指令完成所述交互动作。
6.一种手势识别装置,其特征在于,所述装置包括:
预设手势数据获取模块,用于获取预设手势数据,所述预设手势数据包括多个预设手势和各个预设手势对应的待匹配数据;
虚拟手部模型获取模块,用于获取虚拟手部模型,所述虚拟手部模型是根据真实手的手指关节角度数据通过预设算法处理得到的,所述虚拟手部模型是虚拟环境中形成的可视化的三维仿真手部模型,所述真实手的手指关节角度数据是通过可穿戴设备角度传感器采集到的;
当前手指关节数据获取模块,用于获取所述虚拟手部模型中各个虚拟手指的当前手指关节数据,所述当前手指关节数据包括当前关节弯曲数据和当前关节平移数据;
识别手势确认模块,用于当所述各个虚拟手指的所述关节弯曲数据和所述关节平移数据与所述待匹配数据匹配成功时,成功识别到所述虚拟手部模型的识别手势,所述识别手势为匹配成功的所述待匹配数据对应的预设手势。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
数据采集模块,用于接收手部机械外骨骼通过角度传感器采集的真实手的手指关节角度,所述手指关节角度包括各个手指关节对应的关节弯曲角度和关节平移角度;
数据转换模块,用于根据所述关节弯曲角度和所述关节平移角度通过预设算法得到虚拟手部模型的关节弯曲数据和关节平移数据;
虚拟手部模型构建模块,用于根据所述关节弯曲数据和所述关节平移数据构建所述虚拟手部模型。
8.根据权利要求6或7所述的装置,所述待匹配数据包括弯曲数据范围、平移数据范围,其特征在于,所述识别手势确认模块包括:
匹配单元,用于当所述当前关节弯曲数据在所述弯曲数据范围内、所述当前关节平移数据在所述平移数据范围内时,所述关节弯曲数据和所述关节平移数据与第一手指关节数据匹配成功。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5中任一项所述方法的步骤。
CN201911131354.9A 2019-11-19 2019-11-19 手势识别方法、装置、计算机设备和存储介质 Active CN112904994B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911131354.9A CN112904994B (zh) 2019-11-19 2019-11-19 手势识别方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911131354.9A CN112904994B (zh) 2019-11-19 2019-11-19 手势识别方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN112904994A CN112904994A (zh) 2021-06-04
CN112904994B true CN112904994B (zh) 2023-09-22

Family

ID=76103145

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911131354.9A Active CN112904994B (zh) 2019-11-19 2019-11-19 手势识别方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN112904994B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114387836B (zh) * 2021-12-15 2024-03-22 上海交通大学医学院附属第九人民医院 一种虚拟手术模拟方法、装置、电子设备及存储介质
CN115167673A (zh) * 2022-07-06 2022-10-11 中科传媒科技有限责任公司 虚拟手势同步的实现方法、装置、设备及存储介质
CN116597473B (zh) * 2023-05-16 2024-01-26 南京莱医特电子科技有限公司 手势识别方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108052202A (zh) * 2017-12-11 2018-05-18 深圳市星野信息技术有限公司 一种3d交互方法、装置、计算机设备及存储介质
CN108256461A (zh) * 2018-01-11 2018-07-06 深圳市鑫汇达机械设计有限公司 一种用于虚拟现实设备的手势识别装置
CN108693958A (zh) * 2017-04-12 2018-10-23 南方科技大学 一种手势识别方法、装置及系统
CN109669532A (zh) * 2018-11-01 2019-04-23 深圳岱仕科技有限公司 手部机械外骨骼力反馈的控制方法及系统
CN109871116A (zh) * 2017-12-05 2019-06-11 博世汽车部件(苏州)有限公司 用于识别手势的装置和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108693958A (zh) * 2017-04-12 2018-10-23 南方科技大学 一种手势识别方法、装置及系统
CN109871116A (zh) * 2017-12-05 2019-06-11 博世汽车部件(苏州)有限公司 用于识别手势的装置和方法
CN108052202A (zh) * 2017-12-11 2018-05-18 深圳市星野信息技术有限公司 一种3d交互方法、装置、计算机设备及存储介质
CN108256461A (zh) * 2018-01-11 2018-07-06 深圳市鑫汇达机械设计有限公司 一种用于虚拟现实设备的手势识别装置
CN109669532A (zh) * 2018-11-01 2019-04-23 深圳岱仕科技有限公司 手部机械外骨骼力反馈的控制方法及系统

Also Published As

Publication number Publication date
CN112904994A (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
CN112904994B (zh) 手势识别方法、装置、计算机设备和存储介质
CN108399367B (zh) 手部动作识别方法、装置、计算机设备及可读存储介质
CN108693958B (zh) 一种手势识别方法、装置及系统
CN110568929B (zh) 一种基于虚拟键盘的虚拟场景交互方法、装置和电子设备
CN108044625B (zh) 一种基于多Leapmotion虚拟手势融合的机器人机械臂操控方法
CN105824414A (zh) 一种用于虚拟现实系统的动作捕捉手套及虚拟现实系统
KR20200115729A (ko) 골프 동작 분석 방법 및 장치
Staretu et al. Leap motion device used to control a real anthropomorphic gripper
CN113119104B (zh) 机械臂控制方法、机械臂控制装置、计算设备及系统
CN115847422A (zh) 一种用于遥操作的姿态识别方法、装置及系统
CN114527669A (zh) 一种设备控制方法、装置及电子设备
CN113814951A (zh) 一种主从机器人的控制方法、系统及存储介质
CN113084791B (zh) 机械臂控制方法、机械臂控制装置及终端设备
JP2007241833A (ja) 認識装置、認識システム、形状認識方法、プログラム及びコンピュータ読み取り可能な記録媒体
CN110704901A (zh) 山墙屋面顶导梁的连接节点放置方法和相关产品
CN110757457A (zh) 一种物联网机器人的加工仿真方法、装置及系统
CN111103973A (zh) 模型处理方法、装置、计算机设备和存储介质
KR20190131417A (ko) 손동작 인식을 이용하여 매크로 기능을 제공하기 위한 장치 및 그 방법
CN116442218A (zh) 一种遥操作跟踪方法、装置、设备、系统及存储介质
CN112917470A (zh) 一种机械手的示教方法、装置、系统、存储介质及设备
CN110850962B (zh) 控制方法及装置、手部外骨骼设备、计算机可读存储介质
KR102510051B1 (ko) 시간 및 관절 별 기준 위치를 이용하여 동작 일치를 판단하는 전자 장치의 제어 방법
CN112949084B (zh) 一种无力反馈的受力动作捕捉误差修正方法
US20220415094A1 (en) Method and system for estimating gesture of user from two-dimensional image, and non-transitory computer-readable recording medium
WO2023189838A1 (ja) 情報処理装置、情報処理方法、及び、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant