CN108537175B - 基于姿态传感的肢体语言语义识别方法、装置及存储介质 - Google Patents

基于姿态传感的肢体语言语义识别方法、装置及存储介质 Download PDF

Info

Publication number
CN108537175B
CN108537175B CN201810314541.XA CN201810314541A CN108537175B CN 108537175 B CN108537175 B CN 108537175B CN 201810314541 A CN201810314541 A CN 201810314541A CN 108537175 B CN108537175 B CN 108537175B
Authority
CN
China
Prior art keywords
joint
state information
palm
body language
semantic recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810314541.XA
Other languages
English (en)
Other versions
CN108537175A (zh
Inventor
熊鹏航
李美宏
周文奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Hexacercle Technology Co ltd
Original Assignee
Wuhan Hexacercle Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Hexacercle Technology Co ltd filed Critical Wuhan Hexacercle Technology Co ltd
Priority to CN201810314541.XA priority Critical patent/CN108537175B/zh
Publication of CN108537175A publication Critical patent/CN108537175A/zh
Application granted granted Critical
Publication of CN108537175B publication Critical patent/CN108537175B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于姿态传感的肢体语言语义识别方法、装置及存储介质,所述方法包括:通过姿态传感获取各手臂关节和手掌关节的目标状态信息;在第一预设关系映射表中查找与所述目标状态信息对应的状态值,并将各手臂关节和手掌关节的状态值进行组合生成肢体语言识别码;根据所述肢体语言识别码在第二预设关系映射表中查找对应的控制指令,并根据所述控制指令实现对目标物的操作。本发明通过姿态传感更直接获取到各手臂关节和手掌关节的状态信息,并将获取到的状态信息在预设关系映射表中查找与所述状态信息对应的控制指令,通过所述控制指令完成对目标物的操作,从而提高肢体语言语义识别的效率。

Description

基于姿态传感的肢体语言语义识别方法、装置及存储介质
技术领域
本发明涉及肢体语言语义识别技术领域,尤其涉及一种基于姿态传感的肢体语言语义识别方法、装置及存储介质。
背景技术
随着人工智能时代的到来,体感控制将会成为一种新的人机交互方式,体感控制的前提条件是要完成肢体语言的语义识别,肢体语言的语义识别不同于语音语义识别有发音和语法规则可以作为识别标准,肢体语言语义识别要从看似无章法可循的肢体动作中读取特定动作的特定语义,而体感控制领域一直缺乏一套肢体语言识别简单的标准方法。
现有的技术只能对肢体运动状态进行动态捕捉,没有进行语义识别和赋予任意手势以控制指令来对远程设备进行控制,并且大多数动态捕捉技术是基于红外传感和图像识别技术的,在语义识别时,需要经过数据二次转化和空间解算,造成识别过程比较复杂,并且识别错误率较高。
发明内容
本发明的主要目的在于提出一种基于姿态传感的肢体语言语义识别方法、装置及存储介质,旨在解决现有技术中无法更直接的进行肢体语言语义识别的技术问题。
为实现上述目的,本发明提供一种基于姿态传感的肢体语言语义识别方法,所述基于姿态传感的肢体语言语义识别方法包括以下步骤:
通过姿态传感获取各手臂关节和手掌关节的目标状态信息;
在第一预设关系映射表中查找与所述目标状态信息对应的状态值,并将各手臂关节和手掌关节的状态值进行组合生成肢体语言识别码;
根据所述肢体语言识别码在第二预设关系映射表中查找对应的控制指令,并根据所述控制指令实现对目标物的操作。
优选地,所述在第一预设关系映射表中查找与所述目标状态信息对应的状态值,并将各手臂关节和手掌关节的状态值进行组合生成肢体语言识别码之前,所述基于姿态传感的肢体语言语义识别方法还包括:
将所述各手臂关节和手掌关节的目标状态信息进行分类,并将分类后的状态信息进行保存;
相应地,所述在第一预设关系映射表中查找与所述目标状态信息对应的状态值,并将各手臂关节和手掌关节的状态值进行组合生成肢体语言识别码,具体包括:
在第一预设关系映射表中查找与分类后的状态信息对应的状态值,并将各手臂关节和手掌关节的状态值进行组合生成肢体语言识别码。
优选地,所述通过姿态传感获取各手臂关节和手掌关节的目标状态信息之前,所述基于姿态传感的肢体语言语义识别方法还包括:
获取各手臂关节和手掌关节的当前状态信息,判断所述当前状态信息是否满足预设状态,将满足预设状态的状态信息作为所述目标状态信息。
优选地,所述在第一预设关系映射表中查找与所述目标状态信息对应的状态值,并将各手臂关节和手掌关节的状态值进行组合生成肢体语言识别码,具体包括:
获取各手臂关节和手掌关节的当前状态信息,判断所述当前状态信息为运动状态时,判断运动幅度是否满足预设阈值,在所述运动幅度满足预设阈值,将满足预设阈值的状态信息作为所述目标状态信息。
优选地,所述各手臂关节和手掌关节包括手臂关节和手掌关节,所述手臂关节包括第一关节、第二关节和第三关节,所述手掌关节包括第四关节和第五关节;
相应地,所述通过姿态传感获取各手臂关节和手掌关节的目标状态信息,具体包括:
获取所述第一关节、第二关节、第三关节、第四关节以及第五关节的位置信息,将所述位置信息作为所述目标状态信息。
优选地,所述获取所述第一关节、第二关节、第三关节、第四关节以及第五关节的位置信息,将所述位置信息作为所述目标状态信息,具体包括:
获取所述第一关节、第二关节、第三关节、第四关节以及第五关节的位置信息与预设位置进行比较,将比较后的位置信息作为所述目标状态信息。
优选地,所述在第一预设关系映射表中查找与所述目标状态信息对应的状态值,并将各手臂关节和手掌关节的状态值进行组合生成肢体语言识别码之前,所述基于姿态传感的肢体语言语义识别方法还包括:
获取历史状态信息与状态值,根据所述历史状态信息与状态值建立第一预设关系映射表。
优选地,所述根据所述肢体语言识别码在第二预设关系映射表中查找对应的控制指令,并根据所述控制指令实现对目标物的操作之前,所述基于姿态传感的肢体语言语义识别方法还包括:
获取历史状态值与控制指令,根据所述历史状态值与控制指令建立第二预设关系映射表。
此外,为实现上述目的,本发明还提出一种肢体语言语义识别装置,所述肢体语言语义识别装置包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于姿态传感的肢体语言语义识别程序,所述基于姿态传感的肢体语言语义识别程序配置为实现如上所述的基于姿态传感的肢体语言语义识别方法的步骤。
此外,为实现上述目的,本发明还提出一种存储介质,所述存储介质上存储有基于姿态传感的肢体语言语义识别程序,所述基于姿态传感的肢体语言语义识别程序被处理器执行时实现如上文所述的基于姿态传感的肢体语言语义识别方法的步骤。
本发明提出的基于姿态传感的肢体语言语义识别方法,通过姿态传感更直接获取到各手臂关节和手掌关节的状态信息,并将获取到的状态信息在预设关系映射表中查找与所述状态信息对应的控制指令,通过所述控制指令完成对目标物的操作,从而提高肢体语言语义识别的效率。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的肢体语言语义识别装置结构示意图;
图2为本发明基于姿态传感的肢体语言语义识别方法第一实施例的流程示意图;
图3为本发明基于姿态传感的肢体语言语义识别方法第一实施例中采集各手臂关节和手掌关节的结构示意图;
图4为本发明基于姿态传感的肢体语言语义识别方法第一实施例中肢体语言语义识别树状结构视图;
图5为本发明基于姿态传感的肢体语言语义识别方法第二实施例的流程示意图;
图6为本发明基于姿态传感的肢体语言语义识别方法第三实施例的流程示意图;
图7为本发明基于姿态传感的肢体语言语义识别方法第四实施例的流程示意图;
图8为本发明基于姿态传感的肢体语言语义识别方法第五实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的肢体语言语义识别装置结构示意图。
如图1所示,该肢体语言语义识别装置可以包括:处理器1001,例如CPU,通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏 (Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的肢体语言语义识别装置结构并不构成对肢体语言语义识别装置的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于姿态传感的肢体语言语义识别程序。
在图1所示的肢体语言语义识别装置中,网络接口1004主要用于连接服务器,与服务器进行数据通信;用户接口1003主要用于连接用户终端,与终端进行数据通信;本发明肢体语言语义识别装置通过处理器1001调用存储器 1005中存储的基于姿态传感的肢体语言语义识别程序,并执行以下操作:
通过姿态传感获取各手臂关节和手掌关节的目标状态信息;
在第一预设关系映射表中查找与所述目标状态信息对应的状态值,并将各手臂关节和手掌关节的状态值进行组合生成肢体语言识别码;
根据所述肢体语言识别码在第二预设关系映射表中查找对应的控制指令,并根据所述控制指令实现对目标物的操作。
进一步地,处理器1001可以调用存储器1005中存储的基于姿态传感的肢体语言语义识别程序,还执行以下操作:
在第一预设关系映射表中查找与分类后的状态信息对应的状态值,并将各手臂关节和手掌关节的状态值进行组合生成肢体语言识别码。
进一步地,处理器1001可以调用存储器1005中存储的基于姿态传感的肢体语言语义识别程序,还执行以下操作:
获取各手臂关节和手掌关节的当前状态信息,判断所述当前状态信息是否满足预设状态,将满足预设状态的状态信息作为所述目标状态信息。
进一步地,处理器1001可以调用存储器1005中存储的基于姿态传感的肢体语言语义识别程序,还执行以下操作:
获取各手臂关节和手掌关节的当前状态信息,判断所述当前状态信息为运动状态时,判断运动幅度是否满足预设阈值,在所述运动幅度满足预设阈值,将满足预设阈值的状态信息作为所述目标状态信息。
进一步地,处理器1001可以调用存储器1005中存储的基于姿态传感的肢体语言语义识别程序,还执行以下操作:
获取所述第一关节、第二关节、第三关节、第四关节以及第五关节的位置信息,将所述位置信息作为所述目标状态信息。
进一步地,处理器1001可以调用存储器1005中存储的基于姿态传感的肢体语言语义识别程序,还执行以下操作:
获取所述第一关节、第二关节、第三关节、第四关节以及第五关节的位置信息与预设位置进行比较,将比较后的位置信息作为所述目标状态信息。
进一步地,处理器1001可以调用存储器1005中存储的基于姿态传感的肢体语言语义识别程序,还执行以下操作:
获取历史状态信息与状态值,根据所述历史状态信息与状态值建立第一预设关系映射表。
进一步地,处理器1001可以调用存储器1005中存储的基于姿态传感的肢体语言语义识别程序,还执行以下操作:
获取历史状态值与控制指令,根据所述历史状态值与控制指令建立第二预设关系映射表。
本实施例通过上述方案,通过姿态传感更直接获取到各手臂关节和手掌关节的状态信息,并将获取到的状态信息在预设关系映射表中查找与所述状态信息对应的控制指令,通过所述控制指令完成对目标物的操作,从而提高肢体语言语义识别的效率。
基于上述硬件结构,提出本发明基于姿态传感的肢体语言语义识别方法实施例。
参照图2,图2为本发明基于姿态传感的肢体语言语义识别方法第一实施例的流程示意图。
在第一实施例中,所述基于姿态传感的肢体语言语义识别方法包括以下步骤:
步骤S10,通过姿态传感获取各手臂关节和手掌关节的目标状态信息。
需要说明的是,所述姿态传感可为多个,设在数据手套中,通过用户佩戴数据护套从而采集所述用户的状态信息,通过采集位置的不同,在所述数据护套中进行相应的分布,从而可更直接地采集到用户的使用信息。
在本实施例中,所述目标状态信息对应不同部位的运动状态信息,还可为其他状态信息,本实施例对此不作限制,在本实施例中,以运动和静止状态为例进行说明。
如图3所示的采集各手臂关节和手掌关节的结构示意图,所述目标状态信息包括手臂的主关节1的状态信息,还可为其他部位,本实施例对此不作限制,本实施例将手臂分为3大主关节:主关节1、主关节2以及主关节3,将手部分为两类类指关节,包括A类关节和B类关节,其中,A类关节包括 5个采集部位,B类关节包括9个采集部位,还可分为更细的关节,本实施例对此不作限制。
为了更便捷的获取个关节的状态信息,将主关节1的运动维度设有在平行于躯干平面的转动、垂直与躯干平面的转动以及两个转动合成立体空间内的运动,主关节2的运动维度为在手臂所在平面内的转动,主关节3的运动维度为垂直于手臂主轴线的转动和垂直于手臂主轴线的折叠,A类关节的运动维度为与手掌在同一平面内的左右移动、手掌垂直平面内的上下移动以及合运动为一个圆锥面内的转动,B类关节的运动维度为在垂直于手掌平面内的上下运动,合运动为手指的弯曲折叠。
步骤S20,在第一预设关系映射表中查找与所述目标状态信息对应的状态值,并将各手臂关节和手掌关节的状态值进行组合生成肢体语言识别码。
可以理解的是,所述状态值为定义当前状态的状态值,例如采集到主关节1的当前运动状态为在平行于躯干平面的转动,则将所述主关节1的状态值设为1,如果采集到主关节1的当前运动状态为在垂直与躯干平面的转动,则将所述主关节1的状态值设为2,从而确定个关节的状态信息。
在具体实现中,可将各手臂关节和手掌关节的状态值进行组合生成肢体语言识别码,根据所述肢体语言识别码确定与其他运动状态信息进行区分,从而提高所述肢体语言语义识别的准确性。
在本实施例中,例如采集主关节1的状态信息为在平行于躯干平面的转动,采集主关节2的状态信息为在手臂所在平面内的转动,采集主关节3的状态信息为垂直于手臂主轴线的转动,采集A类关节的运动状态信息为与手掌在同一平面内的左右移动,采集B类关节的状态信息为在垂直于手掌平面内的上下运动,在第一预设关系映射表中查找到与主关节1的状态信息为在平行于躯干平面的转动对应的状态值1,与主关节2的状态信息为在手臂所在平面内的转动对应的状态值2,与主关节3的状态信息为垂直于手臂主轴线的转动对应的状态值1,与A类关节的运动状态信息为与手掌在同一平面内的左右移动对应的状态值2,与B类关节的状态信息为在垂直于手掌平面内的上下运动对应的状态值3,根据所述状态值组合成肢体语言识别码“12212”,从而提高所述肢体语言语义识别的准确性。
在本实施例中,为了提高识别的效率,可将所述各手臂关节和手掌关节的状态值设置权重,例如A类关节或B类关节更能体现肢体语言的语义,可将所述A类关节或B类关节设置相应的权重,在进行肢体语言语义识别时,可优先处理所述A类关节或B类关节的状态信息,将更能体现用户语义的肢体语言进行优先处理,从而提高肢体语言语义识别的效率。
如图4所示的肢体语言语义识别树状结构视图,主关节1带来2种运动可能性,主关节2带来1种运动可能性,主关节3带来2种运动可能性,A 类关节5各带来2种运动可能性,其中4个A类关节中的每个A类关节连接 2个B类关节,另一个A类关节连接1个B类关节,所以可产生的运动可能性为2×4+2×1=10种,所以在不考虑各手臂关节和手掌关节在各个维度上的转动角度,那么基本的转动可能性就有2×1×2×10=40种,其后再根据各手臂关节和手掌关节的转动角度来定义和归类肢体语言语义,从而可将用户的状态进行更精细化处理,扩展肢体语言语义识别的多样性。
步骤S30,根据所述肢体语言识别码在第二预设关系映射表中查找对应的控制指令,并根据所述控制指令实现对目标物的操作。
需要说明的是,所述控制指令可为上移、下移、跑和跳等控制指令,还可包括确定等操作指令,本实施例对此不作限制,在本实施例中,将所述肢体语言识别码在关系映射表中查找对应的控制指令,从而完成对目标物的操作。
在具体实现中,例如用户正在使用所述肢体语言语义识别装置进行显示屏上的图册操作,采集到用户的运动信息,根据所述运动信息生成肢体语言语义识别码,从而可查找到与所述肢体语言语义识别码对应的下一张的操作指令,对当前显示界面中显示的图片切换到下一张,从而实现更直接的肢体语言语义识别。
可以理解的是,还可将各手臂关节和手掌关节的状态信息与预设关系映射表中的历史数据进行匹配,获取与历史数据对应的目标状态信息,并根据所述目标状态信息查找对应的控制指令,并根据所述控制指令实现对目标物的操作。
本实施例通过上述方案,通过姿态传感更直接获取到各手臂关节和手掌关节的状态信息,并将获取到的状态信息在预设关系映射表中查找与所述状态信息对应的控制指令,通过所述控制指令完成对目标物的操作,从而提高肢体语言语义识别的效率。
进一步地,如图5所示,基于第一实施例提出本发明基于姿态传感的肢体语言语义识别方法第二实施例,在本实施例中,所述步骤S20之前,所述方法还包括:
步骤S201,将所述各手臂关节和手掌关节的目标状态信息进行分类,并将分类后的状态信息进行保存。
需要说明的是,所述目标状态信息为采集的各手臂关节和手掌关节的状态信息,可见,采集的状态信息为多个数据信息,在这种情况下,可对采集的各手臂关节和手掌关节的状态信息进行分类,从而实现对状态信息的管理。
相应地,所述步骤20,具体包括:
步骤S202,在第一预设关系映射表中查找与分类后的状态信息对应的状态值,并将各手臂关节和手掌关节的状态值进行组合生成肢体语言识别码。
在本实施例中,可根据各手臂关节和手掌关节的具体位置对采集的状态信息进行分类,例如采集到的关节1的状态信息,A关节的状态信息等,从而可将分类后的状态信息与各手臂关节和手掌关节对应的预设位置信息进行比较,便于获取到各手臂关节和手掌关节的具体位置识别,提高肢体语言语义识别的正确性。
本实施例提供的方案,所述肢体语言语义识别装置可将采集的各手臂关节和手掌关节的状态信息根据各手臂关节和手掌关节的位置进行分类,从而可将分类后的状态信息与各手臂关节和手掌关节对应的预设位置信息进行比较,便于获取到各手臂关节和手掌关节的具体位置识别,提高肢体语言语义识别的正确性。
进一步地,如图6所示,基于第一实施例提出本发明基于姿态传感的肢体语言语义识别方法第三实施例,在本实施例中,基于第一实施例进行说明,所述步骤S10之前,所述方法还包括:
步骤S101,获取各手臂关节和手掌关节的当前状态信息,判断所述当前状态信息是否满足预设状态,将满足预设状态的状态信息作为所述目标状态信息。
在本实施例中,所述预设状态可为所述当前状态是否为运行状态或者静止状态,在所述当前状态为静止状态时,不进行处理,从而提高肢体语言语义识别的效率,在判断各手臂关节和手掌关节当前的状态为运行状态时,才采集处于运动状态信息的运动信息。
进一步地,所述步骤S101,具体包括:
步骤S102,获取各手臂关节和手掌关节的当前状态信息,判断所述当前状态信息为运动状态时,判断运动幅度是否满足预设阈值,在所述运动幅度满足预设阈值,将满足预设阈值的状态信息作为所述目标状态信息。
需要说明的是,所述预设阈值为判断在各手臂关节和手掌关节运动时的运动幅度是否满足预设条件,例如在主关节1在平行躯干平面进行转动,如果转动角度小于30度,将所述30度作为幅度阈值,但不限于此阈值,还可为其他数据,本实施例对此不作限制,仅用作说明,在姿态传感检测与平行躯干平面的幅度小于30度时,此次行为可能为用户的误操作,将此次行为作为无效动作,不作处理,从而提高肢体语言语义识别的准确性。
本实施例提供的方案,所述肢体语言语义识别装置可对采集到状态信息进行判断,判断所述状态信息是否为有效的操作,在确定为有效的操作才进行处理,从而提高肢体语言语义识别的准确性。
进一步地,如图7所示,基于第一实施例、第二实施例以及第三实施例提出本发明基于姿态传感的肢体语言语义识别方法第四实施例,在本实施例中,基于第一实施例进行说明,所述手臂关节包括第一关节、第二关节和第三关节,所述手掌关节包括第四关节和第五关节;
所述步骤S10,具体包括:
步骤S103,获取所述第一关节、第二关节、第三关节、第四关节以及第五关节的位置信息,将所述位置信息作为所述目标状态信息。
进一步地,所述步骤S103,具体包括:
步骤S104,获取所述第一关节、第二关节、第三关节、第四关节以及第五关节的位置信息与预设位置进行比较,将比较后的位置信息作为所述目标状态信息。
需要说明的是,所述第一关节为主关节1,所述第二关节为主关节2,所述第三关节为主关节3,所述第四关节为A类关节,所述第五关节为B类关节。
在具体实现中,将主关节1的运动维度的预设位置为在平行于躯干平面的转动、垂直与躯干平面的转动以及两个转动合成立体空间内的运动,主关节2的预设位置为在手臂所在平面内的转动,主关节3的预设位置为垂直于手臂主轴线的转动和垂直于手臂主轴线的折叠,A类关节的预设位置为与手掌在同一平面内的左右移动、手掌垂直平面内的上下移动以及合运动为一个圆锥面内的转动,B类关节的预设位置为在垂直于手掌平面内的上下运动,合运动为手指的弯曲折叠。
本实施例提供的方案,肢体语言语义识别装置通过获取各手臂关节和手掌关节的状态信息,将所述状态信息与预设位置进行比较,从而确定所述各手臂关节和手掌关节的运动信息,提高肢体语言语义识别的准确性。
进一步地,如图8所示,基于第一实施例、第二实施例以及第三实施例提出本发明基于姿态传感的肢体语言语义识别方法第五实施例,在本实施例中,基于第一实施例进行说明,所述步骤S20之前,所述方法还包括:
步骤S203,获取历史状态信息与状态值,根据所述历史状态信息与状态值建立第一预设关系映射表。
需要说明的是,所述第一关系映射表可在预设存储区域进行存储还可保存在本地,通过获取历史状态信息与状态值,建立历史状态信息与状态值的关系映射表,从而可将所述状态信息进行数据转化,提高判断的精度。
所述步骤S20之前,所述方法还包括:
步骤S204,获取历史状态值与控制指令,根据所述历史状态值与控制指令建立第二预设关系映射表。
需要说明的是,所述第二关系映射表可在预设存储区域进行存储还可保存在本地,通过获取历史状态值与控制指令,建立历史状态值与控制指令的关系映射表,从而可通过状态值查找对应的控制指令,实现对目标物的控制,提高用户体验。
本实施例提供的方案,肢体语言语义识别装置可建立历史状态信息与状态值,以及历史状态值与控制指令对应关系,从而可将数据进行转化,生成对应的控制指令,实现对目标物的控制。
此外,本发明实施例还提出一种存储介质,所述存储介质上存储有基于姿态传感的肢体语言语义识别程序,所述基于姿态传感的肢体语言语义识别程序被处理器执行时实现如下操作:
通过姿态传感获取各手臂关节和手掌关节的目标状态信息;
在第一预设关系映射表中查找与所述目标状态信息对应的状态值,并将各手臂关节和手掌关节的状态值进行组合生成肢体语言识别码;
根据所述肢体语言识别码在第二预设关系映射表中查找对应的控制指令,并根据所述控制指令实现对目标物的操作。
进一步地,所述基于姿态传感的肢体语言语义识别程序被处理器执行时还实现如下操作:
在第一预设关系映射表中查找与分类后的状态信息对应的状态值,并将各手臂关节和手掌关节的状态值进行组合生成肢体语言识别码。
进一步地,所述基于姿态传感的肢体语言语义识别程序被处理器执行时还实现如下操作:
获取各手臂关节和手掌关节的当前状态信息,判断所述当前状态信息是否满足预设状态,将满足预设状态的状态信息作为所述目标状态信息。
进一步地,所述基于姿态传感的肢体语言语义识别程序被处理器执行时还实现如下操作:
获取各手臂关节和手掌关节的当前状态信息,判断所述当前状态信息为运动状态时,判断运动幅度是否满足预设阈值,在所述运动幅度满足预设阈值,将满足预设阈值的状态信息作为所述目标状态信息。
进一步地,所述基于姿态传感的肢体语言语义识别程序被处理器执行时还实现如下操作:
获取所述第一关节、第二关节、第三关节、第四关节以及第五关节的位置信息,将所述位置信息作为所述目标状态信息。
进一步地,所述基于姿态传感的肢体语言语义识别程序被处理器执行时还实现如下操作:
获取所述第一关节、第二关节、第三关节、第四关节以及第五关节的位置信息与预设位置进行比较,将比较后的位置信息作为所述目标状态信息。
进一步地,所述基于姿态传感的肢体语言语义识别程序被处理器执行时还实现如下操作:
获取历史状态信息与状态值,根据所述历史状态信息与状态值建立第一预设关系映射表。
进一步地,所述基于姿态传感的肢体语言语义识别程序被处理器执行时还实现如下操作:
获取历史状态值与控制指令,根据所述历史状态值与控制指令建立第二预设关系映射表。
本实施例通过上述方案,通过姿态传感更直接获取到各手臂关节和手掌关节的状态信息,并将获取到的状态信息在预设关系映射表中查找与所述状态信息对应的控制指令,通过所述控制指令完成对目标物的操作,从而提高肢体语言语义识别的效率。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个计算机可读存储介质(如 ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于姿态传感的肢体语言语义识别方法,其特征在于,所述基于姿态传感的肢体语言语义识别方法包括以下步骤:
通过姿态传感获取各手臂关节和手掌关节的目标状态信息,所述姿态传感设在数据手套中,通过用户佩戴数据护套采集用户的目标状态信息;
在第一预设关系映射表中查找与所述目标状态信息对应的状态值,并将各手臂关节和手掌关节的状态值进行组合生成肢体语言识别码;
根据所述肢体语言识别码在第二预设关系映射表中查找对应的控制指令,并根据所述控制指令实现对目标物的操作;
所述在第一预设关系映射表中查找与所述目标状态信息对应的状态值,并将各手臂关节和手掌关节的状态值进行组合生成肢体语言识别码,包括:
所述手臂关节的目标状态信息包括在平行于躯干平面的转动、在手臂所在平面内的转动以及垂直于手臂主轴线的转动的状态信息,所述手掌关节的目标状态信息包括与手掌在同一平面内的左右移动以及垂直于手掌平面内的上下运动的状态信息,在第一预设关系映射表中查找状态信息对应的状态值,并将各手臂关节和手掌关节的状态值进行组合生成肢体语言识别码。
2.如权利要求1所述的基于姿态传感的肢体语言语义识别方法,其特征在于,所述在第一预设关系映射表中查找与所述目标状态信息对应的状态值,并将各手臂关节和手掌关节的状态值进行组合生成肢体语言识别码之前,所述基于姿态传感的肢体语言语义识别方法还包括:
将所述各手臂关节和手掌关节的目标状态信息进行分类,并将分类后的状态信息进行保存;
相应地,所述在第一预设关系映射表中查找与所述目标状态信息对应的状态值,并将各手臂关节和手掌关节的状态值进行组合生成肢体语言识别码,具体包括:
在第一预设关系映射表中查找与分类后的状态信息对应的状态值,并将各手臂关节和手掌关节的状态值进行组合生成肢体语言识别码。
3.如权利要求1所述的基于姿态传感的肢体语言语义识别方法,其特征在于,所述通过姿态传感获取各手臂关节和手掌关节的目标状态信息之前,所述基于姿态传感的肢体语言语义识别方法还包括:
获取各手臂关节和手掌关节的当前状态信息,判断所述当前状态信息是否满足预设状态,将满足预设状态的状态信息作为所述目标状态信息。
4.如权利要求3所述的基于姿态传感的肢体语言语义识别方法,其特征在于,所述在第一预设关系映射表中查找与所述目标状态信息对应的状态值,并将各手臂关节和手掌关节的状态值进行组合生成肢体语言识别码,具体包括:
获取各手臂关节和手掌关节的当前状态信息,判断所述当前状态信息为运动状态时,判断运动幅度是否满足预设阈值,在所述运动幅度满足预设阈值,将满足预设阈值的状态信息作为所述目标状态信息。
5.如权利要求1至4中任一项所述的基于姿态传感的肢体语言语义识别方法,其特征在于,所述手臂关节包括第一关节、第二关节和第三关节,所述手掌关节包括第四关节和第五关节;
相应地,所述通过姿态传感获取各手臂关节和手掌关节的目标状态信息,具体包括:
获取所述第一关节、第二关节、第三关节、第四关节以及第五关节的位置信息,将所述位置信息作为所述目标状态信息。
6.如权利要求5所述的基于姿态传感的肢体语言语义识别方法,其特征在于,所述获取所述第一关节、第二关节、第三关节、第四关节以及第五关节的位置信息,将所述位置信息作为所述目标状态信息,具体包括:
获取所述第一关节、第二关节、第三关节、第四关节以及第五关节的位置信息与预设位置进行比较,将比较后的位置信息作为所述目标状态信息。
7.如权利要求1至4中任一项所述的基于姿态传感的肢体语言语义识别方法,其特征在于,所述在第一预设关系映射表中查找与所述目标状态信息对应的状态值,并将各手臂关节和手掌关节的状态值进行组合生成肢体语言识别码之前,所述基于姿态传感的肢体语言语义识别方法还包括:
获取历史状态信息与状态值,根据所述历史状态信息与状态值建立第一预设关系映射表。
8.如权利要求1至4中任一项所述的基于姿态传感的肢体语言语义识别方法,其特征在于,所述根据所述肢体语言识别码在第二预设关系映射表中查找对应的控制指令,并根据所述控制指令实现对目标物的操作之前,所述基于姿态传感的肢体语言语义识别方法还包括:
获取历史状态值与控制指令,根据所述历史状态值与控制指令建立第二预设关系映射表。
9.一种肢体语言语义识别装置,其特征在于,所述肢体语言语义识别装置包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于姿态传感的肢体语言语义识别程序,所述基于姿态传感的肢体语言语义识别程序配置为实现如权利要求1至8中任一项所述的基于姿态传感的肢体语言语义识别方法的步骤。
10.一种存储介质,其特征在于,所述存储介质上存储有基于姿态传感的肢体语言语义识别程序,所述基于姿态传感的肢体语言语义识别程序被处理器执行时实现如权利要求1至8中任一项所述的基于姿态传感的肢体语言语义识别方法的步骤。
CN201810314541.XA 2018-04-08 2018-04-08 基于姿态传感的肢体语言语义识别方法、装置及存储介质 Active CN108537175B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810314541.XA CN108537175B (zh) 2018-04-08 2018-04-08 基于姿态传感的肢体语言语义识别方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810314541.XA CN108537175B (zh) 2018-04-08 2018-04-08 基于姿态传感的肢体语言语义识别方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN108537175A CN108537175A (zh) 2018-09-14
CN108537175B true CN108537175B (zh) 2020-10-09

Family

ID=63480601

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810314541.XA Active CN108537175B (zh) 2018-04-08 2018-04-08 基于姿态传感的肢体语言语义识别方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN108537175B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109558826B (zh) * 2018-11-23 2021-04-20 武汉灏存科技有限公司 基于模糊聚类的手势识别方法、系统、设备及存储介质
CN111414073A (zh) * 2019-01-07 2020-07-14 珠海金山办公软件有限公司 一种人机交互方法、装置、电子设备及可读存储介质
CN110989827A (zh) * 2019-10-21 2020-04-10 远光软件股份有限公司 智能交互的控制方法、装置、设备及存储介质
CN110941990B (zh) * 2019-10-22 2023-06-16 泰康保险集团股份有限公司 基于骨骼关键点进行人体动作评估的方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104616028A (zh) * 2014-10-14 2015-05-13 北京中科盘古科技发展有限公司 基于空间分割学习的人体肢体姿势动作识别方法
CN106203299A (zh) * 2016-06-30 2016-12-07 北京二郎神科技有限公司 一种可操控设备的控制方法和装置
CN106326881A (zh) * 2016-09-21 2017-01-11 济南超感智能科技有限公司 用于实现人机交互的手势识别方法和手势识别设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160106455A (ko) * 2015-03-02 2016-09-12 주식회사 삼정텍 영상기기를 활용한 골프 자세 분석 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104616028A (zh) * 2014-10-14 2015-05-13 北京中科盘古科技发展有限公司 基于空间分割学习的人体肢体姿势动作识别方法
CN106203299A (zh) * 2016-06-30 2016-12-07 北京二郎神科技有限公司 一种可操控设备的控制方法和装置
CN106326881A (zh) * 2016-09-21 2017-01-11 济南超感智能科技有限公司 用于实现人机交互的手势识别方法和手势识别设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A framework for Human-Computer Interaction using Dynamic Time Warping and Neural Network;Vishwakarma 等;《 International Conference on Inventive Computing and Informatics》;20171124;第242-546页 *
余弦DTW在上肢康复训练中的应用;邵阳 等;《计算机工程与设计》;20180131;第39卷(第1期);第249-254页 *

Also Published As

Publication number Publication date
CN108537175A (zh) 2018-09-14

Similar Documents

Publication Publication Date Title
CN108537175B (zh) 基于姿态传感的肢体语言语义识别方法、装置及存储介质
JP4934220B2 (ja) ラベル割当を用いた手サイン認識
US9207771B2 (en) Gesture based user interface
EP2426598A2 (en) Apparatus and method for user intention inference using multimodal information
CN110986969B (zh) 地图融合方法及装置、设备、存储介质
CN109871800A (zh) 一种人体姿态估计方法、装置和存储介质
CN104350509A (zh) 快速姿势检测器
US10740600B2 (en) Posture estimation system, posture estimation device and range image camera
CN108762489B (zh) 基于数据手套的控制方法、数据手套、系统及存储介质
CN111708366A (zh) 机器人及其行动控制方法、装置和计算机可读存储介质
US9696815B2 (en) Method, device, system and non-transitory computer-readable recording medium for providing user interface
CN107993651B (zh) 一种语音识别方法、装置、电子设备及存储介质
US10162737B2 (en) Emulating a user performing spatial gestures
CN111027403A (zh) 手势估计方法、装置、设备及计算机可读存储介质
KR101228336B1 (ko) 모바일 단말기의 사용자 행동패턴을 이용하여 개인화 서비스를 제공하는 방법 및 이를 위한 모바일 단말기
CN111160308B (zh) 手势动作识别方法、装置、设备及可读存储介质
CN109558826B (zh) 基于模糊聚类的手势识别方法、系统、设备及存储介质
CN111507219A (zh) 一种动作识别方法、装置及电子设备和存储介质
EP3696715A1 (en) Pose recognition method and device
Dadiz et al. Go-Mo (Go-Motion): An android mobile application detecting motion gestures for generating basic mobile phone commands utilizing KLT algorithm
CN109582136B (zh) 三维窗口手势导航方法、装置、移动终端及存储介质
CN113220125A (zh) 手指交互方法、装置、电子设备及计算机存储介质
JP2018116397A (ja) 画像処理装置、画像処理システム、画像処理プログラム、及び画像処理方法
CN112416121A (zh) 基于物体和手势感应的智能交互方法、装置及存储介质
CN113158912B (zh) 手势识别方法及装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant