CN107016342A - 一种动作识别方法及系统 - Google Patents

一种动作识别方法及系统 Download PDF

Info

Publication number
CN107016342A
CN107016342A CN201710128589.7A CN201710128589A CN107016342A CN 107016342 A CN107016342 A CN 107016342A CN 201710128589 A CN201710128589 A CN 201710128589A CN 107016342 A CN107016342 A CN 107016342A
Authority
CN
China
Prior art keywords
action
model
data
parameter
identification method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710128589.7A
Other languages
English (en)
Inventor
王晓龙
樊旭
彭意兵
孙兆沛
姚干
严浩
徐龙光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Topology Intelligent Technology Co Ltd
Original Assignee
Wuhan Topology Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Topology Intelligent Technology Co Ltd filed Critical Wuhan Topology Intelligent Technology Co Ltd
Priority to CN201710128589.7A priority Critical patent/CN107016342A/zh
Publication of CN107016342A publication Critical patent/CN107016342A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种动作识别的方法及动作识别系统,所述动作识别方法具体为:启动惯性传感器采集运动关节处的运动参数:依据采集的运动参数解算姿态数据;将姿态数据与动作模型库进行匹配识别。本发明还提供了实现上述方法的系统。通过本发明,可以满足人机交互设备的实时性要求,而且提高了动作识别的准确性,并且使用环境不受限制,具有较好的通用性和灵活性。

Description

一种动作识别方法及系统
技术领域
本发明属于人机交互技术领域,更具体地,涉及一种动作识别方法及系统。
背景技术
随着计算机科学与人工智能的发展,传统的人机交互方式如键盘、鼠标等已经逐渐满足不了新兴行业的应用,例如在AR/VR应用中,传统交互方式无法给用户提供沉浸式的体验。而基于动作识别的人机交互设备具有自然、直观、简洁等特点,得到越来越多的应用。
目前,动作识别方案大部分是基于光学感测原理,来自为微软公司的US20100199228A1提供了利用深度摄像机采集用户的身体姿态信息,并进行识别的方案;来自中国的CN104933408A提供了一种通过图像进行手势识别的方案。然而,基于光学感测的识别技术都需要图像数据,计算量大,需要计算能力较强的处理器;通过图像识别一个动作处理时间往往较长,无法达到用户的实时要求;单/双目摄像头和体感摄像机体积都比较大,无法实现便携化,并且硬件成本高;用户的动作容易受到遮挡,造成系统无法识别。这些缺陷都限制了其使用范围。
也有部分方案采用了加速度传感器来采集用户的手部运动信息,来自Nintendo公司的US20080291160A1提供了利用红外传感器和加速度传感器捕获用户手部位置的方案。但方案中仍需要使用红外传感器来进行辅助定位,所以用户的使用环境固定,无法移动。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供了一种动作识别方法及系统,采用惯性传感器采集运动信息,相比于视觉传感器,具有更精确的运动信息,能够更准确地识别;使用者可以不受环境限制,随时移动;可识别图像中被物体遮挡的动作。
一种动作识别方法,包括以下步骤:
(1)启动惯性传感器采集运动关节处的运动参数:
(2)依据采集的运动参数解算姿态数据;
(3)将姿态数据与动作模型库匹配输出动作识别结果。
进一步地,所述动作模型按照如下方式训练:
(31)利用惯性传感器多次采集某一动作下的运动样本参数,依据该运动样本参数解算该动作对应的姿态样本数据;
(32)将姿态样本数据代入K个高斯模型,得到姿态样本数据x在第k个高斯模型下产生的概率,并估计K个分高斯模型的权值πk
(33)计算姿态样本数据x属于某一动作的概率
(34)判定概率p(x)是否趋于收敛,若是,则得到由K个高斯模型组成的动作模型,若否,则依据当前权值πk更新K个高斯模型的参数,返回步骤(32)。
进一步地,所述高斯模型个数K按照如下方式确定:
根据训练用的样本数据分别作出X/Y/Z轴加速度数据的分布直方图,并求出各个直方图的加速度阈值,按阈值对各轴加速度分布进行分割,保留处于阈值之上加速度分布,计算加速度极大值个数,取三个极大值个数中最大的为高斯模型个数K。
进一步地,所述高斯模型参数以及权重按照如下方式初始化:
根据训练用的样本数据得到加速度在三维空间的分布,并聚类得到聚类中心,各聚类中心的三维矢量即为高斯模型的初始期望μ;以各聚类中心为圆心,以聚类中心之间最短距离的1/m作为半径,作出K个球体,统计球体内点的个数,根据个数之比求出各高斯模型权重的初始值,并利用协方差公式计算出高斯模型的初始协方差。
进一步地,采用随机生成的隐马尔可夫模型以及上述求得的初始化参数,训练得到若干个备选动作模型,将得到的模型对训练数据进行识别,选取平均识别率最高的模型为最终的动作模型。
进一步地,对至少相邻的两个姿态数据求平均,将均值作为步骤(3)匹配的姿态数据。
进一步地,所述步骤(3)还将不同运动部位的姿态数据转换到同一坐标系下。
进一步地,所述运动参数包括角速度和加速度,或者速度、加速度和磁场强度及方向;所述姿态数据包括航向角、俯仰角和横滚角。
进一步地,所述惯性传感器为加速度计,或者陀螺仪,或者加速度计和陀螺仪的组合,或者加速度计和磁力计的组合,或者陀螺仪和磁力计的组合,或者加速度计、陀螺仪和磁力计的组合。
一种动作识别系统,包括:
额外信息获取单元,设置在辅助运动部位,用于采集辅助运动关节的运动参数;
核心集成单元,包括中央惯性传感器、电池管理单元、中央处理单元和无线传输单元;中央惯性传感器设置于主要运动部位处,用于采集主要运动关节的运动参数;电池管理单元用于给其它单元供电;中央处理单元用于汇集中央惯性传感器和辅助惯性传感器采集的运动参数并解算为姿态数据;无线传输单元用于将姿态数据传送给识别处理单元;
识别处理单元,用于接收核心集成单元发送过来的姿态数据,将姿态数据与预设动作模型库进行匹配识别。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,由于本发明采用惯性传感器采集运动信息,相比于视觉传感器,具有更精确的运动信息,能够更准确地识别;惯性传感器可分布于各个运动关节,采集部位针对性强,采集的数据更全面,对后续的动作分类准确度有保障。使用者可以不受环境限制,随时移动,方便灵活,而且可识别图像中被物体遮挡的动作。本发明可应用于人体中不同位置或者动物、机械上进行动作识别,比如可以应用于手部动作识别、腿部动作识别、网球运动分析等。
附图说明
图1是本发明动作识别方法流程图;
图2是本发明姿态解算方法流程图;
图3是本发明动作训练及动作识别流程图;
图4是本发明动作识别系统结构图;
图5是本发明实施例系统安装结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
下面以手势识别为例详细说明本发明。图1是本发明实施例手势识别方法的流程图。方法包括:
步骤S1:将惯性传感器安装在运动关节处,采集运动参数。
步骤S2:使用采集的运动参数解算姿态。
步骤S3:从所解算的姿态数据中提取固定的运动信息特征值。
步骤S4:将所述运动信息特征值与预设动作模型库对比匹配。
步骤S5:识别成具体动作并输识别结果。
步骤S6:如果所述运动信息特征值与预设动作模型库对比匹配失败,则输出失败结果。
步骤S7:如果需要对此动作进行学习,则将训练获取的运动信息特征值保存到动作模型库中,实现学习功能。
在步骤S1中,为了实现手势的动作识别,需要采集手掌和手指的运动参数,采集手指的数量可以进行选择,本实施例中选择采集全部五指的运动参数。
在步骤S1中,采集运动参数需要平衡计算量和准确度,更具体的,需要设定采样频率使得采集到的运动参数数据能够在处理器计算范围内,并且有足够的数据量保证计算结果的准确性。
在步骤S1中,采集运动参数可以使用惯性传感器,如加速度计、或者是陀螺仪、或者是磁力计,也可以是上述传感器的组合。在本实施例中,使用了加速度计、陀螺仪和磁力计的组合。陀螺仪用于采集被测对象的角速度,加速度计用于采集被测对象的加速度,磁力计用于采集磁场的强度和方向。
在步骤S2中,为了实现手势的动作识别,需要将采集到的运动参数解算成姿态数据。姿态数据包括手掌的姿态和手指的姿态,更具体的,姿态数据是指航向角、俯仰角和横滚角。
本实施例中,解算姿态数据采用但不局限于MahonyAHRS算法,MahonyAHRS算法采用四元素表示角度,并采用互补滤波算法进行补偿。图2给出了采用MahonyAHRS算法将运动参数解算成姿态数据的流程图,包括以下步骤:
S21:运动参数数据初始处理。判断惯性传感器中加速度计采集的各轴加速度数据是否为零。若为零,则忽略该数据;若不为零,则分别将加速度计和磁力计采集的数据进行归一化处理。
S22:进行误差估算。根据当前四元数计算重力和磁力在载体坐标系下各轴的分量作为估算值。再使用叉积来计算重力估算值和实际测量的重力向量之间的误差以及磁力估算值和实际测量的磁力向量之间的误差,累加得到总误差。
S23:利用总误差比例积分运算,修正陀螺仪数据。将总误差进行积分运算,积分的结果累加到陀螺仪的数据中,用于修正陀螺仪数据将总误差进行比例运算,比例的结果累加到陀螺仪的数据中,用于修正陀螺仪数据。
S24:进行四元数归一化、更新。利用修正后的陀螺仪数据,采用其微分方程对四元数进行更新,并将得到的四元数归一化,得到更新后的存储姿态的四元数。
在步骤S2中,更具体的,为了去除采集到的运动参数中的噪声和丢失数据造成的误差,使解算姿态数据更加快速实时和准确,在进行结算姿态数据之前,对采集到的运动参数进行了滤波算法处理。更具体的,在本实施例中采用了卡尔曼滤波算法和互不滤波算法。
在步骤S2中,解算后的手掌的姿态和手指的姿态都是基于自身的坐标系的绝对姿态,为了实现手势的动作识别,需要将解算的手掌的姿态和手指的姿态结合在一个坐标系中得到相对姿态。在本实施例中,将手掌的姿态和手指的姿态全部旋转至手掌的姿态的坐标系中。更具体的,定义手掌的姿态解算后的旋转矩阵为Q0,大拇指的姿态解算后的旋转矩阵为Q1,食指的姿态解算后的旋转矩阵为Q2,中指的姿态解算后的旋转矩阵为Q3,无名指的姿态解算后的旋转矩阵为Q4,小拇指的姿态解算后的旋转矩阵为Q5。旋转大拇指的姿态到手掌的姿态坐标系的方法:计算Q1与Q0的相对旋转矩阵,Q=Q0-1·Q1,其余手指与大拇指计算方法类似。
在步骤S2中,得到手掌的姿态和手指的姿态结合在一个坐标系中得到相对姿态,可以表示出手掌的姿态和手指的弯曲角度。需要注意的是在计算手指的弯曲角度时,由旋转矩阵计算欧拉角时俯仰角的范围为(-π/2,π/2],通过“ZYX”和“ZXY”两种不同的旋转方式并结合具体情况可以将俯仰角扩展到(-π,π]。
在步骤S3中,该步骤不是必要步骤,是优化步骤。为了实现动作识别的实时性和快速性,进行了固定的运动信息特征值的提取,去除冗余信息并降低姿态数据的维度。在本实施例中,对姿态数据进行提取的方法是:将三个输入姿态数据作为一帧取平均转化成一个输出姿态数据,作为固定运动信息特征值,Y[i]=(X[t-1]+X[t]+X[t+1])/3,t=3i-1。
在步骤S4中,将所述运动信息特征值与预设动作模型库对比匹配进行识别当前具体的动作。更具体的,运动信息特征值与动作模型库中各个动作模型进行匹配,计算运动信息特征值对应于各个动作模型的概率,选取最大概率模型的对应动作作为当前动作输出。
在步骤S4中,预设动作模型库可以预先通过训练不同的姿态数据集合得到。在本实施例中,优选但不局限于GMM模型进行训练姿态数据集合。
动作模型定义为:
其中,大写变量K为模型的个数,πk为第k个分高斯模型的权重,即为第k个高斯的概率密度函数,其均值为μk,方差为σk,p(x/k)为姿态样本数据x在第k个高斯模型下产生的概率,对此概率密度的估计就是要求πk、μk和σk各个变量。当求出的表达式后,求和式的各项的结果就分别代表姿态样本x属于各个动作的概率。
姿态样本数据x在单个高斯模型下产生的概率p(x/k)表示为:
其中,N为样本数据x的长度,xi表示第i帧,Σ为协方差矩阵,μ为期望,n为样本的维度。
上述高斯混合模型应用于手势识别时,模型的参数是否精确,决定了识别的准确率。因此,对一个动作建立高斯混合模型时,需要考虑以下三个问题:
1)如何确定高斯模型的个数:模型个数太多,系统复杂度提高,计算量增加;模型个数太少,无法有效描述系统,造成识别准确率下降。
2)模型的初始参数如何设置:初始参数设置不合适有可能造成模型训练收敛到局部最大值。
3)建立的高斯混合模型是否准确:怎样判断得到的模型是否需要继续训练,以获得更好的识别效果。
针对以上三个问题,本发明设计了一套高斯模型的训练以及选择方法,来得到更加准确的模型,改善系统性能。具体步骤如下:
a)高斯模型个数的确定。根据训练数据分别作出X/Y/Z轴加速度数据的分布直方图并采用最大类间差法(OTSU算法),求出各个直方图的加速度阈值,按阈值对各轴加速度分布进行分割,保留处于阈值之上加速度分布,并计算加速度极大值个数,取三个极大值个数中较大的为高斯模型个数,记为K。
b)模型参数的初始化。根据训练数据得到加速度在三维空间的分布,并采用K均值算法(K-means),得到K个聚类中心,各聚类中心的三维矢量即为高斯模型的初始期望(μ)。以各聚类中心为圆心,以聚类中心之间最短距离的1/m作为半径,作出K个球体,统计球体内点的个数,根据个数之比求出各高斯模型权重的初始值,本实例中m的取值为3。根据协方差公式,计算出模型的初始协方差。πk通过聚类中样本数量与总样本数之比来确定。
c)选取准确的混合高斯模型。采用随机生成的隐马尔可夫模型初始状态分布、状态转移矩阵以及上述求得的初始化参数,训练得到若干个混合高斯模型,将得到的模型对训练数据进行识别,选取平均识别率最高的模型为最终的混合高斯模型。
上述步骤中,通过确定合适的高斯模型数量,能降低系统复杂度,减小计算量,提高识别的实时性;通过计算得到的模型初始化参数相对于随机生成的更加准确,加快了训练过程,减少了局部收敛的可能;通过对多个模型的对比,综合选取识别率最高的高斯混合模型。
在步骤S4中,为了使得预设动作模型库中模型最优,需要优化地选取模型的参数。在本实施例中,训练过程中求解模型参数优选采用单但不局限于EM(ExpectationMaximization Algorithm,最大期望)算法。
更具体的,EM算法求解模型参数分为两步:第一步是假设知道各个动作模型的参数,在第一次迭代过程中,进行初始化一组参数,在迭代过程中,模型参数基于上一步迭代结果选取。利用已知的模型参数去估计每个动作模型的权值;第二步是基于第一步处理得到的估计的权值,再去确定动作模型的参数。迭代过程重复这两个步骤,直到波动很小,近似达到极值,结束迭代。
图3给出了基于本发明实例动作训练及识别流程图。所述动作模型按照如下方式训练:
(S41)利用惯性传感器多次采集某一动作下的运动参数,依据该运动参数解算该动作对应的姿态样本数据;
(S42)将姿态样本数据代入K个高斯模型,得到姿态样本数据x在第k个高斯模型下产生的概率,并估计K个分高斯模型的权值πk
(S43)计算姿态样本数据x属于某一动作的概率
(S44)判定概率p(x)是否趋于收敛,若是,则动作模型训练成功,若否,则依据当前权值πk更新K个高斯模型的参数,返回步骤(S42)
下面将以识别画圆(O形状)这个动作进行一步步的讲解:
在训练过程中,事先已经采集了数次(O形状)的数据,一般可以重复20次,本次例子重复了60次。具体数据为加速度计和陀螺仪以及磁力计的数据,在进行模型建立之前已经对以上数据进行了姿态解算步骤,得到的是存储姿态的四元数集合,这一函数是对该数据集合的处理。
训练过程中输出值为:
LL:中间循环概率
prior1:训练后初始状态概率
mu1:训练后高斯模型均值矩阵
sigma1:训练后高斯模型方差矩阵
mixmat1:训练后高斯模型权值矩阵
训练过程中输入值为:
Data:需要计算的全部姿态数据
prior0:训练前初始状态概率
mu0:训练前初始化高斯模型均值矩阵
sigma0:训练前初始化高斯模型方差矩阵
mixmat0:训练前初始化高斯模型权值矩阵
'max_iter',N:收敛过程中最大循环次数为N次
第一步,读取数据。读取经过处理的四元数数据集合。
第二步,统计数据集合中的数据对应于三维中各轴向的分布。
第三步,为了实现混合高斯模型来模拟该分布,实现初始设定模型的参数,函数中的mu0表示训练前初始化高斯模型均值矩阵,sigma0表示训练前初始化高斯模型方差矩阵,mixmat0表示训练前初始化高斯模型权值矩阵。
第四步,采用EM算法进行迭代计算,每一个迭代过程中,函数将计算数据集合对应上次迭代产生的模型相关概率并由LL输出表示,如果两次概率计算值的差值小于设定的阈值则函数认定收敛停止计算,如果两次计算值的差值大于设定的阈值则函数继续迭代直至达到迭代次数。
第五步,输出模型。经过迭代之后收敛的模型则可以用于动作识别,可以添加到动作模型库中。
在步骤S4中,为了实现动作识别的实时性和快速性,需要使得计算频率足够高。在本实施例中,采用了滑动窗口来实现。
更具体的,动作识别是对姿态数据的时间序列数据进行处理,需要确定每次动作的姿态数据长度,动作的姿态数据长度越长,其数据量越大,计算量越大,实时性越低。所以在本实施例中需要确定一个了一个保证识别率的最小数据量,根据实验验证,2秒时间内可以完成基本上所有动作,由于运动参数的采样频率为100HZ,可以计算最小数据量为N=2*100=200,即将滑动窗口的长度设置为200。
更具体的,为使得计算频率足够高,需要设置滑动窗口的步长,滑动窗口的步长与识别频率为正相关关系。滑动窗口的步长越小,则计算频率越高,同时计算量越大,动作识别响应越快;如果滑动窗口的步长越大,则计算频率越低,同时计算量越小,动作识别响应越慢。根据实验验证,手部动作速度有限,在两个连续动作之间的时间间隔不超过0.5S,对应数据长度N1=0.5*100=50,所以为了保证识别率,理论上选取的步长不应超过50。在本实施例中为提高动作响应速度,设定步长为5,计算频率为F=100/5=20Hz。
在步骤S4中,在一个滑动窗口时间内,以训练得到GMM模型参数为基础进行匹配。
更具体的,在每一个滑动窗口内对姿态数据与GMM模型进行匹配,依照设定的GMM模型计算概率p(Xi),比较用K个模型计算出来的概率求最大的概率对应的i,假设i=max,即
拿p(Xmax)与某一概率阈值P进行比较,若p(Xmax)≥P,则认为该动作为模型库中的第max个动作,若p(Xmax)≤P,则认为在模型库中找不到该动作,该动作为无效动作,进行下一个滑动窗口的计算。
在步骤S5中,如果在步骤S4中将所述运动信息特征值与预设动作模型库对比匹配并匹配成功,则输出动作类型。在本实施例中,如果匹配成功,输出具体动作类型如“画圈”、“O形”、“上翻”、“向左滑动”、“放大”、“缩小”和“旋转”等。
在步骤S6中,如果在步骤S4中将所述运动信息特征值与预设动作模型库对比匹配但是匹配失败,则输出动作识别失败信号。在本实施例中,将向接收信号方发送“预设动作库中没有这个动作”。
在步骤S7中,如果在步骤S4中将所述运动信息特征值与预设动作模型库对比匹配但是匹配失败,并且需要今后识别这个动作,则将对这个动作进行学习。在本实施例中,预先设置是否学习新动作选项,并在动作识别失败发送“预设动作库中没有这个动作”后发送“是否学习这个动作”选项。如果接收信号方选择学习选项,则将对新的动作进行学习。本次解算的姿态数据将通过训练得到动作类型,并将动作类型添加到预设动作模型库中。在本实施例中,通过GMM模型进行训练姿态数据。为了去除姿态数据中噪声的影响,需要对姿态数据进行滤波处理,在本实例中,采用了平滑滤波对姿态数据进行了预处理。
更具体的,为了使得学习的动模型作具有更高的准确性和稳定性,将会对姿态数据进行多次训练学习。在本实施例中,要去接受信息方20次重复需要学习的动作,多次采集的姿态数据将用于对动作模型的修正。
图2是本发明实施例动作识别系统结构图。如图2所示,动作识别系统包括:
辅助传感单元10,包括一个或一个以上,设置在对完成动作起到辅助作用的运动关节处,为了实现多种组合和放置的方式,传感数量和放置位置不做固定。
核心集成单元20,包括中央惯性传感器201、电池管理单元202、中央处理单元203和无线传输单元203。核心集成单元20与额外信息获取单元10连接。
识别处理单元30,接收核心集成单元20发送过来的姿态数据,实现姿态数据固定的运动信息特征值的提取功能,并且通过运动信息特征值来与预设动作模型库进行匹配识别;以及实现学习新动作的功能。
额外信息获取单元10中的传感器和中央惯性传感器201采用惯性传感器,可以采用3轴、6轴或者9轴惯性传感器,在本实施例中,采用9轴惯性传感器。额外信息获取单元10中的传感器主要设置在辅助运动关节,中央惯性传感器201设置在主要运动关节,所述运动关节是指协助完成动作的运动部位。
电池管理单元202实现电池充放电、DC-DC电压变换、欠压保护以及过流保护等功能。
中央处理单元203实现采集运动参数、解算动作姿态的功能,并控制无线传输单元204发送数据,同时对外部设备的命令进行响应。
无线传输单元204实现无线传输功能,将中央处理单元203所需要发送的手部动作数据进行打包发送,同时可以从接收外部设备的命令并传输给中央处理单元203。无线传输单元204可以采用蓝牙传输方式,还可以采用Wifi、Zigbee等无线传输方式。在本发明实施例采用低功耗蓝牙模块与外部设备实现蓝牙配对并进行无线传输。
图3是本发明实施例应用本发明中动作识别系统的具体系统结构图。如图3所示,系统包括:
额外信息获取单元10,为了实现更精确的手势识别,本实施例中额外信息获取单元选择了5组惯性传感器,为大拇指、食指、中指、无名指和小拇指各分配一组惯性传感器(101-105)来采集各个手指的运动参数。
核心集成单元20,放置于手背位置,采集手掌的运动参数,实现姿态数据的解算功能,控制无线模块发送手部动作的姿态数据。
识别处理单元30,在本实施例中,识别处理单元安装于电脑上,实现将狠心集成单元发送的手部运动产生的姿态数据进行运动信息特征值的提取,并且通过运动信息特征值来与预设动作模型库进行匹配识别;以及实现学习新动作的功能。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种动作识别方法,其特征在于,包括以下步骤:
(1)启动惯性传感器采集运动关节处的运动参数:
(2)依据采集的运动参数解算姿态数据;
(3)将姿态数据与动作模型库匹配输出动作识别结果。
2.根据权利要求1所述的一种动作识别方法,其特征在于,所述动作模型按照如下方式训练:
(31)利用惯性传感器多次采集某一动作下的运动样本参数,依据该运动样本参数解算该动作对应的姿态样本数据;
(32)将姿态样本数据代入K个高斯模型,得到姿态样本数据x在第k个高斯模型下产生的概率,并估计K个分高斯模型的权值πk
(33)计算姿态样本数据x属于某一动作的概率
(34)判定概率p(x)是否趋于收敛,若是,则得到由K个高斯模型组成的动作模型,若否,则依据当前权值πk更新K个高斯模型的参数,返回步骤(32)。
3.根据权利要求2所述的一种动作识别方法,其特征在于,所述高斯模型个数K按照如下方式确定:
根据训练用的样本数据分别作出X/Y/Z轴加速度数据的分布直方图,并求出各个直方图的加速度阈值,按阈值对各轴加速度分布进行分割,保留处于阈值之上加速度分布,计算加速度极大值个数,取三个极大值个数中最大的为高斯模型个数K。
4.根据权利要求2或3所述的一种动作识别方法,其特征在于,所述高斯模型参数以及权重按照如下方式初始化:
根据训练用的样本数据得到加速度在三维空间的分布,并聚类得到聚类中心,各聚类中心的三维矢量即为高斯模型的初始期望μ;以各聚类中心为圆心,以聚类中心之间最短距离的1/m作为半径,作出K个球体,统计球体内点的个数,根据个数之比求出各高斯模型权重的初始值,并利用协方差公式计算出高斯模型的初始协方差。
5.根据权利要求2或3所述的一种动作识别方法,其特征在于,采用随机生成的隐马尔可夫模型以及上述求得的初始化参数,训练得到若干个备选动作模型,将得到的模型对训练数据进行识别,选取平均识别率最高的模型为最终的动作模型。
6.根据权利要求1或2或3所述的一种动作识别方法,其特征在于,对至少相邻的两个姿态数据求平均,将均值作为步骤(3)匹配的姿态数据。
7.根据权利要求1或2或3所述的一种动作识别方法,其特征在于,所述步骤(3)还将不同运动部位的姿态数据转换到同一坐标系下。
8.根据权利要求1或2或3所述的一种动作识别方法,其特征在于,所述运动参数包括角速度和加速度,或者速度、加速度和磁场强度及方向;所述姿态数据包括航向角、俯仰角和横滚角。
9.根据权利要求1或2或3所述的一种动作识别方法,其特征在于,所述惯性传感器为加速度计,或者陀螺仪,或者加速度计和陀螺仪的组合,或者加速度计和磁力计的组合,或者陀螺仪和磁力计的组合,或者加速度计、陀螺仪和磁力计的组合。
10.一种动作识别系统,其特征在于,包括:
额外信息获取单元(10),设置在辅助运动部位,用于采集辅助运动关节的运动参数;
核心集成单元(20),包括中央惯性传感器(201)、电池管理单元(202)、中央处理单元(203)和无线传输单元(203);中央惯性传感器(201)设置于主要运动部位处,用于采集主要运动关节的运动参数;电池管理单元(602)用于给其它单元供电;中央处理单元(203)用于汇集中央惯性传感器(201)和辅助惯性传感器(10)采集的运动参数并解算为姿态数据;无线传输单元(203)用于将姿态数据传送给识别处理单元(30);
识别处理单元(30),用于接收核心集成单元(20)发送过来的姿态数据,将姿态数据与预设动作模型库进行匹配识别。
CN201710128589.7A 2017-03-06 2017-03-06 一种动作识别方法及系统 Pending CN107016342A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710128589.7A CN107016342A (zh) 2017-03-06 2017-03-06 一种动作识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710128589.7A CN107016342A (zh) 2017-03-06 2017-03-06 一种动作识别方法及系统

Publications (1)

Publication Number Publication Date
CN107016342A true CN107016342A (zh) 2017-08-04

Family

ID=59439720

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710128589.7A Pending CN107016342A (zh) 2017-03-06 2017-03-06 一种动作识别方法及系统

Country Status (1)

Country Link
CN (1) CN107016342A (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229542A (zh) * 2017-12-21 2018-06-29 中智诚征信有限公司 一种基于时序分析技术的循环借贷信用风险监测方法
CN108549856A (zh) * 2018-04-02 2018-09-18 上海理工大学 一种人体动作和路况识别方法
CN108671505A (zh) * 2018-03-20 2018-10-19 杭州电子科技大学 一种羽毛球运动辅助系统及其控制方法
CN108961401A (zh) * 2017-11-08 2018-12-07 北京市燃气集团有限责任公司 基于增强现实技术的挖掘辅助方法和辅助系统
CN109011506A (zh) * 2018-07-12 2018-12-18 深圳市虚数科技有限公司 一种训练动作识别方法
CN109100537A (zh) * 2018-07-19 2018-12-28 百度在线网络技术(北京)有限公司 运动检测方法、装置、设备和介质
CN109344922A (zh) * 2018-09-06 2019-02-15 闫维新 一种具备运动捕捉功能的舞蹈动作评测系统
CN109737941A (zh) * 2019-01-29 2019-05-10 桂林电子科技大学 一种人体动作捕捉方法
CN109732610A (zh) * 2019-03-01 2019-05-10 北京航空航天大学 人机协作机器人抓取系统及其工作方法
CN109993118A (zh) * 2019-03-30 2019-07-09 骞一凡 一种动作的识别方法及其识别系统
CN110377159A (zh) * 2019-07-24 2019-10-25 张洋 动作识别方法和装置
CN110398256A (zh) * 2019-06-19 2019-11-01 北京摩高科技有限公司 一种人体单一姿态的初始校正方法
CN110472396A (zh) * 2018-08-17 2019-11-19 中山叶浪智能科技有限责任公司 一种体感手势触控方法、系统、平台及存储介质
CN110598616A (zh) * 2019-09-03 2019-12-20 浙江工业大学 一种人机系统中人的状态的识别方法
CN111507180A (zh) * 2020-03-10 2020-08-07 杭州电子科技大学 一种基于运动数据的转换动作识别方法及运动识别方法
CN111587809A (zh) * 2019-02-20 2020-08-28 深圳先进技术研究院 一种运动监测系统
CN111803903A (zh) * 2019-04-10 2020-10-23 深圳先进技术研究院 一种健身动作识别方法、系统及电子设备
CN112241746A (zh) * 2019-07-16 2021-01-19 北京中科天演科技有限责任公司 一种人员操作行动识别方法及系统
CN112370048A (zh) * 2020-11-10 2021-02-19 南京紫金体育产业股份有限公司 基于关节关键点的运动姿态伤害预防方法、系统和存储介质
CN113505739A (zh) * 2021-07-27 2021-10-15 同济大学 一种室内人宠区分及行为识别方法及系统
CN116018949A (zh) * 2022-12-05 2023-04-28 四川依贝智能装备有限公司 一种感应待机的绿篱机

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021573A (zh) * 2014-06-13 2014-09-03 哈尔滨工程大学 一种基于关节姿态角的人体动作分类识别方法
WO2016090483A1 (en) * 2014-12-08 2016-06-16 Rohit Seth Wearable wireless hmi device
CN106139610A (zh) * 2016-08-09 2016-11-23 江苏大学 一种采用手势控制的玩具遥控装置
CN106326881A (zh) * 2016-09-21 2017-01-11 济南超感智能科技有限公司 用于实现人机交互的手势识别方法和手势识别设备
CN106445130A (zh) * 2016-09-19 2017-02-22 武汉元生创新科技有限公司 一种用于手势识别的动作捕捉手套及其校准方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021573A (zh) * 2014-06-13 2014-09-03 哈尔滨工程大学 一种基于关节姿态角的人体动作分类识别方法
WO2016090483A1 (en) * 2014-12-08 2016-06-16 Rohit Seth Wearable wireless hmi device
CN106139610A (zh) * 2016-08-09 2016-11-23 江苏大学 一种采用手势控制的玩具遥控装置
CN106445130A (zh) * 2016-09-19 2017-02-22 武汉元生创新科技有限公司 一种用于手势识别的动作捕捉手套及其校准方法
CN106326881A (zh) * 2016-09-21 2017-01-11 济南超感智能科技有限公司 用于实现人机交互的手势识别方法和手势识别设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张庆宾: ""智能空间下基于AHRS的人体动作识别"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
郑中华: ""基于肢体动作的人体姿态识别研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961401A (zh) * 2017-11-08 2018-12-07 北京市燃气集团有限责任公司 基于增强现实技术的挖掘辅助方法和辅助系统
CN108229542A (zh) * 2017-12-21 2018-06-29 中智诚征信有限公司 一种基于时序分析技术的循环借贷信用风险监测方法
CN108671505A (zh) * 2018-03-20 2018-10-19 杭州电子科技大学 一种羽毛球运动辅助系统及其控制方法
CN108671505B (zh) * 2018-03-20 2019-11-19 杭州电子科技大学 一种羽毛球运动辅助系统及其控制方法
CN108549856B (zh) * 2018-04-02 2021-04-30 上海理工大学 一种人体动作和路况识别方法
CN108549856A (zh) * 2018-04-02 2018-09-18 上海理工大学 一种人体动作和路况识别方法
CN109011506A (zh) * 2018-07-12 2018-12-18 深圳市虚数科技有限公司 一种训练动作识别方法
CN109100537A (zh) * 2018-07-19 2018-12-28 百度在线网络技术(北京)有限公司 运动检测方法、装置、设备和介质
CN109100537B (zh) * 2018-07-19 2021-04-20 百度在线网络技术(北京)有限公司 运动检测方法、装置、设备和介质
US10993079B2 (en) 2018-07-19 2021-04-27 Baidu Online Network Technology (Beijing) Co., Ltd. Motion detection method, device, and medium
CN110472396B (zh) * 2018-08-17 2022-12-30 中山叶浪智能科技有限责任公司 一种体感手势触控方法、系统、平台及存储介质
CN110472396A (zh) * 2018-08-17 2019-11-19 中山叶浪智能科技有限责任公司 一种体感手势触控方法、系统、平台及存储介质
CN109344922A (zh) * 2018-09-06 2019-02-15 闫维新 一种具备运动捕捉功能的舞蹈动作评测系统
CN109737941A (zh) * 2019-01-29 2019-05-10 桂林电子科技大学 一种人体动作捕捉方法
CN111587809A (zh) * 2019-02-20 2020-08-28 深圳先进技术研究院 一种运动监测系统
CN109732610A (zh) * 2019-03-01 2019-05-10 北京航空航天大学 人机协作机器人抓取系统及其工作方法
CN109993118A (zh) * 2019-03-30 2019-07-09 骞一凡 一种动作的识别方法及其识别系统
CN109993118B (zh) * 2019-03-30 2021-08-20 上海识装信息科技有限公司 一种动作的识别方法及其识别系统
CN111803903A (zh) * 2019-04-10 2020-10-23 深圳先进技术研究院 一种健身动作识别方法、系统及电子设备
CN110398256B (zh) * 2019-06-19 2021-12-03 北京摩高科技有限公司 一种人体单一姿态的初始校正方法
CN110398256A (zh) * 2019-06-19 2019-11-01 北京摩高科技有限公司 一种人体单一姿态的初始校正方法
CN112241746A (zh) * 2019-07-16 2021-01-19 北京中科天演科技有限责任公司 一种人员操作行动识别方法及系统
CN110377159B (zh) * 2019-07-24 2023-06-09 张洋 动作识别方法和装置
CN110377159A (zh) * 2019-07-24 2019-10-25 张洋 动作识别方法和装置
CN110598616A (zh) * 2019-09-03 2019-12-20 浙江工业大学 一种人机系统中人的状态的识别方法
CN110598616B (zh) * 2019-09-03 2022-01-14 浙江工业大学 一种人机系统中人的状态的识别方法
CN111507180A (zh) * 2020-03-10 2020-08-07 杭州电子科技大学 一种基于运动数据的转换动作识别方法及运动识别方法
CN111507180B (zh) * 2020-03-10 2023-04-18 杭州电子科技大学 一种基于运动数据的转换动作识别方法及运动识别方法
CN112370048A (zh) * 2020-11-10 2021-02-19 南京紫金体育产业股份有限公司 基于关节关键点的运动姿态伤害预防方法、系统和存储介质
CN113505739A (zh) * 2021-07-27 2021-10-15 同济大学 一种室内人宠区分及行为识别方法及系统
CN113505739B (zh) * 2021-07-27 2022-10-25 同济大学 一种室内人宠区分及行为识别方法及系统
CN116018949A (zh) * 2022-12-05 2023-04-28 四川依贝智能装备有限公司 一种感应待机的绿篱机

Similar Documents

Publication Publication Date Title
CN107016342A (zh) 一种动作识别方法及系统
CN107219924B (zh) 一种基于惯性传感器的空中手势识别方法
CN107316067B (zh) 一种基于惯性传感器的空中手写字符识别方法
Jasim et al. Contact-state monitoring of force-guided robotic assembly tasks using expectation maximization-based Gaussian mixtures models
CN106127125B (zh) 基于人体行为特征的分布式dtw人体行为识别方法
Su et al. HDL: Hierarchical deep learning model based human activity recognition using smartphone sensors
CN111722713A (zh) 多模态融合的手势键盘输入方法、设备、系统及存储介质
Chakravarthi et al. Accelerometer based static gesture recognition and mobile monitoring system using neural networks
Wang et al. A2dio: Attention-driven deep inertial odometry for pedestrian localization based on 6d imu
CN105303585A (zh) 一种快速目标跟踪方法及装置
CN113505356A (zh) 识别用户身份的单类分类器、识别方法、介质及计算设备
Berezhnoy et al. The Hand-gesture-based Control Interface with Wearable Glove System.
CN113609999B (zh) 基于姿态识别的人体模型建立方法
Singh et al. Har using bi-directional lstm with rnn
Bezobrazov et al. Artificial intelligence for sport activitity recognition
Ata et al. A robust optimized convolutional neural network model for human activity recognition using sensing devices
Chen et al. Human body gesture recognition method based on deep learning
CN113156473A (zh) 信息融合定位系统卫星信号环境的自适应判别方法
Wang Data feature extraction method of wearable sensor based on convolutional neural network
Zeinali et al. IMUNet: Efficient Regression Architecture for Inertial IMU Navigation and Positioning
CN113869189A (zh) 人体行为识别方法、系统、设备及介质
CN113476833A (zh) 游戏动作识别方法、装置、电子设备和存储介质
CN109993038B (zh) 一种动作识别系统训练方法及装置
Naghdy Fuzzy clustering of human motor motion
Xia et al. Real-time recognition of human daily motion with smartphone sensor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170804