CN112488000B - 一种视触融合的全身步态运动模型的建模方法及应用 - Google Patents

一种视触融合的全身步态运动模型的建模方法及应用 Download PDF

Info

Publication number
CN112488000B
CN112488000B CN202011391191.0A CN202011391191A CN112488000B CN 112488000 B CN112488000 B CN 112488000B CN 202011391191 A CN202011391191 A CN 202011391191A CN 112488000 B CN112488000 B CN 112488000B
Authority
CN
China
Prior art keywords
acceleration
human body
joints
matrix
mass
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011391191.0A
Other languages
English (en)
Other versions
CN112488000A (zh
Inventor
戴士杰
李昱
李慨
霍云蕊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN202011391191.0A priority Critical patent/CN112488000B/zh
Publication of CN112488000A publication Critical patent/CN112488000A/zh
Application granted granted Critical
Publication of CN112488000B publication Critical patent/CN112488000B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • G06V40/25Recognition of walking or running movements, e.g. gait recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/14Force analysis or force optimisation, e.g. static or dynamic forces

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明为一种视触融合的全身步态运动模型的建模方法及应用,该方法包括以下步骤:对全身骨骼结构进行简化,构建建模环境时,将人体分为了11个刚体,包括左右足部、左右小腿、左大腿、左右小臂、左右大臂以及头和胸腹部;建立关于人体步态运动的触觉特征模型,人体受力分解为身体各个部分的质量与其质心位置的竖直方向的加速度的乘积之和,即触觉特征模型;加速度a的获得需要通过视觉图像获得每个部分的关节角;将触觉特征模型的加速度用各部分关节角和各部分质心连线之间的关系表示,获得视触全身步态运动模型。该方法针对全身在人体步态运动过程中的变化情况,建立精度更高的视触全身步态运动模型。

Description

一种视触融合的全身步态运动模型的建模方法及应用
技术领域
本发明属于模式识别领域,具体涉及一种面向步态识别的视触融合的全身步态运动模型的建模方法及应用。
背景技术
随着计算机视觉和信息安全领域的发展,越来越多的生物识别技术被人们开发利用。生物识别技术是基于人独特的生理或行为特征进行身份识别的技术,因为它不会像身份证等证件一样容易被盗用或转移,从而变得可靠。
步态识别作为生物识别技术中的一种,旨在利用人的走路方式来识别人。与其他的识别方式相比,因为其有着独特的远距离性成为了人们研究的热点,虽然识别数据量大,提取特征困难,但是这种识别技术有着非常重要的几项优势,包括:非侵犯性,非接触性,快速性,不易造假。
传统的步态识别建模方法一般采用视觉特征和触觉特征中的一种来进行建模和识别,但单一的视觉或触觉特征都有着其不可避免的缺陷,会受到光照,穿衣和角度等因素的影响。但是将视觉和触觉特征融合起来进行建模就可以避免这些因素,此外现有的建模方法以下肢为研究对象,精度不够。
因此发明一种将视觉和触觉特征融合在一起的全身步态运动模型来避免不良因素是十分有必要的。
发明内容
针对现有步态建模方法的不足,本发明拟解决的技术问题是,提供一种面向步态识别的视触融合的全身步态运动模型及应用。该方法针对全身在人体步态运动过程中的变化情况,对全身人体骨骼模型进行简化,分析人体在步态运动过程中的受力情况,建立精度更高的融合视觉和触觉的视触全身步态运动模型。同时对构建的视触全身步态运动模型进行矩阵化分离,用于后续的步态识别,通过Kinect和脚底压力采集系统Walkway Metric3150TL分别提取模型所需步态运动特征参数,两种数据保持同步采集。
为实现上述目的,本发明采取以下技术方案:一种视触融合的全身步态运动模型的建模方法,该建模方法包括以下步骤:
对全身骨骼结构进行简化,构建建模环境时,将人体分为了11个刚体,包括左右足部、左右小腿、左大腿、左右小臂、左右大臂以及头和胸腹部;将人体的运动关节看作铰链,人体骨架由铰链连接构成;单个身体结构质心等效在两关节连线上;正常行走过程中除了四肢的摆动基本不发生大的自由度运动;四肢的摆动在空间任意位置,不限定摆动平面,上半身的头部、胸部和腹部在步态运动过程中相对运动幅度较小,看做一个整体;双髋关节支座垂直于人体轴心做旋转运动;
建立关于人体步态运动的触觉特征模型,人体受力分解为身体各个部分的质量与其质心位置的竖直方向的加速度的乘积之和,即触觉特征模型;加速度a的获得需要通过视觉图像获得每个部分的关节角,
在求取上半身各部分质心加速度时,将上半身的头部、腹部、胸部和髋部相对运动幅度小,在求取加速度时,上半身的头部、腹部、胸部和髋部在竖直方向上的加速度相同,并且在求取左右臂的质心加速度时,以左右肩部作为求取的起点,以此求取左右大臂和左右小臂的质心加速度;
将触觉特征模型的加速度用各部分关节角和各部分质心连线之间的关系表示,获得视触全身步态运动模型。
本发明还保护上述的建模方法的应用,将视触全身步态运动模型进行矩阵化处理,矩阵化结果为:
Figure BDA0002812873050000021
Figure BDA0002812873050000022
Figure BDA0002812873050000023
式中矩阵M人体各个部分质量的矩阵,矩阵ξ为关于人体各个部分质心的矩阵,矩阵W 为人体各个部分速度和加速度的矩阵,矩阵L为关于人体各个部分长度的矩阵,矩阵F表示人体在竖直方向的受力的矩阵;
通过Kinect v2获得人体步态运动的深度图像数据流以及25个关节的空间三维坐标,其中25个关节包括左右跖骨关节、左右踝关节、左右膝关节、左右髋关节、脊柱底部、脊柱中部、肩膀中部、颈部、头部、左右肩关节、左右肘关节、左右腕关节、左右拇指关节、左右指尖、左右掌指关节,通过这些特征用来求取人体各部分质心、长度、以及运动角速度和角加速度;
通过脚底压力采集系统Walkway Metric 3150TL获得人体步态运动中足底压力,从中提取矩阵F的地面支反力Ny;Kinect v2和Walkway Metric 3150TL设置相同的采样频率,每一帧视觉特征对应每一帧触觉特征。
与现有技术相比,本发明的有益效果是:
1)本发明建立了视触融合的视触全身步态运动模型,在模型构建过程中不限制四肢在步态运动过程中的运动平面,考虑到了下半身运动的同时兼顾了上肢在步态运动过程中的运动习惯,更全面,更符合人体步态运动习惯,模型精度更高,更符合实际情况。
2)本发明在应用时可以采用Kinect提取空间三维坐标和其他视觉特征,保持和触觉传感器采样数据同步采集,采样频率相同,可以实现视觉和触觉在时间上的统一,相对于普通的相机来说可以实现对关节空间三维坐标和人体边缘坐标的提取,计算更方便;应用时数据更加可靠。
3)本发明结合了视觉和触觉两种主要的步态运动特征相比于单一特征来说,识别点更多,可以有效的避免视觉和触觉特征的部分缺点。本发明相对于只通过特征提取进行步态识别的方法来说,建立高精度的全身模型可以更好的避免光照,衣着,负重对特征带来的影响。
4)本发明通过融合步态运动过程中的视觉和触觉特征,增加特征基数,避免单个特征带来的不稳定性,可以广泛用于日常生活中对人体的识别。
附图说明
为了更清楚的的说明本发明的技术方案,下面将描述所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是简化的全身骨骼结构。
图2是支撑脚运动受力示意图;
图3是足部运动学分析图;
图4是Kinect边缘坐标求取示意图;
图5是四肢质心计算的简化示意图;
图6是视觉和触觉特征提取平台;
具体实施方式:
下面给出本发明的具体实施例。具体实施例仅用来进一步说明本发明,不限制本申请专利的保护范围。
本发明提供视触融合的全身步态运动模型的建模方法,该建模方法包括以下步骤:
(1)如图1所示,在不限制高四肢运动平面的情况下简化全身骨骼结构,构建全身步态运动模型环境;
对全身骨骼结构进行简化,构建建模环境时,将人体分为了11个刚体,包括左右足部、左右小腿、左大腿、左右小臂、左右大臂以及头和胸腹部;将人体的运动关节看作铰链,人体骨架由铰链连接构成;单个身体结构质心等效在两关节连线上;正常行走过程中除了四肢的摆动基本不发生大的自由度运动;四肢的摆动在空间任意位置,不限定摆动平面,上半身的头部、胸部和腹部在步态运动过程中相对运动幅度较小,看做一个整体;双髋关节支座垂直于人体轴心做旋转运动;
图1中,W、E、S、H、K、A、M分别代表手腕、手肘、肩、髋关节、膝关节、踝关节、跖骨末端的骨骼关节点,其中下标R表示右、L表示左。
(2)分析人体在行走过程中的受力情况,建立关于人体步态运动的触觉特征模型,如图2 和图3所示;
建立关于人体步态运动的触觉特征模型,人体受力分解为身体各个部分的质量与其质心位置的竖直方向的加速度的乘积之和,即触觉特征模型;加速度a的获得需要通过视觉图像获得每个部分的关节角,
图2中,通过对全身步态运动的受力分析,人体在步态运动过程中主要受到地面的反作用力Ny,自身的重力Mg。反作用力包括竖直方向的支持力和水平方向的摩擦力,但摩擦力无法直接测量和计算,所以模型只考虑人体在竖直方向的受力,即:
Ny-Mg=May
式中May可以分解为多个人体多个部分在竖直方向上的质量和加速度的乘积,即人体步态运动的触觉特征模型。
,May=m1a1y+m2a2y…+mnany=Ny-Mg
式中n表示将人体所分成的几部分的数量。
(3)通过触觉特征模型中的加速度,引入视觉特征,建立融合视觉和触觉特征的视触全身步态运动模型;
分析触觉特征模型,式中加速度a的获得需要视觉图像的辅助,以此引入视觉特征。以支撑脚,支撑小腿,支撑大腿,髋部,摆动大腿,摆动小腿,摆动脚,左右大臂,左右小臂的顺序计算身体11个部分在竖直方向上的质心加速度,如下:
左脚加速度:
Figure BDA0002812873050000041
左小腿加速度:
Figure BDA0002812873050000042
左大腿加速度:
Figure BDA0002812873050000043
髋关节加速度:
Figure BDA0002812873050000044
右大腿加速度:
Figure BDA0002812873050000045
右小腿加速度:
Figure BDA0002812873050000046
右脚加速度:
Figure BDA0002812873050000047
在求取上半身各部分质心加速度时,分析人体步态运动的特点,上半身的头部,腹部,胸部和髋部相对运动幅度小。所以在求取加速度时,认为以上部分在竖直方向上的加速度相同,并且在求取左右臂的质心加速度时,以左右肩部作为求取的起点,以此求取左右大臂和左右小臂的质心加速度。
左大臂加速度:
Figure BDA0002812873050000051
左小臂加速度:
Figure BDA0002812873050000052
右大臂加速度:
Figure BDA0002812873050000053
右小臂加速度:
Figure BDA0002812873050000054
式中各个骨骼关节点为右手腕WR,右手肘ER,右肩SR,左手腕WL,左手肘EL,左肩SL,右髋关节HR,右膝关节KR,右踝关节AR,右跖骨末端MR,左髋关节HL,左膝关节KL,左踝关节AL,左跖骨末端ML。各个骨骼的质心在关节点的连线上,左跖踝关节连线CAM-L,左膝踝关节连线CKA-L,左髋膝关节连线CHK-L,右髋膝关节连线CHK-R,右膝踝关节连线CAK-R,右跖踝关节连线CAM-R,左肩肘关节联系CSE-L,左肘腕关节连线CEW-L,右肩肘关节连线CSE-R,右肘腕关节连线CEW-R,对应各关节连线并且指向近端关节点(近端指两个关节点离人体本身的相对远近)的向量与竖直方向的夹角为θ1,θ2,θ3,θ4,θ5,θ6,θ7,θ8,θ9,θ10,下标1-10分别表示左足部、左小腿、左大腿、右大腿、右小腿、右足部、左大臂、左小臂、右大臂、右小臂。占对应骨骼长度比例,即各部分质心为左足部ε1,左小腿ε2,左大腿ε3,右大腿ε4,右小腿ε5,右足部ε6,左大臂ε7,左小臂ε8,右大臂ε9,右小臂ε10,对应身体各部分长度为左脚l1,左小腿l2,左大腿l3,右大腿l4,右小腿l5,右脚l6,左大臂l7,左小臂l8,右大臂l9,右小臂l10,对应各个部分的质量非别为左足部m1,左小腿m2,左大腿m3,右大腿m4,右小腿m5,右足部m6,左大臂m7,左小臂m8,右大臂m9,右小臂m10,其中头部和胸部腹部的总质量为m0。上述长度来说,四肢的长度左右对称相等,如左小腿和右小腿长度相等,左大腿和右大腿长度相等,左脚和右脚长度相等。上式中lAM表示脚长,lKA表示小腿长,lHK表示大腿长, lEW表示小臂长,lSE表示大臂长。
将求得的各部分质心加速度带入触觉特征模型,便得到了融合视觉和触觉的视触全身步态运动模型,模型中等号左半部分代表触觉特征,右半部分代表视觉特征:
Figure BDA0002812873050000061
将触觉特征模型用各部分关节角和各部分质心连线表示,获得视触全身步态运动模型。
对于上述构建获得的视触全身步态运动模型进行应用,将其进行矩阵化,方便之后的特征提取和步态识别,矩阵化结果为:
Figure BDA0002812873050000071
Figure BDA0002812873050000072
Figure BDA0002812873050000073
式中,矩阵M人体各个部分质量的矩阵,矩阵ξ为关于人体各个部分质心的矩阵,矩阵 W为人体各个部分速度和加速度的矩阵,矩阵L为关于人体各个部分长度的矩阵,矩阵F表示人体在竖直方向的受力的矩阵。
通过Kinect v2代替相机获得人体步态运动的深度图像数据流以及25个关节的空间三维坐标,其中25个关节包括左右跖骨关节,左右踝关节,左右膝关节,左右髋关节,脊柱底部,脊柱中部,肩膀中部,颈部,头部,左右肩关节,左右肘关节,左右腕关节,左右拇指关节,左右指尖,左右掌指关节,通过这些特征用来求取人体各部分质心,长度,以及运动角速度和角加速度;通过脚底压力采集系统Walkway Metric 3150TL获得人体步态运动中足底压力,从中提取矩阵F的地面支反力Ny
Kinect将得到的原始数据流发送到应用数据开发包,在这个基础上提取视觉特征,本发明使用的应用程序为SDK 2.0版本,在VS2013的平台上,程序的环境配置为opencv2.4.9,采样频率为25帧/s。由于本文所建模型是空间模型,不限制四肢在步态运动过程中运动的平面,所以使用Kinect获得的空间三维坐标,普通相机只能得到在二维平面内的四肢运动坐标。
脚底压力采集系统Walkway Metric 3150TL的采样频率也同样设置为25帧/s,这样可以做到视觉和触觉在时间上统一,每一帧视觉特征对应每一帧触觉特征。
以径向基函数为核函数构建‘一对一’的支持向量机多分类器,输入选定的训练集和测试集,得到识别结果,包括以下步骤:
(6.1)构建支持向量机多分类器,分类器的核函数为:
k(||x-xc||)=exp{-||x-xc||^2/[(2*σ)^2]}
式中xc为核函数中心,σ为函数的宽度参数,这里定义g=1/(2*σ)^2,g定义了单个训练样本的影响大小,g越大影响越小。
(6.2)粗略寻优寻找分类器最优参数,在全局范围内,使用K-CV法寻找最适合本文预测模型的核函数参数g和惩罚参数c;精细寻优寻找分类器最优参数。在局部范围内,使用K-CV 法缩小步长,寻找最适合本文预测模型的核函数参数g和惩罚参数c。
(6.3)将上述矩阵化后的五个大矩阵作为特征集,采集不同人体及相同个体不同步态下的相关视觉特征和触觉特征,视触特征按照上述的五个大矩阵进行整理,形成特征集,特征集对应形成数据集,用于训练支持向量机多分类器,并用测试集测试训练效果,对某个单独个体,应用训练好的多分类器,输入该个体的特征集即可输出步态识别结果。
实施例
分析人体在行走过程中的受力情况,建立关于人体步态运动的触觉特征模型,主要包括以下步骤:
以支撑脚作为模型的起点,通过对全身的动力学分析,建立在竖直方向上的地面支持力模型,本发明通过地面支反力建立全身人体步态运动模型,所以只讨论人体步态运动过程中在竖直方向所受到的力。在步态运动中人体所受的外力主要来自于地面的反作用力,记为
Figure BDA0002812873050000081
设M是人体总质量,则人体重力为
Figure BDA0002812873050000082
如图2。根据牛顿力学第二定律,人体受力的动力学方程可表示为:
Ny-Mg=May
其中May可以分解为身体各个部分的质量与其质心位置的竖直方向的加速度的乘积之和,即: May=m1a1y+m2a2y…+mnany=Ny-Mg
通过触觉特征模型中的加速度,引入视觉特征,建立融合视觉和触觉特征的视触全身步态运动模型,主要包括以下步骤
分析触觉特征模型,式中加速度a的获得需要视觉图像的辅助,以此引入视觉特征。求取身体各个部分质心在竖直方向上的加速度。以支撑脚,支撑小腿,支撑大腿,髋部,摆动大腿,摆动小腿,摆动脚,左右大臂,左右小臂的顺序计算身体11个部分在竖直方向上的质心加速度。以左脚作为支撑脚为例:
左脚做为支撑脚其与地面的夹角在运动过程中经历了一个由0°到接近90°,然后离地变为摆动腿的过程,以此为基础研究支撑腿摆动模型,如图3。则根据角速度与线速度公式可得踝关节点在垂直方向上相对于足尖的线加速度为:
Figure BDA0002812873050000091
足部质心在垂直方向上相对于足尖的加速度为:
Figure BDA0002812873050000092
同理按照规定的顺序可依次求得左小腿加速度:
Figure BDA0002812873050000093
左大腿加速度:
Figure BDA0002812873050000094
髋关节加速度:
Figure BDA0002812873050000095
右大腿加速度:
Figure BDA0002812873050000096
右小腿加速度:
Figure BDA0002812873050000097
右脚加速度:
Figure BDA0002812873050000098
在求取上半身各部分质心加速度时,分析人体步态运动的特点,上半身的头部,腹部,胸部和髋部相对运动幅度小。所以在求取加速度时,认为以上部分在竖直方向上的加速度相同,并且在求取左右臂的质心加速度时,以左右肩部作为求取的起点,以此求取左右大臂和左右小臂的质心加速度。
左大臂加速度:
Figure BDA0002812873050000099
左小臂加速度:
Figure BDA00028128730500000910
右大臂加速度:
Figure BDA00028128730500000911
右小臂加速度:
Figure BDA00028128730500000912
将求得的各部分质心加速度带入触觉特征模型,便得到了融合视觉和触觉的视触全身步态运动模型:
Figure BDA0002812873050000101
式中各个骨骼关节点为右手腕WR,右手肘ER,右肩SR,左手腕WL,左手肘EL,左肩SL,右髋关节HR,右膝关节KR,右踝关节AR,右跖骨末端MR,左髋关节HL,左膝关节KL,左踝关节AL,左跖骨末端ML。各个骨骼的质心在关节点的连线上,左跖踝关节连线CAM-L,左膝踝关节连线CKA-L,左髋膝关节连线CHK-L,右髋膝关节连线CHK-R,右膝踝关节连线CAK-R,右跖踝关节连线CAM-R,左肩肘关节联系CSE-L,左肘腕关节连线CEW-L,右肩肘关节连线CSE-R,右肘腕关节连线CEW-R,对应各关节连线并且指向近端关节点的向量与竖直方向的夹角为θ1,θ2,θ3,θ4,θ5,θ6,θ7,θ8,θ9,θ10,。占对应骨骼长度比例,即各部分质心为左足部ε1,左小腿ε2,左大腿ε3,右大腿ε4,右小腿ε5,右足部ε6,左大臂ε7,左小臂ε8,右大臂ε9,右小臂ε10,对应身体各部分长度为左脚l1,左小腿l2,左大腿l3,右大腿l4,右小腿l5,右脚l6,左大臂l7,左小臂l8,右大臂l9,右小臂l10,对应各个部分的质量分别为左足部m1,左小腿m2,左大腿 m3,右大腿m4,右小腿m5,右足部m6,左大臂m7,左小臂m8,右大臂m9,右小臂m10,其中上身和头部的总质量为m0
对建立的视触全身步态运动模型进行矩阵化,具体步骤为:
(4.1)为了方便计算,将全身步态运动模型中的四肢的摆动参数看作整体,
Figure BDA0002812873050000102
Figure BDA0002812873050000103
Figure BDA0002812873050000104
简化后模型为:
NY-Mg=[(1-ε1)A]·m1+[A+(1-ε2)B]·m2+[A+B+(1-ε3)C]·m3+[A+B+C)]·m0+ [A+B+C+ε4D]·m4+[A+B+C+D+ε5E]·m5+[A+B+C+D+E+ε6F]·m6+ [A+B+C+ε7G]·m7+[A+B+C+G+ε8H]·m8+[A+B+C+ε9I]·m9+ [A+B+C+I+ε10J]·m10
(4.2)根据简化后的模型,提取质量矩阵,同时为了方便之后的计算,将摆动参数在矩阵中统一赋值,当参数为零时记作零乘以摆动参数,则模型变为下式,并且记质量矩阵为M:
Figure BDA0002812873050000111
(4.3)分析过渡矩阵1,矩阵中的每一行都都有摆动参数A-D,将摆动参数提出便可得到质心矩阵,记作ξ。
Figure BDA0002812873050000112
(4.4)分析过渡矩阵2,矩阵中都是关于四肢做圆周运动的参数,包括角速度,角加速度和长度,将角速度和加速度矩阵提取出来,记作W,剩下的为长度矩阵记作L。
Figure BDA0002812873050000113
最后得到由视触全身步态运动模型分离的特征矩阵为MTξWL=[Ny-Mg],如下式:
Figure BDA0002812873050000121
Figure BDA0002812873050000122
Figure BDA0002812873050000123
质量矩阵W通过表1《中国成年人环节相对质量国家标准》求取,根据男女性别不同,每个部分的相对质量也不同;
表1《中国成年人环节相对质量国家标准》
Figure BDA0002812873050000124
Figure BDA0002812873050000131
矩阵ξ质心矩阵,在计算四肢质心时,认为小臂,大臂,大腿,小腿的质心在其关节连线上,并且将其看做均匀密度,并且斜率很小的圆台进行质心计算。由于圆台关于轴线旋转对称,所以圆台上所有平行于上下底面的横截面的重心都在圆心连线上,这样可以把这些横截面的质量假设在它自身的重心上,将求圆台的重心的三维问题转化为了求一维线性体重心问题。如图4,图5所示。以截面积小的一端的圆心为原点O1,截面积大的一端为O2,O1O2为X轴建立坐标系,根据Kinect得到的身体边缘坐标点设线性体的四个端点分别为a1(X1,Y1), a2(X2,Y2),a3(X3,Y3),a4(X4,Y4),则可得到圆台的上下底面直径r1,r2
Figure BDA0002812873050000132
Figure BDA0002812873050000133
轴线与母线的夹角α:
Figure BDA0002812873050000134
设线性体的线密度是X的函数ρ(X),线性体的长度为S,也是四肢长度S=l则:
ρ(X)=ρ0π(r1/2+Xtgα)2
圆台重心的位置LC
Figure BDA0002812873050000135
对式积分化简得质心为:
Figure BDA0002812873050000136
通过上式求取四肢质心,而足部质心可以通过Walkway Metric 3150TL系统直接获得。
速度加速度矩阵W和长度矩阵L,通过Kinect提取的关节空间三维坐标求取,对于角加速度来说,每三帧求取一系列的角加速度;
力矩阵中Ny地面支持力通过Walkway Metric 3150TL获得,系统获得的足底压力是由多个压力传感器组成,在求取总支持力时需要将多个压力传感器的值求和。
通过Kinectv2代替相机获得人体步态运动的深度图像数据流以及25个关节的空间三维坐标,其中25个关节包括左右跖骨关节,左右踝关节,左右膝关节,左右髋关节,脊柱底部,脊柱中部,肩膀中部,颈部,头部,左右肩关节,左右肘关节,左右腕关节,左右拇指关节,左右指尖,左右掌指关节,通过这些特征用来求取人体各部分质心,长度,以及运动角速度和角加速度;通过脚底压力采集系统Walkway Metric 3150TL获得人体步态运动中足底压力,从中提取矩阵F的地面支反力Ny
Kinect将得到的原始数据流发送到应用数据开发包,在这个基础上提取视觉特征,本发明使用的应用程序为SDK2.0版本,在VS2013的平台上,程序的环境配置为opencv2.4.9,采样频率为25帧/s。Kinect为矩阵ξ提供了四肢的边缘坐标,为矩阵W和矩阵L提供了空间的三维坐标。
脚底压力采集系统Walkway Metric 3150TL的采样频率也同样设置为25帧/s,这样可以做到视觉和触觉在时间上统一,每一帧视觉特征对应每一帧触觉特征。
以径向基函数为核函数构建‘一对一’的支持向量机多分类器,输入选定的训练集和测试集,得到识别结果,包括以下步骤:
(6.1)构建支持向量机多分类器,分类器的核函数为:
k(||x-xc||)=exp{-||x-xc||^2/[(2*σ)^2]}
式中xc为核函数中心,σ为函数的宽度参数,这里定义g=1/(2*σ)^2,g定义了单个训练样本的影响大小,g越大影响越小。
(6.2)粗略寻优寻找分类器最优参数,在全局范围内,使用K-CV法寻找最适合本文预测模型的核函数参数g和惩罚参数c;精细寻优寻找分类器最优参数。在局部范围内,使用K-CV 法缩小步长,寻找最适合本文预测模型的核函数参数g和惩罚参数c。
(6.3)将矩阵参数作为特征集,并且选定测试集和训练集输入分类器,输出识别结果。
本发明未述及之处适用于现有技术。

Claims (4)

1.一种视触融合的全身步态运动模型的建模方法,该建模方法包括以下步骤:
对全身骨骼结构进行简化,构建建模环境时,将人体分为了11个刚体,包括左右足部、左右小腿、左大腿、左右小臂、左右大臂以及头和胸腹部;将人体的运动关节看作铰链,人体骨架由铰链连接构成;单个身体结构质心等效在两关节连线上;正常行走过程中四肢的摆动在空间任意位置,不限定摆动平面,上半身的头部、胸部和腹部在步态运动过程中相对运动幅度较小,看做一个整体;双髋关节支座垂直于人体轴心做旋转运动;
建立关于人体步态运动的触觉特征模型,人体受力分解为身体各个部分的质量与其质心位置的竖直方向的加速度的乘积之和,即触觉特征模型;加速度a的获得需要通过视觉图像获得每个部分的关节角,
在求取上半身各部分质心加速度时,上半身的头部、腹部、胸部和髋部相对运动幅度小,在求取加速度时,上半身的头部、腹部、胸部和髋部在竖直方向上的加速度相同,并且在求取左右臂的质心加速度时,以左右肩部作为求取的起点,以此求取左右大臂和左右小臂的质心加速度;
将触觉特征模型的加速度用各部分关节角和各部分质心连线之间的关系表示,获得视触全身步态运动模型。
2.根据权利要求1所述的建模方法,其特征在于,所述视触全身步态运动模型为:
Figure FDA0003719401500000011
式中,各个骨骼的质心在关节点的连线上,θ为对应各关节点的连线并且指向近端关节点的向量与竖直方向的夹角;ε为占对应骨骼长度比例,即各部分质心,l表示对应身体各部分长度;m为对应各个部分的质量;下标1-10分别表示左足部、左小腿、左大腿、右大腿、右小腿、右足部、左大臂、左小臂、右大臂、右小臂;不包括左右臂的上半身的总质量为m0
Figure FDA0003719401500000012
为角加速度;Ny为地面的反作用力,Mg为人体自身的重力。
3.一种权利要求1所述的建模方法的应用,其特征在于,将视触全身步态运动模型进行矩阵化处理,矩阵化结果为:
Figure FDA0003719401500000021
Figure FDA0003719401500000022
Figure FDA0003719401500000023
式中矩阵M人体各个部分质量的矩阵,矩阵ξ为关于人体各个部分质心的矩阵,矩阵W为人体各个部分速度和加速度的矩阵,矩阵L为关于人体各个部分长度的矩阵,矩阵F表示人体在竖直方向的受力的矩阵;
通过Kinect v2获得人体步态运动的深度图像数据流以及25个关节的空间三维坐标,其中25个关节包括左右跖骨关节、左右踝关节、左右膝关节、左右髋关节、脊柱底部、脊柱中部、肩膀中部、颈部、头部、左右肩关节、左右肘关节、左右腕关节、左右拇指关节、左右指尖、左右掌指关节,通过这些特征用来求取人体各部分质心、长度、以及运动角速度和角加速度;
通过脚底压力采集系统Walkway Metric 3150TL获得人体步态运动中足底压力,从中提取矩阵F的地面支反力Ny;Kinect v2和Walkway Metric 3150TL设置相同的采样频率,每一帧视觉特征对应每一帧触觉特征。
4.根据权利要求3所述的应用,其特征在于,质心矩阵ξ,在计算四肢质心时,认为小臂、大臂、大腿、小腿的质心在其关节连线上,并且将其看做均匀密度,各部分等效为圆台进行质心计算;由于圆台关于轴线旋转对称,所以圆台上所有平行于上下底面的横截面的重心都在圆心连线上,这样可以把这些横截面的质量假设在它自身的重心上,将求圆台的重心的三维问题转化为了求一维线性体重心问题;在视觉图像上获取相应部分的始末端横截面,记截面积小的一端的圆心为O1,记截面积大的一端的圆心为原点O2,O1O2为X轴建立坐标系,根据Kinect得到的身体对应部分边缘坐标点,设某部分线性体的四个端点分别为a1(X1,Y1)、a2(X2,Y2)、a3(X3,Y3)、a4(X4,Y4),则得到圆台的上下底面直径r1,r2
Figure FDA0003719401500000031
Figure FDA0003719401500000032
轴线与母线的夹角α:
Figure FDA0003719401500000033
设线性体的线密度是X的函数ρ(X),线性体的长度为S,则:
ρ(X)=ρ0π(r1/2+Xtgα)2
圆台重心的位置LC
Figure FDA0003719401500000034
则质心ε公式为:
Figure FDA0003719401500000035
S为线性体的长度即四肢的长度S=l,α为圆台轴线O1O2与母线的夹角,LC为圆台重心的位置。
CN202011391191.0A 2020-12-02 2020-12-02 一种视触融合的全身步态运动模型的建模方法及应用 Active CN112488000B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011391191.0A CN112488000B (zh) 2020-12-02 2020-12-02 一种视触融合的全身步态运动模型的建模方法及应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011391191.0A CN112488000B (zh) 2020-12-02 2020-12-02 一种视触融合的全身步态运动模型的建模方法及应用

Publications (2)

Publication Number Publication Date
CN112488000A CN112488000A (zh) 2021-03-12
CN112488000B true CN112488000B (zh) 2022-08-09

Family

ID=74938009

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011391191.0A Active CN112488000B (zh) 2020-12-02 2020-12-02 一种视触融合的全身步态运动模型的建模方法及应用

Country Status (1)

Country Link
CN (1) CN112488000B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113749651B (zh) * 2021-10-18 2023-05-26 长春理工大学 一种基于人体姿势识别的压力评估方法及压力评估系统
CN116595388A (zh) * 2023-04-19 2023-08-15 爱梦睡眠(珠海)智能科技有限公司 一种人物识别系统以及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007052631A1 (ja) * 2005-10-31 2007-05-10 Bycen Inc. 歩様バランス定量化方法および歩様バランス定量化装置
CN107578019A (zh) * 2017-09-13 2018-01-12 河北工业大学 一种视觉触觉融合的步态识别系统及识别方法
CN108227484A (zh) * 2016-12-22 2018-06-29 电子科技大学中山学院 一种仿人机器人偏摆力矩控制方法
CN108388887A (zh) * 2018-03-20 2018-08-10 济南大学 基于学步期幼儿步态提取的双足机器人运动学分析方法
CN111506100A (zh) * 2020-06-15 2020-08-07 深圳市优必选科技股份有限公司 多足机器人关节控制方法、装置和多足机器人

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4291093B2 (ja) * 2003-09-11 2009-07-08 本田技研工業株式会社 2足歩行移動体の関節モーメント推定方法
US20140343460A1 (en) * 2013-05-15 2014-11-20 Ut-Battelle, Llc Mobile gait force and motion analysis system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007052631A1 (ja) * 2005-10-31 2007-05-10 Bycen Inc. 歩様バランス定量化方法および歩様バランス定量化装置
CN108227484A (zh) * 2016-12-22 2018-06-29 电子科技大学中山学院 一种仿人机器人偏摆力矩控制方法
CN107578019A (zh) * 2017-09-13 2018-01-12 河北工业大学 一种视觉触觉融合的步态识别系统及识别方法
CN108388887A (zh) * 2018-03-20 2018-08-10 济南大学 基于学步期幼儿步态提取的双足机器人运动学分析方法
CN111506100A (zh) * 2020-06-15 2020-08-07 深圳市优必选科技股份有限公司 多足机器人关节控制方法、装置和多足机器人

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
下肢骨肌系统生物力学建模和典型运动中若干力学问题研究;季文婷;《万方数据》;20160628;全文 *
基于多传感器的机器人步态信息采集及处理技术研究;董宇等;《计算机测量与控制》;20130625(第06期);全文 *
基于步态触觉的步行运动建模研究与应用;刘志等;《中国优秀硕士学位论文全文数据库信息科技辑》;20110115(第01期);全文 *
基于视频图像边缘检测的人体下肢运动步态;孟青云等;《中国组织工程研究》;20130326(第13期);全文 *
步态识别研究现状与进展;薛召军等;《生物医学工程学杂志》;20081015(第05期);全文 *

Also Published As

Publication number Publication date
CN112488000A (zh) 2021-03-12

Similar Documents

Publication Publication Date Title
Morrow et al. Validation of inertial measurement units for upper body kinematics
Murray et al. A study of the external forces and moments at the shoulder and elbow while performing every day tasks
CN112488000B (zh) 一种视触融合的全身步态运动模型的建模方法及应用
Gil-Agudo et al. A novel motion tracking system for evaluation of functional rehabilitation of the upper limbs
do Carmo et al. Alteration in the center of mass trajectory of patients after stroke
TWI652039B (zh) Simple detection method and system for sarcopenia
Yu et al. Human gait analysis based on OpenSim
CN109272488B (zh) 一种人体髋关节的运动受力变化评估方法及装置
Su et al. Fuzzy clustering of gait patterns of patients after ankle arthrodesis based on kinematic parameters
Malloggi et al. Kinematic patterns during walking in children: Application of principal component analysis
CN116999034A (zh) 一种评估系统及评估方法
CN104269094B (zh) 一种人体负荷模拟运动系统
Xia et al. Predicting free achilles tendon strain from motion capture data using artificial intelligence
Slavens et al. The biomechanics of upper extremity kinematic and kinetic modeling: applications to rehabilitation engineering
JP7455991B2 (ja) 情報処理装置、および情報処理方法
Nikolova et al. CAD design of human male body for mass–inertial characteristics studies
Bazanski Metacarpophalangeal joint kinematics during a grip of everyday objects using the three-dimensional motion analysis system
Moghadam et al. The effect of imu sensor location, number of features, and window size on a random forest model’s accuracy in predicting joint kinematics and kinetics during gait
Maldonado et al. Whole-body musculo-skeletal model V1
Coccia et al. Biomechanical modelling for quantitative assessment of gait kinematics in drop foot patients with ankle foot orthosis
Liu et al. Lower limb motion recognition by integrating multi-modal features based on machine learning method
CN115861381B (zh) 球体协同运动中鱼跃救球动作标准性的检测方法及系统
Yu et al. A novel low-pressure robotic glove based on CT-optimized finger joint kinematic model for long-term rehabilitation of stroke patients
Sahak et al. Human Gait Recognition Using Skeleton Joint Coordinates With Orthogonal Least Square and Locally Linear Embedded Techniques.
Bao et al. A global bibliometric and visualized analysis of gait analysis and artificial intelligence research from 1992 to 2022

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant