CN114680875A - 基于多源信息融合的人体运动监测方法、装置 - Google Patents

Abstract

本发明涉及一种基于多源信息融合的人体运动监测方法，所述方法考虑个体不同的人体生理结构特性，采集多源信息，包括人体测量学信息、足底压力分布数据、实际惯性测量单元贴附位置及采集的数据，从而使用于计算的人体骨骼模型更符合真实的被测试者。通过建立提高惯性测量单元精度和满足人体运动生理学意义的目标函数和约束，通过对目标函数进行最小优化计算，可获得关节运动参数。所述方法能够减小因传感器误差、机械关节假设、皮肤形变等因素导致的人体模型不确定性问题和误差，提高关节运动的监测精度。由于无需布置检测环境，可方便实现日常运动环境下高精度的、具有生理学意义的人体运动监测，包括有高精度要求的、病理下的人体运动分析。

Description

基于多源信息融合的人体运动监测方法、装置

技术领域

本公开涉及生物与新医药技术-医疗仪器技术、设备与医学专用软件领域，尤其涉及基于多源信息融合的人体运动监测方法、装置。

背景技术

人体运动监测对于康复治疗、体育运动和人机交互等领域具有重要作用。过去，光学运动捕捉技术被普遍应用，但这种方法存在光学摄像头昂贵、需固定监测场景、容易出现部位遮挡等问题。近年来，以IMU(Inertial Measurement Unit，惯性测量单元)为代表的可穿戴传感设备因其具有佩戴方便、运动空间不受限和成本低等优点，被广泛应用于运动监测和医疗康复等领域。如发明专利CN201710442846.4“角度检测方法和关节运动夹角检测系统”即利用两个含IMU的角度检测器检测对应关节臂运动产生的姿态角，进而根据姿态角获取关节夹角度数。

但IMU在使用中存在两方面问题。一方面，容易累积误差和数据漂移的问题，且IMU对高动态的姿态运动响应较差，因而数据采集精度有限。发明专利CN202010633536.2“一种基于摄像头和IMU数据混合的实时全身动捕系统、方法”即针对这一现象融合摄像设备和IMU信息来获取关节运动姿态，根据视频帧图像的颜色和深度信息补充预测人体关节模型，来矫正IMU获取的人体关节的运动姿态。并且，该方法同样需要借助外界环境布置摄像设备来获取矫正信息，也存在监测场景受限的问题。另一方面，目前基于IMU来追踪人体关节运动轨迹一般是基于简单的IMU刚体运动链逆向求解，没有考虑因传感器误差、人体的机械关节假设和皮肤形变误差等导致的人体模型不确定问题，因此单独使用IMU设备通常只能用于获取低复杂度的运动学信息，不适用有高精度要求的、病理下的人体运动分析。

发明内容

有鉴于此，本申请的主要目的在于提出一种基于多源信息的人体运动融合监测方法，目的包括：(1)提高应用惯性测量单元监测人体运动的精度，方法将考虑个体不同的人体生理结构特性，以及因传感器误差、机械关节假设、皮肤形变等因素导致的人体模型不确定问题和误差，并纳入了人体生理学运动准则和额外的力学传感器数据等进行运动信息的补偿；(2)去除运动监测场景限制，无需布置检测环境，即可实现日常运动环境下的、高精度的、具有生理学意义的人体运动监测。

基于上述目的，本发明提出了下述技术方案：

第一方面，本发明提出了一种基于多源信息融合的人体运动监测方法，所述方法包括下述步骤：

S1、获取被测试者的多源信息，所述多源信息包括人体测量学信息、足底压力分布数据、实际惯性测量单元贴附位置及采集的数据；

S2、基于多源信息，对通用人体骨骼模型进行适配调整，得到待测人体骨骼模型；

S3、利用待测人体骨骼模型和所述多源信息，建立以关节运动参数为决策变量的目标函数，通过使所述目标函数取得最小值，以求得关节运动参数；

所述目标函数包括第一项和第二项之和；

所述第一项用于度量待测人体骨骼模型与被测试者关于惯性测量单元的位置误差；

所述第二项用于度量在人体关节运动过程中与能量代谢相关的全部或部分计算。

优选地，在所述方法中，所述待测人体骨骼模型通过下述步骤获得：

S21、利用所述人体测量学信息将通用人体骨骼模型进行放缩得到待测人体骨骼模型；

S22、利用足底压力分布数据，计算地面反作用力的作用中心位置和作用集中力，将相应的作用中心位置及作用集中力作为接触点与接触力关联到待测人体骨骼模型；

S23、根据实际惯性测量单元贴附位置，定义虚拟惯性测量单元，并将其刚性连接到待测人体骨骼模型。

优选地，在所述方法中，所述目标函数如下：

式中：

A为关节运动参数，

q为监测关节的广义位置矢量，

为q的关于时间t的一阶导数；

为q的关于时间t的二阶导数；

q的元素构成包括关节运动的位移和角度，所述位移的范围为[-0.02，0.02]，单位为米；所述角度的范围为[-π，π]，单位为弧度；θ_IMU和

分别为模拟的和实际测量得到的惯性测量单元的角度向量；t₁为运动开始时间，t₂为运动结束时间；M是由力分量和转矩分量构成的广义力矢量，G为重力矢量，C为科式力和离心力矢量；F_Act为驱动关节运动的广义主动力矢量；F_PE由待测人体骨骼模型中设定的关节刚度产生的广义被动力矢量；F_external为广义外力矢量；f_energy为在人体关节运动过程中与能量代谢相关的全部或部分计算式。

优选地，在所述方法中，所述惯性测量单元贴附位置包括下述位置：头、颈、胸椎部分、腰椎部分、骨盆、上臂、小臂、手、大腿、小腿、足。

优选地，在所述方法中，所述关节包括肩关节、肘关节、腕关节、髋关节、膝关节、踝关节、颈椎关节、腰椎关节。

优选地，在所述方法中，所述人体测量学信息包括：四肢和躯干的几何长度、身高、体重。

优选地，在所述方法中，所述第二项包括运动生理机械能、新陈代谢率。

优选地，在所述方法中，所述足底压力分布数据通过足底压力鞋垫获得。

第二方面，本发明提出了一种基于多源信息融合的人体运动监测装置，其特征在于，所述装置包括惯性测量单元、足底压力鞋垫、存储器和处理器；所述存储器上存储所述惯性测量单元、足底压力鞋垫采集的数据，以及有能够被处理器加载并执行如上述任一种方法的计算机程序；所述惯性测量单元用于贴附在被测试者身体上，用于记录惯性测量单元的运动轨迹；所述足底压力鞋垫用于获取足底压力分布数据。

优选地，在所述装置中，所述装置还包括数据存储包，用于存储所述惯性测量单元、足底压力鞋垫采集的实时数据，然后通过有线或无线方式传输导出。

与现有技术相比，本发明具有下述有益技术效果：

(1)本发明考虑到个体不同的人体生理结构特性，采用多源信息对通用人体骨骼模型进行适配调整，使待测人体骨骼模型更能真实地仿真被测试者的运动状态，还原各个关节承受的力，从而使监测到的人体关节运动更加真实准确。

(2)利用高度再现被测试者运动状态的待测人体骨骼模型建立以关节运动参数为决策变量的目标函数，通过在目标函数中既限制待求解变量与实际信息源之间的关联的误差，以提高应用惯性测量单元监测人体运动的精度；又限制运动过程中尽可能遵循人体运动生理准则。

(3)去除运动监测场景限制，无需布置检测环境，即可实现日常运动环境下的、高精度的、具有生理学意义的人体运动监测。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1、一个实施例中关于部署在被测试者身上的装置示意图；

图2、本发明方法流程示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。

在实施例1中，首先获得被测试者的下述信息：

(11)人体测量学信息，包括四肢和躯干的几何长度、身高、体重。具体测量方法参照人体测量学标准。

(12)足底压力分布数据。一种优选地的简便获取方式是将足底压力鞋垫放置在配测试者的鞋内，进而通过足底压力鞋垫测量并记录足底压力分布数据。可选方式，还可以是测试足底压力的袜子、鞋、专门用于采集足底压力的地垫，或者其它方式等。

(13)惯性测量单元贴附位置。优选采用含有加速度计、陀螺仪、磁力计的九轴惯性测量单元，将其贴附目标的被测试者的人体节段，记录惯性测量单元在空间中的运动轨迹。在图1所给的实施例中，将人体节段划分为：头、颈、胸椎部分、腰椎部分、骨盆、上臂、小臂、手、大腿、小腿、足，共19个节段，相应每个节段使用胶带或绑带固定一个工MU传感器，构成一套IMU采集系统。具体的传感器型号和测量设备不限。

足底压力鞋垫以及惯性测量单元在人体的贴附示意图如图1所示。

惯性测量单元的数据以及足底压力分布数据可以在采集到信号后实时传输，也可以存储到内置的数据存储包，然后在提取数据时通过无线或有线方式导出。

其次，将上述获得的多源信息，结合通用人体骨骼模型进行适配调整，从而得到待测人体骨骼模型，具体适配调整包括：

(21)利用所述人体测量学信息将通用人体骨骼模型进行放缩得到待测人体骨骼模型。

(22)利用足底压力分布数据，计算地面反作用力的作用中心位置和作用集中力，将相应的作用中心位置及作用集中力作为接触点与接触力关联到待测人体骨骼模型。

(23)根据实际惯性测量单元贴附位置，定义虚拟惯性测量单元，并将其刚性连接到待测人体骨骼模型。

上述过程中，所述通用人体骨骼模型，可以在肌骨仿真建模软件构建或采用现有的，如开源肌骨建模软件OpenSim及其数据库中即提供许多人体肌骨模型。选择的模型需至少含有惯性测量单元所贴附的人体骨骼节段。

第三，将获得的多源信息及待测人体骨骼模型作为输入数据用于下面的计算中。

S31、定义决策变量为人体的关节运动参数A，其中

q为监测关节的广义位置矩阵，q的元素构成包括关节运动的位移和角度，所述位移的范围为[-0.02，0.02]，单位为米；所述角度的范围为[-π，π]，单位为弧度。

为q的关于时间t的一阶导数，表示关节转动速度，包括线速度和角速度，

为q的关于时间t的二阶导数，表示关节转动加速度，包括线加速度和角加速度。

S32、建立要优化的目标函数。

目标函数一方面是待求解变量与实际信息源之间的关联的误差，另一方面为在关节运动过程中，与能量代谢相关的全部或部分度量计算值。度量计算值可以是运动生理机械能，也可以是新陈代谢率，还可以是其他度量计算人体能量转化或消耗的方式。

在度量计算时，人体机体所利用的蕴于食物中的化学能与最终转化成的热能和所做的外功，遵守能量守恒定律。度量计算中可以是把全部能量进行考虑，比如测定产生的热量与所做的外功，测算能量代谢率，用能量代谢率的趋势变化和关节运动过程中所占的能量代谢率的趋势变化相同，因此目标函数的第二项可具体为人体机能的整体能量代谢率。度量计算中也可以只计算关节运动过程的关节力做功，即度量计算为在人体关节运动过程中与能量代谢相关的部分计算，没有计算在这个过程中人体需要的热量。

具体地，目标函数可以是下述表达式形式：

式中：

θ_IMU和

分别为模拟的和实际测量得到的惯性测量单元的位置向量。惯性测量单元是近似刚性连接到人体节段上的，模型中关节运动学参数之一q的函数，所述函数可以由肌骨软件模型默认获得。θ_IMU的模拟值可以通过下式计算：

θ_IMU(q)＝D·q

式中：其中D表示从模型中IMU所贴附的骨骼节段的局部三维直角坐标系转换到IMU自身的局部三维直角坐标系的坐标转换关系，即D为坐标转换矩阵。

t₁为运动开始时间，t₂为运动结束时间，在时间t从运动初始时间t₁到结束时间t₂之间，目标函数的第一项用于计算模拟的和测量得到的惯性测量单元位置变量间的累积误差。

目标函数的第一项中的f_energy为在人体关节运动过程中与能量代谢相关的全部或部分计算式。

在度量计算人体能量转化或消耗的方式时，以生理机械能为例，即关节运动过程的关节力做功为例，上述目标函数中的参数还需要满足牛顿第二定律条件的骨骼的动力学平衡：

M是由力分量和转矩分量构成的广义力矢量，G为重力矢量，C为科式力和离心力矢量。F_PE由待测人体骨骼模型中设定的关节刚度产生的广义被动力矢量。F_external为广义外力矢量。F_Act为驱动关节运动的广义主动力矢量，包含力与力矩，由肌肉张力产生。可选地，

为包括力与力矩的所有关节自由度的主动的广义力的平方之和。

在上述目标函数求解过程中，通过使目标函数取得最小值，获得关节运动参数，从而实现对关节运动监测。

求解的方法可以是变分法、配点法。以配点法为例，由于瞬时的关节位置变量q，速度变量

加速度变量

三者满足质点运动方程，存在以下微分关系，即：

在积分计算时，将连续时间曲线离散为有限时间序列，进一步获得q，速度变量

加速度变量

三者在两个配置点之间的关系，即通过约束瞬时的位置及相关位置变量遵从质点运动法则，实现全局运动的动力学一致性，从而可对上述目标函数进行求解。

上述目标函数的意义在于使模拟的IMU位置变量和测量得到的IMU位置变量间的累积误差最小的同时，也使生理机械能最小。对于使生理机械能最小的运动生理学意义为，人体的主动关节力是由肌肉收缩产生的。由于人体运动一般遵循“经济最优准则”，即人在正常运动时会潜意识选择最省力的模式来运动，转化为数学公式即最小化逆向动力学计算中的广义主动关节力的平方之和，相当于最小机械能。

整个方法过程示意图如图2所示。

在本发明方法中，通过利用被测试者的多源信息对通用人体骨骼模型进行适配调整得到待测人体骨骼模型，以使模型后面的建模计算更加逼近被测试者的个体特征。基于实际惯性测量单元信息，在待测人体骨骼模型上同位置贴附，考虑到真实位置和模拟位置的累积误差，将其作为目标函数的一部分进行优化，并在优化计算中纳入人体生理学运动准则，加入力学信息、人体动力学平衡和全局动力学一致性等约束来进行位置信息的补偿，以此来补偿因惯性测量单元传感器误差、机械关节假设、皮肤形变等因素导致的人体骨骼模型不确定问题和误差。而且，本发明方法去除运动监测场景限制，无需布置检测环境，即可实现日常运动环境下高精度的、具有生理学意义的人体运动监测，具有很大的实用价值。

在实施例2中，采用一种基于多源信息融合的人体运动监测装置，对人体运动进行监测。所述装置包括惯性测量单元、足底压力鞋垫、存储器和处理器；所述存储器上存储所述惯性测量单元、足底压力鞋垫采集的数据，以及有能够被处理器加载并执行实施例1中方法的计算机程序；所述惯性测量单元用于贴附在被测试者身体上，用于记录惯性测量单元的运动轨迹；所述足底压力鞋垫用于获取足底压力分布数据。为了方便惯性测量单元、足底压力鞋垫采集的数据进行存储，以便计算使用。所述装置还包括数据存储包，在需要数据计算时，通过有线或无线方式传输导出。上述装置简单易实施操作，可实现日常运动环境下数据采集和关节运动监测，通过相关计算，可获得高精度的具有生理学意义的人体运动的监测结果，具有较强实用性。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本公开方法和/或装置可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本公开而言更多情况下，软件程序实现是更佳的实施方式。

尽管以上结合附图对本发明的实施方案进行了描述，但本发明并不局限于上述的具体实施方案和应用领域，上述的具体实施方案仅仅是示意性的、指导性的，而不是限制性的。本领域的普通技术人员在本说明书的启示下和在不脱离本发明权利要求所保护的范围的情况下，还可以做出很多种的形式，这些均属于本发明保护之列。

Claims (10)

1.一种基于多源信息融合的人体运动监测方法，其特征在于，所述方法包括下述步骤：

S1、获取被测试者的多源信息，所述多源信息包括人体测量学信息、足底压力分布数据、实际惯性测量单元贴附位置及采集的数据；

S2、基于多源信息，对通用人体骨骼模型进行适配调整，得到待测人体骨骼模型；

S3、利用待测人体骨骼模型和所述多源信息，建立以关节运动参数为决策变量的目标函数，通过使所述目标函数取得最小值，以求得关节运动参数；

所述目标函数包括第一项和第二项之和；

所述第一项用于度量待测人体骨骼模型与被测试者关于惯性测量单元的位置误差；

所述第二项用于度量在人体关节运动过程中与能量代谢相关的全部或部分计算。

2.根据权利要求1所述的方法，其特征在于，所述待测人体骨骼模型通过下述步骤获得：

S21、利用所述人体测量学信息将通用人体骨骼模型进行放缩得到待测人体骨骼模型；

S22、利用足底压力分布数据，计算地面反作用力的作用中心位置和作用集中力，将相应的作用中心位置及作用集中力作为接触点与接触力关联到待测人体骨骼模型；

S23、根据实际惯性测量单元贴附位置，定义虚拟惯性测量单元，并将其刚性连接到待测人体骨骼模型。

3.根据权利要求1所述的方法，其特征在于，所述目标函数如下：

式中：

A为关节运动参数，

q为监测关节的广义位置矢量，

为q的关于时间t的一阶导数；

为q的关于时间t的二阶导数；

q的元素构成包括关节运动的位移和角度，所述位移的范围为[-0.02，0.02]，单位为米；所述角度的范围为[-π，π]，单位为弧度；θ_IMU和

分别为模拟的和实际测量得到的惯性测量单元的角度向量；t₁为运动开始时间，t₂为运动结束时间；M是由力分量和转矩分量构成的广义力矢量，G为重力矢量，C为科式力和离心力矢量；F_Act为驱动关节运动的广义主动力矢量；F_PE由待测人体骨骼模型中设定的关节刚度产生的广义被动力矢量；F_external为广义外力矢量；f_energy为在人体关节运动过程中与能量代谢相关的全部或部分计算式。

4.根据权利要求1所述的方法，其特征在于，所述惯性测量单元贴附位置包括下述位置：头、颈、胸椎部分、腰椎部分、骨盆、上臂、小臂、手、大腿、小腿、足。

5.根据权利要求1所述的方法，其特征在于，所述关节包括肩关节、肘关节、腕关节、髋关节、膝关节、踝关节、颈椎关节、腰椎关节。

6.根据权利要求1所述的方法，其特征在于，所述人体测量学信息包括：四肢和躯干的几何长度、身高、体重。

7.根据权利要求1所述的方法，其特征在于，所述第二项包括运动生理机械能、新陈代谢率。

8.根据权利要求1所述的方法，其特征在于，所述足底压力分布数据通过足底压力鞋垫获得。

9.一种基于多源信息融合的人体运动监测装置，其特征在于，所述装置包括惯性测量单元、足底压力鞋垫、存储器和处理器；

所述存储器上存储所述惯性测量单元、足底压力鞋垫采集的数据，以及有能够被处理器加载并执行如权利要求1至7中任一种方法的计算机程序；

所述惯性测量单元用于贴附在被测试者身体上，用于记录惯性测量单元的运动轨迹；

所述足底压力鞋垫用于获取足底压力分布数据。

10.根据权利要求9所述的装置，其特征在于，所述装置还包括数据存储包，用于存储所述惯性测量单元、足底压力鞋垫采集的实时数据，然后通过有线或无线方式传输导出。

Images