CN113345603A

CN113345603A - 一种六轴动作捕捉系统及动作捕捉方法

Info

Publication number: CN113345603A
Application number: CN202110837878.0A
Authority: CN
Inventors: 刘宇
Original assignee: Chongqing Briss Technology Co ltd
Current assignee: Chongqing Briss Technology Co ltd
Priority date: 2021-03-26
Filing date: 2021-07-23
Publication date: 2021-09-03
Also published as: CN113192650A

Abstract

本发明属于动作捕捉及数据处理领域，公开了一种六轴动作捕捉系统，其包括动作捕捉单元、控制单元、移动端和上位机；动作捕捉单元与控制单元之间通过硬件接口进行连接，控制单元与上位机和移动端之间均通过无线网络连接。系统结构简单，管理方便，且系统响应快捷、准确，高效。采用上述系统进行动作捕捉的方法为：S1，动作捕捉单元根据运动轨迹产生运动数据；S2，移动端发送请求，控制单元获取动作捕捉单元获取的数据；S3，控制单元将运动数据传输给移动端；S4，移动端对运动数据进行可视化处理，实现3D渲染和动态同步。本发明可在极大程度上帮助医生实时精准且便捷地通过移动端跟踪并量化康复患者在康复治疗恢复过程中的效果。

Description

一种六轴动作捕捉系统及动作捕捉方法

技术领域

本发明涉及动作捕捉及数据处理领域，特别涉及一种六轴动作捕捉系统及动作捕捉方法。

背景技术

随着计算机硬件技术的发展，动作捕捉识别技术的应用领域越来越广泛。传统的动作捕捉识别主要是基于计算机视觉的姿态分析，即通过摄像机在不同角度同时捕捉人体的运动过程，从视频序列中抽取相关视觉信息，通过找到合适方法对视觉信息进行表示实现动作识别。在上述过程中，一方面，由于人体之间的个体差异、动作的多样性和复杂性，如何充分有效的表达动作姿态是基于视觉的姿态分析中的一大难点，且在具体的应用中还需要对计算代价和准确度进行平衡；另一方面，基于计算机视觉的姿态分析方式主要是依靠光学元件和摄像技术(如PhaseSpace、NOKOV和Worldviz)。上述分析方式主要存在以下缺陷：

(1)整体光学系统价格普遍较高，一般在25万至50万美元，无法满足大众的价格要求，大部分企业的设备需要专业人员对其进行每日维护。此外，整套系统，包括工作站、软件和数据修改，还会成倍提高使用成本和硬件费用。

(2)系统价格昂贵，它可以捕捉实时运动，但后处理(包括Marker的识别、跟踪、空间坐标的计算)的工作量较大，只适合科研类应用。

上述基础上，本领域经过长期研究对动作捕捉识别技术进行了改进，提出了利用惯性传感器的姿态分析，该分析方法中，人体可穿戴专门的传感器获取数据，再通过相关处理处理软件建立模型后其进行处理，从而达到动作识别的目的，且动作捕捉识别技术在康复医疗领域得到了广泛应用(如InterSense)。但利用惯性传感器的姿态分析并不能体现所有，惯性捕捉数据产生滞后现象比较明显。

基于上述分析可见，用于动作捕捉识别的产品目前仍然存在以下问题：

(1)几乎无法支持基于移动端较低成本的动作捕捉技术来满足康复医疗术后量化跟踪的需求，且光学元件和摄像技术中的设备需要专业人员对其进行每日维护，且销售价格普遍较高，也无法满足大众的价格要求。

(2)整套系统，包括工作站、软件和数据修改，会成倍提高使用成本和硬件费用。

(3)系统操作程序复杂，投入成本高，也很容易被外部的因素影响和干扰，这将导致整个动作捕捉的技术仅仅用于科研或者电影制作的领域，很难使用到康复医疗的领域，达到精准辅助医生对康复患者的目的。

因此，本领域亟需开发一种新的动作捕捉识别系统，以消除现有技术的缺陷和限制。

发明内容

本发明的目的是提出一种六轴动作捕捉系统，系统结构简单，管理方便，且系统响应快捷、准确，高效。

实现本发明目的的技术方案是：

一种六轴动作捕捉系统，包括动作捕捉单元、控制单元和移动端；动作捕捉单元用于采集运动数据，控制单元用于获取动作捕捉单元产生的运动数据，并通过无线网络传输至移动端；移动端对运动数据进行处理；

所述动作捕捉单元和控制单元之间通过硬件接口进行连接，控制单元和移动端之间通过无线网络连接；其中，所述动作捕捉单元为两个，分为第一动作捕捉单元和第二动作捕捉单元，两个动作捕捉单元并联后再与控制单元串联。

进一步地，还包括上位机；上位机用于测量正常人行走时大腿和小腿角度的曲线与畸形腿患者的大小腿角度曲线差异，且上位机和控制单元之间通过无线网络连接。

本发明的另一目的是提出一种六轴动作捕捉方法，其操作程序简单，其可在极大程度上帮助医生实时精准且便捷地通过移动端跟踪并量化康复患者在康复治疗恢复过程中的效果。

实现本发明另一目的的技术方案是：

一种六轴动作捕捉系统的动作捕捉方法，包括以下步骤：

S1，动作捕捉单元根据运动轨迹产生运动数据；

S2，移动端发送请求，控制单元获取动作捕捉单元产生的运动数据；

S3，控制单元获取动作捕捉单元的运动数据，并传输给移动端；

S4，移动端对运动数据进行可视化处理，实现3D渲染和动态同步。

本发明的动作捕捉系统主要应用于医疗康复护膝，两个动作捕捉单元分为安装于普通护膝支架的大腿支架和小腿支架，控制单元设置在护膝的膝盖部分。控制单元在移动端的请求下获取动作捕捉单元的数据，再将数据传输到移动终端，移动终端通过软件处理得实现3D模型的构建。

本发明的系统还采用了上位机，在制造或调整医疗康复护膝前，上位机可获获取动作捕捉单元的数据，并将获取的数据与上位机数据库内存储的正常数据进行运算，准确测量正常人行走时大腿和小腿角度的曲线与畸形腿患者的大小腿角度曲线差异，从而辅助医生做诊断，帮助医生更好的制造和调整医疗康复护膝。

本发明系统的连接方式简单，且可同步获取两个动作捕捉单元的数据，实现大腿支架和小腿支架运动数据的同步获取。通过本发明的动作捕捉系统，可事实监控和分析患者的运动状态，方便移动实时精准且便捷地通过移动端跟踪并量化康复患者在康复治疗恢复过程中的效果，进而适时的调整治疗方案，达到提高康复治疗效果，缩短康复周期的效果。

本发明的有益效果在于：

(1)本发明采用移动端进行系统运动状态的监测，方便携带和随时观察，进一步提高检测效率。

(2)本发明系统结构较为简单，体积较小，易于生产，且投入成本低，不易受外部因素影响和干扰。

(3)本发明操作程序简单，其可在极大程度上帮助医生实时精准且便捷地通过移动端跟踪并量化康复患者在康复治疗恢复过程中的效果。

(4)本发明可在制造或调整医疗康复护膝前，通过上位机获取动作捕捉的数据，并测量正常人行走时大腿和小腿角度的曲线与畸形腿患者的大小腿角度曲线差异，从而辅助医生做诊断，帮助医生更好的制造和调整调整医疗康复护膝。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的一种工作原理图；

图2是大小腿角度正异常数据对比图；

图3是双腿膝关节相对角度正异常数据对比图；

图4是大小腿摆动正异常速度数据对比图；

图5是膝关节受力正异常数据对比图。

图6为本发明硬件连接方式的一种结构示意图；

图7为本发明硬件之间的另一种工作原理图；

图8为本发明方法的一种流程图；

图9为本发明中VALUE值的指定设置图；

图10是本发明系统运行过程中得到的一种运动轨迹和趋势图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种六轴动作捕捉系统，包括动作捕捉单元、控制单元和移动端；动作捕捉单元用于采集运动数据，控制单元用于获取动作捕捉单元产生的运动数据，并通过无线网络传输至移动端；移动端对运动数据进行处理；

进一步地，如图1所示，还包括上位机；上位机用于测量正常人行走时大腿和小腿角度的曲线与畸形腿患者的大小腿角度曲线差异，且上位机和控制单元之间通过无线网络连接。

本发明的动作捕捉系统主要应用于医疗康复护膝，两个动作捕捉单元分为安装于普通护膝支架的大腿支架和小腿支架，控制单元设置在护膝的膝盖部分。控制单元在移动端的请求下获取动作捕捉单元的数据，再将数据传输到移动终端，移动终端通过软件处理得实现3D模型的构建。本发明的系统还采用了上位机，在制造或调整医疗康复护膝前，上位机可获获取动作捕捉单元的数据，并将获取的数据与上位机数据库内存储的正常数据进行运算，准确测量正常人行走时大腿和小腿角度的曲线与畸形腿患者的大小腿角度曲线差异，从而辅助医生做诊断，帮助医生更好的制造和调整医疗康复护膝。本发明系统的连接方式简单，且可同步获取两个动作捕捉单元的数据，实现大腿支架和小腿支架运动数据的同步获取。通过本发明的动作捕捉系统，可事实监控和分析患者的运动状态，方便移动实时精准且便捷地通过移动端跟踪并量化康复患者在康复治疗恢复过程中的效果，进而适时的调整治疗方案，达到提高康复治疗效果，缩短康复周期的效果。

本发明中的动作捕捉单元为姿态传感器，控制单元为微控制器，移动端为手机，上位机为电脑。

姿态传感器可选用MPU6000、MPU6050或MPU6055，本发明优选MPU6055，其数据效率高，低功耗，传输信号跳跃小。

微控制器可选用ESP6088或ESP32，本发明优选ESP32。ESP32是一块WiFi芯片，其集成了天线开关、射频balun、功率放大器、低噪放大器、过滤器和电源管理模块，整个解决方案占用了最少的印刷电路板面积。2.4GHzWi-Fi加蓝牙双模芯片采用TSMC低功耗40nm技术，功耗性能和射频性能最佳，安全可靠，易于扩展至各种应用。

上位机为电脑，电脑的数据库内存有正常人的运动数据，即正常值ax1、ay1和az1。电脑可通过微控制器获取姿态传感器采集的患者运动数据，并经过预处理后得到异常者ax2、ay2和az2。再通过电脑对正异常数据进行测算得到正常人行走时大腿和小腿角度的曲线与畸形腿患者的大小腿角度曲线差异，从而进一步帮助医生设计合适的医疗康复护膝或对其进行调整。

进一步地，所述上位机内包括预处理单元和数据测算单元，

预处理单元对控制单元获取的数据进行预处理，且预处理步骤为：

S101，去除重复数据

去除重复数据采用一段时间作为一个周期进行去除，一段时间的具体长度可根据实际情况进行调整。

S102，当前值与上一个值差值绝对值大于0.6则保存替换之前的值A，否则剔除，最终保留一个数据；

S103，所有值除以最大值进行归一化；

数据测算单元的测算内容包括：大小腿角度正异常数据对比测算、双腿膝关节相对角度正异常数据对比测算、大小腿摆动正异常速度数据对比测算、膝关节受力正异常数据对比测算。

步骤S102中的0.6是数据基于动作捕捉芯片捕捉出来以后，用于过滤噪音数据而设置的阈值，经过大量测试0.6出来的数据是特征最为明显，而且拟合出来的值最平滑。

进一步地，数据测算单元的测算均采用线性回归方法，

大小腿角度正异常数据对比测算步骤为：

Y1＝A*[ay1]+b1 式(1)

Y2＝A*[ay2]+b1 式(2)

且大小腿角度正异常数据对比图如图2所示。

双腿膝关节相对角度正异常数据对比测算步骤为：

Y3＝A*[az1]+b2 式(3)

Y4＝A*[az2]+b2 式(4)

且双腿膝关节相对角度正异常数据对比图如图3所示。

大小腿摆动正异常速度数据对比测算步骤为：

Y5＝A*[ay1]+b3 式(3)

Y6＝A*[ay2]+b3 式(4)

且大小腿摆动正异常速度数据对比图如图4所示。

膝关节受力正异常数据对比测算步骤为：

膝盖正常受力Kf1＝Kw*ay1 式(5)

膝盖异常受力Kf2＝Kw*ay2 式(6)

Y7＝A*[ay1]+b4 式(7)

Y8＝A*[ay2]+b4 式(8)

且膝关节受力正异常对比图如图5所示。

在式(1)-式(8)中，A是阈值，且A＝0.6；

ax1、ay1和az1是正常值；ax2、ay2和az2是异常值；(正常值或异常值均为膝盖外侧的值)

b1、b2、b3和b4是固定参数，且b1＝0.3、b2＝0.4、b3＝0.5和b4＝0.75；

Kw为膝盖重量；Kf1为膝盖正常受力、Kf2为膝盖异常受力；

Y1是大小腿角度正常数据值；Y2是大小腿角度异常数据值；

Y3是双腿膝关节相对角度正常数据值；Y4是双腿膝关节相对角度异常数据值；

Y5是大小腿摆动正常数据值；Y6是大小腿摆动异常数据值；

Y7是膝关节受力正常数据值；Y8是膝关节受力异常数据值。

在膝关节受力正异常数据对比测算步骤前还包括准备工作，准备工作分为两步，分别为：

S201，计算腿长比例

(身高-坐高)/身高

S202，根据体重和大小腿比例计算膝盖重量

大腿的正常尺寸是身高乘0.34，小腿的正常比例是身高乘0.21，故在本发明中，大腿比例和小腿比例分别选择0.34和0.21。

身高用Th表示，体重用Tw表示，坐高用Sh表示，腿长用Ll表示，则：

大腿长度Bl＝Th*0.34，大腿重量Bw＝Tw*0.34；

小腿长度Sl＝Th*0.21，小腿重量Sw＝Tw*0.21；

膝盖长度Kl＝Bl+Sl-Ll，膝盖重量Kw＝Tw*Kl/Th。

在实际操作过程中，根据个人情况的不同，身高和体重需要实际测量后手动输入电脑后进行运算。

在本发明的一个实施例中，膝关节受力正异常数据对比测算步骤具体为：

S201，计算腿长比例

(身高-坐高)/身高

S202，根据体重和大小腿比例计算膝盖重量，

大腿比例和小腿比例分别选择0.34和0.21。

假设身高Th＝180cm体重Tw＝90kg坐高Sh＝108腿长Ll＝72

大腿长度:Bl＝180*0.34＝61.2重量Bw＝90*0.34＝30.6

小腿长度:Sl＝180*0.21＝15.12重量Sw＝90*0.21＝18.9

膝盖长度:Kl＝61.2+15.12-72＝4.32重量Kw＝90*4.32/180＝2.16

S303，计算膝盖受力情况

获取的三点加速度(即膝盖的正面、外侧和内侧三点的加速度)

膝盖正常受力Kf1＝Kw*Ka＝2.16*ay1

膝盖异常受力Kf2＝Kw*Ka＝2.16*ay2

采用线性回归方法(其中b4＝0.75)

Y7＝A*[kf1]+b4

Y8＝A*[kf2]+b4

根据图2-图5可以看出明显看出正常人行走时大腿和小腿角度的曲线，与畸形腿患者的大小腿角度曲线差异，采用上述防范便于辅助医生做诊断，帮助我们更好的制造医疗康复护膝。

所述动作捕捉单元还包括陀螺仪和加速传感器，其可根据动作捕捉单元的运动轨迹生产角度信息和加速度信息。

动作捕捉单元可得到待测物体x、y、z轴的倾角(俯仰角Pitch、滚转角Roll、偏航角Yaw)。微控制器读取到动作捕捉单元的六个数据(三轴加速度AD值、三轴角速度AD值)经过姿态融合后就可得到Pitch、Roll、Yaw角。

进一步地，如图6所示，动作捕捉单元为姿态传感器，其中，

第一动作捕捉单元的高电平连接第二动作捕捉单元的设备地址接口；

第一动作捕捉单元的低电平连接第二动作捕捉单元的串行数据接口；

第一动作捕捉单元的时钟接口连接第二动作捕捉单元的时钟接口；

第一动作捕捉单元的串行数据接口连接第二动作捕捉单元的低电平；

本发明的姿态传感器优选MPU6055，其中，第一动作捕捉单元的高电平、低电平、时钟接口和串行数据接口的引脚分别为VCC、GND、SCL和SDA；第二动作捕捉单元的设备地址接口、串行数据接口、时钟接口和低电平的引脚分别为AD0、SDA、SLC和CND。

即引脚VCC、GND、SCL和SDA分别与第二动作捕捉单元的AD0、SDA、SLC和CND相连接。本发明中的两个SCL(时钟线)相连，目的是使两块MPU6055使用同一时钟，达到时钟同步的目的。

进一步地，如图7所示，动作捕捉单元与控制单元的高电平、低电平和两个协议接口相连接。

微控制器优选ESP32，其中ESP32的高电平和低电平引脚分别为VCC和GND，两个协议接口的引脚分别为IO21和IO22。ESP32的VCC和GND连接两块姿态传感器的目的是为了给两块姿态传感器供电和接地的作用，而IO21和IO22两个接口是充当SCL和SDA线，再通过人为编写软件去控制SCL和SDA线的高低电平变化去模拟I2C协议。即本发明的IO21和IO22两个引脚的作用是实现数据接受和指令发送的通信。本发明采用模拟I2C协议的方式，虽然执行速度不如硬件I2C快，耗时较长，但稳定性就比硬件I2C更佳。

如图8所示，一种六轴动作捕捉系统的动作捕捉方法，，包括以下步骤：

S1，动作捕捉单元获取运动数据；

S2，移动端发送请求，控制单元获取运动数据；

进一步地，在步骤S1中，动作捕捉单元通过陀螺仪和加速传感器获取运动轨迹生产角度信息和加速度信息。动作捕捉单元可得到待测物体x、y、z轴的倾角(俯仰角Pitch、滚转角Roll、偏航角Yaw)。微控制器读取到动作捕捉单元的六个数据(三轴加速度AD值、三轴角速度AD值)经过姿态融合后就可得到Pitch、Roll、Yaw角。

进一步地，在步骤S2中，控制单元采用多线程的方式动态分布式获取动作捕捉单元产生的运动数据。在本发明中，控制单元采用轮询机制获取动作捕捉单元的数据，采用轮询机制可解决服务器压力过大的问题的。在创建线程池时，针对第一动作捕捉单元和第一动作捕捉单子线程分别为子线程A和子线程B，其中，子线程A和子线程B分别为高电平和低电平，其目的是把两个动作捕捉单元区分开。

进一步地，在步骤S2和步骤S3中，移动端与控制单元通过无线网路进行传输。所述无线网络可采用ESP32中的低功耗蓝牙系统(BLE)进行广播，分别在广播包和扫描包中设置Advertise Data.Builder的每一种广播报文参数，其中LEN，TYPE为芯片中默认数值，VALUE值则根据分布式获取机制进行指定设置，在本发明中VALUE值的指定设置具体如图9所示。

VALUE值的指定设置顺序是不可改变的，采用上述设置可将原数据迅速的解析出来，一次性和后续3D模型中对应的点进行同步。所述步骤S4可以采用KD-Tree算法进行三角化，从而达到动态同步和二次渲染的目的。其中，Kd-Tre(k-dimensionalTree)是由BST(Binarysearchtree)发展而来的一种高维索引树形数据结，本质也是二叉树，不过每个节点的数据都是k维，常用于在大规模的高维数据空间进行最近邻查找(NearestNeighbor)和近似最近邻查找(ApproximateNearestNeighbor)，例如图像检索和识别中的高维图像特征向量的K近邻查找与匹配。

在本发明中，步骤S4中的过程具体如下：

一、构建Kd-Tree算法：

(1)首先按XX轴的分割线对空间进行分割。计算所有点的xx坐标的平均值，选择所有点中最接近平均值的点作为分割线，把空间中的点进行分割；

(2)对分隔好的空间按照yy轴的分割线进行分割，分割过程同上。分割好后继续按xx轴进行分割，依次类推，直到最终只剩每个空间中只有一个点结束分割。

构建Kd-Tree算法时，划分维度要尽量使得这个维度上所有数据项数值的分布尽可能地有大方差，也就是说，数据在这个维度上尽可能分散。这样的分割过程就对应于一个二叉树，每个分割线对应于一个分支，每个点对应于一个叶子节点。

二、搜索算法

(1)依照非叶节点中存储的分割维度以及中位数信息，自根节点始，从上向下搜索，直到到达叶子。遍历的原则是比较分割维度上，查询值与中位数的大小，设查询为Q，当前遍历到的节点为u，则若Q>u，继续遍历u的右子树，反之，遍历左子树。

(2)遍历到叶子之后，计算叶子节点中与查询Q距离最小的数据项与查询的距离，记为D；其后执行“回溯”操作，回溯至当前节点的父节点，判断以Q为球心，以D为半径的超球面是否与这个父节点的另一个分支所代表的区域有交集。如果没有，继续向上一层回溯；如果有，则按照步骤(1)步继续执行，探底到叶子节点后，如果此时Q与这个叶子节点中的数据项有更小的距离，则更新D。

(3)持续进行上述步骤(1)至步骤(2)，直到回溯至根节点，且根节点的两个分支都被“探测”过为止。

三、根据Kd-Tree进行无序点云去噪：

(1)根据点云数据生成Kd-Tree，建立点云的拓扑关系；

(2)查找任一点的邻域；

(3)计算该点与邻域内各点的距离取平均值；

(4)判断该平均值是否超过阈值，若超过则判定该点为噪点，进行去除。

将本发明的系统进行运行后，输出得到运动轨迹趋势图，具体如图10所示。本发明两个动作捕捉单元分为安装于普通护膝支架的大腿支架和小腿支架上的，图10所记录的主要为大小腿在运动过程中旋转和位移的轨迹趋势。

本发明的系统可实现运动数据的精准测量，以便医生分析，从而为患者制定合理的康复策略，帮助患者早日康复。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步地的详细说明，所应理解的是，以上所述仅为本发明的具体实施方法而已，并不用于限制本发明，凡是在本发明的主旨之内，所做的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种六轴动作捕捉系统，其特征在于，包括动作捕捉单元、控制单元和移动端；动作捕捉单元用于采集运动数据，控制单元用于获取动作捕捉单元产生的运动数据，并通过无线网络传输至移动端；移动端对运动数据进行处理；

2.根据权利要求1所述的六轴动作捕捉系统，其特征在于，还包括上位机；上位机用于测量正常人行走时大腿和小腿角度的曲线与畸形腿患者的大小腿角度曲线差异，且上位机和控制单元之间通过无线网络连接。

3.根据权利要求2所述的六轴动作捕捉系统，其特征在于，所述上位机内包括预处理单元和数据测算单元，

S101，去除重复数据；

S102，当前值与上一个值的差值绝对值大于0.6则保存替换之前的值A，否则剔除；