CN109238302A - 一种基于惯性感测的人体三维动作捕捉系统 - Google Patents

Abstract

本发明属于动作捕捉及图像处理技术领域，更具体地，本发明涉及一种基于惯性感测的人体三维动作捕捉系统，该系统设计了一套由一个主控节点和多个采集节点构成的采集系统。它包括汇总节点、十二个采集节点和数据处理装置，采集节点将采集到的运动数据通过CAN总线传输给汇总节点，汇总节点通过无线WiFi将数据传输给数据处理装置，数据处理装置采用IK链算法对人体骨骼模型进行简化，建立人体CS骨骼模型，将汇总节点发送的数据进行姿态解算，获取与人体运动相关的运动数据，并对骨骼的相应关键节点进行标定，使转化后的数据能够驱动人体CS骨骼模型中的骨骼运动。

Description

一种基于惯性感测的人体三维动作捕捉系统

技术领域

本发明属于动作捕捉及图像处理技术领域，更具体地，本发明涉及一种基于惯性感测的人体三维动作捕捉系统，该系统设计了一套由一个主控节点和多个采集节点构成的采集系统。

背景技术

近几年来，随着传感器技术不断发展，动作捕捉技术也得到了巨大发展。动作捕捉是一种基于多学科以及多技术的新兴技术，其中涉及到如电子技术、计算机技术、智能控制、网络通讯、人体工学等，在众多领域中都有应用，尤其表现在影视媒体、医疗康复等领域。在影视媒体领域中，动作捕捉可以使科幻主角具有一系列拟人的动作习惯，影片主角的动作常常是依靠动作捕捉技术来完成，大大简化了科幻片制作的难度，降低了拍摄成本。在医疗保健领域，动作捕捉设备可以对病人进行日常行为的动作捕捉，如可以记录癫痫病人的日常动作行为，加以分析后，可以帮助其完成康复训练。

动作捕捉系统根据不同的工作原理可以分为光学捕捉和惯性捕捉系统。光学式动作系统采用摄像机拍摄使用者身体上特征点的方式来采集使用者的运动轨迹，其具有对脸部等精细部位采集精度高的优点，但是其设备较为庞大，造价较为昂贵，同时受到环境因素干扰大，故难以普及运用。而惯性捕捉系统是通过绑定在使用者身体各个关节部位的加速度计，陀螺仪，以及地磁传感器采集到使用者身体各个部位的姿态角，关节角，以及其的相对空间位置从而实现对使用者进行动作捕捉的目的。随着MEMS技术的不断发展，惯性式捕捉系统的采集精度不断提高，更加凸显了其设备较为简单，造价较低，不受环境限制，同时抗干扰能力较强，故本发明采用惯性捕捉技术实现人体三维动作捕捉系统的监控系统设计。

目前市场上人体姿态动作捕捉系统中，基于光学原理的人体动作姿态捕捉系统是最受广大公司动画制作欢迎的。这种系统先对目标位置安装特定标定光点后，对这些光点进行跟踪和记录，最后来完成运动捕捉的任务。这种运动捕捉系统基本上大多基于视频图像处理的原理。从理论上说，对于一个空间中的任意一个点，只要能被两部相机所拍摄，则根据两部相机的图像参数设置，可以计算出某一时刻该点在空间中的位置。试想，当相机以足够高的频率进行连续拍摄时，从拍摄到的一系列图像中就可以得到该点的运动轨迹。光学式人体姿态动作捕捉系统最大的优点就是动作捕捉的实时性高，识别度高，其唯一缺点就是设备的售价比较高。

发明内容

针对现有技术存在的不足之处，本发明提出了一种基于惯性感测的人体三维动作捕捉系统，能够实现人体动作数据的采集处理、数据传输等功能。把各个数据节点采集到的数据以无线的形式传输到数据处理装置之中方便数据的整理和使用。

为实现上述目的，本发明采用如下技术方案：

一种基于惯性感测的人体三维动作捕捉系统，它包括汇总节点、十二个采集节点和数据处理装置。

该人体三维动作捕捉系统包括数据采集装置和数据处理装置。数据采集装置由分布于身体十二个关节部位采集节点中的加速度计、角速度计、磁场计以及用于处理各个传感器采集到的数据所需单片机以及总线通讯节点构成，负责将采集到的数据节点上的单片机进行汇总，滤波，融合，最后打包发送至数据处理装置中。汇总节点作为沟通数据采集装置和数据处理装置的桥梁，不仅仅可以作为一个采集单元同时也担负着将其他节点采集到的数据转发到数据处理装置的作用。

每个采集节点用于采集身体各个部位的运动数据，采集节点包括第一处理器模块和与第一处理器模块电性连接的第一CAN总线模块、九轴传感器，九轴传感器将采集的运动信息发送给第一处理器模块，第一处理器模块将预处理后的运动数据发送给汇总节点。

汇总节点只有一个，汇总节点用于汇总节点发送过来的运动数据，汇总节点包括第二处理器模块和与第二处理器模块电性连接的第二CAN总线模块，第二CAN总线模块与采集节点的第一CAN总线模块连接，所述汇总节点通过WiFi与数据处理装置进行数据传输。

数据处理装置采用IK链算法对人体骨骼模型进行简化，建立人体CS骨骼模型，将汇总节点发送的数据进行姿态解算，获取与人体运动相关的运动数据，并对骨骼的相应关键节点进行标定，使转化后的数据能够驱动人体CS骨骼模型中的骨骼运动。

本技术方案进一步的优化，所述十二个采集节点设置在人体的髋骨关节、左上臂关节、左下臂关节、左手关节、左上腿关节、左下腿关节、右上臂关节、右下关节臂关节、右手关节、右上腿关节、右下腿关节以及头骨关节。

本技术方案进一步的优化，人体CS骨骼模型由节点树构成，节点间通过骨骼连接，每块骨骼至多作为一个父节点，父节点带动子骨骼运动。关节带动其对应子骨骼运动从而牵动绑定到其上的皮肤变化。由于骨骼是刚体，不会变形，只能绕父节点旋转。而绑定到其上的皮肤顶点则是实时变换拉伸的，其特征通过矩阵变换最终计算出新顶点的坐标信息，再根据这些新顶点的坐标信息进行渲染，即更新顶点，从而不断循环形成动画。

人体CS骨骼模型为一种模型文件，这种文件载入后会获得大量数据，随后通过这些数据绘制出一个人体的骨骼模型。

本技术方案进一步的优化，所述第一处理器模块和第二处理器模块均采用STM32F103C8T6单片机。

本技术方案进一步的优化，所述九轴传感器采用mpu6050芯片和ak8975芯片。

本技术方案进一步的优化，所述WiFi采用点对点WiFi模块。

区别于现有技术，本发明的采集节点通过CAN总线与汇总节点相连，每个采集节点由一枚单片机加上由3轴加速度计、3轴陀螺仪、3轴磁力计组成的9轴传感器组成，主控节点负责汇总节点采集到的经过预处理的数据进行重编码并进行打包处理后通过WiFi网络与数据处理装置进行数据传输。数据处理装置后不仅仅可以通过数据处理装置来生成动画，还可以通过保存的数据进行科学研究。

附图说明

图1为系统总体设计方案结构图；

图2为采集节点结构图；

图3为采集节点电路原理图；

图4为汇总节点结构图；

图5为人体简化骨骼示意图；

图6为基于正向动力学的人体骨骼抬腿步骤示意图；

图7为基于反向动力学的人体骨骼抬腿步骤示意图；

图8为采集节点与汇总节点系统工作流程图；

图9为数据采集程序流程图；

图10为CAN总线程序流程图；

图11为串口助手接收数据流程图；

图12为动作捕捉数据处理装置流程图。

具体实施方式

为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。

一种基于惯性感测的人体三维动作捕捉系统，它包括汇总节点、十二个采集节点和数据处理装置；

所述采集节点用于采集身体各个部位的运动数据，采集节点包括第一处理器模块和与第一处理器模块电性连接的第一CAN总线模块、九轴传感器，九轴传感器将采集的运动信息发送给第一处理器模块，第一处理器模块将预处理后的运动数据发送给汇总节点；

所述汇总节点用于汇总节点发送过来的运动数据，汇总节点包括第二处理器模块和与第二处理器模块电性连接的第二CAN总线模块，第二CAN总线模块与采集节点的第一CAN总线模块连接，所述汇总节点通过WiFi与数据处理装置进行数据传输；

所述数据处理装置采用IK链算法对人体骨骼模型进行简化，建立人体CS骨骼模型，将汇总节点发送的数据进行姿态解算，获取与人体运动相关的运动数据，并对骨骼的相应关键节点进行标定，使转化后的数据能够驱动人体CS骨骼模型中的骨骼运动。

本发明优选一实施例，参阅图1所示，为系统总体设计方案结构图，该系统包括分布于身体各个关节部位的十二个采集节点，采集节点包括加速度计、角速度计、磁场计、用于处理各个传感器采集到的数据所需的第一处理器模块以及第一CAN总线模。采集节点将采集到的运动数据均发给汇总节点，汇总节点负责将数据汇总、滤波、融合后通过WiFi发送到数据处理装置中。

该实施例中用到STM32F103C8T6作为采集节点和汇总节点的主控单片机。十二个采集节点设置在人体的髋骨关节、左上臂关节、左下臂关节、左手关节、左上腿关节、左下腿关节、右上臂关节、右下臂关节、右手关节、右上腿关节、右下腿关节以及头骨关节。采集节点由stm32f103c8t6单片机与mpu6050+ak8975组成的九轴加速度陀螺仪磁力计姿态传感器以及用于传输总线数据的tja 1050芯片构成。同时由于需要进行程序的下载调试仿真，所以引出了j-link调试所需的SW仿真接口。这样就可以完成采集身体各个部位的运动数据，进行数据滤波处理完成数据融合后通过总线发送至汇总节点。参阅图2和图3所示，分别为采集节点结构图和采集节点电路原理图，其中5V-3.3V降压稳压模块用于将5V的电压转换为3.3V电压为第一处理器模块中的MCU进行供电。

汇总节点的主要作用是将采集节点所采集到的数据通过WiFi网络实现和数据处理装置的通信，实现整体设备的移动化使用，提高整个项目的便利程度，汇总节点主要包括一块STM32F103C8T6单片机对数据收发进行控制，CAN总线接口与采集节点进行数据传输，还有一块NRF2401+无线WiFi模块将数据转换为WiFi信号进行发送接收，由于NRF2401芯片属于点对点WiFi模块，故需要2个NRF2401模块，实现点对点的数据传输。参阅图4所示，为汇总节点结构图，所述12V-5V降压稳压模块将电源提供的12V电压转换为5V，5V-3.3V降压稳压模块将5V电压降压为3.3V，为MCU供电。

由于汇总节点较为简单，直接采用了将NRF2401+无线WiFi模块直接连接到STM32单片机SPI接口上的方法实现。

将12个采集节点和汇总节点进行连接，使用万用表进行相关测试确定硬件没有出现相关短路断路的情况后，进行通电测试下载相关测试软件后发现相关系统工作正常，硬件设计基本成功，达到了相关设计要求。

该实施例首先根据生物解剖学和人体工学相关知识，对人体骨骼模型进行了一定的简化，并根据IK链算法建立简化后的人体CS骨骼模型。然后对汇总节点传输上来的数据进行姿态解算，获取与人体运动相关的运动数据，并对骨骼的相应关键节点进行标定，使转化后的数据能够驱动骨骼运动。最后基于Microsoft Studio2015软件开发平台，使用VC++和OpenGL开发编写了一款动作捕捉系统的数据处理装置，实现了人体运动的捕获和重现功能。该数据处理装置基本实现了人体运动监控的功能，并为以后运动捕捉技术的研究提供了一种新的思路。

该系统的电源系统采用12V开关电源进过两次降压之后分别提供传感器所需3.3V电压和通讯网络所需5V电压，以STM32F103C8T6单片机作为采集节点和汇总节点的处理单元，采用CAN总线实现采集节点和汇总节点间的数据传输，使用NRF2401+2.4GHz点对点无线通讯模块作为汇总节点和数据处理装置间的数据交互手段。

经过分析，当人体模型中大概有12个骨骼(关节)时，就能大致描绘出人体的运动图像。参阅图5所示，为汇总节点结构图，这些骨骼关节主要是髋骨关节、左上臂关节、左下臂关节、左手关节、左上腿关节、左下腿关节、右上臂关节、右下臂关节、右手关节、右上腿关节、右下腿关节以及头骨关节。

骨骼动画中包括两种类型的动力学有正向动力学和反向动力学，为了更为清晰的表示正向动力学和反向动力学模型的不同之处，参阅图6和图7，正向动力学模型和反向动力学模型下的人体的抬腿示意图。

实验显示，一般骨骼的算法迭代在第5次基本都已经达到相应位置，该实施例中，为了减少计算机内存的使用率，规定了迭代次数最大值为5次，减少了计算时间，提高了实时性。

该实施例设计的软件系统主要包括数据采集节点的软件设计和汇总节点的软件设计。采集节点的软件系统工作流程主要为首先完成系统各个部分的初始化工作，然后通过将采集到的运动姿态数据进行滤波融合，通过控制器局域网发送到汇总节点中，最后再由汇总节点发送到数据处理装置中。如图8所示，为采集节点与汇总节点系统工作流程图。

该实施例设计中采用了MPU605+ak8975的传感器组合，可以直接调用原厂的数字运动引擎来完成9轴运动姿态的数据融合工作，数字运动引擎配合InvenSense提供的一个MPU6050的嵌入式运动驱动库，可以很方便的将采集到的原始数据转化为四元数，然后就可以很方便的计算出欧拉角，从而得到yaw、roll和pitch。参阅图9所示，数据采集程序流程图。

该实施例中汇总节点的软件设计包括CAN总线数据汇总设计和无线射频发送程序设计。汇总节点收到开始发送到指令后将收集到的数据进行重新编组，按照1～13的ID顺序将数据进行整理，然后通过无线模块上传到数据处理装置，其程序流程图如图10所示。无线部分同样是现将NRF2401首先进行初始化，然后读取CAN总线传来的数据进行发送。

该实施例中串口数据接收程序是通过MFC编写的一个能接受由汇总节点传上来的数据的软件，能够实现波特率可调，串口可以自动选择、数据格式可选等一些串口助手普遍共有的功能，主要是用来接收数据的，在整个上微机系统中占用了一个线程。它的接收数据程序流程图如下图11所示。

该实施例中，动作捕捉系统数据处理装置软件同时执行两个线程，一个先成为串口助手，用于接收汇总节点传输上来的骨骼数据，另一个为人体运动的显示程序。这两个程序相互独立工作，当然他们之间有相应的联系，就是数据存储区。参阅图12所示，为动作捕捉数据处理装置流程图。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括……”或“包含……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。此外，在本文中，“大于”、“小于”、“超过”等理解为不包括本数；“以上”、“以下”、“以内”等理解为包括本数。

尽管已经对上述各实施例进行了描述，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改，所以以上所述仅为本发明的实施例，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围之内。

Claims (6)

1.一种基于惯性感测的人体三维动作捕捉系统，其特征在于：它包括汇总节点、十二个采集节点和数据处理装置；

所述采集节点用于采集身体各个部位的运动数据，采集节点包括第一处理器模块和与第一处理器模块电性连接的第一CAN总线模块、九轴传感器，九轴传感器将采集的运动信息发送给第一处理器模块，第一处理器模块将预处理后的运动数据发送给汇总节点；

所述汇总节点用于汇总节点发送过来的运动数据，汇总节点包括第二处理器模块和与第二处理器模块电性连接的第二CAN总线模块，第二CAN总线模块与采集节点的第一CAN总线模块连接，所述汇总节点通过WiFi与数据处理装置进行数据传输；

所述数据处理装置采用IK链算法对人体骨骼模型进行简化，建立人体CS骨骼模型，将汇总节点发送的数据进行姿态解算，获取与人体运动相关的运动数据，并对骨骼的相应关键节点进行标定，使转化后的数据能够驱动人体CS骨骼模型中的骨骼运动。

2.如权利要求1所述基于惯性感测的人体三维动作捕捉系统，其特征在于：所述十二个采集节点设置在人体的髋骨关节、左上臂关节、左下臂关节、左手关节、左上腿关节、左下腿关节、右上臂关节、右下关节臂关节、右手关节、右上腿关节、右下腿关节以及头骨关节。

3.如权利要求1所述基于惯性感测的人体三维动作捕捉系统，其特征在于：所述人体CS骨骼模型由节点树构成，节点间通过骨骼连接，每块骨骼至多作为一个父节点，父节点带动子骨骼运动。

4.如权利要求1所述基于惯性感测的人体三维动作捕捉系统，其特征在于：所述第一处理器模块和第二处理器模块均采用STM32F103C8T6单片机。

5.如权利要求1所述基于惯性感测的人体三维动作捕捉系统，其特征在于：所述九轴传感器采用mpu6050芯片和ak8975芯片。

6.如权利要求1所述基于惯性感测的人体三维动作捕捉系统，其特征在于：所述WiFi采用点对点WiFi模块。