CN112380943A - 一种基于电阻抗的多部位肢体动作捕捉方法 - Google Patents

Abstract

本发明公开了一种基于电阻抗的多部位肢体动作捕捉方法，属于动作捕捉领域，具体为：首先连接肢体动作捕捉装置，用户贴附电极环带并连接通道控制模块；加电后单片机控制引脚的电平高低变化依次选择通道，阻抗测量模块形成数据流发送到上位机；人工对GUI界面进行初始化操控，调节校准参数和设置待识别的动作标签；数据处理模块录入并实时读取待识别动作的电阻抗数据流，分割成组存入excel中；数据建模模块将存储的数据作为训练集生成训练模型；用户的待测部位重新作出已经录入过数据的各种动作，下位机采集经数据处理模块分割提取后输入训练模型中，直接输出动作识别结果。本发明采用了多通道生物电阻抗信号作为动作识别的信息来源，识别率较高。

Description

一种基于电阻抗的多部位肢体动作捕捉方法

技术领域

本发明属于动作捕捉领域，涉及多身体部位动作捕捉，具体是一种基于电阻抗的多部位肢体动作捕捉方法。

背景技术

随着信息技术的发展，肢体动作作为人机交互方式的一种理想选择而备受关注。众多企业研究投入以及大量成熟技术在动作捕捉领域的使用，使得肢体动作应用在生产生活中的诸多方面：如，诺亦腾公司推出了基于精密光学传感器和惯性传感器的高精度全体态动作捕捉技术，可应用于电影游戏制作与VR游戏；又如，大疆公司推出的Spark系列无人机，通过机载摄像机与机器视觉技术，可以实现手势控制无人机飞行、手势控制拍照录像；还有很多研究团队使用肌电信号(EMG)识别人体动作，来完成智能家居、办公辅助以及游戏娱乐等生活辅助功能。可以说动作捕捉技术有着光明前景，为人类生活水平的提高与社会发展提供了很大的推动力。

动作捕捉技术往往是通过某种信号检测人体的动作，得到相应的动作信息后，将动作信息简化为参数，再通过API接口建立动作-功能的映射，实现动作捕捉技术的具体应用。

综合下来，当前比较成熟的肢体动作捕捉的实现方式主要包括机器视觉和传感器技术两大类：

机器视觉是一种利用摄像机捕捉人体运动图像，并利用图像处理技术解算肢体位置和姿势的技术。这种技术不需要被测者佩戴传感装置，从一定角度看更加便捷(但摄像头和处理设备是必不可少的)；技术发展早，现已趋近成熟，识别率高；采集的数据具有通用性，在数据集充足条件下，可以同时适用于多个个体，即个体迁移性好，并且由于其不需要在特定身体部位安装传感器，可以预置多种身体部位的数据模型，很容易通过一套设备实现多种身体部位的动作捕捉，即部位迁移性好。

然而机器视觉目前面临着复杂手势和遮挡问题的挑战，它易受外界环境(如光线、颜色等)的影响，在运动过程中肢体会被遮挡而丢失信息；而且因为需要对图像甚至视频进行高速处理，计算量较大，其对于计算机性能也有一定要求，使得成本很难控制。这说明在某些应用背景下，动作捕捉任务还是需要传感器技术来完成。

传感器技术又分为惯性传感器和表面肌电传感器。惯性传感器通过捕捉人体运动过程中的加速度和角速度信息来重建运动轨迹；表面肌电传感器利用放置在皮肤表面的电极收集人体运动时产生的生物电信号，对相应的动作进行预测。

惯性传感器测量速率快，适合于动态手势识别，但对低速运动的敏感度较低。并且惯性传感器技术属于外源性信号测量，需要贴附或依附于待测部位才能实现，即无法实现空间间接测量。如果测量手指等细小部位的动作，必须在手指上贴附惯性传感器或佩戴惯性传感器手套，可能会影响手指的正常动作，带来了一些不便利因素。

表面肌电传感器属于内源性信号测量，可以实现空间间接测量，并且肌电信号往往会在动作做出之前产生，即在信息链中位置更加靠前，这在某些医学应用中具有很重要的意义。但是表面肌电传感器采集到的生物电信号相对不稳定，为了实现准确分析，往往会在人体大肌肉群处测量，这就限制了肌电动作识别技术的应用范围。

以上提到的两种传感器技术采集的信号不具备普遍性，不同个体同一身体部位做出相同的动作时，由于不同个体行为习惯差异以及身体组织结构的差异，信号往往不同。因此为了实现良好的个体移植性，需要采用先安装设备，再由用户采集数据、建立数据模型，最后再使用，这种方法被称为针对性建模方法。但这两种技术采集的数据都较为复杂，处理过程也很繁琐。这就导致普通用户使用的学习成本较高。

此外惯性传感器在不同身体部位的安装需求不同，为了实现不同部位的测量，需要不同的传感器安装套具；表面肌电传感器安装部位受限，一套设备同样很难实现不同部位的移植安装。因此现有的两种设备都具有专用性，如果用户具有不同身体部位的动作捕捉需求，往往需要购买多套设备，预算难以降低。

综上所述，需要一种具备空间间接测量、数据处理简单、个体迁移性和部位迁移性好等优点的基于传感器的肢体动作捕捉方法。

发明内容

针对上述问题，本发明提出了一种基于电阻抗的多部位肢体动作捕捉方法，具备良好的个体迁移性与部位迁移性、使用灵活，用户使用简便、门槛低，成本低等优势。

所述的基于电阻抗的多部位肢体动作捕捉方法，具体步骤如下：

步骤一、连接包括上位机和下位机的多部位肢体动作捕捉装置，上位机与下位机之间通过无线数据传输模块进行无线数据传输；

上位机包括：数据处理模块、数据建模模块和动作识别模块；

下位机包括集成在PCB板上的单片机、阻抗测量模块和通道控制模块；

单片机的引脚通过数字信号导线连接通道控制模块，控制引脚的电平位高低变化，形成通道控制模块选通的通道参数。

单片机通过IIC协议与阻抗测量模块实现双向数据通信；阻抗测量模块对单片机选通的通道进行电阻抗的测量，并将测量数据返回单片机。

无线数据传输模块分为上位机端与下位机端，下位机端通过串口连接到单片机，上位机端通过USB连接到上位机，实现上位机、下位机之间的无线数据传输。

步骤二、针对某用户，将电极环带贴附在该用户的某个待测部位上，将电极环带导线连接通道控制模块；

电极环带由粘连在基底的电极阵列组成，根据人体需求自由调节电极数量和间距，灵活安装到人体不同的待测部位；待测部位根据人体不同需求任意选择。

进一步，电极选用黄铜片，任意两两电极组合，构成电极环带的对应通道；

步骤三、将肢体动作捕捉装置加电，单片机依次选择电极环带的通道，构成电路回路，阻抗测量模块测量各回路中的电阻抗；

电极环带的通道选择是提前人为设定并加载到上位机中的。

当前通道下的电阻抗数据测量完毕后，单片机继续控制引脚的电平高低位变化，改变通道参数，重复开始下一个通道的测量，直至完成一轮电阻抗数据测量。

一轮电阻抗数据量是根据通道的数量决定，通道的数量是人为提前设定并加载到上位机中的。

步骤四、单片机将一轮测量得到的电阻抗形成一组数据流，通过无线数据传输模块发送到上位机的USB串口；

单片机按照提前人为设定的顺序，重复测量各通道的电阻抗数据，并将形成的数据流持续发送到上位机。

步骤五、人工对上位机的GUI界面进行初始化操控；

GUI界面包括左右两部分，其中左边部分包括：数据量调节按钮以及对应的数值显示，校准按钮，删除校准动作按钮，添加校准动作按钮，可选动作标签label；右边部分包括判断按钮，校准完毕按钮，校准进度显示条和识别动作显示框。

初始化内容包括：使用数据量调节按钮调节每次校准从USB串口读取数据的组数量；使用删除校准动作按钮、添加校准动作按钮设置所有准备识别的所有动作对应的动作标签label。

步骤六、人工通过GUI界面操控，录入准备识别的动作对应的电阻抗数据；

操控流程为：首先选中一个动作标签label，安装好电极环带的部位做出与选中的动作标签对应对的动作并保持动作恒定，点击校准按钮。

步骤七、上位机的数据处理模块通过USB串口实时读取输入的字符串类型的电阻抗数据流，通过空格和换行分割出一组一组的电阻抗测量数据，并连同当前动作标签一起存入excel文件中；

组数是根据数据量调节按钮设置的。

excel文件的第一行存入的是测量通道序数，按照通道的数量设置列，最后一列通道中存储的是各组数据对应的动作标签label；

步骤八、重复步骤六到步骤七，直到所有动作对应的电阻抗数据都录入完成，点击校准完毕按钮；

步骤九、数据建模模块运行，将excel文件中存储的数据作为训练集，进行随机森林的监督学习，生成训练模型；

步骤十、用户的待测部位重新作出已经录入过数据的各种动作，下位机仍然按照之前的流程重复测量并将数据发送到上位机，上位机通过USB串口读入实时数据，经数据处理模块分割提取后输入训练模型中，输出动作识别结果。

本发明与现有技术相比，具有以下优势：

(1)本发明一种基于电阻抗的多部位肢体动作捕捉方法，采用了多通道生物电阻抗信号作为动作识别的信息来源，生物电阻抗信号具有数据稳定、信息量大、特征明显等优良特性，因此可以使用随机森林分类器自动提取特征，并且达到较高识别率所需的数据总量也更小，使得数据处理、建模过程更加简单。

(2)本发明一种基于电阻抗的多部位肢体动作捕捉方法，采用改进的电极阵列装具，可自由调整阵列中电极数量和间距，适合贴附于人体各个直径不太大的近圆柱体部位(四肢、脖颈等)，具有很高的使用灵活性。

(3)本发明一种基于电阻抗的多部位肢体动作捕捉方法，设计了电阻抗测量的通道控制模块(基于多路复用器)，可以实现由单测量芯片在单片机控制下轮询测量各通道或部分通道电阻抗，简化了结构，降低了成本，提高了测量灵活性。

(4)本发明一种基于电阻抗的多部位肢体动作捕捉方法，设计了清晰明了的GUI界面，可以引导用户进行设置、针对性建模(校准)、验证等过程，降低了学习成本。

(5)本发明一种基于电阻抗的多部位肢体动作捕捉方法，采用了针对性建模的方案，在安装好装置、采集到校准数据后，通过随机森林分类器自动提取数据特征，建立数据模型，由此保证了本方法的个体和部位迁移性。

附图说明

图1为本发明一种基于电阻抗的多部位动作捕捉方法的流程图；

图2为本发明一种基于电阻抗的多部位动作捕捉方法的上位机GUI示意图；

图3为本发明阻抗测量模块对通道控制模块选通的电极阵列的通道示意图；

图4为本发明一种基于电阻抗的多部位动作捕捉方法的电极阵列结构实物图；

图5为本发明上位机与下位机工作原理图；

图6为本发明实施例中将电极阵列安装于手腕的示意图；

图7为本发明实施例中上位机存储到excel文件的数据格式示意图；

图8为本实施例电阻抗信号与肌电信号的原始信号对比图；

图9为本发明实施例将电极环带安装到手部进行动作识别的测试示意图；

图10为本发明实施例将电极环带安装到颈部进行动作识别的测试示意图；

图11为本发明实施例将电极环带安装到足部进行动作识别的测试示意图；

图12为本发明实施例采用的个体迁移实验记录示意图；

图13为本发明具体应用到用户的应用实例示意图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图对本发明作进一步的详细和深入描述。

本发明提供了一种基于电阻抗的多部位肢体动作捕捉方法，可以实现更灵活便捷的动作捕捉，通过采用肢体电阻抗测量和针对性建模的方案，选择数据稳定、特征明显的电阻抗信号，使传感器在不同身体部位的安装和针对性建模过程得以简化，使得动作捕捉设备的使用灵活性大大增强，具备良好的个体与部位迁移性，可测量部位与动作种类多、安装方便且灵活等特点。

同时加入了基于计算机的GUI界面用于引导普通用户完成针对性建模过程，降低了学习成本。相对同类技术，本发明具有不受环境光线等的限制，数据稳定、简单、特征明显，可以使用户以更低的预算得到更良好的使用体验，有利于加快动作捕捉技术的应用推广和生态的建立。多通道生物电阻抗作为识别肢体动作的信息来源是本方案中针对性建模过程得以简化的基础。

所述的基于电阻抗的多部位肢体动作捕捉方法，如图1所示，具体步骤如下：

步骤一、连接包括上位机和下位机的多部位肢体动作捕捉装置，上位机与下位机之间通过无线数据传输模块进行无线数据传输；

上位机使用Python3编写程序，包括串行连接的数据处理模块、数据建模模块和动作识别模块；运行环境安装了serial包以实现对计算机USB串口的调用，安装了sklearn包以调用随机森林分类器，安装了numpy和pandas包以方便进行数据处理和文件操作，安装了tkinter包来设计功能性GUI界面。上位机的所有操作和结果展示都通过GUI界面进行。

如图5所示，上位机通过USB串口接收单片机发送的数据，通过数据处理模块进行数据提取和格式转换，得到训练数据库，输入数据建模模块；数据建模模块使用随机森林分类器，基于数据库生成训练模型；对经过数字滤波和模式转换处理的生物电阻抗信号进行卷积运算，即深度学习训练。动作识别模块使用训练模型，将新的实时电阻抗数据分割提取后进行分类预测，得到判断结果并输出。

下位机以单片机为核心，包括集成在PCB板上的单片机、阻抗测量模块和通道控制模块；减小体积、提高便携性。

单片机选用STM32F103，具备72MHz的运行速率，可以节省控制代码运行与数据预处理过程的用时，提高测量速率；单片机控制阻抗测量模块的测量参数及测量过程、为通道控制模块提供通道切换参数、接收通道测量模块的测量结果并做数据预处理后发送给无线数据传输模块。

通道控制模块选用了模拟多路复用芯片，自行设计连接电路，通过通道控制模块可实现将电极阵列中的任一电极接通到阻抗测量模块的正极或负极；如图3所示，为本发明通道控制模块、阻抗测量模块及电极阵列连接的电路结构示意图。通道控制模块由连接到阻抗测量模块正负极的两个多路复用器1和多路复用器2组成，多路复用器是数字信号控制的模拟16选1的选择器，其输入为4个引脚电平，高电平记为1，低电平记为0，及四位二进制输入。将可选的16个测量端编号为0-15，则所需选通的测量端对应的十进制编号转换为四位二进制编码后，恰好为多路复用器所需的电平编码，进制转化过程在单片机中编程实现。

优选地，模拟多路复用芯片选用74HC4067，该芯片可实现最多16路的选通控制，图3中只是用了8路复用作为示意；接通电阻80Ω左右，阻值小且稳定。单片机的引脚通过数字信号导线连接通道控制模块，控制引脚的电平位高低变化，形成通道控制模块选通的通道参数，根据通道参数调整当前接通的测量通道。

阻抗测量模块选用AD5933阻抗测量芯片，是测量核心模块，该测量模块可实现部分编程，调节阻抗测量的激励频率、重复测量次数、单次测量的激励信号长度等。单片机通过IIC协议与阻抗测量模块实现双向数据通信；阻抗测量模块对单片机选通的通道进行电阻抗的测量，并将测量数据返回单片机。

首先，将阻抗测量模块AD5933的测量芯片初始化，包括初始化设置激励频率、重复测量次数、输出电压、激励信号长度等，之后发送开始测量的指令。阻抗测量模块AD5933在正负端口之间施加恒定幅值的正弦电压激励，测量正负端口之间的电流信号，之后进行快速傅里叶变换FFT得到电流信号的幅值及相位。快速傅里叶变换FFT的计算结果会存储到固定寄存器中。单片机在发送测量开始的指令后，不断读取阻抗测量模块AD5933状态寄存器的值，以判断测量过程是否完成。测量完成后，读取固定寄存器中的快速傅里叶变换FFT结果，通过计算其平方根并乘以校正系数后得到阻抗幅值，通过计算FFT结果的实部与虚部比值的反正切函数得到阻抗相角。其中校正系数可以通过实验标定得到。单片机对阻抗测量模块AD5933的控制是通过在阻抗测量模块AD5933的相应寄存器中写入特定的内容实现的。

在初始化时，为实现最好的测量效果，设置激励频率为40KHz，重复测量次数为5，输出电压为2V，激励信号长度为10-30个正弦周期。

待测通道的选定由实际电极数量决定。以六电极阵列为例，6个电极分别编号为0到5，则待测通道为这六个电极的所有组合，通道总数为C₆ ²＝15。也可以根据实际情况选取数据特征最明显的n个通道。

无线数据传输模块分为上位机端与下位机端，下位机端采用UART通信协议通过串口连接到单片机，上位机端通过USB连接到上位机，实现上位机、下位机之间的无线数据传输。优选地，无线数据传输模块选用WIFI数传模块，单片机和上位机通电后可实现无线连接，无遮挡情况下，在20米距离内可实现良好的数据传输。

步骤二、针对某用户，将电极环带贴附在该用户的某个待测部位上，将电极环带导线连接通道控制模块；

如图4所示，电极环带由粘连在基底的电极阵列组成，基底采用魔术搭扣，电极选用8*16mm尺寸的铜片，通过热熔胶粘连与电极同尺寸的魔术搭扣后，将电极沾接在基底上，根据人体需求自由调节电极数量和间距，灵活安装到人体不同的待测部位；待测部位根据人体不同需求任意选择，包含手臂、腿部、颈部等截面为圆形的身体部位。为了保证最佳效果，通常要求安装到人体部位后，电极均匀分布在该部位界面圆周上，电极数量适中，本发明方法的验证过程选用6电极阵列。

进一步，电极选用黄铜片，可以实现与皮肤的良好耦合接触；任意两两电极组合，构成电极环带的对应通道；

步骤三、将肢体动作捕捉装置加电，单片机依次选择电极环带的通道，构成电路回路，阻抗测量模块测量各回路中的电阻抗；

电极环带的通道选择是提前人为设定并加载到上位机中的。

阻抗测量模块测量每个电极的电阻抗数据，阻抗测量模块的正负极与各电极之间都采用多路复用器连接，当前通道下的电阻抗数据测量完毕后，单片机通过操控通用引脚的电平高低控制多路复用器的选通，改变通道参数，控制阻抗测量模块AD5933测量该通道上被测对象的电阻抗数据；之后调整到下一个待测量通道，重复开始下一个通道的测量，由此实现一个阻抗测量模块测量阵列电极的多个通道，直至完成一轮电阻抗数据测量。

每测量完成一个通道即以字符格式发送一个测量数据和一个空格，在所有通道测量完成，即一轮测量完成后，发送一个换行。

一轮电阻抗数据量是根据通道的数量决定，通道的数量是人为提前设定并加载到上位机中的。

步骤四、单片机将一轮测量得到的电阻抗形成一组数据流，通过无线数据传输模块发送到上位机的USB串口；

单片机按照提前人为设定的顺序，重复测量各通道的电阻抗数据经过预处理后，并将形成的数据流持续发送到上位机。

预处理即使用了滑动窗口的低通均值滤波。数据预处理过程通过单片机编程实现，记录某一通道最近n0次测量的电阻抗，取平均值作为测量结果。即使用一个宽度为n0的窗口对所测数据进行滑动平均。滑动平均方法相比FIR(有限冲激响应滤波器)滤波方法同样可以抑制高频干扰，而且还可以减小测量的随机误差，提高精度。

步骤五、人工对上位机的GUI界面进行初始化操控；

如图2所示，GUI即图形用户界面。用户通过操作图形界面，包含可输入文本框和按钮等，实现用户向程序的信息输入；而界面上也会有进度条、显示型文本框和图片显示窗口等，实现程序向用户的信息输出。

GUI界面包括左右两部分，左侧有“数据量调节”以及对应的数值显示，显示的数值即一次从USB串口实时读取的电阻抗数据流组数，存入excel文件；“校准”“删除校准动作”“添加校准动作”三个按钮以及可选动作标签label；通过“手势”输入编辑动作，并通过“左右上下拳掌”动作标签label中显示编辑动作对应的标签；主要是帮助用户设置数据库录入的相关参数与操作录入过程，对应于数据处理模块；

GUI右下角“校准完毕”按钮的作用在于用户向程序输入信息：“数据库采集完毕，开始训练模型”对应于数据建模模块，而建模主要过程由程序自动完成；右下角“判断”按钮则是程序进入动作识别模式的控制按钮，按下后开始实时识别，识别结果在右上角显示，对应于动作识别模块。

初始化内容包括：用户根据需要自行使用数据量调节按钮调节每次校准从USB串口读取数据的组数量；使用删除校准动作按钮、添加校准动作按钮设置准备识别的所有动作对应的动作标签label。

步骤六、人工通过GUI界面操控，录入准备识别的动作对应的电阻抗数据，实现手势识别数据交互；

操控流程为：首先选中一个动作标签label，安装好电极环带的部位做出与当前选中的动作标签对应对的动作并保持动作恒定，点击校准按钮。

步骤七、上位机的数据处理模块通过USB串口实时读取输入的电阻抗数据流，通过空格和换行分割出一组一组的电阻抗测量数据，并连同当前动作标签一起存入excel文件中；

具体为：首先从电脑的USB串口读入数据，读入的数据为字符串类型，其内容为使用空格分割每个数据、使用换行标记一组数据的起始与结束的实时电阻抗数据；一组数据就是一轮完整测量的所有数据信息，包含n个电阻抗数据，n是测量的通道数；组数是根据数据量调节按钮设置的。

然后，按照一组数据占一行、每个数据占一个单元格的方式存入excel文件中，并在excel文件的第一行存入测量通道序数，最后一列存储每组电阻抗数据对应的动作标签label，作为机器学习中训练集的标记。一组电阻抗数据是在哪种动作状态下测量得到的，动作标签就是哪种动作；动作标签为如图2所示的GUI界面左下方竖列的“左”“右”等，通过在自定义建模阶段人为选中动作标签来输入上位机程序。

上位机运行程序，根据收到的测量数据进行当前动作的“校准”，即将当前动作对应的电阻抗数据组按照上述格式存入文件。

步骤八、重复步骤六到步骤七，直到所有动作对应的电阻抗数据都录入完成，点击校准完毕按钮；

步骤九、数据建模模块运行，将excel文件中存储的数据作为训练集，进行随机森林的监督学习，生成训练模型；

上位机借助随机森林分类器自动提取每种动作的数据特征，得到针对当前个体、当前部位的几种动作的数据模型；

数据处理模块保存数据到excel文件，其实就是生成了机器学习所需的数据库，模型建立过程是调用了python3平台的sklearn包(随机森林)，基于上述数据库直接生成了训练模型，将数据库-训练模型称为“数据模型”。

步骤五到步骤九就是针对性建模的过程。

步骤十、用户的待测部位重新作出已经录入过数据的各种动作，下位机仍然按照之前的流程重复测量并将数据发送到上位机，上位机通过USB串口读入实时数据，经数据处理模块分割提取后输入训练模型中，输出动作识别结果。

本实施例选择以手腕部位为待测部位，将电极阵列安装在手腕，安装过程如图6所示，优选电极数量为6个，要求根据手腕粗细调整电极间距，保证安装完成后电极均匀分布在手腕截面圆周上。

首先待测部位做出准备校准的动作，选中对应的动作标签，点击“校准”按钮，“校准”当前动作，即将当前动作状态下测量得到的系列电阻抗数据以前述格式存入文件。在完成一种动作的“校准”后，待测部位做出下一个准备校准的动作，选中对应的动作标签、点击“校准”按钮。重复以上步骤，直到完成所有动作数据的录入。

例如通道数为n＝7，每次读入数据组数m＝20，动作为“拳”“掌”“……”，则model.xls中存储如图7所示。

每次读入的数据组数m可调，具体可通过在“数据量调节”右侧的文本框内输入期望的m值，再点击“数据量调节”按钮实现；程序内预置有常用的动作标签，在实际操作时也可根据需求，使用“删除校准动作”“添加校准动作”两个按钮及相应文本框实现；点击“校准”按钮后，数据读入过程可以由进度条示出。

最后点击“校准完毕”按钮，数据建模模块使用随机森林的算法进行机器学习的监督学习训练，得到用于区分各种动作的训练模型。这里由于每种动作的各个通道电阻抗数值稳定，且具备明显的特征，不同动作的数据特征一般不同，由此可通过随机森林分类器自动提取数据特征，完成数据建模过程。

之后借助GUI界面操作，点击“判断”按钮，上位机进入动作测量模式，实时读取数据流，并将每一组数据进行分类，判断当前所做的动作。测量过程不间断，对于程序中的预置动作，在识别之后会在GUI界面右上区域显示当前识别动作对应的图片。

此外，在实现数据模型建立后，还可以退出当前GUI程序，通过接口将识别到的动作应用于一具体实例。具体在“结果表示”部分叙述。

本发明核心之一为使用了生物电阻抗作为动作信息的载体，其优势为：

一、由于人体的组织结构特性，某一部位的运动需要其它部位的协调，以手指运动为例，手指摆动需要手腕处的肌腱(指浅屈肌、尺侧桡侧腕屈肌)参与，肌腱牵动部分骨骼发生位移，使得手腕处的组织分布改变，电阻抗特性也随之改变。也就是说，手指运动可以由分布于手腕的传感器测量得到，而不必在手指设置相应传感器，具备了空间间接测量能力。

二、同肌肉电信号相比，生物电阻抗是人体任意部位、任意组织的固有属性，因此其具有更广泛的信号来源，可以应用在更多身体部位的动作测量，这也是本发明可实现高度的部位迁移性的理论基础。

三、EIT技术，即电阻抗断层成像技术发展至今，已具备了一套成熟的电阻抗采集与数据处理理论，其获取信息更为丰富，数据更加精确，甚至达到了可以成像的级别，还能通过增加电极阵列数量的方式增加数据量，也是在此基础上可以实现更多动作的测量。

四、EIT技术采取主动式内源测量，与肌电等被动测量技术相比，所受干扰更小，数据会更加稳定、特征更加明显，如图8所示。这可以减少很多数据预处理工作，而为了达到理想识别效果的机器学习训练需求数据量也会大大减小，可以在更短时间内完成动作数据获取与模型建立。配合引导作用的软件界面，帮助普通用户完成针对性建模过程，使个体迁移性得到了保证。

肌电原始信号与EIT原始信号的对比结果，如图8所示，可见肌电信号波动复杂无规律，而EIT信号为有规律的正弦波，通过FFT即可提取幅值与相位信息。并且FFT可以由AD5933测量芯片计算，直接得到的是电阻抗的值，不占用单片机及计算机的计算性能。当待测部位从动作A变化为动作B时，某通道的电阻抗数据如图8所示，可见在动作不变时数据稳定，而不同动作又对应着明显不同的数据特征，因此可以实现少量训练数据达到理想的训练效果。

如图9、图10和图11所示分别为手部、颈部、足部的测试结果，可以实现正确识别，说明本发明方法具备部位迁移性。对手部动作识别，总共测试了如图9所示的十种动作，在校准阶段每个动作对应20组数据，程序反馈的平均识别正确率为96.7％，证明本方法即使在训练数据量较小的情况下也能实现比较高的测试正确率。

如图12所示，进行了个体迁移性的验证实验，由两位社会人员参与完成。在简单指导后，由实验对象独立完成电极贴附、数据采集、模型搭建过程，最后由发明人带领进行动作识别效果的检验(过程一)。此外实验对象还会进行测量装置的功能切换操作(过程二)，即将电极拆下、在新待测部位重新安装、设置GUI界面、数据采集、模型建立和识别准确性校验这一系列操作。实验记录实验对象的各过程用时以及程序反馈的识别正确率平均值如图12所示，两位实验对象的识别准确率均高于90％，证明本发明具备良好的个体迁移性；而在简单指导后两位实验对象均能在较短时间内完成设备安装和相关操作，也证明了本发明的学习成本低，有助于动作捕捉应用的推广和生态的建立。

应用方面，通过本发明识别到的动作信息可以结合部位特点应用到方方面面。比如手部动作可以用于PPT翻页等办公辅助，如图13左图所示；颈部动作可以帮助监控坐姿，如图13右图所示。

Claims (8)

1.一种基于电阻抗的多部位肢体动作捕捉方法，其特征在于，具体步骤如下：

步骤一、连接包括上位机和下位机的多部位肢体动作捕捉装置，上位机与下位机之间通过无线数据传输模块进行无线数据传输；

上位机包括：数据处理模块、数据建模模块和动作识别模块；

下位机包括集成在PCB板上的单片机、阻抗测量模块和通道控制模块；

单片机的引脚通过数字信号导线连接通道控制模块，控制引脚的电平位高低变化，形成通道控制模块选通的通道参数；

单片机通过IIC协议与阻抗测量模块实现双向数据通信；阻抗测量模块对单片机选通的通道进行电阻抗的测量，并将测量数据返回单片机；

步骤二、针对某用户，将电极环带贴附在该用户的某个待测部位上，将电极环带导线连接通道控制模块；

步骤三、将肢体动作捕捉装置加电，单片机依次选择电极环带的通道，构成电路回路，阻抗测量模块测量各回路中的电阻抗；

当前通道下的电阻抗数据测量完毕后，单片机继续控制引脚的电平高低位变化，改变通道参数，重复开始下一个通道的测量，直至完成一轮电阻抗数据测量；

步骤四、单片机将一轮测量得到的电阻抗形成一组数据流，通过无线数据传输模块发送到上位机的USB串口；

步骤五、人工对上位机的GUI界面进行初始化操控；

初始化内容包括：使用数据量调节按钮调节每次校准从USB串口读取数据的组数量；使用删除校准动作按钮、添加校准动作按钮设置所有准备识别的所有动作对应的动作标签label；

步骤六、人工通过GUI界面操控，录入准备识别的动作对应的电阻抗数据；

操控流程为：首先选中一个动作标签label，安装好电极环带的部位做出与选中的动作标签对应对的动作并保持动作恒定，点击校准按钮；

步骤七、上位机的数据处理模块通过USB串口实时读取输入的字符串类型的电阻抗数据流，通过空格和换行分割出一组一组的电阻抗测量数据，并连同当前动作标签一起存入excel文件中；

步骤八、重复步骤六到步骤七，直到所有动作对应的电阻抗数据都录入完成，点击校准完毕按钮；

步骤九、数据建模模块运行，将excel文件中存储的数据作为训练集，进行随机森林的监督学习，生成训练模型；

步骤十、用户的待测部位重新作出已经录入过数据的各种动作，下位机仍然按照之前的流程重复测量并将数据发送到上位机，上位机通过USB串口读入实时数据，经数据处理模块分割提取后输入训练模型中，输出动作识别结果。

2.如权利要求1所述的一种基于电阻抗的多部位肢体动作捕捉方法，其特征在于，步骤一中所述的无线数据传输模块分为上位机端与下位机端，下位机端通过串口连接到单片机，上位机端通过USB连接到上位机，实现上位机、下位机之间的无线数据传输。

3.如权利要求1所述的一种基于电阻抗的多部位肢体动作捕捉方法，其特征在于，步骤二中所述的电极环带由粘连在基底的电极阵列组成，根据人体需求自由调节电极数量和间距，灵活安装到人体不同的待测部位；待测部位根据人体不同需求任意选择。

4.如权利要求3所述的一种基于电阻抗的多部位肢体动作捕捉方法，其特征在于，所述的电极选用黄铜片，任意两两电极组合，构成电极环带的对应通道。

5.如权利要求1所述的一种基于电阻抗的多部位肢体动作捕捉方法，其特征在于，步骤三中所述的电极环带的通道选择是提前人为设定并加载到上位机中的；所述的一轮电阻抗数据量是根据通道的数量决定，通道的数量是人为提前设定并加载到上位机中的。

6.如权利要求1所述的一种基于电阻抗的多部位肢体动作捕捉方法，其特征在于，步骤四中所述的单片机按照提前人为设定的顺序，重复测量各通道的电阻抗数据，并将形成的数据流持续发送到上位机。

7.如权利要求1所述的一种基于电阻抗的多部位肢体动作捕捉方法，其特征在于，步骤五中所述的GUI界面包括左右两部分，其中左边部分包括：数据量调节按钮以及对应的数值显示，校准按钮，删除校准动作按钮，添加校准动作按钮，可选动作标签label；右边部分包括判断按钮，校准完毕按钮，校准进度显示条和识别动作显示框。

8.如权利要求1所述的一种基于电阻抗的多部位肢体动作捕捉方法，其特征在于，步骤七中所述的组数是根据数据量调节按钮设置的；所述的excel文件的第一行存入的是测量通道序数，按照通道的数量设置列，最后一列通道中存储的是各组数据对应的动作标签label。

Images