CN111475024A - 一种人体动作捕捉系统及方法 - Google Patents

一种人体动作捕捉系统及方法 Download PDF

Info

Publication number
CN111475024A
CN111475024A CN202010268190.0A CN202010268190A CN111475024A CN 111475024 A CN111475024 A CN 111475024A CN 202010268190 A CN202010268190 A CN 202010268190A CN 111475024 A CN111475024 A CN 111475024A
Authority
CN
China
Prior art keywords
data set
human body
circuit
motion capture
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010268190.0A
Other languages
English (en)
Other versions
CN111475024B (zh
Inventor
李卫民
程俊
高向阳
任子良
张锲石
王海滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Zhongke Advanced Technology Research Institute Co ltd
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shandong Zhongke Advanced Technology Research Institute Co ltd
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Zhongke Advanced Technology Research Institute Co ltd, Shenzhen Institute of Advanced Technology of CAS filed Critical Shandong Zhongke Advanced Technology Research Institute Co ltd
Publication of CN111475024A publication Critical patent/CN111475024A/zh
Application granted granted Critical
Publication of CN111475024B publication Critical patent/CN111475024B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Dermatology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Neurology (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明涉及一种人体动作捕捉系统和方法，采用多模态采集传感器、上位机、路由器以及摄像机，对人体的姿态数据和视频数据进行采集，得到人体的肌电信号和人体惯性信息等，通过将采集的数据进行分类筛选、预处理，将肌电信息与视频信息进行融合，最后通过特征提取以及动作捕捉的方式实现对人体动作的精确捕捉，提高了系统的实时性，节约了系统运算资源，同时结合惯性信息，加强了系统的抗干扰能力。

Description

一种人体动作捕捉系统及方法
技术领域
本发明涉及人机交互领域，特别是涉及一种人体动作捕捉系统及方法。
背景技术
随着现代计算机科学技术的发展，人们对人机交互的需求是越来越高，人体动作识别作为人机交互的一种重要的实现途径，它的发展也成为了当今社会热点问题，许多研究人员针对这个课题进行了大量研究。目前，人体动作识别在智能监控、医疗、游戏以及教育等方面都有着辽阔发展前景。
2007年苹果公司推出带有加速度传感器的iPhone手机、日本任天堂游戏公司推出的游戏主机Wii U，都曾经轰动一时。它们都通过加速度传感器来感受用户的动作，从而进行人机交互的控制，加速度传感器精确地识别了手持装置用户的加速度信号，为不同的加速度信号提供相对应的反应，这种体验在当时可谓是一种全新的方式，为这两款产品都带来了巨大的成功，自此加速度传感器的应用得到了迅速的推广。苹果手机的加速度传感器主要感受手机本身较小的移动和旋转。其相关的多项专利早就申请并且获得了保护。游戏主机Wii U主要捕捉用户的大运动，它通过玩家手持手柄中携带的加速度传感器识别出用户的动作从而控制游戏，主要特点是将肢体的真正运动和游戏结合在了一起，获得了很多希望保持身材或者减肥玩家的喜爱。
自从Kinect问世，就有很多公司和个人对这种不需要操作杆，仅仅用肢体动作就可以进行操控的全新技术表示了浓厚的兴趣。直到Kinect I的出现，人们似乎才意识到这样的技术可以走进家庭,可以在日常生活中用。国内外类似的应用自此开始遍地开花很多相似的产品上市，小到手机使用头部运动和手势进行控制，大到电视机使用手势动作等进行操作。比如三星就在自己的强项产品手机、液晶电视上都采用了类似的这种技术，用户不需要接触手机就可以控制手机不用遥控器就可以控制电视。国内的一些电视厂商也斥资购买这种技术用在智能电视控制上。计算机外设中也出现不少类似的摄像头产品，虽然都称为体感控制摄像头，但是实际采用的技术并非完全相同，所能实现的效果也不尽相同。
微软2013年5月22日举行的新的游戏机Xbox 0ne的发布会，在新的游戏主机系统中将会配置新版本的体感摄像头Kinect2.0，新的体感摄像头不仅具有更高的分辨率、更快的处理和响应速度，还具有对玩家动作细节更好的识别度对于手腕移动、手指动作都可以进行识别，对环境光的要求更低。新一代的Kinect游戏，不再单纯依靠大动作，它可以和手柄话筒结合给用户提供更加真实的游戏体验。任天堂也在2012年底发售了Wii U，显然在上一代采用加速度传感器的Wii U主机上有进一步的改进，手柄增加了直接包含触摸显示屏的平板手柄，新的触摸屏游戏操作方式带来了新的游戏体验。
目前，国内对动作捕捉方法从技术基础上主要分为基于图像和视频方法和基于运动传感器参数方法两类。实际系统中往往是在这些方式的基础上根据使用场景进行融合或单独使用。所以无论是哪种动作捕捉方案，都有图像方法或运动传感器方法的特点：依赖于计算机处理和运算能力，或容易受环境光干扰，或位置或距离容易产生累积误差。
发明内容
本发明的目的是提供一种人体动作捕捉系统及方法，通过引入肌电信息，与视频信息进行融合以提高动作捕捉的效率、提高系统的实时性节约系统运算资源。
为实现上述目的，本发明提供了如下方案：
一种人体动作捕捉系统，所述捕捉系统包括：
多模态采集传感器、上位机、路由器以及摄像机；
所述多模态采集传感器分布于人体的各个肢体部位，用于采集人体的姿态信息，并将所述姿态信息通过所述路由器传输至所述上位机；
所述摄像机用于拍摄人体姿态视频，并将所述姿态视频通过所述路由器传输至所述上位机；
所述多模态采集传感器包括：电源电路、微处理器、wifi模块、复位电路、晶振电路、生理电信号调理电路以及惯性信息采集电路；
所述电源电路用于向所述微处理器、wifi模块、复位电路、晶振电路、生理电信号调理电路以及惯性信息采集电路提供电压；
所述复位电路与所述微处理器连接，所述复位电路用于上电复位；
所述晶振电路与所述微处理器连接，所述晶振电路用于提供时间基准；
所述生理电信号调理电路与所述微处理器连接，所述生理电信号调理电路用于采集人体的肌电信号；
所述惯性信息采集电路与所述微处理器连接，所述惯性信息采集电路用于采集人体惯性信息；
所述微处理器用于根据所述惯性信息获得人体运动进程和姿态；
所述微处理器还用于根据所述人体的肌电信号获取人体运动的内在信息；
所述微处理器还用于通过所述wifi模块与所述路由器连接，实现与外界通讯。
可选的，所述生理电信号调理电路具体包括：干电极、仪表放大器、高通滤波器、主放大电路以及低通滤波器；
所述干电极用于测量肌电信号，并将所述肌电信号发送至所述仪表放大器进行一级放大，得到一级放大后的肌电信号，并将所述一级放大后的肌电信号发送至所述高通滤波器进行高通滤波，将滤波后的肌电信号发送至所述主放大电路进行二级放大，得到二级放大后的肌电信号，并将二级放大后的肌电信号发送至低通滤波器进行低通滤波。
可选的，所述惯性信息采集电路包括：芯片、三轴陀螺仪、三轴加速度计以及三轴磁力计；
所述三轴陀螺仪与所述芯片连接，所述三轴陀螺仪用于测量人体的位置以及移动轨迹；
所述三轴加速度计与所述芯片连接，所述三轴加速度计用于测量人体的加速度；
所述三轴磁力计与所述芯片连接，所述三轴磁力计用于测量磁场强度和方向；
所述芯片用于将所述人体的位置、移动轨迹、加速度、磁场强度和方向传送至微处理器。
可选的，所述电源电路采用聚合物理电池对多模态采集传感器供电，并包含五种电压，分别为+5V、-5V、+3.3V、+2.5V以及+1.25V。
可选的，所述芯片与所述微处理器之间通过I2C或者SPI数据接口进行数据交换。
本发明另外提供一种人体动作捕捉方法，所述捕捉方法包括：
获取人体的视频数据集、肌电数据集以及惯性信号数据集；
对所述视频数据集、所述肌电数据集以及所述惯性信号数据集进行预处理；
将预处理后的视频数据集和预处理后的肌电数据集进行匹配融合；
对匹配融合后的视频数据集和肌电数据集进行特征提取和动作捕捉；
将预处理后的惯性信号数据集进行特征提取和动作捕捉；
将动作捕捉后的视频数据集、肌电数据集以及动作捕捉后的惯性信号数据集进行关联和融合动作捕捉，实现最终动作捕捉。
可选的，所述将预处理后的视频数据集和预处理后的肌电数据集进行匹配融合具体包括：
在一个时间窗口T内利用张量扩充法将肌电数据集T*F按照图像分割法进行扩充，得到肌电信号T*W*H；
将所述肌电信号T*W*H信号与视频数据集信号T*3*W*H进行融合，得到T*4*W*H；其中，F表示肌电信号的幅度，T表示时间窗口的长度，W表示视频图像的宽度，H表示视频图像的高度。
可选的，所述将动作捕捉后的视频数据集、肌电数据集以及动作捕捉后的惯性信号数据集进行关联和融合动作捕捉具体采用加权融合、二次线性拟合以及平滑滤波的方法。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明通过设置多模态采集传感器对人体姿态信息进行采集，设置摄像机对人体动作视频进行采集，通过路由器将视频数据和姿态数据传输至上位机，其中多模态采集传感器中的生理电信号调理电路可采集人体肌电信号，惯性信息采集电路可采集人体惯性信息，将引入肌电信号与视频信号进行融合，提高了基于视频信息动作检测方法的效率,提高了系统的实时性，节约了系统运算资源。同时结合惯性信息，加强了系统的抗干扰能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例人体动作捕捉系统结构示意图；
图2为本发明实施例多模态采集传感器原理框图；
图3为本发明实施例仪表放大器电路原理图；
图4为本发明实施例滤波电路与主放大电路原理图；
图5为本发明实施例惯性信息采集电路原理图；
图6为本发明实施例电源电路结构示意图；
图7为本发明实施例任务调度流程图；
图8为本发明实施例自定义网页固话流程；
图9为本发明实施例数据融合与动作捕捉流程图。
图10为本发明实施例人体动作捕捉方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种人体动作捕捉系统及方法，通过引入肌电信息，与视频信息进行融合以提高动作捕捉的效率、提高系统的实时性节约系统运算资源。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明实施例人体动作捕捉系统结构示意图，如图1所示，所述系统包括：多模态采集传感器1、上位机2、路由器3以及摄像机4；
其中多模态采集传感器1为若干个，并抽象为节点，多个节点为并行关系，分布于人体的各个肢体部位，用于采集人体的姿态信息，并将所述姿态信息通过所述路由器3传输至所述上位机2；
所述摄像机4用于拍摄人体姿态视频，并将所述姿态视频通过所述路由器3传输至所述上位机2。
其中，每个多模态采集传感器由微处理器和外围电路构成。外围电路包括：电源电路、微处理器、wifi模块、复位电路、晶振电路、生理电信号调理电路以及惯性信息采集电路；其中，微处理器的型号为STM32F103。
所述电源电路用于向所述微处理器、wifi模块、复位电路、晶振电路、生理电信号调理电路以及惯性信息采集电路提供电压；
所述复位电路与所述微处理器连接，所述复位电路用于上电复位；
所述晶振电路与所述微处理器连接，所述晶振电路用于提供时间基准；本发明中包含两个晶振电路，一个8M晶振电路和一个32.767K晶振电路。
所述生理电信号调理电路与所述微处理器连接，所述生理电信号调理电路用于采集人体的肌电信号。本系统进行了多处肌电信号采集，由于人体表面生理电信号的幅值只有μV～mV数量级，为了采集出生理电信号，需要对各部分微弱的信号进行相应的放大、滤波、电压抬升等一系列处理。而如何对前端采集单元进行更优化的电路设计，实现高输入阻抗、高共模抑制比、低噪声、低漂移等性能指标是本电路的重点。因此，本发明中的生理电信号调理电路具体包括：干电极、仪表放大器、高通滤波器、主放大电路以及低通滤波器；
所述干电极用于测量肌电信号，并将所述肌电信号发送至所述仪表放大器进行一级放大，得到一级放大后的肌电信号，并将所述一级放大后的肌电信号发送至所述高通滤波器进行高通滤波，将滤波后的肌电信号发送至所述主放大电路进行二级放大，得到二级放大后的肌电信号，并将二级放大后的肌电信号发送至低通滤波器进行低通滤波。
本系统前置仪表放大环节的设计采用高精度、低噪声、低功率的仪表放大器INA128，具体结构如图3所示。仪表放大器INA128具有非常宽的增益范围，可调节从1到10000的任一增益，完全满足前置放大需求。考虑到前置仪表放大器的输入端会受到共模干扰与极化电压的干扰，增益不宜调节过大，否则干扰信号不易被滤除，将影响最终输出的信号质量。前置仪表放大器INA128的增益调整为10-50倍之间时，信号调理电路的温漂和系统噪声均处于较低范围。因此，本系统将肌电调理电路的仪表放大增益设定为10。INA128通过使用典型的对称式双电源供电，使芯片能够始终保持高效精准运作，其信号参考端，与电源地相连，并通过导线独立引出至干电极并粘贴在待采集的皮肤表面附近作为信号参考，这样的连接方式可极大消除外界噪声干扰，又避免了基线漂移现象的出现。相较于独立设计一个共模抑制电路而言，既达到了同样的信号质量，又节约了系统的硬件成本，缩小了硬件电路的体积。
如图4所示，图4为本发明实施例滤波电路与主放大电路原理图，肌电信号的频率范围通常在10-500Hz之间，由干电极获取的表面电信号经过前置仪表放大器的放大后，信号幅度发生变化，而参杂其中的在有用信号频率范围外的环境噪声并未去除。在设计中加入滤波电路设计，形成高通与低通滤波器。高通滤波器的作用是让高于截止频率的波段通过，低于截止频率的被衰减，低通滤波器可实现相反效果。滤波器的加入可有效滤除杂质信号，使信号质量得到进一步加强。
考虑到肌电的最低频段临界点接近于0，本系统通过无源RC高通滤波电路设计，实现高效简洁的高通滤波效果。低通滤波器对于幅频特性的下降沿有具体要求，所以本系统中采用高精度低噪声运算放大器OPA4227设计巴特沃斯低通滤波电路实现低通滤波。本调理电路需要在一阶低通滤波电路的基础上级联低通滤波器，构成多阶有源低通滤波器，以达到人体表面生理电信号采集要求。
肌电的幅值约为0-5mV将表面肌电信号的放大增益倍数调节至100-500倍之间即可满足后端ADC/ADS的采集需求。本系统放大电路总增益按400来设计，所以要使第一级增益10，第二级增益40。电压匹配电路能够将多模态生理信号的基线抬升至A/D量程的中段，从而便于后续A/D转换，也避免了信号幅值因超出A/D采集范围造成的信号丢失情况。本系统采用低功耗、超低噪声的基准电压芯片ADR431作为电压匹配电路的核心，它具有吸电流和源电流能力，利用调整引脚可以在0.5％范围内调整输出电压，而性能则不受影响，可以符合设计需求。
所述惯性信息采集电路与所述微处理器连接，所述惯性信息采集电路用于采集人体惯性信息，图5位本发明实施例惯性信息采集电路原理图，具体的，惯性信息采集电路的核心为MPU9250芯片。在每个设备节点上都集成了惯性信息采集电路。惯性信息经过MPU9250芯片的内部算法解析，由I2C或者SPI的数据接口与嵌入式控制核心STM32F103芯片进行数据交换。MPU9250为复合芯片，芯片内部可分为两部分，其中一部分是MPU6050，融合了三轴加速度和三轴陀螺仪；另一部分则是AK8963三轴磁力计。
根据芯片的设计需求，围绕MPU9250进行外围电路搭建。考虑到惯性信息交换的兼容性，本系统将使用MPU9250的I2C功能与控制核心进行通讯。在主导I2C信号交换SDA与SCL端口均连接10K大小的上拉电阻，与3.3V电源相接。以此来解决可能存在的总线驱动能力不足时提供电流问题。同时在MPU9250的3.3V供电电源引脚加入去耦电容，保证电源的纯净度，降低数据干扰。
所述微处理器用于根据所述惯性信息获得人体运动进程和姿态；所述微处理器还用于根据所述人体的肌电信号获取人体运动的内在信息；所述微处理器还用于通过所述wifi模块与所述路由器连接，实现与外界通讯。
具体的，在本系统当中，微处理器是贯穿整个硬件结构的控制核心，它整合了各项功能，然后对各部分模块发出特定的指令，确保采集检测以及模块功能的正常运作，同时将终端设备反馈而来的信息做出解读。众多微处理器中，STM32系列是基于ARM内核，专为要求高性能、低成本、低功耗的嵌入式处理器。在外设连接上，STM32具有1μs的双12位ADC，4兆位/秒的UART，18兆位/秒的SPI，18MHz的I/O翻转速度；在集成上它整合了复位电路、低电压检测、调压器、精确的RC振荡器；在性能上，它最高工作频率可达72MHz，集成32-512KB的Flash存储器以及6-64KB的SRAM存储器。凭借丰富的扩展资源和高速数据处理能力，STM32已成为嵌入式硬件设计的热门微处理器之一。本发明中所采用的STM32F103rct6拥有64个引脚，256K程序空间，32K的处理空间，在STM32中属于强化型芯片，完全满足系统需要。
本系统中STM32F103rct6通过I2C通讯控制惯性信息采集装置捕获人体运动惯性信息，以此分析人体运动惯性信息，直接获得人体运动进程、姿态等关键外在信息。另一方面STM32F103rct6通过SPI通讯控制模数转换器提取表面肌电信号特征，从时域、频域等不同信号分析角度获取人体运动的内在信息。采集到的多模态信号经STM32f103rct6控制核心完成初步分类提取并进行同步整合，通过USART串口将数据由Wi-Fi无线传输模块与上位机进行同步传输通讯，其中WIFI模块选用常规模块，如AP6181。
电源系统是本系统重要组成部分，优异的电源供应方案能够极大程度减少设备在使用过程中的可靠性。本系统一共需要五种供应电压，分别为+5V、-5V、+3.3V、+2.5V、+1.25V，采用聚合物锂电池对整个采集节点进行供电，由电池电压转换而来的五种电压供应类型如图6所示。
±5V电压主要对采集节点的肌电信号模拟放大电路部分的芯片进行供应，包括INA128以及OPA4227。其中差分仪表放大器INA128工作电压为±2.25V到±18V之间，没有信号输入时的静态电流约为700，高精度低噪声运算放大器OPA4227的供电电压为±2.5到±18V之间。两个芯片均可在高精度信号放大的前提下保持低功耗工作，而正负极电压源的对称性会在一定程度上对信号质量造成影响，所以需要有良好稳压性能的芯片对系统进行+5V与-5V双极性电源供电，才能发挥INA128与OPA4227的最佳性能。
+3.3V电压主要对设备节点中的控制核心STM32最小系统以及WiFi无线通讯模块进行供应。本系统中STM32最小系统采用优化的软件编写算法，根据特定的使用场合选择外部资源调用频率及时钟使用的频率，改善最小系统的电量使用情况，使它最大功耗不超过280uA。另一个由+3.3V电压供电的芯片为Wi-Fi模块。
+2.5V和+1.25V电压主要用于肌电信号模拟放大电路的电压抬升。肌电信号在放大滤波后，需要进行电压抬升匹配来适应模-数转换模块的信号输入范围，高精度的抬升电压可在最大程度上避免外界干扰的引入。
本发明中的软件设计具体包含四部分：嵌入式程序实现、无线节点式组网、数据同步处理，数据融合与动作捕捉。
1)嵌入式程序实现
本系统中信息采集的控制时序由上位机控制，信息采集节点作为下位机，每一个信息采集节点被上位机查询时启动数据采集。本系统中信息采集节点多任务调度主要实现ADS数据指令交换、惯性信息指令交换、串口数据交换、定时器中断以及系统任务，休眠、唤醒、重启等功能。任务调度流程如图7所示。
系统启动之后，软件系统首先进行内部初始化处理，包括各部分IO引脚初始化、时钟初始化、串口功能初始化、SPI功能初始化、I2C功能初始化等等。完成初始化后的控制核心处于任务等待状态，随时准备对外部中断进行任务处理。各项任务环节中，ADS芯片与STM32F103rct6芯片的数据交换是通过SPI通讯进行的，惯性芯片是通过I2C通讯进行信息指令交换，WiFi芯片是通过UART通讯进行指令交换的。每一项数据指令交换均为单独的任务调度进程，不断交替进入运行状态，确保多模态数据的顺利获取。
2)无线节点式组网
本系统选用无线TCP协议进行节点化的Wi-Fi数据组网，将每个多模态生理惯性采集设备设定为一个节点，实时同步将生理数据传输至上位机。将WiFi模块设置成STA模式后，即采集结点具备接入WLAN网络能力，此时采集设备网络功能变成一块无线网卡，可以接入到802.11通信标准的WLAN网络。这时多个节点可以同时工作，均作为STA模式，接入到无线路由器，无线路由器此时充当WLAN中AP角色，这就形成了多点同时采集体系，所有采集结点数据包通过无线路由器进行转发。
3)数据同步处理
为了最大程度保证多模态生理-惯性数据的完整性，本系统在数据层面自定义了通信协议进行封包与解包。在数据流方面，本系统将多模态生理-惯性数据封包为包头与数据组成的数据包。由于多网络节点的存在，协议总共包括多个字节，每个字节均有特定数据含义，具体如表一所示，包括：帧头(2字节)+标识符(1字节)+数据(N字节)+校验码(2字节)，数据通讯采样率可达WiFi常规通讯值1MHz，但出于通讯稳定性及上位机处理性能需求，本系统将基础采样率设定为2KHz并可根据需求进行调整。
表一：数据传输协议
Figure BDA0002442131950000111
在进行数据通讯时，系统将每个多模态生理-惯性信息采集设备节点可视为从机，上位机等终端设备可视为主机。那么一次完整的通信过程分为3个阶段：主机询问阶段、从机应答阶段以及链路释放阶段。主机询问阶段，主机以数据帧的形式将从机数据帧头、命令、数据和校验码传送到指定从机；从机应答阶段，从机解析接收的命令码，并组织相应的数据帧信息回送到主机；链路释放阶段，从机清除接收缓冲区及相关变量，准备与主机下次通信。
设备节点化同步接口配置可通过网页设置方式直接实现，需要对WiFi模块进行固件开发，根据WiFi模块硬件系统提供的API函数，设计网页功能，按照应用层网页格式组织形式，将要实现的功能编辑成网页，固化到硬件设备之中。具体设计过程如图8所示。将通信所需功能全部设计成选项卡或者按钮后，连接好WiFi模块后便可通过手机或者电脑WiFi登录到采集设备，根据预先设计好的功能，选择AP或者STA模式即可。
4)数据融合与动作捕捉
基于视频图像分析的方法一般是对采集到的图像进行运动点的检测，以获取运动信息。运动检测在目标的跟踪以及目标的识别等相关领域很多的应用。光流法、帧差法以及背景减除是运动检测常用的几种方法。光流法通过统计并分析图像的速度矢量来实现运动目标的检测，该法检测运动目标准确，而且可以克服摄像机的运动，但是计算比较耗时，实时性不好。帧差法是一种比较简单而且快速的运动目标检测方法，利用两帧图像的差值来进行运动检测，但是改法无法适应剧烈的光照变化以及摄像机的运动。背景减除法是通过当前帧减去背景来实现运动检测，但是该方法需要提前保存背景图像，而且无法适应光照的变化，同时阴影也会对结果产生一定的影响。
如果为视频图像提供出运动线索，便有利用缩小检测范围，提高系统的实时性；本系统上位机接收各个节点以及摄像机采集的视频等多模态信息进行数据分析，将采集到的肌电、惯性、视频等信息进行分类筛选出来，然后预处理。将肌电信息作为一种运动线索，与图像信息进行融合，而图像事先分成若干个区域，肌电信息引导图像检测方法快速定位大概率存在运动的区域，进行运动检测，使其快速完成动作捕捉，提高了系统的实时性，节约了系统运算资源。同时各个节点提供的九轴惯性信息也可以通过计算的位姿状态实现动作的捕捉，但位姿计算会因传感器的误差随着时间逐渐累积。本系统中将惯性信息得到的结果和肌电配合视频信息的检测结果进行关联，再次进行融合动作捕捉，以此得到本系统的最终结果。提高并完成对信号的特征提取。数据融合与动作捕捉流程图如图9所示。
如图10所示，图10为本发明实施例人体动作捕捉方法流程图，所述捕捉方法包括：
步骤101：获取人体的视频数据集、肌电数据集以及惯性信号数据集。
步骤102：对所述视频数据集、所述肌电数据集以及所述惯性信号数据集进行预处理。
步骤103：将预处理后的视频数据集和预处理后的肌电数据集进行匹配融合。
步骤104：对匹配融合后的视频数据集和肌电数据集进行特征提取和动作捕捉。
步骤105：将预处理后的惯性信号数据集进行特征提取和动作捕捉。
步骤106：将动作捕捉后的视频数据集、肌电数据集以及动作捕捉后的惯性信号数据集进行关联和融合动作捕捉，实现最终动作捕捉。
具体的，本发明中的上述方法
具体的，所述将预处理后的视频数据集和预处理后的肌电数据集进行匹配融合具体包括：
在一个时间窗口T内利用张量扩充法将肌电数据集T*F按照图像分割法进行扩充，得到肌电信号T*W*H；
将所述肌电信号T*W*H信号与视频数据集信号T*3*W*H进行融合，得到T*4*W*H；即与图像信号融合生成肌电信号与人体分割部位匹配的T*4*W*H；
其中，F表示肌电信号的幅度，T表示时间窗口的长度，W表示视频图像的宽度，H表示视频图像的高度。
具体的，所述将动作捕捉后的视频数据集、肌电数据集以及动作捕捉后的惯性信号数据集进行关联和融合动作捕捉具体采用加权融合、二次线性拟合以及平滑滤波的方法。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种人体动作捕捉系统，其特征在于，所述捕捉系统包括：
多模态采集传感器、上位机、路由器以及摄像机；
所述多模态采集传感器分布于人体的各个肢体部位，用于采集人体的姿态信息，并将所述姿态信息通过所述路由器传输至所述上位机；
所述摄像机用于拍摄人体姿态视频，并将所述姿态视频通过所述路由器传输至所述上位机；
所述多模态采集传感器包括：电源电路、微处理器、wifi模块、复位电路、晶振电路、生理电信号调理电路以及惯性信息采集电路；
所述电源电路用于向所述微处理器、wifi模块、复位电路、晶振电路、生理电信号调理电路以及惯性信息采集电路提供电压；
所述复位电路与所述微处理器连接，所述复位电路用于上电复位；
所述晶振电路与所述微处理器连接，所述晶振电路用于提供时间基准；
所述生理电信号调理电路与所述微处理器连接，所述生理电信号调理电路用于采集人体的肌电信号；
所述惯性信息采集电路与所述微处理器连接，所述惯性信息采集电路用于采集人体惯性信息；
所述微处理器用于根据所述惯性信息获得人体运动进程和姿态；
所述微处理器还用于根据所述人体的肌电信号获取人体运动的内在信息；
所述微处理器还用于通过所述wifi模块与所述路由器连接，实现与外界通讯。
2.根据权利要求1所述的人体动作捕捉系统，其特征在于，所述生理电信号调理电路具体包括：干电极、仪表放大器、高通滤波器、主放大电路以及低通滤波器；
所述干电极用于测量肌电信号，并将所述肌电信号发送至所述仪表放大器进行一级放大，得到一级放大后的肌电信号，并将所述一级放大后的肌电信号发送至所述高通滤波器进行高通滤波，将滤波后的肌电信号发送至所述主放大电路进行二级放大，得到二级放大后的肌电信号，并将二级放大后的肌电信号发送至低通滤波器进行低通滤波。
3.根据权利要求1所述的人体动作捕捉系统，其特征在于，所述惯性信息采集电路包括：芯片、三轴陀螺仪、三轴加速度计以及三轴磁力计；
所述三轴陀螺仪与所述芯片连接，所述三轴陀螺仪用于测量人体的位置以及移动轨迹；
所述三轴加速度计与所述芯片连接，所述三轴加速度计用于测量人体的加速度；
所述三轴磁力计与所述芯片连接，所述三轴磁力计用于测量磁场强度和方向；
所述芯片用于将所述人体的位置、移动轨迹、加速度、磁场强度和方向传送至微处理器。
4.根据权利要求1所述的人体动作捕捉系统，其特征在于，所述电源电路采用聚合物理电池对多模态采集传感器供电，并包含五种电压，分别为+5V、-5V、+3.3V、+2.5V以及+1.25V。
5.根据权利要求3所述的人体动作捕捉系统，其特征在于，所述芯片与所述微处理器之间通过I2C或者SPI数据接口进行数据交换。
6.一种人体动作捕捉方法，其特征在于，所述捕捉方法包括：
获取人体的视频数据集、肌电数据集以及惯性信号数据集；
对所述视频数据集、所述肌电数据集以及所述惯性信号数据集进行预处理；
将预处理后的视频数据集和预处理后的肌电数据集进行匹配融合；
对匹配融合后的视频数据集和肌电数据集进行特征提取和动作捕捉；
将预处理后的惯性信号数据集进行特征提取和动作捕捉；
将动作捕捉后的视频数据集、肌电数据集以及动作捕捉后的惯性信号数据集进行关联和融合动作捕捉，实现最终动作捕捉。
7.根据权利要求6所述的人体动作捕捉方法，其特征在于，所述将预处理后的视频数据集和预处理后的肌电数据集进行匹配融合具体包括：
在一个时间窗口T内利用张量扩充法将肌电数据集T*F按照图像分割法进行扩充，得到肌电信号T*W*H；
将所述肌电信号T*W*H信号与视频数据集信号T*3*W*H进行融合，得到T*4*W*H；其中，F表示肌电信号的幅度，T表示时间窗口的长度，W表示视频图像的宽度，H表示视频图像的高度。
8.根据权利要求6所述的人体动作捕捉方法，其特征在于，所述将动作捕捉后的视频数据集、肌电数据集以及动作捕捉后的惯性信号数据集进行关联和融合动作捕捉具体采用加权融合、二次线性拟合以及平滑滤波的方法。
CN202010268190.0A 2019-12-25 2020-04-08 一种人体动作捕捉系统及方法 Active CN111475024B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2019113556403 2019-12-25
CN201911355640 2019-12-25

Publications (2)

Publication Number Publication Date
CN111475024A true CN111475024A (zh) 2020-07-31
CN111475024B CN111475024B (zh) 2024-04-16

Family

ID=71749982

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010268190.0A Active CN111475024B (zh) 2019-12-25 2020-04-08 一种人体动作捕捉系统及方法

Country Status (1)

Country Link
CN (1) CN111475024B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111861275A (zh) * 2020-08-03 2020-10-30 河北冀联人力资源服务集团有限公司 家政工作模式的识别方法和装置
CN112890823A (zh) * 2021-01-22 2021-06-04 深圳市润谊泰益科技有限责任公司 生理数据采集方法、系统及存储介质
CN113269159A (zh) * 2020-09-29 2021-08-17 中国人民解放军军事科学院国防科技创新研究院 一种融合肌电信号与视觉图像的手势识别方法
CN113791692A (zh) * 2021-09-28 2021-12-14 歌尔光学科技有限公司 交互方法、终端设备及可读存储介质
TWI790764B (zh) * 2021-09-30 2023-01-21 宏碁股份有限公司 三維手勢偵測裝置及三維手勢偵測方法
CN116072253A (zh) * 2023-03-16 2023-05-05 江苏铁人科技有限公司 一种人体数据实时捕捉系统
CN117095472A (zh) * 2023-10-18 2023-11-21 广州华夏汇海科技有限公司 基于ai的泳姿犯规动作判断方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104379056A (zh) * 2012-03-27 2015-02-25 B10尼克斯有限公司 用于肌肉活动的采集和分析的系统及其操作方法
CN109171720A (zh) * 2018-09-20 2019-01-11 中国科学院合肥物质科学研究院 一种肌电惯性信号和视频信息同步采集装置及方法
CN110231864A (zh) * 2019-04-30 2019-09-13 国网江苏省电力有限公司常州供电分公司 变电站虚拟环境中的精准手势识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104379056A (zh) * 2012-03-27 2015-02-25 B10尼克斯有限公司 用于肌肉活动的采集和分析的系统及其操作方法
CN109171720A (zh) * 2018-09-20 2019-01-11 中国科学院合肥物质科学研究院 一种肌电惯性信号和视频信息同步采集装置及方法
CN110231864A (zh) * 2019-04-30 2019-09-13 国网江苏省电力有限公司常州供电分公司 变电站虚拟环境中的精准手势识别方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111861275A (zh) * 2020-08-03 2020-10-30 河北冀联人力资源服务集团有限公司 家政工作模式的识别方法和装置
CN111861275B (zh) * 2020-08-03 2024-04-02 河北冀联人力资源服务集团有限公司 家政工作模式的识别方法和装置
CN113269159A (zh) * 2020-09-29 2021-08-17 中国人民解放军军事科学院国防科技创新研究院 一种融合肌电信号与视觉图像的手势识别方法
CN112890823A (zh) * 2021-01-22 2021-06-04 深圳市润谊泰益科技有限责任公司 生理数据采集方法、系统及存储介质
CN112890823B (zh) * 2021-01-22 2023-10-13 深圳市润谊泰益科技有限责任公司 生理数据采集方法、系统及存储介质
CN113791692A (zh) * 2021-09-28 2021-12-14 歌尔光学科技有限公司 交互方法、终端设备及可读存储介质
TWI790764B (zh) * 2021-09-30 2023-01-21 宏碁股份有限公司 三維手勢偵測裝置及三維手勢偵測方法
CN116072253A (zh) * 2023-03-16 2023-05-05 江苏铁人科技有限公司 一种人体数据实时捕捉系统
CN117095472A (zh) * 2023-10-18 2023-11-21 广州华夏汇海科技有限公司 基于ai的泳姿犯规动作判断方法及系统
CN117095472B (zh) * 2023-10-18 2024-02-20 广州华夏汇海科技有限公司 基于ai的泳姿犯规动作判断方法及系统

Also Published As

Publication number Publication date
CN111475024B (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
CN111475024B (zh) 一种人体动作捕捉系统及方法
CN110876613B (zh) 一种人体运动状态识别方法、系统及电子设备
CN104731307B (zh) 一种体感动作识别方法及人机交互装置
CN111820893A (zh) 一种便携的无线穿戴式肌肉运动信号采集系统
US20220044043A1 (en) Integrated circuit and sensor data processing method
CN212729816U (zh) 一种人体动作捕捉系统
CN108471234B (zh) 一种电压控制电路及其控制方法、移动终端
CN104503321A (zh) 一种适用于体感或声音控制的超低功耗无线智能控制系统
WO2020207071A1 (zh) 一种健身动作识别方法、系统及电子设备
CN110348275A (zh) 手势识别方法、装置、智能设备及计算机可读存储介质
CN109491507A (zh) 基于fdc2214的手势识别装置
CN109171720A (zh) 一种肌电惯性信号和视频信息同步采集装置及方法
WO2018014432A1 (zh) 语音应用触发控制方法、装置及终端
CN107450672A (zh) 一种高识别率的腕式智能装置
Brückner et al. Mobile and wireless inertial sensor platform for motion capturing in stroke rehabilitation sessions
CN115686252B (zh) 触控屏中的位置信息计算方法和电子设备
CN112099669B (zh) 用于腕背部手势识别的驻极体电容式压力传感器单元阵列
CN205080502U (zh) 生物信号手势识别设备
CN112075938A (zh) 分布式数据采集系统、方法及存储介质
CN210864620U (zh) 一种基于惯性技术的人体手势识别系统
Lovell A system for real-time gesture recognition and classification of coordinated motion
CN205788742U (zh) 一种体感遥控器
CN216067465U (zh) 基于惯性传感器的医用体感机器人系统
CN109589088A (zh) 人体步态采集设备及采集方法
CN213876784U (zh) 一种手势动作捕捉戒指

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 306, building 4, future venture Plaza, hi tech Zone, Jinan City, Shandong Province

Applicant after: Shandong Zhongke advanced technology Co.,Ltd.

Applicant after: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Address before: Room 306, building 4, future pioneer Plaza, high tech Zone, Jinan City, Shandong Province

Applicant before: Shandong Zhongke Advanced Technology Research Institute Co.,Ltd.

Applicant before: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

GR01 Patent grant
GR01 Patent grant