CN110327595A - 基于可穿戴传感器的动作捕捉识别与评估装置及方法 - Google Patents
基于可穿戴传感器的动作捕捉识别与评估装置及方法 Download PDFInfo
- Publication number
- CN110327595A CN110327595A CN201910387179.3A CN201910387179A CN110327595A CN 110327595 A CN110327595 A CN 110327595A CN 201910387179 A CN201910387179 A CN 201910387179A CN 110327595 A CN110327595 A CN 110327595A
- Authority
- CN
- China
- Prior art keywords
- sample
- wearable sensors
- data
- motion capture
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 39
- 230000009471 action Effects 0.000 claims abstract description 38
- 238000004891 communication Methods 0.000 claims abstract description 27
- 238000005259 measurement Methods 0.000 claims abstract description 25
- 238000012360 testing method Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 18
- 230000037147 athletic performance Effects 0.000 claims abstract description 14
- 238000000605 extraction Methods 0.000 claims abstract description 13
- 238000002372 labelling Methods 0.000 claims abstract description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 230000001133 acceleration Effects 0.000 claims description 10
- 230000001360 synchronised effect Effects 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000007635 classification algorithm Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 6
- 238000012706 support-vector machine Methods 0.000 claims description 6
- 238000003066 decision tree Methods 0.000 claims description 5
- 230000005484 gravity Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 abstract description 10
- 230000005540 biological transmission Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 210000003414 extremity Anatomy 0.000 description 5
- 210000002683 foot Anatomy 0.000 description 5
- 238000000354 decomposition reaction Methods 0.000 description 4
- 230000009191 jumping Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 210000003423 ankle Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000032258 transport Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
- A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
- G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
- A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
- A63B2024/0012—Comparing movements or motion sequences with a registered reference
- A63B2024/0015—Comparing movements or motion sequences with computerised simulations of movements or motion sequences, e.g. for generating an ideal template as reference to be achieved by the user
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
- A63B2024/0071—Distinction between different activities, movements, or kind of sports performed
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physical Education & Sports Medicine (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明涉及动作捕捉技术领域，公开了一种基于可穿戴传感器的动作捕捉识别与评估装置及方法，包括惯性测量单元、无线通信模块以及电源模块，所述惯性测量单元用于采集运动员肢体中的一个或多个运动动作的运动数据；以及数据处理平台，所述数据处理平台通过所述无线通信模块与所述可穿戴传感器进行无线通信连接，所述方法包括运动数据采集；采集样本，并将其随机分为训练样本以及测试样本两部分；根据训练样本进行样本标记、特征提取、特征学习与模型训练，建立动作识别模型；根据测试样本对动作识别模型进行测试。本发明的技术方案可用于分析一个或多个肢体运动的运动动作捕捉识别与实时规范性分析评估，低成本，易于使用。
Description
技术领域
本发明涉及动作识别技术领域，特别涉及一种基于可穿戴传感器的动作捕捉识别与评估装置及方法。
背景技术
动作捕捉，又称运动捕捉，技术涉及尺寸测量、物理空间里物体的定位及方位测定等方面可以由计算机直接理解处理的数据。在运动物体的关键部位设置跟踪器，由Motioncapture系统捕捉跟踪器位置，再经过计算机处理后得到三维空间坐标的数据。当数据被计算机识别后，可以应用在动画制作，步态分析，生物力学，人机工程等领域。
体育活动在全世界范围内广受欢迎，适合休闲爱好者通过精英或职业球员。运动员通过肢体摆动以进行许多运动动作(例如，吊球，截击，下落，尖刺，粉碎，发球，清除，返回等)。运动员可以通过惯性传感器捕捉分析他们在运动中使用的一种或多种运动动作(例如，关键，基本和/或经常重复的运动动作)的表现，来寻求改善他们对所选运动的表现。
然而，目前现有的动作捕捉识别系统大多采用的是高速摄像系统，设备通常非常昂贵，因此传统的动作捕捉识别系统的实施和使用成本都很高，无法实时为运动员提供运动学分析。
发明内容
本发明的主要目的是提出一种基于可穿戴传感器的动作捕捉识别与评估装置及方法，旨在解决现有的动作捕捉识别与评估采用高速摄像系统成本高，无法实时为运动员提供运动学分析的技术问题。
根据本发明的第一个主要方面，提出一种基于可穿戴传感器的动作捕捉识别与评估装置，包括：
可穿戴传感器，所述可穿戴传感器包括传感器本体，所述传感器本体内设有线路板，所述传感器本体的外周壁设有充电接口，所述线路板上设有惯性测量单元、无线通信模块以及电源模块，所述惯性测量单元用于采集运动员肢体中的一个或多个运动动作的运动数据；以及
数据处理平台，所述数据处理平台通过所述无线通信模块与所述可穿戴传感器进行无线通信连接，所述数据处理平台用于获取所述可穿戴传感器的运动数据，识别和/或评估正在进行的一个或多个运动动作。
可选地，所述惯性测量单元包括3轴重力加速度传感器和3轴陀螺仪传感器。
可选地，所述惯性测量单元采用BMI160集成传感器芯片。
可选地，所述无线通信模块采用DA14583无线蓝牙芯片。
可选地，所述可穿戴传感器还包括柔性固定带，所述传感器本体设置在所述柔性固定带上。
可选地，所述柔性固定带具有第一自由端和第二自由端，所述第二自由端设有多个沿宽度方向延伸的开口槽，所述第一自由端可活动的穿设于所述开口槽设置。
可选地，所述柔性固定带可佩戴于手腕和/或脚踝上。
可选地，所述数据处理平台包括智能移动终端设备、个人计算机以及云服务器，所述智能移动终端设备和个人计算机分别通过所述无线通信模块与所述可穿戴传感器无线通信连接，所述云服务器通过网络分别与所述智能移动终端设备和个人计算机通信连接。
可选地，所述网络包括局域网和广域网。
可选地，所述数据处理平台还包括图像采集设备，所述图像采集设备分别与所述智能移动终端设备、个人计算机以及云服务器连接。
根据本发明的第二个主要方面，提供一种基于可穿戴传感器的动作捕捉识别与评估方法，包括：
运动数据采集；
采集样本，并将其随机分为训练样本以及测试样本两部分；
根据训练样本进行样本标记、特征提取、特征学习与模型训练，建立动作识别模型；以及
根据测试样本对动作识别模型进行测试。
可选地，所述的运动数据采集还包括，将采集的运动数据加上序号和数据生成时的时间戳，所述运动数据包括运动的三轴加速度数据与三轴角速度数据，利用线性数值插值对采样率较低的所述三轴角速度数据进行重建，以使其与所述三轴加速度数据同步。
可选地，所述根据训练样本进行样本标记、特征提取、特征学习与模型训练，建立动作识别模型还包括，标记所述训练所需样本对应的动作类型。
可选地，所述根据训练样本进行样本标记、特征提取、特征学习与模型训练，建立动作识别模型还包括，对获得的训练所需样本，提取以下特征中的一种或多种：
绝对值均值、绝对值均值比、方差、峰度、偏度、均方根、平均绝对偏差、过零率、能量、相关系数、模型系数、四分位差、小波能量、分形维数、小波峰；利用模式分类算法进行计算，基于提取的一种或多种所述特征而获得模型参数，以得到动作识别模型。
可选地，所述模式分类算法选自由决策树、贝叶斯网络、人工神经网络、 K－近邻、支持向量机、Boosting等算法组成的组。
可选地，根据测试样本对动作识别模型进行测试包括，利用所述测试所需样本重复进行所述特征提取，然后对所述动作识别模型的动作识别效果进行评估。
采用本发明的技术方案，具有以下有益效果：本发明的技术方案，通过可穿戴传感器随手部或脚部一起运动，传感器本体内设有的惯性测量芯片可实现无感应的手部或手部动作捕捉识别，并将数据通过无线通信模块提供给后台云服务器，后台云服务器软件通过三维成像原理和图像识别算法，完美捕捉到手部或脚部的动作轨迹，与后台标准动作数据库对比，为运动员提供实时的运动动作识别与动作标准规范性分析评估，实时且相对准确可靠的识别与矫正不规范动作的运动，有助于提高运动员训练水平，并且低成本，易于使用。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明一实施例的一种基于可穿戴传感器的动作捕捉识别与评估装置的整体结构示意图；
图2为本发明一实施例的一种基于可穿戴传感器的动作捕捉识别与评估装置的可穿戴传感器的分解结构示意图；
图3为本发明一实施例的一种基于可穿戴传感器的动作捕捉识别与评估装置的可穿戴传感器的内部结构图；
图4为本发明一实施例的一种基于可穿戴传感器的动作捕捉识别与评估装置的可穿戴传感器的惯性测量单元电路原理图；
图5为本发明一实施例的一种基于可穿戴传感器的动作捕捉识别与评估装置的可穿戴传感器无线通信模块电路原理图；
图6为本发明一实施例的一种基于可穿戴传感器的动作捕捉识别与评估方法的流程图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
本发明提出一种基于可穿戴传感器的动作捕捉识别与评估装置。
如图1至图5所示，在本发明一实施例中，该基于可穿戴传感器的动作捕捉识别与评估装置100，包括：
可穿戴传感器110，所述可穿戴传感器110包括传感器本体230，所述传感器本体230内设有线路板210，所述传感器本体230的外周壁设有充电接口 240，所述线路板210上设有惯性测量单元212、无线通信模块211以及电源模块(未图示)，所述惯性测量单元212用于采集运动员101肢体中的一个或多个运动动作的运动数据；以及
数据处理平台120，所述数据处理平台120通过所述无线通信模块211与所述可穿戴传感器110进行无线通信连接，所述数据处理平台120用于获取所述可穿戴传感器110的运动数据，识别和/或评估正在进行的一个或多个运动动作。
具体地，所述惯性测量单元212包括3轴重力加速度传感器和3轴陀螺仪传感器。
具体地，所述惯性测量单元212采用Bosch公司的BMI160集成传感器芯片，具体的电路原理图如4所示，通过将16位3轴超低重力加速度计和超低功耗3轴陀螺仪集成于单一封装，MI160芯片采用14管脚LGA封装，尺寸为2.5mm×3.0mm×0.8mm。当加速度计和陀螺仪在全速模式下运行时，耗电典型值低至950μA，仅为市场上同类产品耗电量的50％或者更低，它的体积小，灵敏度高，支持I2C或SPI接口，通过加速度传感器和陀螺仪传感器集成到了一块很小的芯片上形成惯性测量单元，可以直接向外输出数字信号和放大后的模拟信号，可以很好地将加速度传感器和陀螺仪传感器设计在一块不大的电路板上，可以有效减小动作捕捉传感器总成的体积，降低产品成本，便于安装和布置。
具体地，所述无线通信模块211采用Dialog的DA14583无线蓝牙芯片，具体的电路原理图如图5所示，无线蓝牙芯片通过SPI读取BMI160传感器数据，然后通过蓝牙信号将采集的数据传输给智能终端设备和个人计算机。
具体地，如图2所示，本实施例中，所述可穿戴传感器110还包括柔性固定带220，所述传感器本体230设置在所述柔性固定带220上。
具体地，所述柔性固定带220具有第一自由端221和第二自由端222，所述第二自由端222设有多个沿宽度方向延伸的开口槽223，所述第一自由端221可活动的穿设于所述开口槽223设置，方便佩戴固定。
具体地，所述柔性固定带220可佩戴于手腕和/或脚踝上。
具体地，如图1所示，所述数据处理平台120包括智能移动终端设备121、个人计算机122以及云服务器123，所述智能移动终端设备121和个人计算机 122分别通过所述无线通信模块211与所述可穿戴传感器110无线通信连接，所述云服务器123通过网络130分别与所述智能移动终端设备121和个人计算机122通信连接，后台云服务器设有多个以专业运动员为标准建立的运动状态参数标准库，能够为不同身材，进行不同运动的训练者做参照标准，通过对比分析可评估动作的标准程度，大大方便地用于教学和训练，有助于提高运动员的训练水平。
具体地，所述网络130包括局域网和广域网。
具体地，如图1所示，所述数据处理平台120还包括图像采集设备140，所述图像采集设备140分别与所述智能移动终端设备121、个人计算机122以及云服务器123连接，图像采集设备140用于记录整个实验过程，运动员执行各种动作，用于标记分类类型和分析从可穿戴传感器110收到的惯性信息，并进行验证，从建立模型中学习以识别来自不同运动员的不同运动动作和水平，一旦验证传感器信息，和/或建立适当的模型如果已经完成，则可以从本实施例的数据处理平台120中省略图像捕获设备140。
具体地，通过可穿戴传感器随手部或脚部一起运动，传感器本体内设有的惯性测量芯片可实现无感应的手部或手部动作捕捉识别，并将数据通过无线通信模块提供给后台云服务器，可用于分析一个或多个肢体运动的运动动作捕捉识别与实时分析，低成本，易于使用，通过智能惯性测量传感器和智能终端设备App及个人计算机、云服务器配合使用，十分方便，易于推广。
本发明还提出一种基于可穿戴传感器的动作捕捉识别与评估方法，具体流程图如图6所示，包括：
步骤S1：运动数据采集；
步骤S2：采集样本，并将其随机分为训练样本以及测试样本两部分；
步骤S3：根据训练样本进行样本标记、特征提取、特征学习与模型训练，建立动作识别模型；以及
步骤S4：根据测试样本对动作识别模型进行测试。
步骤S1：运动数据采集
本环节分为三个步骤，基本任务是从含有数据测量装置的手环设备中读取惯性测量传感器的原始测量数据，之后把数据通过蓝牙传输到终端设备(手机、平板电脑或PC)，并由后者进行必要的传感器信号重建和同步。具体步骤如下：
(a)动作数据采集
手环设备里面设置有加速度计和陀螺仪，分别提供三轴的加速度测量值和角速度测量值。然后以符合蓝牙通信协议(例如BLE4.0蓝牙传输协议)的合适的数据组织格式把这些测量值打包。
(b)通过蓝牙传输数据
采用BLE4.0的蓝牙传输协议传输上述测量值的数据包，每次传送若干组这样的数据包。这种蓝牙传输协议为当前大多数设备所支持，而且也是一种低功耗的蓝牙传输协议，可用于延长设备的续航时间和减少电池的容量。数据接收端将可解析的指令发送给手环，手环接收到该数据就会开启本地传感器的数据测量，手环将不停更新的数据通过蓝牙传输协议发送给数据接收端，具体步骤如下：
(1)客户端初始化配置：
安装在诸如手机、平板电脑、电脑等的计算设备上的客户端初始化并开启蓝牙，向手环蓝牙层发送控制指令，开启蓝牙监听，准备好接收手环的传感器数据。
(2)发送端组织数据：每10ms手环上的两个传感器会上报本地实时数据到手环控制系统层。
手环控制系统层会将当前获取的传感器数据加上序号和数据生成的时间戳，调用蓝牙传输层，发送给客户端。
(3)客户端收到数据后，根据收到的数据包序号和时间戳，通过线性插值计算，进行信号重建，将数据处理成平滑的数据，以减少数据序号不连续和时间戳不均匀造成的信号失真的影响。下面的(c)步具体说明了如何进行该信号重建。
(c)传感器信号重建和同步
因为加速度计和陀螺仪数据的采样时刻和采样率很难达到同步，所以对往往采样率较低的陀螺仪数据采用数据插值的方法重建，以便与加速度计的时刻进行同步。下面以最常用的线性插值方法为例，具体步骤如下：
假设陀螺仪在t1时刻的数据为G(t1)，陀螺仪在t2时刻的数据为G(t2)，求陀螺仪在t1时刻与t2时刻间的时刻t的数据值G(t)，具体如下：
具体地，以如何获得陀螺仪在时刻t＝[03:51:49.384]数值为例，来说明利用原始陀螺仪数据重建和同步的过程：
第一步.找到与加速度时刻t＝[03:51:49.384]时间相近的前后陀螺仪数据时刻t1＝[03:51:49.376]和t2＝[03:51:49.387]的数据，
第二步，通过采用线性插值方法计算时刻t＝[03:51:49.384]的陀螺仪数据，代入如上公式，即可得到G(t＝[03:51:49.384])时刻数据值。
第三步，重复以上两个步骤，即可得到重建后的与加速度计时刻同步的陀螺仪数据。
步骤S2：采集样本，并将其随机分为训练样本以及测试样本两部分，让儿童佩戴手环，并引导儿童做指定动作(如跳跃、下蹲、向左跳、向右跳等)，从而收集儿童做指定动作的样本。并且将收集来的样本随机分为两部分，一部分作为训练所需样本集，另一部分为测试所需样本集。
步骤S3：根据训练样本进行样本标记、特征提取、特征学习与模型训练，建立动作识别模型。
对于步骤S3分出的训练所需样本集，进行样本的特征学习与模型训练，具体步骤如下：
(a)对训练所需样本集中的样本类别进行标记，将数据标记为跳跃、下蹲、向左跳、向右跳等。
(b)特征提取
利用上述分类好的每组标准数据，提取如下18个特征(其中模型系数有3 个特征，小波峰有2个特征，共计18个)中的一个或多个特征，具体地，这些特征分别是：
若样本为m×n维矩阵(αij)i＝1,...,m,j＝1,…,n,m表示截取的信号长度，即所取的若干个时刻的信号数目，n＝6表示信号的6个通道，也即陀螺仪的3 个通道x,y,z以及加速度计的3个通道x,y,z；B＝(bij)i＝1,...,18,j＝1，…，6，是18×6维矩阵，其表示样本对应的特征矩阵。
1.绝对值均值：
2.绝对值均值比：
3.方差：样本每列的二阶中心矩，其可以通过下式计算：
4.峰度：样本每列的四阶中心矩，其可以通过下式计算：
μ代表均值，σ代表均方根
5.偏度，即样本每列的三阶中心矩，其可以通过下式计算：
6.均方根，其可以通过下式计算：
7.平均绝对偏差，其可以通过下式计算：
8.过零率：其表示数据从正数变负数，或从负数变正数的次数。
9.能量：即傅里叶变换的系数平方和，其可以通过下式计算。
10.相关系数
X，Y两信号通道的相关系数可用下式计算。
其中，cov(X,Y)代表X与Y的协方差，δX，δX为X和Y的标准差。
11.模型系数(3个)
先对每通道的数据进行AR(自回归)建模，即
其中，αi(n)是第i通道的数据，μ(n)是方差为σ2的白噪声序列，p是AR 模型的阶数，λ是AR模型的系数，可以通过Burg算法求得。我们取p＝4，选取λ2，λ3，λ4作为特征来提取。
12.四分位差：四分位差用于描述数据的分散程度，其计算方法为将数据从大到小排列后，计算第三四分位数与第一四分位数的差距。
13.小波能量
对每一通道的数据都基于多分辨率分析的小波变换进行分解，得到：
其中，是细节系数，是近似系数，是小波函数，定义为是尺度函数，定义为j是表示伸缩尺度的变量，k是表示时间的变量，J是分解层数。
小波能量(WE)等于分解后小波细节系数的平方和。我们选择db5小波作为母小波，提取第4层和第5层的高频细节系数分量。
14.分形维数
计算分形维数的公式如下，式中ε是小立方体一边的长度，N(ε)是用此小立方体覆盖被测形体所得的数目，维数公式意味着通过用边长为ε的小立方体覆盖被测形体来确定形体的维数。
15.小波峰(2个，峰值和峰值数)
利用db4小波对加速度幅值和陀螺仪幅值分别进行7层分解，并检测出第四层近似系数的峰值。
小波峰数量：第四层近似系数的峰值的数量。
小波峰均值：第四层近似系数的峰值的平均值。
(c)训练数据
随机选取一定数量的以上特征组合，利用某些模式分类算法(包括且不限于诸如决策树、贝叶斯网络、人工神经网络、K－近邻、支持向量机、Boosting 等)，经过计算，从上述特征中获得所选取模式分类算法的模型参数，进而得到动作识别模型。
如利用支持向量机算法，那么获取wTx+b＝0中的ω和b的参数值；如利用K－近邻算法，那么获取特征向量之间合适的距离测度；如利用人工神经网络算法，那么获取网络节点的权值的偏置值。本领域技术人员熟知如何利用上述算法进行数据训练以获得相关动作识别模型，故在此不再赘述。
第四步、利用测试所需样本对动作识别模型进行测试
利用第二步S2取得的测试用样本集，重复第三步中的(b)步骤提取特征，把该特征放入动作识别模型中计算匹配，得到分类结果，即识别出来该动作的具体类型(跳跃还是下蹲，左跳还是右跳等等)。
以上，是对本实时动作识别方法的基本步骤的一般说明。下面，将结合具体实施方式对利用本方法对一些特定动作进行实时识别进行进一步说明。
实施方式一、实时识别跳跃动作的方法
受试者s人，每人做跳跃、下蹲、向左跳、向右跳动作各d次，则每类动作各得到sd个动作数据，从每个动作数据的起点开始，取f点前后相继的时刻数据，这样就提取到一个时间长度为f的动作数据片段，陀螺仪和加速度计合计有6个信号通道，则该动作的数据片段共有6f个测量值；对于该数据片段的每个通道，各提取18个特征，6通道就可以获取108个特征，这样每类动作共计获得sd组、每组108个特征的样本；随机从特征样本中选择1/10 的作为测试样本，其余的大部分作为训练样本；选取任一模式分类算法(包括且不限于诸如决策树、贝叶斯网络、人工神经网络、K-近邻、支持向量机、 Boosting等)。为简化说明，采用训练时间复杂度为0的K－邻近方法对训练样本进行数据训练进而得到动作识别模型。
最后步骤S4：取测试样本作为测试，以检验分类正确率。
具体地，对四类不同动作(原地向上跳跃、向左跳、向右跳、下蹲)，每种动作类型获取sd/10组数据，分别计算其各自特征，把这些特征放入已经训练好的模型中计算匹配，得到每个动作的分类结果，如观察是否跳跃动作被识别为跳跃，下蹲动作是否被识别为下蹲，它们被正确分类的比率又是多少。测试结果表明，这些动作的识别正确率均能达到90％～95％的程度。
该套产品巧妙地应用模式识别算法，提取动作信息的特征，对动作进行分类，其运算速度快，分类准确，能够将硬件与软件技术很好地统一起来。该套产品具体具有如下特点：
1.硬件设计简单。
纯软件处理算法，除了采集数据所需传感器，不需要任何额外的硬件设计配合。
2.检测算法简单。
其利用成熟的模式识别算法，包括且不限于诸如决策树、贝叶斯网络、人工神经网络、K－近邻、支持向量机、Boosting等。
3.计算速度快
每次分类检测耗时在150ms左右。
4.检测性能稳定
本发明的技术方案，通过可穿戴传感器随手部或脚部一起运动，传感器本体内设有的惯性测量芯片可实现无感应的手部或手部动作捕捉识别，并将数据通过无线通信模块提供给后台云服务器，后台云服务器软件通过三维成像原理和图像识别算法，完美捕捉到手部或脚部的动作，为运动员提供实时运动分析，与后台标准动作数据库进行对比，评估出动作的规范性，并通过移动智能终端或个人计算机呈现，用户可随时随地记录自己的动作并观看，有助于提高运动员训练水平，本发明可用于分析一个或多个肢体运动的运动动作捕捉识别与实时分析，低成本，易于使用，通过智能惯性测量传感器和智能终端设备App及个人计算机、云服务器配合使用，十分方便，易于推广。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。
Claims (10)
1.一种基于可穿戴传感器的动作捕捉识别与评估装置，其特征在于，包括：
可穿戴传感器，所述可穿戴传感器包括传感器本体，所述传感器本体内设有线路板，所述传感器本体的外周壁设有充电接口，所述线路板上设有惯性测量单元、无线通信模块以及电源模块，所述惯性测量单元用于采集运动员肢体中的一个或多个运动动作的运动数据；以及
数据处理平台，所述数据处理平台通过所述无线通信模块与所述可穿戴传感器进行无线通信连接，所述数据处理平台用于获取所述可穿戴传感器的运动数据，识别和/或评估正在进行的一个或多个运动动作。
2.根据权利要求1所述的基于可穿戴传感器的动作捕捉识别与评估装置，其特征在于，所述惯性测量单元采用BMI160集成传感器芯片，所述惯性测量单元包括3轴重力加速度传感器和3轴陀螺仪传感器。
3.根据权利要求2所述的基于可穿戴传感器的动作捕捉识别与评估装置，其特征在于，所述可穿戴传感器还包括柔性固定带，所述传感器本体设置在所述柔性固定带上，所述柔性固定带具有第一自由端和第二自由端，所述第二自由端设有多个沿宽度方向延伸的开口槽，所述第一自由端可活动的穿设于所述开口槽设置。
4.根据权利要求1所述的基于可穿戴传感器的动作捕捉识别与评估装置，其特征在于，所述数据处理平台包括智能移动终端设备、个人计算机以及云服务器，所述智能移动终端设备和个人计算机分别通过所述无线通信模块与所述可穿戴传感器无线通信连接，所述云服务器通过网络分别与所述智能移动终端设备和个人计算机通信连接。
5.根据权利要求1所述的基于可穿戴传感器的动作捕捉识别与评估方法，其特征在于，包括：
运动数据采集；
采集样本，并将其随机分为训练样本以及测试样本两部分；
根据训练样本进行样本标记、特征提取、特征学习与模型训练，建立动作识别模型；以及
根据测试样本对动作识别模型进行测试。
6.根据权利要求5所述的基于可穿戴传感器的动作捕捉识别与评估方法，其特征在于，所述的运动数据采集还包括，将采集的运动数据加上序号和数据生成时的时间戳，所述运动数据包括运动的三轴加速度数据与三轴角速度数据，利用线性数值插值对采样率较低的所述三轴角速度数据进行重建，以使其与所述三轴加速度数据同步。
7.根据权利要求5所述的基于可穿戴传感器的动作捕捉识别与评估方法，其特征在于，所述根据训练样本进行样本标记、特征提取、特征学习与模型训练，建立动作识别模型还包括，标记所述训练所需样本对应的动作类型。
8.根据权利要求7所述的基于可穿戴传感器的动作捕捉识别与评估方法，其特征在于，所述根据训练样本进行样本标记、特征提取、特征学习与模型训练，建立动作识别模型还包括，对获得的训练所需样本，提取以下特征中的一种或多种：
绝对值均值、绝对值均值比、方差、峰度、偏度、均方根、平均绝对偏差、过零率、能量、相关系数、模型系数、四分位差、小波能量、分形维数、小波峰；利用模式分类算法进行计算，基于提取的一种或多种所述特征而获得模型参数，以得到动作识别模型。
9.根据权利要求8所述的基于可穿戴传感器的动作捕捉识别与评估方法，其特征在于，所述模式分类算法选自由决策树、贝叶斯网络、人工神经网络、K－近邻、支持向量机、Boosting等算法组成的组。
10.根据权利要求8所述的基于可穿戴传感器的动作捕捉识别与评估方法，其特征在于，根据测试样本对动作识别模型进行测试包括，利用所述测试所需样本重复进行所述特征提取，然后对所述动作识别模型的动作识别效果进行评估。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910387179.3A CN110327595A (zh) | 2019-05-09 | 2019-05-09 | 基于可穿戴传感器的动作捕捉识别与评估装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910387179.3A CN110327595A (zh) | 2019-05-09 | 2019-05-09 | 基于可穿戴传感器的动作捕捉识别与评估装置及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110327595A true CN110327595A (zh) | 2019-10-15 |
Family
ID=68139239
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910387179.3A Pending CN110327595A (zh) | 2019-05-09 | 2019-05-09 | 基于可穿戴传感器的动作捕捉识别与评估装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110327595A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111318009A (zh) * | 2020-01-19 | 2020-06-23 | 张衡 | 基于可穿戴惯性感知的体感健康娱乐系统及其工作方法 |
| CN111603750A (zh) * | 2020-05-26 | 2020-09-01 | 深圳市蝙蝠云科技有限公司 | 基于边缘计算的动作捕捉识别评估系统及方法 |
| CN111744156A (zh) * | 2020-07-06 | 2020-10-09 | 深圳市蝙蝠云科技有限公司 | 基于可穿戴设备与机器学习的足球动作识别评估系统及方法 |
| CN111782643A (zh) * | 2020-07-09 | 2020-10-16 | 深圳市蝙蝠云科技有限公司 | 基于物联网和机器学习的青少年体育专项技能团体训练与评估系统及方法 |
| CN112115964A (zh) * | 2020-08-04 | 2020-12-22 | 深圳市联合视觉创新科技有限公司 | 加速度标注模型生成方法、加速度标注方法、设备及介质 |
| CN113357773A (zh) * | 2021-05-31 | 2021-09-07 | 青岛海尔空调器有限总公司 | 用于空调控制的方法、装置和空调 |
| CN114187654A (zh) * | 2021-11-24 | 2022-03-15 | 东南大学 | 一种基于机器学习的微惯性武术动作识别方法及系统 |
| CN114241603A (zh) * | 2021-12-17 | 2022-03-25 | 中南民族大学 | 基于可穿戴设备的毽球动作识别与水平等级评估方法及系统 |
| CN114259720A (zh) * | 2020-09-15 | 2022-04-01 | 荣耀终端有限公司 | 动作识别方法及装置、终端设备、运动监测系统 |
| CN116434348A (zh) * | 2023-06-14 | 2023-07-14 | 武汉纺织大学 | 一种基于柔性应变传感器的人体动作实时识别方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102243687A (zh) * | 2011-04-22 | 2011-11-16 | 安徽寰智信息科技股份有限公司 | 一种基于动作识别技术的体育教学辅助系统及其实现方法 |
| US20140206481A1 (en) * | 2011-08-26 | 2014-07-24 | Kitris Ag | Apparatus for capturing tennis play data |
| US20140288878A1 (en) * | 2013-03-15 | 2014-09-25 | Aliphcom | Identification of motion characteristics to determine activity |
| CN107870681A (zh) * | 2016-09-23 | 2018-04-03 | 上海葡萄纬度科技有限公司 | 实时识别动作的方法以及相应的手环与计算设备 |
| CN210078765U (zh) * | 2019-05-09 | 2020-02-18 | 深圳市蝙蝠云科技有限公司 | 基于可穿戴传感器的动作捕捉识别与评估装置 |
-
2019
- 2019-05-09 CN CN201910387179.3A patent/CN110327595A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102243687A (zh) * | 2011-04-22 | 2011-11-16 | 安徽寰智信息科技股份有限公司 | 一种基于动作识别技术的体育教学辅助系统及其实现方法 |
| US20140206481A1 (en) * | 2011-08-26 | 2014-07-24 | Kitris Ag | Apparatus for capturing tennis play data |
| US20140288878A1 (en) * | 2013-03-15 | 2014-09-25 | Aliphcom | Identification of motion characteristics to determine activity |
| CN107870681A (zh) * | 2016-09-23 | 2018-04-03 | 上海葡萄纬度科技有限公司 | 实时识别动作的方法以及相应的手环与计算设备 |
| CN210078765U (zh) * | 2019-05-09 | 2020-02-18 | 深圳市蝙蝠云科技有限公司 | 基于可穿戴传感器的动作捕捉识别与评估装置 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111318009A (zh) * | 2020-01-19 | 2020-06-23 | 张衡 | 基于可穿戴惯性感知的体感健康娱乐系统及其工作方法 |
| CN111603750A (zh) * | 2020-05-26 | 2020-09-01 | 深圳市蝙蝠云科技有限公司 | 基于边缘计算的动作捕捉识别评估系统及方法 |
| CN111744156B (zh) * | 2020-07-06 | 2021-11-09 | 深圳市蝙蝠云科技有限公司 | 基于可穿戴设备与机器学习的足球动作识别评估系统及方法 |
| CN111744156A (zh) * | 2020-07-06 | 2020-10-09 | 深圳市蝙蝠云科技有限公司 | 基于可穿戴设备与机器学习的足球动作识别评估系统及方法 |
| CN111782643A (zh) * | 2020-07-09 | 2020-10-16 | 深圳市蝙蝠云科技有限公司 | 基于物联网和机器学习的青少年体育专项技能团体训练与评估系统及方法 |
| CN112115964A (zh) * | 2020-08-04 | 2020-12-22 | 深圳市联合视觉创新科技有限公司 | 加速度标注模型生成方法、加速度标注方法、设备及介质 |
| CN114259720A (zh) * | 2020-09-15 | 2022-04-01 | 荣耀终端有限公司 | 动作识别方法及装置、终端设备、运动监测系统 |
| CN114259720B (zh) * | 2020-09-15 | 2022-10-18 | 荣耀终端有限公司 | 动作识别方法及装置、终端设备、运动监测系统 |
| CN113357773A (zh) * | 2021-05-31 | 2021-09-07 | 青岛海尔空调器有限总公司 | 用于空调控制的方法、装置和空调 |
| CN114187654A (zh) * | 2021-11-24 | 2022-03-15 | 东南大学 | 一种基于机器学习的微惯性武术动作识别方法及系统 |
| CN114187654B (zh) * | 2021-11-24 | 2024-06-14 | 东南大学 | 一种基于机器学习的微惯性武术动作识别方法及系统 |
| CN114241603A (zh) * | 2021-12-17 | 2022-03-25 | 中南民族大学 | 基于可穿戴设备的毽球动作识别与水平等级评估方法及系统 |
| CN114241603B (zh) * | 2021-12-17 | 2022-08-26 | 中南民族大学 | 基于可穿戴设备的毽球动作识别与水平等级评估方法及系统 |
| CN116434348A (zh) * | 2023-06-14 | 2023-07-14 | 武汉纺织大学 | 一种基于柔性应变传感器的人体动作实时识别方法及系统 |
| CN116434348B (zh) * | 2023-06-14 | 2023-09-01 | 武汉纺织大学 | 一种基于柔性应变传感器的人体动作实时识别方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110327595A (zh) | 基于可穿戴传感器的动作捕捉识别与评估装置及方法 | |
| WO2019114708A1 (zh) | 一种运动数据监测方法和系统 | |
| Seeger et al. | myHealthAssistant: a phone-based body sensor network that captures the wearer's exercises throughout the day | |
| CN104436597B (zh) | 运动辅助装置以及运动辅助方法 | |
| Henpraserttae et al. | Accurate activity recognition using a mobile phone regardless of device orientation and location | |
| US20160314818A1 (en) | Method and device for associating frames in a video of an activity of a person with an event | |
| CN102274028B (zh) | 一种人体运动状态多参数同步综合采集方法 | |
| CN203149575U (zh) | 一种基于微型传感器的交互式上肢康复设备 | |
| Saponara | Wearable biometric performance measurement system for combat sports | |
| CN102567638A (zh) | 一种基于微型传感器的交互式上肢康复系统 | |
| CN104126185A (zh) | 疲劳指数及其用途 | |
| CN107533806A (zh) | 被配置为实现对包括具有多个可选择的专家知识变化的内容在内的交互技能训练内容的传送的框架、设备和方法 | |
| CN111603750A (zh) | 基于边缘计算的动作捕捉识别评估系统及方法 | |
| CN107249456A (zh) | 使用来自多个装置的数据进行能量消耗计算 | |
| CN110477924A (zh) | 适应性运动姿态感测系统与方法 | |
| Beily et al. | A sensor based on recognition activities using smartphone | |
| Kautz et al. | Sensor fusion for multi-player activity recognition in game sports | |
| CN108686348A (zh) | 基于传感器的网球拍运动轨迹重构系统及其重构方法 | |
| WO2018053912A1 (zh) | 实时识别动作的方法以及相应的手环与计算设备 | |
| CN111598134B (zh) | 一种体操运动数据监控的测试分析方法 | |
| CN210078765U (zh) | 基于可穿戴传感器的动作捕捉识别与评估装置 | |
| CN114341947A (zh) | 用于使用可穿戴设备的锻炼类型辨识的系统和方法 | |
| Loose et al. | A Public Dataset of Overground and Treadmill Walking in Healthy Individuals Captured by Wearable IMU and sEMG Sensors. | |
| Qaisar et al. | A hidden markov model for detection and classification of arm action in cricket using wearable sensors | |
| Zhang et al. | Wrist MEMS sensor for movements recognition in ball games |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |