CN112217837A

CN112217837A - 一种人体行为动作信息采集系统

Info

Publication number: CN112217837A
Application number: CN202011162537.XA
Authority: CN
Inventors: 常兴治; 龙霄汉; 朱川; 刘威; 高亮; 陶亚辉; 王金成
Original assignee: Changzhou College of Information Technology CCIT
Current assignee: Changzhou College of Information Technology CCIT
Priority date: 2020-10-27
Filing date: 2020-10-27
Publication date: 2021-01-12
Anticipated expiration: 2040-10-27
Also published as: CN112217837B

Abstract

本发明公开了一种人体行为动作信息采集系统，包括服务端和采集端；其中服务端由消息队列遥测传输服务、消息队列遥测传输服务客户端和文件数据库组成；采集端由ESP32芯片、MPU9250芯片及外围电路组成；MPU9250芯片用于采集人体行为动作信息；ESP32芯片用于获取人体行为动作信息，解码打包成主题消息并发布；所述消息队列遥测传输服务客户端用于向消息队列遥测传输服务订阅指定主题的消息，并存储到文件数据库中。本发明使用低成本设备，减小了采集设备体积和重量，提高了采集精度，使用云端存储和处理方式，降低了硬件成本，使用轻量级消息队列遥测传输服务，降低了网络带宽占用，减小了服务器负载，提高了采集性能。

Description

一种人体行为动作信息采集系统

技术领域

本发明涉及一种人体行为动作采集系统，属于行为识别技术领域。

背景技术

人体行为动作识别研究是模式识别研究领域的一个重要方向，人体行为动作信息的研究，对推动机器仿生工程、医疗检测、体育竞技评估、游戏动画制作等领域的研究有重要的意义。在人体行为动作识别中，人体行为动作信息的采集是非常重要的一个组成部分，行为动作信息的准确性直接影响了人体行为动作识别的准确性，因此，对人体行为信息采集的研究极为重要。

常用的人体行为动作信息采集方案有两种，基于视频图像的信息采集方案和基于惯性传感器的信息采集方案。传统的人体行为动作信息采集方案一般使用视频或图像序列数据，综合图像处理技术、模式识别技术、人工智能技术等多学科技术，实现人体行为动作信息的采集，其基本步骤大致包括：

1.原始数据采集，使用图像传感器(如摄像头)对运动的人体进行视频、图像信息采集；

2.数据预处理，利用图像识别技术提取、识别、跟踪人体轮廓；

3.数据分析，分析人体轮廓及运动情况，获得人体行为信息。

一般来说，由于图像、视频原始数据量较大，且包含大量无用信息(如背景、物品等)，因此对图像和视频的分析需要较高的机器性能和高效的算法。另外，图像和视频的质量受环境影响较大，人体运动过程中的信息可能受到拍摄现场的光照变化、物品遮挡、运动范围等因素的影响，导致采集到的信息可能存在较大的误差。

与基于视频图像的信息采集方案不同，基于惯性传感器的信息采集方案一般是将惯性传感器固定在运动过程中动作幅度较大的关键部位(如手腕、手肘、躯干、膝盖、脚踝等部位)，采集每个部位的动作信息，进行存储、分析，惯性传感器所采集的数据一般包括加速度、角速度等人体运动学参数，其基本步骤大致包括：

1.设备固定与标识，将惯性传感器固定在待采集部位，并标识每个惯性传感器的位置；

2.数据采集，采集人员完成特定的动作，传感器自动采集数据；

3.数据处理，对采集到的信息进行分析、存储。

基于惯性传感器的人体行为动作采集方案操作简单，受环境影响小，不受运动范围限制，故被广泛应用于动画制作、体育、娱乐、科研等各个方面。

然而，现有的基于惯性传感器的人体行为动作采集方案仍存在部分问题，如：

1.设备体积和重量过大，惯性传感器无法单独提供服务，需要与MCU控制系统(如STM32、arduino等控制芯片)、电源系统、网络传输系统协同才可提供服务，导致采集设备体积和重量过大，影响采集人员动作；

2.成本较高，有的采集系统采集单元与计算单元一体，采集设备集采集与处理功能为一体，硬件成本较高；

3.带宽占用较大，有的采集系统采集单元与计算单元分开，但是采集单元与计算单元之间使用TCP/UDP协议直接通信，由于采集端采集到的数据量较大，采集端数量可能较多，故带宽占用较大。

发明内容

为了解决上述问题，本发明提供了一种人体行为动作信息采集系统，由采集端和服务端两部分组成，采集端与计算、存储分离，采集端只需要感知传感器数据，其余数据处理过程由服务端完成，降低了采集端的成本、体积和重量。

为达到上述目的，本发明采用的技术方案如下：

本发明提供一种人体行为动作信息采集系统，包括服务端和采集端；

所述服务端部署在公网，包括消息队列遥测传输服务、服务端消息队列遥测传输服务客户端和文件数据库；

所述服务端消息队列遥测传输服务客户端用于向消息队列遥测传输服务订阅指定主题的消息；以及，接收ESP32芯片发布的主题消息；

所述文件数据库用于存储服务端消息队列遥测传输服务客户端接收的主题消息；

所述采集端包括ESP32芯片、MPU9250芯片及外围电路；

所述MPU9250芯片用于采集人体行为动作信息；

所述ESP32芯片用于通过与MPU9250芯片连接的引脚获取人体行为动作信息，解码打包成主题消息，以及，用于通过ESP32芯片内部运行的消息队列遥测传输服务客户端向消息队列遥测传输服务发布主题消息；

所述服务端和采集端通过互联网连接。

进一步的，所述服务端和采集端通过ESP32芯片自带的Wi-Fi模块进行通信。

进一步的，所述服务端消息队列遥测传输服务客户端向消息队列遥测传输服务订阅指定主题的消息，以及消息队列遥测传输服务客户端向消息队列遥测传输服务发布主题消息，基于TCP/IP协议进行。

进一步的，所述采集端为佩戴于人体的采集设备；

所述采集设备的佩戴位置包括左右手腕、左右手肘、肩部中间、腰部中间、左右膝盖和左右脚踝。

进一步的，所述采集设备均配置唯一ID，采集设备ID是一个两位数，十位表示左右，个位表示部位，采集设备ID的生成原则是：十位上1表示左，2表示右，0表示不区分左右，个位上手腕为1，手肘为2，肩部为3，腰部为4，膝盖为5，脚踝为6。

进一步的，所述MPU9250芯片具体用于，

采集人体行为动作的各项行为参数的值，所述行为参数包括角速度、加速度和磁力信息，每个参数均有x、y、z三个轴的数据，每次采集共9个值。

进一步的，所述ESP32芯片具体用于，

将人体行为动作的行为参数值解析后，与时间戳、采集设备ID整合打包为一个JSON格式的字符串；

以及，

通过Wi-Fi模块向消息队列遥测传输服务发布主题消息，所述主题消息为所述整合的JSON格式的字符串。

进一步的，所述服务端消息队列遥测传输服务客户端具体用于，

将所接收到的主题消息转换成字典，

以及，

将字典的值存储到文件数据库中；所述字典包括行为参数值，时间戳和采集设备ID。

进一步的，当ESP32芯片内部运行的消息队列遥测传输服务客户端向消息队列遥测传输服务发布某个主题的消息时，订阅该主题的所有服务端消息队列遥测传输服务客户端都能够收到该主题消息。

本发明所达到有益效果是：

1.本发明的采集端使用ESP32和MPU9250芯片，减小了采集设备体积和重量，减低了设备对采集人员的影响，提高了采集精度；

2.本发明使用低成本ESP32芯片，使用云端存储和处理方式，降低了硬件成本；

3.本发明采集端和服务端之间采用轻量级消息队列遥测传输服务，降低了网络带宽占用，减小了服务器负载，提高了采集性能。

附图说明

图1是本发明的人体行为动作信息采集系统架构图；

图2是本发明的消息队列遥测传输服务通信示意图；

图3是本发明的采集设备佩戴位置示意图；

图4是本发明的数据流示意图；

图5是本发明中MPU9250芯片的工作流程；

图6是本发明中ESP32芯片的工作流程；

图7是本发明中服务端的工作流程。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

参见图1，本发明提供一种人体行为动作信息采集系统，包括服务端和采集端两部分，其中服务端被部署在公网，由消息队列遥测传输服务、消息队列遥测传输服务客户端和文件数据库组成；采集端由ESP32、MPU9250芯片及外围电路组成，由于服务端部署于公网，故采集端只要有可用的互联网连接即可与服务端通信，包括但不限于Wi-Fi、NB-IoT和Lora等，由于ESP32芯片自带Wi-Fi模块，故本系统使用Wi-Fi进行数据通信。ESP32中运行了消息队列遥测传输服务客户端，可通过服务端的消息队列遥测传输服务向其它消息队列遥测传输服务客户端发布消息。

消息队列遥测传输服务的运行原理是，服务端的消息队列遥测传输服务客户端向消息队列遥测传输服务订阅指定主题的消息，当采集端有消息队列遥测传输服务客户端向消息队列遥测传输服务发布某个主题的消息时，订阅了该主题的服务端的所有消息队列遥测传输服务客户端都将收到这个消息。

具体的，本发明的采集端使用ESP32芯片作为控制芯片，使用MPU9250芯片采集人体行为动作信息，MPU9250芯片内部集成有3轴陀螺仪、3轴加速度计和3轴磁力计，输出都是16位的数字量；可以通过集成电路总线(IIC)接口和单片机进行数据交互，传输速率可达400kHz/s。陀螺仪的角速度测量范围最高达±2000(°/s)，具有良好的动态响应特性。加速度计的测量范围最大为±16g(g为重力加速度)，静态测量精度高。磁力计采用高灵度霍尔型传感器进行数据采集，磁感应强度测量范围为±4800μT，可用于对偏航角的辅助测量。

ESP32中运行了MPU9250芯片控制程序和消息队列遥测传输服务客户端程序，MPU9250芯片控制程序用于与MPU9250芯片通信，控制ESP32的引脚发送控制信号，然后通过引脚读取来自MPU9250芯片的数据信号并解码成可读数据，然后打包成JSON，再通过消息队列遥测传输服务客户端程序向消息队列遥测传输服务发布主题为“behavior-collection”的消息，消息的内容为打包的JSON数据。

具体的，本发明的服务端使用容器技术，部署文件数据库和消息队列遥测传输服务，MPU9250芯片所采集的信号被ESP32解析后通过网络传输到文件数据库进行持久化存储，消息队列遥测传输服务用于采集端与文件数据库之间的通信，采集端使用消息队列遥测传输协议，将数据传输到服务端，服务端将数据解析后写入到文件数据库。服务端的消息队列遥测传输服务中运行一个消息队列遥测传输服务客户端，该客户端订阅主题为“behavior-collection”的消息，其中主题的名字可由用户自定义，只需使服务端订阅的消息主题与采集端发布的主题一致即可。

参见图2，采集端与文件数据库之间的通信通过消息队列遥测传输服务和消息队列遥测传输服务客户端实现，其中消息队列遥测传输服务被部署在公网上，服务端和采集端的消息队列遥测传输服务客户端可位于内网，只需保证消息队列遥测传输服务客户端与消息队列遥测传输服务之间的网络是连通的。

在本发明中，采集端中运行着消息队列遥测传输服务客户端，该客户端可向服务端的消息队列遥测传输服务发布主题为“behavior-collection”的消息，消息中包含了采集端所采集到的数据。通过订阅-发布的操作及消息队列遥测传输服务，采集端消息可传输至服务端。

在本发明中，服务端运行着消息队列遥测传输服务和消息队列遥测传输服务客户端，服务端的消息队列遥测传输服务客户端向消息队列遥测传输服务订阅指定主题的消息，采集端的消息队列遥测在采集到数据后会向消息队列遥测传输服务发布该主题的消息。当采集端的消息队列遥测传输服务客户端向消息队列遥测传输服务发布某个主题的消息，订阅该主题的所有采集端都可以收到该消息。服务端的消息队列遥测传输服务客户端向消息队列遥测传输服务订阅主题为“behavior-collection”的消息，当有采集端向消息队列遥测传输服务发布主题为“behavior-collection”的消息时服务端的消息队列遥测传输服务客户端即可收到该消息。

消息的订阅与发布基于TCP/IP协议族，是为硬件性能低下的远程设备以及网络状况糟糕的情况下而设计的发布/订阅型消息协议。

本发明中采集设备即采集端，采集设备固定于人体关键位置，参见图3，黑色实心圆点为采集设备的佩戴位置，包括左右手腕、左右手肘、肩部中间、腰部中间、左右膝盖和左右脚踝。

采集设备ID是一个两位数，十位表示左右，个位表示部位，采集设备ID的生成原则是：十位上1表示左，2表示右，0表示不区分左右(腰部、肩部)，个位上手腕为1，手肘为2，肩部为3，腰部为4，膝盖为5，脚踝为6。例如，左膝盖处佩戴的采集设备ID为15。将采集设备佩戴在对应位置，开启采集设备即可进行人体行为动作数据采集。

参见图4，当采集者将采集设备佩戴在对应部位，开启服务端和采集设备后即可开始采集人体行为动作信息，采集流程如下：

1.MPU9250芯片中的陀螺仪、加速度计和磁力计感知采集者完成动作过程中的各项行为参数的值，行为参数包括角速度、加速度和磁力信息，每个参数均有x、y、z三个轴的数据，每次采集共9个值；将采集的行为参数进行A/D转换并解码后通过与ESP32的引脚传输到ESP32中；

2.一次采集周期后，ESP32将MPU9250芯片所采集到的信息解析后，与时间戳、采集设备ID整合为一个JSON格式的字符串；

3.ESP32通过Wi-Fi网络向消息队列遥测传输服务发布主题为“behavior-collection”的消息，消息内容为步骤2中整合的JSON格式的字符串；

4.若服务端的消息队列遥测传输服务客户端向消息队列遥测传输服务订阅了主题为“behavior-collection”的消息，则服务端的消息队列遥测传输服务客户端接收到ESP32发布的消息，解析JSON字符串，将JSON转换成字典，然后将字典的值(即9个动作信息、时间戳、采集设备ID)存储到文件数据库中。

具体的，ESP32发布的消息中，JSON数据的一个示例是：

其中msg_id为消息的标识，每一个采集设备发布一个消息，消息标识自增1。payload中是采集设备所采集的数据，payload中，acceleration_x、acceleration_y、acceleration_z分别为采集到的x轴加速度、y轴加速度、z轴加速度；angle_x、angle_y、angle_z分别为采集到的x轴角速度、y轴角速度、z轴角速度；gauss_x、gauss_y、gauss_z分别为采集到的x轴磁力信息、y轴磁力信息、z轴磁力信息。timestamp为采集该数据的Unix时间戳，Unix时间戳是从1970年1月1日(UTC/GMT的午夜)开始所经过的秒数，不考虑闰秒，1598130208表示2020-08-22 21:03:28。device_id是采集设备的唯一标志，每一个采集设备有唯一的device_id，用于区分采集设备。

具体的，文件数据库中，存储行为动作信息的数据表的字段参见表1：

表1文件数据库中行为动作信息的数据表

其中，id为自增长主键ID，默认情况下，每往文件数据库中插入一条数据，id自增1。action表示该行为动作信息所对应的动作ID，该动作ID对应Action表中的action_id，Action表中字段为id(int)、action_id(int)、action(varchar(50))，其中id为Action表的自增长主键，action_id为该动作的id，action是动作的名字或描述。在服务端接收到采集端信息，进行数据存储时，action_id项留空，留待后期数据处理时由用户补充。

图5是MPU9250芯片的工作流程图，其过程如下：

501)感知数据，采集行为动作信息，包括角速度、加速度和磁力信息，转到502)；

502)将感知到的数据传输到ESP32，转到503)；

503)如果采集过程结束，则结束工作流程，否则转到501)。

图6是ESP32芯片的工作流程图，其过程如下：

601)接收来自MPU9250的数据，转到602)；

602)将数据整合成JSON格式的字符串，转到603)；

603)向消息队列遥测传输服务发布主题为“behavior-collection”的消息，消息内容为602)得到的JSON字符串，结束。

图7为服务端的工作流程，其过程如下：

701)向消息队列遥测传输服务订阅主题为“behavior-collection”的消息，转到702)；

702)如果接收到订阅主题的消息，则转到703)，否则转到702)；

703)将数据写入文件数据库。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims

1.一种人体行为动作信息采集系统，其特征在于，包括服务端和采集端；

所述采集端包括ESP32芯片、MPU9250芯片及外围电路；

所述MPU9250芯片用于采集人体行为动作信息；

所述服务端和采集端通过互联网连接。

2.根据权利要求1所述的一种人体行为动作信息采集系统，其特征在于，所述服务端和采集端通过ESP32芯片自带的Wi-Fi模块进行通信。

3.根据权利要求1所述的一种人体行为动作信息采集系统，其特征在于，所述服务端消息队列遥测传输服务客户端向消息队列遥测传输服务订阅指定主题的消息，以及消息队列遥测传输服务客户端向消息队列遥测传输服务发布主题消息，基于TCP/IP协议进行。

4.根据权利要求1所述的一种人体行为动作信息采集系统，其特征在于，所述采集端为佩戴于人体的采集设备；

5.根据权利要求4所述的一种人体行为动作信息采集系统，其特征在于，所述采集设备均配置唯一ID，采集设备ID是一个两位数，十位表示左右，个位表示部位，采集设备ID的生成原则是：十位上1表示左，2表示右，0表示不区分左右，个位上手腕为1，手肘为2，肩部为3，腰部为4，膝盖为5，脚踝为6。

6.根据权利要求1所述的一种人体行为动作信息采集系统，其特征在于，所述MPU9250芯片具体用于，

7.根据权利要求6所述的一种人体行为动作信息采集系统，其特征在于，所述ESP32芯片具体用于，

以及，

8.根据权利要求1所述的一种人体行为动作信息采集系统，其特征在于，所述服务端消息队列遥测传输服务客户端具体用于，

将所接收到的主题消息转换成字典，

以及，

9.根据权利要求1所述的一种人体行为动作信息采集系统，其特征在于，当ESP32芯片内部运行的消息队列遥测传输服务客户端向消息队列遥测传输服务发布某个主题的消息时，订阅该主题的所有服务端消息队列遥测传输服务客户端都能够收到该主题消息。