CN111382641A - 体态识别方法和体感游戏动作指导系统 - Google Patents

Abstract

本发明涉及一种体态识别方法及体感游戏动作指导系统，该体态识别方法包括：采集人体不同关节部位的关节运动信号；根据所述关节运动信号形成人体运动姿态特征值；根据预先训练好的分类模型对所述人体运动姿态特征值进行分类获得分类结果；根据分类结果判断人体的运动姿态信息；该体感游戏动作指导系统包括：多个采集设备(10)和服务器(20)，本发明通过采集人体的关节运动信号生成人体姿态特征值，使用预先训练好的分类模型对人体姿态进行判定，识别精确，不受识别场景限制。

Description

体态识别方法和体感游戏动作指导系统

技术领域

本发明属于生物识别技术领域，具体涉及一种体态识别方法及体感游戏动作指导系统。

背景技术

体态识别技术作为一种智能的人机交互形式，已经越来越被人们所知，其在生活中的应用也越来越广泛，目前，对人体识别的研究已经成为了人工智能技术的研究热点。

现有技术中的体态识别技术是基于视觉的体态识别研究，通常需要通过摄像头或者照相机获得人体图像，然后对图像中人体姿态进行处理，但这种图像处理方式获得人体姿态的方法经常会受到图像像素质量、图像是否有遮挡等一些列问题导致识别精度下下降，且通常的此种设备因为需要摄像或者照相设备而受到应用场景的限制。

因此，研制一种精确的体态识别方式和不受场景限制的实时体态识别设备已经成为研究的热点问题。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种体态识别方法及体感游戏动作指导系统。本发明要解决的技术问题通过以下技术方案实现：

本发明实施例提供了一种体态识别方法，包括如下步骤：

S102、采集人体不同关节部位的关节运动信号；

S104、根据所述关节运动信号形成人体运动姿态特征值；

S106、根据预先训练好的分类模型对所述人体运动姿态特征值进行分类获得分类结果；

S108、根据分类结果判断人体的运动姿态信息。

在本发明的一个实施例中，所述关节运动信号包括关节振动信号和关节声音信号。

在本发明的一个实施例中，所述人体运动姿态特征值包括：所述关节运动信号的小波包变换系数、均值频率、功率谱平均值、均方根、峰度、偏度等的至少一种。

在本发明的一个实施例中，所述人体运动姿态特征值还包括：人体的用户信息，所述用户信息包括：年龄、身高、体重、性别的一种或者多种。

本发明的另一个实施例提供了一种体感游戏动作指导系统，包括：多个采集设备10和服务器20，其中，

所述多个采集设备10，用于获得人体运动姿态特征值；

所述服务器20，用于根据预先训练好的分类模型和所述人体运动姿态特征值获得分类结果，并根据所述分类结果获得人体运动姿态信息。

在本发明的一个实施例中，所述多个采集设备10分别设置于所述人体的不同关节部位，其中，所述采集设备10包括：

采集模块101，用于在所述人体运动姿态下，采集所述人体关节部位的关节运动信号；

第一处理模块103，用于根据所述关节运动信号形成人体运动姿态特征值；第一传输模块，用于将所述人体运动姿态特征值传输给所述服务器；

第一存储模块102，用于存储所述关节运动信号和所述人体运动姿态特征值。

在本发明的一个实施例中，所述预先训练好的分类模型为机器学习算法模型。

在本发明的一个实施例中，所述采集模块101包括多个传感器模块，其中，所述传感器模块包括：加速度传感器和声学传感器。

在本发明的一个实施例中，所述服务器包括：

第二传输模块201，用于接收所述采集设备10传输的所述人体运动姿态特征值；

第二存储模块202，用于存储所述预先训练好的分类模型和所述人体运动姿态特征值；

第二处理模块203，用于根据所述人体运动姿态特征值采用预先训练好的分类模型生成所述分类结果，并根据所述分类结果获得人体运动姿态信息。

与现有技术相比，本发明的有益效果：

本发明的体态识别方法和体感游戏动作指导系统通过采集人体的关节运动信号生成人体姿态特征值，使用预先训练好的分类模型对人体姿态进行判定，识别精确，不受识别场景限制。

附图说明

图1为本发明实施例提供的一种体态识别方法流程示意图；

图2为本发明实施例的提供的一种分类模型的训练方法的流程示意图；

图3为本发明实施例提供的一种体感游戏动作指导系统的采集设备10 结构示意图；

图4为本发明实施例提供的一种体感游戏动作指导系统的服务器的结构示意图；

图5为本发明实施例提供的一种体感游戏动作指导系统的结构示意图；

图6为本发明实施例提供的一种体感游戏动作指导系统的采集设备10 的另一种结构示意图；

图7为本发明实施例提供的一种传感器模块的结构示意图。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

实施例一

请参见图1，图1为本发明实施例提供的一种体态识别方法流程示意图；其中，该体态识别方法包括：

步骤102、采集人体不同关节部位的关节运动信号；

需要说明的是，关节运动信号包括关节振动信号和关节声音信号；关节内部各骨骼和软组织等结构之间，由于关节的运动而产生振动信号，受损关节产生的振动信号可以区别于未受损的关节产生的振动信号。此外，关节内部各骨骼和软组织等结构之间由于关节运动产生声音，也即关节的声音信号。

人体在运动时，人体四肢各个关节也处于运动姿态，随着人体姿势以及运动速度的不同，四肢各关节中各骨骼的结合方式以及各骨骼的受压程度也不同，可以理解的，在不同的人体运动姿态下的四肢各关节的状态各不同，例如跑步时和走路时，因为关节所受摩擦力大小不同因而振动频率和大小也不同，发出的声音也不同，因此，基于关节运动信号可以表征人体不同运动姿态。同理，当人体静止不动时，人体关节也处于静止状态，此时没有关节运动信号。

具体地，关节运动信号可以包括四肢各个关节的关节运动信号，例如包括：手腕处关节运动信号、手肘处关节运动信号、膝关节关节运动信号、脚踝处关节运动信号，人体在不同运动姿态下，四肢不同关节处的不同关节运动信号的集合可以更加精确的表征人体的运动姿态。

S104、将所述关节运动信号处理形成关节运动信号特征值以形成人体运动姿态特征值；

其中，关节运动信号特征值包括关节运动信号在时域和在频域的特征值，关节运动信号在时域上的特征值包括关节运动信号的均方根、峰度、偏度等；关节运动信号在频域上的特征值包括关节运动信号的频谱、能量谱、-均值频率、功率谱平均值等；关节运动信号在时频域上的特征值包括关节运动信号的小波包变换系数等。这样，关节运动信号特征值能够分别从时域和频域直观体现关节运动信号的特点。例如，可以采集5s时间段内手腕处关节运动信号，对5s时间段内手腕处关节运动信号计算5s内的整体均值，则该均值即为一个均值特征值。同理，可以获得该5s时间段内的手肘处关节运动信号均值、膝关节关节运动信号均值、脚踝处关节运动信号均值。

其中，人体运动姿态特征值还可以包括人体的用户信息，所述用户信息包括：年龄、身高、体重、性别的一种或者多种。因为不同年龄、不同身高、体重比、不同性别的的人体各关节运动信号规律各不相同，因此，增加年龄、身高、体重、性别等信息可以增加分类的准确性。可以预见的是，所述人体运动姿态特征值包括的特征值种类越多，其后续分类也越准确。

S106、根据预先训练好的分类模型对所述人体运动姿态特征值进行分类获得分类结果；

其中，将步骤S105得到的人体姿态特征值输入到预先训练好的分类模型中进行分类得到分类结果；

需要说明的是，分类模型可以为机器学习分类模型，分类模型采用的算法可以为：深度学习算法、K-近邻算法、贝叶斯算法、SVM等；其中，分类模型是预先训练好的，即为预先训练好的分类模型；

具体的，当分类模型采用的算法为SVM算法时，分类模型可以是基于径向基函数(Radial Basis Function，RBF)核的分类模型。当然，也可以根据实际情况，选择其他核函数，比如，多项式核函数、拉普拉斯核函数、 Sigmoid核函数等。

具体的，预先训练好的分类模型可以是多分量分类模型，对应的分类结果可以为跑步、走步、跳跃、静止等。

需要说明的是，所述分类模型可以为一个，仅用来判断人体的整体姿态信息，如跑步、走步、跳跃、静止。分类模型也可以为多个，包括用来判断人体整体姿态的人体整体姿态分类模型，还包括判断手臂姿态信息的手臂姿态分类模型、判断腿部姿态信息的腿部姿态模型，其中，手臂姿态信息可以为手臂摆动幅度信息，比如手臂摆动幅度是否符合要求等，通过手腕关节运动信号和手肘关节运动信号作为分类模型的分类输入参数；其中，腿部姿态信息可以包括腿部姿势是否正确等，通过膝盖关节运动信号和脚踝关节运动信号作为分类模型的分类输入参数。

S108、根据分类结果判断人体的运动姿态信息。

根据分类结果判定的姿态，获得人体的运动姿态信息。

本发明实施例的体态识别方法根据人体运动姿态信息即人体运动过程中各关节的关节运动信号特征值，通过使用预先训练好的分类模型，获得分类结果获得人体运动姿态，方法简单、准确。

实施例二

本实施例在上述实施例的基础上，当分类模型为神经网络算法模型等机器学习算法模型时，本发明实施例提供了一种分类模型的训练方法。请参考图2，图2为本发明实施例的提供的一种分类模型的训练方法的流程示意图；如图2所示，分类模型的训练方法如下：

步骤202，根据所述关节运动信号，获取预设数量的不同所述人体运动姿态下对应的所述人体运动姿态特征值；

在本步骤中，可以获取预设数量的关节运动信号，用于训练分类模型，将获得的关节运动信号处理形成关节运动信号特征值以获得人体运动姿态特征值；其中，关节运动信号特征值可以包括关节运动信号的小波包变换系数、均值频率、功率谱平均值、均方根、峰度、偏度等。

其中，人体运动姿态特征值可以包括关节运动信号特征值、年龄、身高、体重、性别等参数；

步骤204，将所述人体运动姿态特征值输入原始的计算模型，计算损失函数值；判断损失函数值是否小于预设的函数阈值，若为是，则执行步骤206。

进一步地，可以根据一个时间段上手腕关节运动信号特征值、手肘关节运动信号特征值、膝盖关节运动信号特征值、脚踝关节运动信号特征值、人体整体姿态分类结果输入原始的分类模型训练人体整体姿态分类模型。其中，人体姿态分类结果为：跑步、走步、跳跃、静止。

进一步地，也可以加入年龄、身高、体重、性别参数，结合关节运动信号特征值，人体整体姿态分类结果共同输入原始的分类模型训练人体整体姿态分类模型。

进一步地，也可以根据一个时间段上手腕关节运动信号特征值和手肘关节运动信号特征值、预先设定的手臂姿态分类结果输入原始的分类模型训练手臂姿态分类模型；其中，手臂姿态分类结果可以为手臂摆幅满足、手臂摆幅不足。同理，可以获得任一四肢的姿态分类结果。

可以理解的，预设输入的参数越多，且预设输入的参数之间的差异越大，越有利于训练出能够准确确定人体姿态的分类模型。

其中，预设的损失函数的损失函数值用于衡量分类模型的训练程度；判断损失函数值是否小于预设的函数阈值，若为是，则说明分类模型已经训练完成，若为否，则说明分类模型尚未训练完成，还需要通过迭代继续训练。具体地，函数阈值可以通过人工设定。

步骤206，得到训练好的分类模型。

在本步骤中，若损失函数值是否小于预设的函数阈值，则说明分类模型训练完成，可以用人体运动姿态特征值，确定人体及各四肢姿态。

实施例三

请参见图3，图3为本发明实施例提供的一种体感游戏动作指导系统的采集设备结构示意图；

该体感游戏动作指导系统包括：多个采集设备10和服务器20，其中，

所述多个采集设备10，用于获得人体运动姿态特征值；

所述服务器20，用于根据预先训练好的分类模型和所述人体运动姿态特征值获得分类结果，并根据所述分类结果获得人体运动姿态信息。

所述多个采集设备10分别设置于所述人体的不同关节部位，其中，所述采集设备10包括：

采集模块101，用于在所述人体运动姿态下，采集所述人体关节部位的关节运动信号；

第一存储模块102，用于存储所述关节运动信号和所述人体运动姿态特征值；

第一处理模块103，用于根据所述关节运动信号形成人体运动姿态特征值；第一传输模块，用于将所述人体运动姿态特征值传输给所述服务器20。

其中，采集模块101包括多个传感器模块，其中，所述传感器模块包括：加速度传感器和声学传感器，其中，加速度传感器可以为MEMS三轴加速计、声学传感器可以为MEMS麦克风；其中，加速度传感器和数字麦克风分别将获取到的关节振动信号和关节运动产生的关节声音信号。

需要说明的是MEMS传感器即微机电系统(Microelectro Mechanical Systems)与传统的传感器相比，它具有体积小、重量轻、成本低、功耗低、可靠性高、适于批量化生产、易于集成和实现智能化的特点。同时，在微米量级的特征尺寸使得它可以完成某些传统机械传感器所不能实现的功能。MEMS三轴加速度传感器的好处就是在预先不知道物体运动方向的场合下，只有应用三维加速度传感器来检测加速度信号。三维加速度传感器具有体积小和重量轻特点，可以测量空间加速度，能够全面准确反映物体的运动性质。

其中，所述采集设备10可以分别设置于手腕处关节、手肘处关节、膝关节、脚踝处关节等位置，为了更加精确，可以分别在身体左、右两侧对应的手腕、手肘、膝盖、脚踝对称设置。

其中，第一处理模块103可以选择MCU芯片，可选择低功耗MCU，以节省整体设备的功耗。

其中，第一传输模块可以采用蓝牙或者均采用无线传输等方式，进一步地，可以选择4G传输方式。

其中，第一存储模块102为存储器，进一步地，可以为TF存储卡，方便取出，也方便更换、数据采集等。

其中，体感游戏动作指导系统中还包括服务器20，请参考图4，图4 为本发明实施例提供的一种体感游戏动作指导系统的服务器20的结构示意图；其中，服务器20可以设置于手机中，也可以设置于计算机等PC设备中，或者也可以设置于远程的云计算设备中。体感游戏动作指导设备通过无线将数据传输给服务器20进行分析处理，该服务器20包括：

第二传输模块201，用于接收所述采集设备10传输的所述人体运动姿态特征值；

第二存储模块202，用于存储所述预先训练好的分类模型和所述人体运动姿态特征值；

第二处理模块203，用于根据所述人体运动姿态特征值采用预先训练好的分类模型生成所述分类结果，并根据所述分类结果获得人体运动姿态信息。

请再次参考图3、图4，同时请参考图5，图5为本发明实施例提供的一种体感游戏动作指导系统的结构示意图；体感游戏动作指导系统的工作原理为：

首先在使用该系统之前，需要对该体感游戏动作指导系统进行初始化，即在使用之前，通过服务器20中的客户端输入使用者人体相关的基本参数，包括年龄、身高、性别、体重等体态特征信息，同时根据这些信息使用现有技术进行人体姿态建模，可以为三维人体模型，并将该三维人体模型显示在显示设备上。

游戏开始时，服务器20设置一系列游戏设定动作并通过三维人体模型显示在显示器上，人体需要根据显示器上的动作同步摆出显示器上设定的姿态；同时体感游戏动作指导设备通过采集模块101采集人体各关节处的关节运动信号并存储在第一存储模块102中，第一处理模块103从第一存储模块102中获取关节运动信号处理形成人体运动姿态特征值，并将人体运动姿态特征值通过第一传输模块传输给服务器20，服务器20通过第二传输模块201接收人体运动姿态特征值后，第二处理模块203将人体运动姿态特征值分别输入到不同的分类模型中得到分类结果，例如根据人体整体分类模型得到人体整体姿态、通过手臂姿态分类模型得到手臂姿态，通过腿部姿态分类模型得到腿部姿态，若各部位姿态信息与设定的姿态不同，则产生告警并提示用户具体为手臂或者腿部姿态与设定不符。

本发明实施例的体感游戏动作指导系统通过搜集人体各关节部位的关节运动信号，通过预先设定好的分类模型对人体各部位姿态进行判断，方法科学准确，且该系统不需要图像设备，该系统体积小、携带方便、不受场景限制、可以进行实时的姿态判断。

实施例四

本发明实施例在上述实施例的基础上，详细介绍了一种采集设备，请再次参考图5，同时请参考图6，图6为本发明实施例提供的一种体感游戏动作指导系统的采集设备的另一种结构示意图；

其中，采集设备包括：弹性固定带304、采集模块301、数据处理模块 302、信号传输线303，其中，采集模块301、信号传输线303、数据处理模块302依次连接并设置于弹性固定带304的中心轴线上；

其中，数据处理模块302包括：第一处理模块103、第一传输模块、第一存储模块102。

其中，弹性固定带304为长度为500mm，宽度为250mm的矩形。

需要说明的是，采集模块301中的传感器与数据处理模块302之间的数据传输的稳定性和准确性是本设备的技术难点，为了使数据传输的稳定、准确性更好，需要对传感器与数据处理模块302之间的距离进行特殊设计，经过理论分析和实际验证，当传感器与数据处理模块302之间小于250mm 时，数据传输稳定性和准确性可以较好的得到满足，这也是弹性固定带304 的宽度设计为250mm的原因。

请参考图7，图7为本发明实施例提供的一种传感器模块的结构示意图。其中，采集模块301组中包括至少一个传感器模块，其中，

传感器模块包括加速度计3011、声音传感器3012、传感器模块盖板3013 和传感器模块底板3014，其中，传感器模块盖板3013通过4个螺钉和传感器模块底板3014连接，传感器模块盖板3013与传感器模块底板3014盖合后形成圆柱形空腔，用于保护加速度计3011；传感器模块底板3014的底部为球面，直接与人体关节部位接触；加速度计3011直接粘贴到传感器模块底板3014中央；声音传感器3012设置于所述传感器模块盖板3013侧面内壁；传感器模块盖板3013侧面开通通孔用于与信号传输线303连接。

为了方便说明，图7所示的传感器模块盖板3013的顶面为透明可见，但在实际应用中，传感器模块盖板3013的顶面的材质为具有一定韧性和硬度的材质。

其中，声音传感器3012可以为电子麦克风，比如，听诊器等。

其中，数据处理模块302包括数据处理模块盖板、数据处理模块底板、第一处理模块、第一存储卡、第一传输模块。

其中，第一处理模块为MCU芯片3021，为低能耗MCU芯片；

其中，第一存储卡为(Trans-Flash，TF)TF存储卡3023，当然也可以为其他具有存储功能的器件。

其中，第一传输模块为4G数据传输模块3022。

其中，电池模块3025与采集模块301和数据处理模块302均电连接，用以为采集模块301和数据处理模块302提供电能，以保证各模块能够正常工作，这样可以使得体感游戏动作指导设备无需连接电源，使得体感游戏动作指导设备轻便易携带。在实际应用中，电池模块3025可以是两节锂电池，当然，也可以根据实际情况，选择其他高性能的能够提供电能的器件。其中，锂电池的规格可以为直流，电压为7.4V，锂电池具体可以为 2×18650锂电池及保护板。

其中，所述数据处理模块302还包括低压差线性稳压器(Low Dropout Regulator，LDO)模块3026和时钟模块。具体的，LDO模块3026可用于将输入和输出的电压调节为高压5V，低压3.3V。时间模块3024可用于触发各采集设备同步获取数据。

使用时，可设置4个采集设备的弹性固定带分别固定在人体的左右手腕、手肘、膝盖、脚踝处的关节处，同时采集手腕关节运动信号、手肘关节运动信号、膝盖关节运动信号、脚踝关节运动信号。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (9)

1.一种体态识别方法，其特征在于，包括如下步骤：

S102、采集人体不同关节部位的关节运动信号；

S104、根据所述关节运动信号形成人体运动姿态特征值；

S106、根据预先训练好的分类模型对所述人体运动姿态特征值进行分类获得分类结果；

S108、根据分类结果判断人体的运动姿态信息。

2.根据权利要求1所述的体态识别方法，其特征在于，所述关节运动信号包括关节振动信号和关节声音信号。

3.根据权利要求1所述的体态识别方法，其特征在于，所述人体运动姿态特征值包括：所述关节运动信号的小波包变换系数、均值频率、功率谱平均值、均方根、峰度、偏度的至少一种。

4.根据权利要求1所述的体态识别方法，其特征在于，所述人体运动姿态特征值还包括：人体的用户信息，所述用户信息包括：年龄、身高、体重、性别的一种或者多种。

5.一种体感游戏动作指导系统，其特征在于，包括：多个采集设备(10)和服务器(20)，其中，

所述多个采集设备(10)，用于获得人体运动姿态特征值；

所述服务器(20)，用于根据预先训练好的分类模型和所述人体运动姿态特征值获得分类结果，并根据所述分类结果获得人体运动姿态信息。

6.据权利要求5所述的体感游戏动作指导系统，其特征在于，所述预先训练好的分类模型为机器学习算法模型。

7.根据权利要求5所述的体感游戏动作指导系统，其特征在于，所述多个采集设备(10)分别设置于所述人体的不同关节部位，其中，所述采集设备(10)包括：

采集模块(101)，用于在所述人体运动姿态下，采集所述人体关节部位的关节运动信号；

第一处理模块(103)，用于根据所述关节运动信号形成人体运动姿态特征值；第一传输模块，用于将所述人体运动姿态特征值传输给所述服务器；

第一存储模块(102)，用于存储所述关节运动信号和所述人体运动姿态特征值。

8.根据权利要求7所述的体感游戏动作指导系统，其特征在于，所述采集模块(101)包括多个传感器模块，其中，所述传感器模块包括：加速度传感器和声学传感器。

9.根据权利要求5所述的体感游戏动作指导系统，其特征在于，所述服务器(20)包括：

第二传输模块(201)，用于接收所述采集设备(10)传输的所述人体运动姿态特征值；

第二存储模块(202)，用于存储所述预先训练好的分类模型和所述人体运动姿态特征值；

第二处理模块(203)，用于根据所述人体运动姿态特征值采用预先训练好的分类模型生成所述分类结果，并根据所述分类结果获得人体运动姿态信息。

Images