CN115471912A - 人体姿态的确定方法及其确定装置 - Google Patents

Abstract

本申请提供了一种人体姿态的确定方法及其确定装置，该方法包括：首先，获取第一传感器组数据、第二传感器组数据以及第三传感器组数据，第一传感器组数据用于表征EMG对应的多个传感器的数据，第二传感器组数据用于表征EIT对应的多个传感器的数据，第三传感器组数据用于表征FMG对应的多个传感器的数据；然后，分别对第一传感器组数据、第二传感器组数据以及第三传感器组数据进行数据增强处理，得到第一目标传感器组数据、第二目标传感器组数据以及第三目标传感器组数据；最后，将第一目标传感器组数据、第二目标传感器组数据以及第三目标传感器组数据输入神经网络模型，得到目标对象的目标姿态数据。保证了目标姿态数据的准确性较高。

Description

人体姿态的确定方法及其确定装置

技术领域

本申请涉及人体姿态领域，具体而言，涉及一种人体姿态的确定方法、其确定装置、计算机可读存储介质、处理器以及人体姿态的确定系统。

背景技术

目前主要通过Leap Motion(体感控制器)，或Kinect提出的以光学为主的传感方式来进行手势以及人体其他姿势的估计，但是，光学为主的解决方案有易遮挡、造价昂贵、难以规模化部署等难点，另外，还有基于生物传感器的解决方案，但是由于数据量较少且低维度，并且较多的使用传统的机器学习算法，导致姿态连续性估计的准确率较低。

因此，亟需一种成本较低且准确性较高的人体姿态确定的方法。

在背景技术部分中公开的以上信息只是用来加强对本文所描述技术的背景技术的理解，因此，背景技术中可能包含某些信息，这些信息对于本领域技术人员来说并未形成在本国已知的现有技术。

发明内容

本申请的主要目的在于提供一种人体姿态的确定方法、其确定装置、计算机可读存储介质、处理器以及人体姿态的确定系统，以解决现有技术中的确定人体姿态的成本较高且准确性较低的问题。

根据本发明实施例的一个方面，提供了一种人体姿态的确定方法，所述方法包括：获取第一传感器组数据、第二传感器组数据以及第三传感器组数据，所述第一传感器组数据用于表征EMG(Electro Magnetic Gun，肌电图)对应的多个传感器的数据，所述第二传感器组数据用于表征EIT(Electrical Impedance Tomography，电阻抗成像)对应的多个传感器的数据，所述第三传感器组数据用于表征FMG(Force Myography，肌力图)对应的多个传感器的数据；分别对所述第一传感器组数据、所述第二传感器组数据以及所述第三传感器组数据进行第一预定处理，得到第一目标传感器组数据、第二目标传感器组数据以及第三目标传感器组数据，其中，所述第一预定处理包括数据增强处理；将所述第一目标传感器组数据、所述第二目标传感器组数据以及所述第三目标传感器组数据输入神经网络模型，得到目标对象的目标姿态数据，所述神经网络模型是使用多组预定数据通过机器学习训练出的，多组所述预定数据中的每组数据包括第一历史传感器组数据、第二历史传感器组数据、第三历史传感器组数据以及历史实际姿态数据，其中，所述第一历史传感器组数据用于表征EMG对应的多个传感器的历史数据，所述第二历史传感器组数据用于表征EIT对应的多个传感器的历史数据，所述第三历史传感器组数据用于表征FMG对应的多个传感器的历史数据。

可选地，将所述第一目标传感器组数据、所述第二目标传感器组数据以及所述第三目标传感器组数据输入神经网络模型，得到目标对象的目标姿态数据，包括：获取所述神经网络模型，所述神经网络模型包括第一神经网络模型、第二神经网络模型、第三神经网络模型以及第四神经网络模型，其中，所述第一神经网络模型是至少根据多组所述第一历史传感器组数据通过机器学习训练出的，所述第二神经网络模型是至少根据多组所述第二历史传感器组数据通过机器学习训练出的，所述第三神经网络模型是至少根据多组所述第三历史传感器组数据通过机器学习训练出的，所述第四神经网络模型是至少根据所述历史实际姿态数据通过机器学习训练出的；将所述第一目标传感器组数据、所述第二目标传感器组数据以及所述第三目标传感器组数据一一对应的输入所述第一神经网络模型、所述第二神经网络模型以及所述第三神经网络模型，得到对应的第一姿态数据、第二姿态数据以及第三姿态数据；对所述第一姿态数据、所述第二姿态数据以及所述第三姿态数据进行第二预定处理，得到对应的第一图像、第二图像以及第三图像，所述第二预定处理包括池化处理；至少根据所述第一图像、所述第二图像以及所述第三图像，确定所述目标姿态数据。

可选地，至少根据所述第一图像、所述第二图像以及所述第三图像，确定所述目标姿态数据，包括：对所述第一图像、所述第二图像以及所述第三图像进行第三预定处理，得到第四图像，所述第三预定处理包括Concat处理；将所述第四图像输入所述第四神经网络模型，得到所述目标姿态数据。

可选地，获取第一传感器组数据、第二传感器组数据以及第三传感器组数据，包括：获取预定时间内的所述第一传感器组数据、所述第二传感器组数据以及所述第三传感器组数据，所述第一传感器组数据、所述第二传感器组数据以及所述第三传感器组数据是经过第四预定处理后得到的数据，所述第四预定处理包括高通滤波和/或低通滤波。

可选地，在获取第一传感器组数据、第二传感器组数据以及第三传感器组数据之前，所述方法还包括：在所述目标对象佩戴第一传感器组、第二传感器组以及第三传感器组的情况下，获取所述目标对象的多个不同的预定动作，得到第一预定传感器组数据、第二预定传感器组数据以及第三预定传感器组数据；获取预定神经网络模型；至少根据所述第一预定传感器组数据、所述第二预定传感器组数据以及所述第三预定传感器组数据对所述预定神经网络模型进行学习，得到所述神经网络模型。

可选地，所述第一神经网络模型、所述第二神经网络模型以及所述第三神经网络模型分别包括M层的卷积层，所述第四神经网络模型包括N层的所述卷积层，其中，0＜M＜N，且M以及N为整数。

根据本发明实施例的另一方面，还提供了一种人体姿态的确定装置，所述装置包括第一获取单元、第一处理单元以及输入单元，其中，所述第一获取单元用于获取第一传感器组数据、第二传感器组数据以及第三传感器组数据，所述第一传感器组数据用于表征EMG对应的多个传感器的数据，所述第二传感器组数据用于表征EIT对应的多个传感器的数据，所述第三传感器组数据用于表征FMG对应的多个传感器的数据；所述第一处理单元用于分别对所述第一传感器组数据、所述第二传感器组数据以及所述第三传感器组数据进行第一预定处理，得到第一目标传感器组数据、第二目标传感器组数据以及第三目标传感器组数据，其中，所述第一预定处理包括数据增强处理；所述输入单元用于将所述第一目标传感器组数据、所述第二目标传感器组数据以及所述第三目标传感器组数据输入神经网络模型，得到目标对象的目标姿态数据，所述神经网络模型是使用多组预定数据通过机器学习训练出的，多组所述预定数据中的每组数据包括第一历史传感器组数据、第二历史传感器组数据、第三历史传感器组数据以及历史实际姿态数据，其中，所述第一历史传感器组数据用于表征EMG对应的多个传感器的历史数据，所述第二历史传感器组数据用于表征EIT对应的多个传感器的历史数据，所述第三历史传感器组数据用于表征FMG对应的多个传感器的历史数据。

根据本发明实施例的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，所述程序用于执行任一种所述的方法。

根据本发明实施例的再一方面，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行任一种所述的方法。

根据本发明实施例的又一方面，还提供了一种人体姿态的确定系统，所述系统包括控制器、第一传感器组、第二传感器组以及第三传感器组，其中，所述控制器用于执行任一种所述的方法；所述第一传感器组用于提供第一传感器组数据，所述第一传感器组数据用于表征EMG对应的多个传感器的数据；所述第二传感器组用于提供第二传感器组数据，所述第二传感器组数据用于表征EIT对应的多个传感器的数据；所述第三传感器组用于提供第三传感器组数据，所述第三传感器组数据用于表征FMG对应的多个传感器的数据。

在本发明实施例中，所述人体姿态的确定方法中，首先，获取第一传感器组数据、第二传感器组数据以及第三传感器组数据，所述第一传感器组数据用于表征EMG对应的多个传感器的数据，所述第二传感器组数据用于表征EIT对应的多个传感器的数据，所述第三传感器组数据用于表征FMG对应的多个传感器的数据；然后，分别对所述第一传感器组数据、所述第二传感器组数据以及所述第三传感器组数据进行数据增强处理，得到第一目标传感器组数据、第二目标传感器组数据以及第三目标传感器组数据；最后，将所述第一目标传感器组数据、所述第二目标传感器组数据以及所述第三目标传感器组数据输入神经网络模型，得到目标对象的目标姿态数据，所述神经网络模型是使用多组预定数据通过机器学习训练出的，多组所述预定数据中的每组数据包括第一历史传感器组数据、第二历史传感器组数据、第三历史传感器组数据以及历史实际姿态数据，其中，所述第一历史传感器组数据用于表征EMG对应的多个传感器的历史数据，所述第二历史传感器组数据用于表征EIT对应的多个传感器的历史数据，所述第三历史传感器组数据用于表征FMG对应的多个传感器的历史数据。相比现有技术中的确定人体姿态的成本较高且准确性较低的问题，本申请的所述人体姿态的确定方法，通过获取所述第一传感器组数据、所述第二传感器组数据以及所述第三传感器组数据，其中，所述第一传感器组数据用于表征EMG对应的多个传感器的数据，所述第二传感器组数据用于表征EIT对应的多个传感器的数据，所述第三传感器组数据用于表征FMG对应的多个传感器的数据，即通过获取关于肌电图、肌力图以及电阻抗成像等三种方式的传感器数据，再通过对所述第一传感器组数据、所述第二传感器组数据以及所述第三传感器组数据进行所述增强数据处理，使得处理得到的所述第一目标传感器组数据、所述第二目标传感器组数据以及所述第三目标传感器组数据更加符合所述目标对象的实际姿态，再将所述第一目标传感器组数据、所述第二目标传感器组数据以及所述第三目标传感器组数据输入所述神经网络模型，使得得到的所述目标对象的目标姿态数据是通过所述神经网络模型，以及EMG、EIT与FMG对应的多个所述传感器的数据共同得到的，避免了现有技术中的确定人体姿态的成本较高且准确性较低的问题，保证了所述目标姿态数据的准确性较高。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1示出了根据本申请的实施例的人体姿态的确定方法流程示意图；

图2示出了根据本申请的实施例的人体姿态的确定装置的示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应该理解的是，当元件(诸如层、膜、区域、或衬底)描述为在另一元件“上”时，该元件可直接在该另一元件上，或者也可存在中间元件。而且，在说明书以及权利要求书中，当描述有元件“连接”至另一元件时，该元件可“直接连接”至该另一元件，或者通过第三元件“连接”至该另一元件。

正如背景技术中所说的，现有技术中的确定人体姿态的成本较高且准确性较低的问题，本申请的一种典型的实施方式中，提供了一种人体姿态的确定方法、其确定装置、计算机可读存储介质、处理器以及人体姿态的确定系统。

根据本申请的实施例，提供了一种人体姿态的确定方法。

图1是根据本申请实施例的人体姿态的确定方法的流程图。如图1所示，该方法包括以下步骤：

步骤S101，获取第一传感器组数据、第二传感器组数据以及第三传感器组数据，上述第一传感器组数据用于表征EMG对应的多个传感器的数据，上述第二传感器组数据用于表征EIT对应的多个传感器的数据，上述第三传感器组数据用于表征FMG对应的多个传感器的数据；

步骤S102，分别对上述第一传感器组数据、上述第二传感器组数据以及上述第三传感器组数据进行第一预定处理，得到第一目标传感器组数据、第二目标传感器组数据以及第三目标传感器组数据，其中，上述第一预定处理包括数据增强处理；

步骤S103，将上述第一目标传感器组数据、上述第二目标传感器组数据以及上述第三目标传感器组数据输入神经网络模型，得到目标对象的目标姿态数据，上述神经网络模型是使用多组预定数据通过机器学习训练出的，多组上述预定数据中的每组数据包括第一历史传感器组数据、第二历史传感器组数据、第三历史传感器组数据以及历史实际姿态数据，其中，上述第一历史传感器组数据用于表征EMG对应的多个传感器的历史数据，上述第二历史传感器组数据用于表征EIT对应的多个传感器的历史数据，上述第三历史传感器组数据用于表征FMG对应的多个传感器的历史数据。

上述人体姿态的确定方法中，首先，获取第一传感器组数据、第二传感器组数据以及第三传感器组数据，上述第一传感器组数据用于表征EMG对应的多个传感器的数据，上述第二传感器组数据用于表征EIT对应的多个传感器的数据，上述第三传感器组数据用于表征FMG对应的多个传感器的数据；然后，分别对上述第一传感器组数据、上述第二传感器组数据以及上述第三传感器组数据进行数据增强处理，得到第一目标传感器组数据、第二目标传感器组数据以及第三目标传感器组数据；最后，将上述第一目标传感器组数据、上述第二目标传感器组数据以及上述第三目标传感器组数据输入神经网络模型，得到目标对象的目标姿态数据，上述神经网络模型是使用多组预定数据通过机器学习训练出的，多组上述预定数据中的每组数据包括第一历史传感器组数据、第二历史传感器组数据、第三历史传感器组数据以及历史实际姿态数据，其中，上述第一历史传感器组数据用于表征EMG对应的多个传感器的历史数据，上述第二历史传感器组数据用于表征EIT对应的多个传感器的历史数据，上述第三历史传感器组数据用于表征FMG对应的多个传感器的历史数据。相比现有技术中的确定人体姿态的成本较高且准确性较低的问题，本申请的上述人体姿态的确定方法，通过获取上述第一传感器组数据、上述第二传感器组数据以及上述第三传感器组数据，其中，上述第一传感器组数据用于表征EMG对应的多个传感器的数据，上述第二传感器组数据用于表征EIT对应的多个传感器的数据，上述第三传感器组数据用于表征FMG对应的多个传感器的数据，即通过获取关于肌电图、肌力图以及电阻抗成像等三种方式的传感器数据，再通过对上述第一传感器组数据、上述第二传感器组数据以及上述第三传感器组数据进行上述增强数据处理，使得处理得到的上述第一目标传感器组数据、上述第二目标传感器组数据以及上述第三目标传感器组数据更加符合上述目标对象的实际姿态，再将上述第一目标传感器组数据、上述第二目标传感器组数据以及上述第三目标传感器组数据输入上述神经网络模型，使得得到的上述目标对象的目标姿态数据是通过上述神经网络模型，以及EMG、EIT与FMG对应的多个上述传感器的数据共同得到的，避免了现有技术中的确定人体姿态的成本较高且准确性较低的问题，保证了上述目标姿态数据的准确性较高。

具体地，上述人体姿态包括手部的手势的确定，在需要确定手部的手势的情况下，上述EMG、EIT以及FMG对应的传感器佩戴在手部，当然，上述人体姿态还可以是人体的其他位置，即需要将EMG、EIT以及FMG对应的传感器佩戴在对应的位置，另外，还可以是除人以外的其他生物体。

一种具体的实施例中，上述数据增强处理包括高斯噪音处理，当然，还可以包括随机翻转、剪裁、缩放灰度等其他数据增强方式。

目前，EIT是一种通过外部电激励信号检测物体内部结构阻抗分布的成像技术，EIT通过在被测导电物体表面放置一组电极，对每一对电极施加高频交流电作为激励信号，依次测量其他电极对上的电响应信号，从而获得内电阻率的对象，由于其无辐射、无损伤、成本低以及结构简单等优点，EIT已广泛应用于损检测、地质勘探等领域，如今，EIT在生物医学成像和人机交互中的应用已得到广泛研究，它测量目标的横截面阻抗分布，当在目标对象周围实现表面电极时，EIT从一个电极发送高频信号，并测量来自其他电极的电响应信号，信号的差异可以恢复内部结构的阻抗分布，各种手势会导致内部肌肉和骨骼的不同运动，并导致内部阻抗分布的变化，因此，EIT可以通过重建变化的阻抗来监测手势，以往使用EIT方法的手势识别表明，EIT对于肌肉收缩相似的手势具有较高的准确率，早期EIT的主要应用是在医疗领域，它于1980年代初首次推出，然而，EIT设备相对笨重和昂贵的特性使这项技术仅局限于医疗领域，传感器和人工智能行业的最新技术进步使EIT成为一种更便宜、更容易获得的技术，EIT-Kit(电阻抗断层扫描工具包)展示了快速原型能力，可以带来复杂的医疗传感，并展示了其在医疗领域的潜力。

EMG是指在肌肉收缩过程中由于神经控制而产生的一系列与肌肉相关的电信号，该信号一般是通过实验方法给出的，可以代表肌肉经过放大处理后的生理特征，肌电图已经成为一个不断发展的研究领域，用于检测人体的微小变化，例如，Thalic实验室以前已经开发出MYO臂章来检测人体内传输的毫伏，8通道肌电图传感器缠绕在用户的前臂上，肌电图电极可以测量肌肉激活产生的电信号，当大脑通过神经发送运动控制信号来激活肌肉时，这个过程会在肌肉膜上产生离子交换并产生小电流，来自电流的电信号可以被肌电传感器检测到，研究人员已经检查了增加肌电电极数量可以提高手势识别的准确性，更具体地说，更高密度的阵列状肌电电极(High Definition Surface Electro MyoGraphy，简称HD-SEMG)提供了更全面的时空特征，这在手势识别等应用中至关重要，此外，研究人员还表明深度学习可以在重建地不断手势中发挥重要作用，深度学习技术的组合可以降低来自不同手指的信号的噪声和复杂性，它显示了肌电图在现实环境中使用的一种有前途且可访问的方式，大多数肌电传感器的传感器数据不足，无法直接重建人的双手，例如，减速运动、指向、挥手被认为很难被低成本的少通道肌电传感器直接捕获，另一方面，大多数多通道肌电传感器的设置繁琐，每个通道肌电都需要一个单独通道的放大器电路。

另外，FMG是一种通过感知肌肉体积变化来收集运动信号的方法，它的基本原理是不同的肌肉活动引起不同的动作，当动作发生时，下面的肌腱复合体的体积会发生变化，从而导致表面机械力的分布发生变化，不同的动作被编码成不同的力图像，通过对这些图像进行解码，可以获得原始运动信息，力感传感器成为可穿戴手势识别的另一种流行方式，当用户用手操作精细运动时，肌肉的收缩和放松会产生局部压力变化，手腕上的压力传感器可以检测设备和肌肉之间压力的持续变化，研究人员表明，基于压力的传感可以帮助用户恢复关键信息关于手腕肌肉，通过算法，这些信息可以因此预测用户的手势，与EMG的区别在于FMG相对更稳定，FMG信号的方差更低，FMG也会产生更好的分离模式，出汗或潮湿条件也不会影响其使用。

当然，单独使用EMG、FMG或者EIT中的一种时，只能做到对特定手势的识别，无法形成的连续性的模型预测，在使用FMG+EMG的多模态解决方式时，需要两个或以上的电路与传感器系统，导致部署成本高，且用户体验较差，另外此前已有的基于生物传感器的解决方案一般因为数据量较少且低维度，由于使用多层深度学习神经网络，而更多地使用传统的机器学习算法，而上述的人体姿态的确定方过程中，通过合并使用EMG、FMG以及EIT三种传感器的数据，且使用神经网络模型进行深度学习，保证了可以简单且准确性较高的预测上述目标对象的上述目标姿态数据。

根据本申请的一种具体实施例，将上述第一目标传感器组数据、上述第二目标传感器组数据以及上述第三目标传感器组数据输入神经网络模型，得到目标对象的目标姿态数据，包括：获取上述神经网络模型，上述神经网络模型包括第一神经网络模型、第二神经网络模型、第三神经网络模型以及第四神经网络模型，其中，上述第一神经网络模型是至少根据多组上述第一历史传感器组数据通过机器学习训练出的，上述第二神经网络模型是至少根据多组上述第二历史传感器组数据通过机器学习训练出的，上述第三神经网络模型是至少根据多组上述第三历史传感器组数据通过机器学习训练出的，上述第四神经网络模型是至少根据上述历史实际姿态数据通过机器学习训练出的；将上述第一目标传感器组数据、上述第二目标传感器组数据以及上述第三目标传感器组数据一一对应的输入上述第一神经网络模型、上述第二神经网络模型以及上述第三神经网络模型，得到对应的第一姿态数据、第二姿态数据以及第三姿态数据；对上述第一姿态数据、上述第二姿态数据以及上述第三姿态数据进行第二预定处理，得到对应的第一图像、第二图像以及第三图像，上述第二预定处理包括池化处理；至少根据上述第一图像、上述第二图像以及上述第三图像，确定上述目标姿态数据。通过获取包括上述第一神经网络模型、上述第二神经网络模型、上述第三神经网络模型以及上述第四神经网络模型的上述神经网络模型，再将上述第一目标传感器组数据输入上述第一神经网络模型，将上述第二目标传感器组数据输入上述第二神经网络模型，将上述第三目标传感器组数据输入上述第三神经网络模型，使得可以通过三个不同的神经网络模型分别处理EMG、EIT与FMG的传感器数据，保证了处理得到的上述第一姿态数据、上述第二姿态数据以及上述第三姿态数据分别代表三种不同类型传感器的姿态数据，再通过对上述第一姿态数据、上述第二姿态数据以及上述第三姿态数据进行上述池化处理，使得处理得到的上述第一图像、上述第二图像以及上述第三图像的大小相同，便于后续的处理，保证了可以较为简单的根据上述第一图像、上述第二图像以及上述第三图像确定上述目标姿态数据。

具体地，将上述第一目标传感器组数据、上述第二目标传感器组数据以及上述第三目标传感器组数据一一对应的输入上述第一神经网络模型、上述第二神经网络模型以及上述第三神经网络模型后，通过池化(Pooling)处理形成一张64×64的图像。当然，图像的大小可以根据实际情况改变，只需要上述第一图像、上述第二图像以及上述第三图像的大小相同即可。

一种具体的实施例中，还可以选择使用RNN(Recurrent Neural Network，循环神经网络)，或者Transformer，其中，Transformer是一个利用注意力机制来提高模型训练准确率的模型，还可以是MLP(Multilayer Perceptron，多层感知器)，选择上述神经网络模型是因为实现后帧率较低，容易部署，并且准度较高。

为了进一步保证上述目标姿态数据的准确性较高，根据本申请的另一种具体实施例，至少根据上述第一图像、上述第二图像以及上述第三图像，确定上述目标姿态数据，包括：对上述第一图像、上述第二图像以及上述第三图像进行第三预定处理，得到第四图像，上述第三预定处理包括Concat处理；将上述第四图像输入上述第四神经网络模型，得到上述目标姿态数据。通过对上述第一图像、上述第二图像以及上述第三图像进行上述Concat处理，使得处理得到的上述第四图像包括上述第一图像、上述第二图像以及上述第三图像对应的三个图像的信息，保证了上述第四图像是根据EMG、EIT以及FMG对应的图像信息共同确定的，保证了上述第四图像的准确性较高，再通过将上述第四图像输入上述第四神经网络模型，进一步保证了得到的上述目标姿态数据的准确性较高。

具体地，将得到的三张64×64的图像，即上述第一图像、上述第二图像以及上述第三图像进行Concat处理(叠加)后形成一张3×64×64的图。

根据本申请的又一种具体实施例，获取第一传感器组数据、第二传感器组数据以及第三传感器组数据，包括：获取预定时间内的上述第一传感器组数据、上述第二传感器组数据以及上述第三传感器组数据，上述第一传感器组数据、上述第二传感器组数据以及上述第三传感器组数据是经过第四预定处理后得到的数据，上述第四预定处理包括高通滤波和/或低通滤波。通过获取预定时间内的上述第一传感器组数据，上述第二传感器组数据以及上述第三传感器组数据，且由于上述第一传感器组数据、上述第二传感器组数据以及上述第三传感器组数据是经过高通滤波和/或低通滤波处理后得到的，保证了处理得到的上述第一传感器组数据、上述第二传感器组数据以及上述第三传感器组数据的频率均在对应的范围内，保证了上述第一传感器组数据、上述第二传感器组数据以及上述第三传感器组数据均符合实际需求，使得后续根据上述第一传感器组数据、上述第二传感器组数据以及上述第三传感器组数据确定的上述目标姿态数据的准确性较高，进一步保证了得到的上述目标姿态数据的准确性较高。

一种具体的实施例中，上述EMG包括16对双级EMG传感器，上述EIT包括16对双端传感器，上述FMG包括32个电位的压力点传感器，且将三种传感器同时部署到人的待确定位置后开始实时采集数据，EMG以300Hz的频率同时采集32个电极的数据，EIT以30Hz的频率同时采集16对电极的数据，FMG以60Hz的频率采集32个电极的压力点数据，采集的过程中，我们对EMG采用了20Hz的高通滤波，以过滤电信号中的噪音，当然，对EMG还可以采用特定赫兹的低通滤波，同样应用于EIT以及FMG，具体的高通滤波以及低通滤波对应的值根据实际情况确定，采集完成后，我们收集过去900帧的EMG数据，过去180帧的压力数据，以及过去90帧的EIT数据，即收集过去3秒的数据，当然，在实际应用过程中，上述传感器的数量，上述采集数据的频率、上述滤波的频率以及采集数据的时间都可以根据实际情况进行改变。

由于每个目标对象的身体阻抗以及传感器的佩戴方式均不同，会导致同样的神经网络模型对不同的目标对象进行的计算结果的准确率较低，为了进一步保证上述目标姿态数据的准确性较高，根据本申请的一种具体实施例，在获取第一传感器组数据、第二传感器组数据以及第三传感器组数据之前，上述方法还包括：在上述目标对象佩戴第一传感器组、第二传感器组以及第三传感器组的情况下，获取上述目标对象的多个不同的预定动作，得到第一预定传感器组数据、第二预定传感器组数据以及第三预定传感器组数据；获取预定神经网络模型；至少根据上述第一预定传感器组数据、上述第二预定传感器组数据以及上述第三预定传感器组数据对上述预定神经网络模型进行学习，得到上述神经网络模型。在上述目标对象佩戴第一传感器组、第二传感器组以及第三传感器组的情况下，通过获取上述目标对象的多个不同的预定动作，即获取不同的上述预定动作对应的上述第一预定传感器组数据、第二预定传感器组数据以及第三预定传感器组数据，再通过获取上述预定神经网络模型，并至少根据上述第一预定传感器组数据、上述第二预定传感器组数据以及上述第三预定传感器组数据对上述预定神经网络模型进行学习，使得学习得到的上述神经网络模型更加符合不同的上述目标对象的自身特点，即每个上述目标对象有属于自己的上述神经网络模型，保证了上述神经网络模型的准确性较高，进一步保证了根据上述神经网络模型确定的上述目标对象的目标姿态数据的准确性较高。

一种具体的实施例中，上述神经网络模型先输出N维角度数据，并与我们通过多个深度摄像头同时采集到的实际信息做标定并通过反向传播算法优化损失，通过100个学习过程、学习率、优化算法以及超过五万帧数的数据，来实现了对特定部位姿态的重建。

具体地，通过一种数据数据驱动的方式来实现算法的迁移学习，我们通过采集数万帧数据，并将其通过非监督的方式(Unsupervised Learning)进行分类并降维到10维，并将此10维的数据提取出来作为10个统计学意义上相差最远的手势，我们该系统在使用前，将要求每一位使用者佩戴好传感器通过约半分钟采集该10个手势对应的传感器的数据，并对其进行标注，继而，我们将这些数据发送到我们的深度学习神经网络进一步重新训练，在降低训练次数，降低训练的学习率后，我们将模型的优化空间限制在一定范围内以避免过拟合，即这个模型通过半分钟新采集学习的数据，可以更好的优化到新的佩戴该多模态传感器的目标对象上，并实现更高的特定部位姿态识别准确度。当然，并不是固定的10个手势，可以是特定部位的其他个数的姿势，主要通过实际情况确定，且采集数据的时间也可以根据实际需求进行延长或者缩短。

根据本申请的另一种具体实施例，上述第一神经网络模型、上述第二神经网络模型以及上述第三神经网络模型分别包括M层的卷积层，上述第四神经网络模型包括N层的上述卷积层，其中，0＜M＜N，且M以及N为整数。由于0＜M＜N，且M以及N为整数，即上述第一神经网络模型、上述第二神经网络模型以及上述第三神经网络模型包括的卷积层数，小于上述第四神经网络模型的卷积层数，使得上述第四神经网络模型可以处理上述第一神经网络模型、上述第二神经网络模型以及上述第三神经网络模型输出的姿态数据，进一步保证了上述第四神经网络模型输出的上述目标姿态数据的准确性较高。

一种具体的实施例中，M等于5，N等于18，当然，还M与N可以是其他层数，只需要满足0＜M＜N，且M以及N为整数即可。

具体地，上述人体姿态的确定过程可以应用于机器人操控、假肢操控、康复训练、医疗检测或者VR(Virtual Reality，虚拟现实)里的手势操控等领域。

另外，在实际的应用过程中，还可以通过增加其他类型的传感器来补充，更进一步完善该过程。

本申请实施例还提供了一种人体姿态的确定装置，需要说明的是，本申请实施例的人体姿态的确定装置可以用于执行本申请实施例所提供的用于人体姿态的确定方法。以下对本申请实施例提供的人体姿态的确定装置进行介绍。

图2是根据本申请实施例的人体姿态的确定装置的示意图。如图2所示，该装置包括第一获取单元10、第一处理单元20以及输入单元30，其中，上述第一获取单元10用于获取第一传感器组数据、第二传感器组数据以及第三传感器组数据，上述第一传感器组数据用于表征EMG对应的多个传感器的数据，上述第二传感器组数据用于表征EIT对应的多个传感器的数据，上述第三传感器组数据用于表征FMG对应的多个传感器的数据；上述第一处理单元20用于分别对上述第一传感器组数据、上述第二传感器组数据以及上述第三传感器组数据进行第一预定处理，得到第一目标传感器组数据、第二目标传感器组数据以及第三目标传感器组数据，其中，上述第一预定处理包括数据增强处理；上述输入单元30用于将上述第一目标传感器组数据、上述第二目标传感器组数据以及上述第三目标传感器组数据输入神经网络模型，得到目标对象的目标姿态数据，上述神经网络模型是使用多组预定数据通过机器学习训练出的，多组上述预定数据中的每组数据包括第一历史传感器组数据、第二历史传感器组数据、第三历史传感器组数据以及历史实际姿态数据，其中，上述第一历史传感器组数据用于表征EMG对应的多个传感器的历史数据，上述第二历史传感器组数据用于表征EIT对应的多个传感器的历史数据，上述第三历史传感器组数据用于表征FMG对应的多个传感器的历史数据。

上述人体姿态的确定装置中，通过上述第一获取单元获取第一传感器组数据、第二传感器组数据以及第三传感器组数据，上述第一传感器组数据用于表征EMG对应的多个传感器的数据，上述第二传感器组数据用于表征EIT对应的多个传感器的数据，上述第三传感器组数据用于表征FMG对应的多个传感器的数据；通过上述第一处理单元分别对上述第一传感器组数据、上述第二传感器组数据以及上述第三传感器组数据进行第一预定处理，得到第一目标传感器组数据、第二目标传感器组数据以及第三目标传感器组数据，其中，上述第一预定处理包括数据增强处理；通过上述输入单元将上述第一目标传感器组数据、上述第二目标传感器组数据以及上述第三目标传感器组数据输入神经网络模型，得到目标对象的目标姿态数据，上述神经网络模型是使用多组预定数据通过机器学习训练出的，多组上述预定数据中的每组数据包括第一历史传感器组数据、第二历史传感器组数据、第三历史传感器组数据以及历史实际姿态数据，其中，上述第一历史传感器组数据用于表征EMG对应的多个传感器的历史数据，上述第二历史传感器组数据用于表征EIT对应的多个传感器的历史数据，上述第三历史传感器组数据用于表征FMG对应的多个传感器的历史数据。相比现有技术中的确定人体姿态的成本较高且准确性较低的问题，本申请的上述人体姿态的确定装置，通过获取上述第一传感器组数据、上述第二传感器组数据以及上述第三传感器组数据，其中，上述第一传感器组数据用于表征EMG对应的多个传感器的数据，上述第二传感器组数据用于表征EIT对应的多个传感器的数据，上述第三传感器组数据用于表征FMG对应的多个传感器的数据，即通过获取关于肌电图、肌力图以及电阻抗成像等三种方式的传感器数据，再通过对上述第一传感器组数据、上述第二传感器组数据以及上述第三传感器组数据进行上述增强数据处理，使得处理得到的上述第一目标传感器组数据、上述第二目标传感器组数据以及上述第三目标传感器组数据更加符合上述目标对象的实际姿态，再将上述第一目标传感器组数据、上述第二目标传感器组数据以及上述第三目标传感器组数据输入上述神经网络模型，使得得到的上述目标对象的目标姿态数据是通过上述神经网络模型，以及EMG、EIT与FMG对应的多个上述传感器的数据共同得到的，避免了现有技术中的确定人体姿态的成本较高且准确性较低的问题，保证了上述目标姿态数据的准确性较高。

具体地，上述人体姿态包括手部的手势的确定，在需要确定手部的手势的情况下，上述EMG、EIT以及FMG对应的传感器佩戴在手部，当然，上述人体姿态还可以是人体的其他位置，即需要将EMG、EIT以及FMG对应的传感器佩戴在对应的位置，另外，还可以是除人以外的其他生物体。

一种具体的实施例中，上述数据增强处理包括高斯噪音处理，当然，还可以包括随机翻转、剪裁、缩放灰度等其他数据增强方式。

目前，EIT是一种通过外部电激励信号检测物体内部结构阻抗分布的成像技术，EIT通过在被测导电物体表面放置一组电极，对每一对电极施加高频交流电作为激励信号，依次测量其他电极对上的电响应信号，从而获得内电阻率的对象，由于其无辐射、无损伤、成本低以及结构简单等优点，EIT已广泛应用于损检测、地质勘探等领域，如今，EIT在生物医学成像和人机交互中的应用已得到广泛研究，它测量目标的横截面阻抗分布，当在目标对象周围实现表面电极时，EIT从一个电极发送高频信号，并测量来自其他电极的电响应信号，信号的差异可以恢复内部结构的阻抗分布，各种手势会导致内部肌肉和骨骼的不同运动，并导致内部阻抗分布的变化，因此，EIT可以通过重建变化的阻抗来监测手势，以往使用EIT方法的手势识别表明，EIT对于肌肉收缩相似的手势具有较高的准确率，早期EIT的主要应用是在医疗领域，它于1980年代初首次推出，然而，EIT设备相对笨重和昂贵的特性使这项技术仅局限于医疗领域，传感器和人工智能行业的最新技术进步使EIT成为一种更便宜、更容易获得的技术，EIT-Kit(电阻抗断层扫描工具包)展示了快速原型能力，可以带来复杂的医疗传感，并展示了其在医疗领域的潜力。

EMG是指在肌肉收缩过程中由于神经控制而产生的一系列与肌肉相关的电信号，该信号一般是通过实验方法给出的，可以代表肌肉经过放大处理后的生理特征，肌电图已经成为一个不断发展的研究领域，用于检测人体的微小变化，例如，Thalic实验室以前已经开发出MYO臂章来检测人体内传输的毫伏，8通道肌电图传感器缠绕在用户的前臂上，肌电图电极可以测量肌肉激活产生的电信号，当大脑通过神经发送运动控制信号来激活肌肉时，这个过程会在肌肉膜上产生离子交换并产生小电流，来自电流的电信号可以被肌电传感器检测到，研究人员已经检查了增加肌电电极数量可以提高手势识别的准确性，更具体地说，更高密度的阵列状肌电电极(High Definition Surface Electro MyoGraphy，简称HD-SEMG)提供了更全面的时空特征，这在手势识别等应用中至关重要，此外，研究人员还表明深度学习可以在重建地不断手势中发挥重要作用，深度学习技术的组合可以降低来自不同手指的信号的噪声和复杂性，它显示了肌电图在现实环境中使用的一种有前途且可访问的方式，大多数肌电传感器的传感器数据不足，无法直接重建人的双手，例如，减速运动、指向、挥手被认为很难被低成本的少通道肌电传感器直接捕获，另一方面，大多数多通道肌电传感器的设置繁琐，每个通道肌电都需要一个单独通道的放大器电路。

另外，FMG是一种通过感知肌肉体积变化来收集运动信号的方法，它的基本原理是不同的肌肉活动引起不同的动作，当动作发生时，下面的肌腱复合体的体积会发生变化，从而导致表面机械力的分布发生变化，不同的动作被编码成不同的力图像，通过对这些图像进行解码，可以获得原始运动信息，力感传感器成为可穿戴手势识别的另一种流行方式，当用户用手操作精细运动时，肌肉的收缩和放松会产生局部压力变化，手腕上的压力传感器可以检测设备和肌肉之间压力的持续变化，研究人员表明，基于压力的传感可以帮助用户恢复关键信息关于手腕肌肉，通过算法，这些信息可以因此预测用户的手势，与EMG的区别在于FMG相对更稳定，FMG信号的方差更低，FMG也会产生更好的分离模式，出汗或潮湿条件也不会影响其使用。

当然，单独使用EMG、FMG或者EIT中的一种时，只能做到对特定手势的识别，无法形成的连续性的模型预测，在使用FMG+EMG的多模态解决方式时，需要两个或以上的电路与传感器系统，导致部署成本高，且用户体验较差，另外此前已有的基于生物传感器的解决方案一般因为数据量较少且低维度，由于使用多层深度学习神经网络，而更多地使用传统的机器学习算法，而上述的人体姿态的确定方过程中，通过合并使用EMG、FMG以及EIT三种传感器的数据，且使用神经网络模型进行深度学习，保证了可以简单且准确性较高的预测上述目标对象的上述目标姿态数据。

根据本申请的一种具体实施例，上述输入单元包括第一获取模块、输入模块、处理模块以及确定模块，其中，上述第一获取模块用于获取上述神经网络模型，上述神经网络模型包括第一神经网络模型、第二神经网络模型、第三神经网络模型以及第四神经网络模型，其中，上述第一神经网络模型是至少根据多组上述第一历史传感器组数据通过机器学习训练出的，上述第二神经网络模型是至少根据多组上述第二历史传感器组数据通过机器学习训练出的，上述第三神经网络模型是至少根据多组上述第三历史传感器组数据通过机器学习训练出的，上述第四神经网络模型是至少根据上述历史实际姿态数据通过机器学习训练出的；上述输入模块用于将上述第一目标传感器组数据、上述第二目标传感器组数据以及上述第三目标传感器组数据一一对应的输入上述第一神经网络模型、上述第二神经网络模型以及上述第三神经网络模型，得到对应的第一姿态数据、第二姿态数据以及第三姿态数据；上述处理模块用于对上述第一姿态数据、上述第二姿态数据以及上述第三姿态数据进行第二预定处理，得到对应的第一图像、第二图像以及第三图像，上述第二预定处理包括池化处理；上述确定模块用于至少根据上述第一图像、上述第二图像以及上述第三图像，确定上述目标姿态数据。通过获取包括上述第一神经网络模型、上述第二神经网络模型、上述第三神经网络模型以及上述第四神经网络模型的上述神经网络模型，再将上述第一目标传感器组数据输入上述第一神经网络模型，将上述第二目标传感器组数据输入上述第二神经网络模型，将上述第三目标传感器组数据输入上述第三神经网络模型，使得可以通过三个不同的神经网络模型分别处理EMG、EIT与FMG的传感器数据，保证了处理得到的上述第一姿态数据、上述第二姿态数据以及上述第三姿态数据分别代表三种不同类型传感器的姿态数据，再通过对上述第一姿态数据、上述第二姿态数据以及上述第三姿态数据进行上述池化处理，使得处理得到的上述第一图像、上述第二图像以及上述第三图像的大小相同，便于后续的处理，保证了可以较为简单的根据上述第一图像、上述第二图像以及上述第三图像确定上述目标姿态数据。

具体地，将上述第一目标传感器组数据、上述第二目标传感器组数据以及上述第三目标传感器组数据一一对应的输入上述第一神经网络模型、上述第二神经网络模型以及上述第三神经网络模型后，通过池化(Pooling)处理形成一张64×64的图像。当然，图像的大小可以根据实际情况改变，只需要上述第一图像、上述第二图像以及上述第三图像的大小相同即可。

一种具体的实施例中，还可以选择使用RNN(Recurrent Neural Network，循环神经网络)，或者Transformer，其中，Transformer是一个利用注意力机制来提高模型训练准确率的模型，还可以是MLP(Multilayer Perceptron，多层感知器)，选择上述神经网络模型是因为实现后帧率较低，容易部署，并且准度较高。

为了进一步保证上述目标姿态数据的准确性较高，根据本申请的另一种具体实施例，上述确定模块包括处理子模块以及输入子模块，其中，上述处理子模块用于对上述第一图像、上述第二图像以及上述第三图像进行第三预定处理，得到第四图像，上述第三预定处理包括Concat处理；上述输入子模块用于将上述第四图像输入上述第四神经网络模型，得到上述目标姿态数据。通过对上述第一图像、上述第二图像以及上述第三图像进行上述Concat处理，使得处理得到的上述第四图像包括上述第一图像、上述第二图像以及上述第三图像对应的三个图像的信息，保证了上述第四图像是根据EMG、EIT以及FMG对应的图像信息共同确定的，保证了上述第四图像的准确性较高，再通过将上述第四图像输入上述第四神经网络模型，进一步保证了得到的上述目标姿态数据的准确性较高。

具体地，将得到的三张64×64的图像，即上述第一图像、上述第二图像以及上述第三图像进行Concat处理(叠加)后形成一张3×64×64的图。

根据本申请的又一种具体实施例，上述第一获取单元包括第二获取模块，上述第二获取模块用于获取预定时间内的上述第一传感器组数据、上述第二传感器组数据以及上述第三传感器组数据，上述第一传感器组数据、上述第二传感器组数据以及上述第三传感器组数据是经过第四预定处理后得到的数据，上述第四预定处理包括高通滤波和/或低通滤波。通过获取预定时间内的上述第一传感器组数据，上述第二传感器组数据以及上述第三传感器组数据，且由于上述第一传感器组数据、上述第二传感器组数据以及上述第三传感器组数据是经过高通滤波和/或低通滤波处理后得到的，保证了处理得到的上述第一传感器组数据、上述第二传感器组数据以及上述第三传感器组数据的频率均在对应的范围内，保证了上述第一传感器组数据、上述第二传感器组数据以及上述第三传感器组数据均符合实际需求，使得后续根据上述第一传感器组数据、上述第二传感器组数据以及上述第三传感器组数据确定的上述目标姿态数据的准确性较高，进一步保证了得到的上述目标姿态数据的准确性较高。

一种具体的实施例中，上述EMG包括16对双级EMG传感器，上述EIT包括16对双端传感器，上述FMG包括32个电位的压力点传感器，且将三种传感器同时部署到人的待确定位置后开始实时采集数据，EMG以300Hz的频率同时采集32个电极的数据，EIT以30Hz的频率同时采集16对电极的数据，FMG以60Hz的频率采集32个电极的压力点数据，采集的过程中，我们对EMG采用了20Hz的高通滤波，以过滤电信号中的噪音，当然，对EMG还可以采用特定赫兹的低通滤波，同样应用于EIT以及FMG，具体的高通滤波以及低通滤波对应的值根据实际情况确定，采集完成后，我们收集过去900帧的EMG数据，过去180帧的压力数据，以及过去90帧的EIT数据，即收集过去3秒的数据，当然，在实际应用过程中，上述传感器的数量，上述采集数据的频率、上述滤波的频率以及采集数据的时间都可以根据实际情况进行改变。

由于每个目标对象的身体阻抗以及传感器的佩戴方式均不同，会导致同样的神经网络模型对不同的目标对象进行的计算结果的准确率较低，为了进一步保证上述目标姿态数据的准确性较高，根据本申请的一种具体实施例，上述装置还包括第二获取单元、第三获取单元以及第二处理单元，其中，上述第二获取单元用于在获取第一传感器组数据、第二传感器组数据以及第三传感器组数据之前，在上述目标对象佩戴第一传感器组、第二传感器组以及第三传感器组的情况下，获取上述目标对象的多个不同的预定动作，得到第一预定传感器组数据、第二预定传感器组数据以及第三预定传感器组数据；上述第三获取单元用于获取预定神经网络模型；上述第二处理单元用于至少根据上述第一预定传感器组数据、上述第二预定传感器组数据以及上述第三预定传感器组数据对上述预定神经网络模型进行学习，得到上述神经网络模型。在上述目标对象佩戴第一传感器组、第二传感器组以及第三传感器组的情况下，通过获取上述目标对象的多个不同的预定动作，即获取不同的上述预定动作对应的上述第一预定传感器组数据、第二预定传感器组数据以及第三预定传感器组数据，再通过获取上述预定神经网络模型，并至少根据上述第一预定传感器组数据、上述第二预定传感器组数据以及上述第三预定传感器组数据对上述预定神经网络模型进行学习，使得学习得到的上述神经网络模型更加符合不同的上述目标对象的自身特点，即每个上述目标对象有属于自己的上述神经网络模型，保证了上述神经网络模型的准确性较高，进一步保证了根据上述神经网络模型确定的上述目标对象的目标姿态数据的准确性较高。

一种具体的实施例中，上述神经网络模型先输出N维角度数据，并与我们通过多个深度摄像头同时采集到的实际信息做标定并通过反向传播算法优化损失，通过100个学习过程、学习率、优化算法以及超过五万帧数的数据，来实现了对特定部位姿态的重建。

具体地，通过一种数据数据驱动的方式来实现算法的迁移学习，我们通过采集数万帧数据，并将其通过非监督的方式(Unsupervised Learning)进行分类并降维到10维，并将此10维的数据提取出来作为10个统计学意义上相差最远的手势，我们该系统在使用前，将要求每一位使用者佩戴好传感器通过约半分钟采集该10个手势对应的传感器的数据，并对其进行标注，继而，我们将这些数据发送到我们的深度学习神经网络进一步重新训练，在降低训练次数，降低训练的学习率后，我们将模型的优化空间限制在一定范围内以避免过拟合，即这个模型通过半分钟新采集学习的数据，可以更好的优化到新的佩戴该多模态传感器的目标对象上，并实现更高的特定部位姿态识别准确度。当然，并不是固定的10个手势，可以是特定部位的其他个数的姿势，主要通过实际情况确定，且采集数据的时间也可以根据实际需求进行延长或者缩短。

根据本申请的另一种具体实施例，上述第一神经网络模型、上述第二神经网络模型以及上述第三神经网络模型分别包括M层的卷积层，上述第四神经网络模型包括N层的上述卷积层，其中，0＜M＜N，且M以及N为整数。由于0＜M＜N，且M以及N为整数，即上述第一神经网络模型、上述第二神经网络模型以及上述第三神经网络模型包括的卷积层数，小于上述第四神经网络模型的卷积层数，使得上述第四神经网络模型可以处理上述第一神经网络模型、上述第二神经网络模型以及上述第三神经网络模型输出的姿态数据，进一步保证了上述第四神经网络模型输出的上述目标姿态数据的准确性较高。

一种具体的实施例中，M等于5，N等于18，当然，还M与N可以是其他层数，只需要满足0＜M＜N，且M以及N为整数即可。

具体地，上述人体姿态的确定过程可以应用于机器人操控、假肢操控、康复训练、医疗检测或者VR(Virtual Reality，虚拟现实)里的手势操控等领域。

另外，在实际的应用过程中，还可以通过增加其他类型的传感器来补充，更进一步完善该过程。

上述人体姿态的确定装置包括处理器和存储器，上述第一获取单元、上述第一处理单元以及上述输入单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来解决现有技术中的确定人体姿态的成本较高且准确性较低的问题。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本发明实施例提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现上述人体姿态的确定方法。

本发明实施例提供了一种处理器，上述处理器用于运行程序，其中，上述程序运行时执行上述人体姿态的确定方法。

本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现至少以下步骤：

步骤S101，获取第一传感器组数据、第二传感器组数据以及第三传感器组数据，上述第一传感器组数据用于表征EMG对应的多个传感器的数据，上述第二传感器组数据用于表征EIT对应的多个传感器的数据，上述第三传感器组数据用于表征FMG对应的多个传感器的数据；

步骤S102，分别对上述第一传感器组数据、上述第二传感器组数据以及上述第三传感器组数据进行第一预定处理，得到第一目标传感器组数据、第二目标传感器组数据以及第三目标传感器组数据，其中，上述第一预定处理包括数据增强处理；

步骤S103，将上述第一目标传感器组数据、上述第二目标传感器组数据以及上述第三目标传感器组数据输入神经网络模型，得到目标对象的目标姿态数据，上述神经网络模型是使用多组预定数据通过机器学习训练出的，多组上述预定数据中的每组数据包括第一历史传感器组数据、第二历史传感器组数据、第三历史传感器组数据以及历史实际姿态数据，其中，上述第一历史传感器组数据用于表征EMG对应的多个传感器的历史数据，上述第二历史传感器组数据用于表征EIT对应的多个传感器的历史数据，上述第三历史传感器组数据用于表征FMG对应的多个传感器的历史数据。

本文中的设备可以是服务器、PC、PAD、手机等。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有至少如下方法步骤的程序：

步骤S101，获取第一传感器组数据、第二传感器组数据以及第三传感器组数据，上述第一传感器组数据用于表征EMG对应的多个传感器的数据，上述第二传感器组数据用于表征EIT对应的多个传感器的数据，上述第三传感器组数据用于表征FMG对应的多个传感器的数据；

步骤S102，分别对上述第一传感器组数据、上述第二传感器组数据以及上述第三传感器组数据进行第一预定处理，得到第一目标传感器组数据、第二目标传感器组数据以及第三目标传感器组数据，其中，上述第一预定处理包括数据增强处理；

步骤S103，将上述第一目标传感器组数据、上述第二目标传感器组数据以及上述第三目标传感器组数据输入神经网络模型，得到目标对象的目标姿态数据，上述神经网络模型是使用多组预定数据通过机器学习训练出的，多组上述预定数据中的每组数据包括第一历史传感器组数据、第二历史传感器组数据、第三历史传感器组数据以及历史实际姿态数据，其中，上述第一历史传感器组数据用于表征EMG对应的多个传感器的历史数据，上述第二历史传感器组数据用于表征EIT对应的多个传感器的历史数据，上述第三历史传感器组数据用于表征FMG对应的多个传感器的历史数据。

根据本申请的另一种典型的实施例，还提供了一种人体姿态的确定系统，上述系统包括控制器、第一传感器组、第二传感器组以及第三传感器组，其中，上述控制器用于执行任一种上述的方法；上述第一传感器组用于提供第一传感器组数据，上述第一传感器组数据用于表征EMG对应的多个传感器的数据；上述第二传感器组用于提供第二传感器组数据，上述第二传感器组数据用于表征EIT对应的多个传感器的数据；上述第三传感器组用于提供第三传感器组数据，上述第三传感器组数据用于表征FMG对应的多个传感器的数据。

上述人体姿态的确定系统，包括控制器、第一传感器组、第二传感器组以及第三传感器组，其中，上述控制器用于执行任一种上述的方法；上述第一传感器组用于提供第一传感器组数据，上述第一传感器组数据用于表征EMG对应的多个传感器的数据；上述第二传感器组用于提供第二传感器组数据，上述第二传感器组数据用于表征EIT对应的多个传感器的数据；上述第三传感器组用于提供第三传感器组数据，上述第三传感器组数据用于表征FMG对应的多个传感器的数据。相比现有技术中的确定人体姿态的成本较高且准确性较低的问题，本申请的上述人体姿态的确定系统，通过获取上述第一传感器组数据、上述第二传感器组数据以及上述第三传感器组数据，其中，上述第一传感器组数据用于表征EMG对应的多个传感器的数据，上述第二传感器组数据用于表征EIT对应的多个传感器的数据，上述第三传感器组数据用于表征FMG对应的多个传感器的数据，即通过获取关于肌电图、肌力图以及电阻抗成像等三种方式的传感器数据，再通过对上述第一传感器组数据、上述第二传感器组数据以及上述第三传感器组数据进行上述增强数据处理，使得处理得到的上述第一目标传感器组数据、上述第二目标传感器组数据以及上述第三目标传感器组数据更加符合上述目标对象的实际姿态，再将上述第一目标传感器组数据、上述第二目标传感器组数据以及上述第三目标传感器组数据输入上述神经网络模型，使得得到的上述目标对象的目标姿态数据是通过上述神经网络模型，以及EMG、EIT与FMG对应的多个上述传感器的数据共同得到的，避免了现有技术中的确定人体姿态的成本较高且准确性较低的问题，保证了上述目标姿态数据的准确性较高。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例上述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

从以上的描述中，可以看出，本申请上述的实施例实现了如下技术效果：

1)、本申请的上述人体姿态的确定方法中，首先，获取第一传感器组数据、第二传感器组数据以及第三传感器组数据，上述第一传感器组数据用于表征EMG对应的多个传感器的数据，上述第二传感器组数据用于表征EIT对应的多个传感器的数据，上述第三传感器组数据用于表征FMG对应的多个传感器的数据；然后，分别对上述第一传感器组数据、上述第二传感器组数据以及上述第三传感器组数据进行数据增强处理，得到第一目标传感器组数据、第二目标传感器组数据以及第三目标传感器组数据；最后，将上述第一目标传感器组数据、上述第二目标传感器组数据以及上述第三目标传感器组数据输入神经网络模型，得到目标对象的目标姿态数据，上述神经网络模型是使用多组预定数据通过机器学习训练出的，多组上述预定数据中的每组数据包括第一历史传感器组数据、第二历史传感器组数据、第三历史传感器组数据以及历史实际姿态数据，其中，上述第一历史传感器组数据用于表征EMG对应的多个传感器的历史数据，上述第二历史传感器组数据用于表征EIT对应的多个传感器的历史数据，上述第三历史传感器组数据用于表征FMG对应的多个传感器的历史数据。相比现有技术中的确定人体姿态的成本较高且准确性较低的问题，本申请的上述人体姿态的确定方法，通过获取上述第一传感器组数据、上述第二传感器组数据以及上述第三传感器组数据，其中，上述第一传感器组数据用于表征EMG对应的多个传感器的数据，上述第二传感器组数据用于表征EIT对应的多个传感器的数据，上述第三传感器组数据用于表征FMG对应的多个传感器的数据，即通过获取关于肌电图、肌力图以及电阻抗成像等三种方式的传感器数据，再通过对上述第一传感器组数据、上述第二传感器组数据以及上述第三传感器组数据进行上述增强数据处理，使得处理得到的上述第一目标传感器组数据、上述第二目标传感器组数据以及上述第三目标传感器组数据更加符合上述目标对象的实际姿态，再将上述第一目标传感器组数据、上述第二目标传感器组数据以及上述第三目标传感器组数据输入上述神经网络模型，使得得到的上述目标对象的目标姿态数据是通过上述神经网络模型，以及EMG、EIT与FMG对应的多个上述传感器的数据共同得到的，避免了现有技术中的确定人体姿态的成本较高且准确性较低的问题，保证了上述目标姿态数据的准确性较高。

2)、本申请的上述人体姿态的确定装置中，通过上述第一获取单元获取第一传感器组数据、第二传感器组数据以及第三传感器组数据，上述第一传感器组数据用于表征EMG对应的多个传感器的数据，上述第二传感器组数据用于表征EIT对应的多个传感器的数据，上述第三传感器组数据用于表征FMG对应的多个传感器的数据；通过上述第一处理单元分别对上述第一传感器组数据、上述第二传感器组数据以及上述第三传感器组数据进行第一预定处理，得到第一目标传感器组数据、第二目标传感器组数据以及第三目标传感器组数据，其中，上述第一预定处理包括数据增强处理；通过上述输入单元将上述第一目标传感器组数据、上述第二目标传感器组数据以及上述第三目标传感器组数据输入神经网络模型，得到目标对象的目标姿态数据，上述神经网络模型是使用多组预定数据通过机器学习训练出的，多组上述预定数据中的每组数据包括第一历史传感器组数据、第二历史传感器组数据、第三历史传感器组数据以及历史实际姿态数据，其中，上述第一历史传感器组数据用于表征EMG对应的多个传感器的历史数据，上述第二历史传感器组数据用于表征EIT对应的多个传感器的历史数据，上述第三历史传感器组数据用于表征FMG对应的多个传感器的历史数据。相比现有技术中的确定人体姿态的成本较高且准确性较低的问题，本申请的上述人体姿态的确定装置，通过获取上述第一传感器组数据、上述第二传感器组数据以及上述第三传感器组数据，其中，上述第一传感器组数据用于表征EMG对应的多个传感器的数据，上述第二传感器组数据用于表征EIT对应的多个传感器的数据，上述第三传感器组数据用于表征FMG对应的多个传感器的数据，即通过获取关于肌电图、肌力图以及电阻抗成像等三种方式的传感器数据，再通过对上述第一传感器组数据、上述第二传感器组数据以及上述第三传感器组数据进行上述增强数据处理，使得处理得到的上述第一目标传感器组数据、上述第二目标传感器组数据以及上述第三目标传感器组数据更加符合上述目标对象的实际姿态，再将上述第一目标传感器组数据、上述第二目标传感器组数据以及上述第三目标传感器组数据输入上述神经网络模型，使得得到的上述目标对象的目标姿态数据是通过上述神经网络模型，以及EMG、EIT与FMG对应的多个上述传感器的数据共同得到的，避免了现有技术中的确定人体姿态的成本较高且准确性较低的问题，保证了上述目标姿态数据的准确性较高。

3)、本申请的上述人体姿态的确定系统，包括控制器、第一传感器组、第二传感器组以及第三传感器组，其中，上述控制器用于执行任一种上述的方法；上述第一传感器组用于提供第一传感器组数据，上述第一传感器组数据用于表征EMG对应的多个传感器的数据；上述第二传感器组用于提供第二传感器组数据，上述第二传感器组数据用于表征EIT对应的多个传感器的数据；上述第三传感器组用于提供第三传感器组数据，上述第三传感器组数据用于表征FMG对应的多个传感器的数据。相比现有技术中的确定人体姿态的成本较高且准确性较低的问题，本申请的上述人体姿态的确定系统，通过获取上述第一传感器组数据、上述第二传感器组数据以及上述第三传感器组数据，其中，上述第一传感器组数据用于表征EMG对应的多个传感器的数据，上述第二传感器组数据用于表征EIT对应的多个传感器的数据，上述第三传感器组数据用于表征FMG对应的多个传感器的数据，即通过获取关于肌电图、肌力图以及电阻抗成像等三种方式的传感器数据，再通过对上述第一传感器组数据、上述第二传感器组数据以及上述第三传感器组数据进行上述增强数据处理，使得处理得到的上述第一目标传感器组数据、上述第二目标传感器组数据以及上述第三目标传感器组数据更加符合上述目标对象的实际姿态，再将上述第一目标传感器组数据、上述第二目标传感器组数据以及上述第三目标传感器组数据输入上述神经网络模型，使得得到的上述目标对象的目标姿态数据是通过上述神经网络模型，以及EMG、EIT与FMG对应的多个上述传感器的数据共同得到的，避免了现有技术中的确定人体姿态的成本较高且准确性较低的问题，保证了上述目标姿态数据的准确性较高。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种人体姿态的确定方法，其特征在于，所述方法包括：

获取第一传感器组数据、第二传感器组数据以及第三传感器组数据，所述第一传感器组数据用于表征EMG对应的多个传感器的数据，所述第二传感器组数据用于表征EIT对应的多个传感器的数据，所述第三传感器组数据用于表征FMG对应的多个传感器的数据；

分别对所述第一传感器组数据、所述第二传感器组数据以及所述第三传感器组数据进行第一预定处理，得到第一目标传感器组数据、第二目标传感器组数据以及第三目标传感器组数据，其中，所述第一预定处理包括数据增强处理；

将所述第一目标传感器组数据、所述第二目标传感器组数据以及所述第三目标传感器组数据输入神经网络模型，得到目标对象的目标姿态数据，所述神经网络模型是使用多组预定数据通过机器学习训练出的，多组所述预定数据中的每组数据包括第一历史传感器组数据、第二历史传感器组数据、第三历史传感器组数据以及历史实际姿态数据，其中，所述第一历史传感器组数据用于表征EMG对应的多个传感器的历史数据，所述第二历史传感器组数据用于表征EIT对应的多个传感器的历史数据，所述第三历史传感器组数据用于表征FMG对应的多个传感器的历史数据。

2.根据权利要求1所述的方法，其特征在于，将所述第一目标传感器组数据、所述第二目标传感器组数据以及所述第三目标传感器组数据输入神经网络模型，得到目标对象的目标姿态数据，包括：

获取所述神经网络模型，所述神经网络模型包括第一神经网络模型、第二神经网络模型、第三神经网络模型以及第四神经网络模型，其中，所述第一神经网络模型是至少根据多组所述第一历史传感器组数据通过机器学习训练出的，所述第二神经网络模型是至少根据多组所述第二历史传感器组数据通过机器学习训练出的，所述第三神经网络模型是至少根据多组所述第三历史传感器组数据通过机器学习训练出的，所述第四神经网络模型是至少根据所述历史实际姿态数据通过机器学习训练出的；

将所述第一目标传感器组数据、所述第二目标传感器组数据以及所述第三目标传感器组数据一一对应的输入所述第一神经网络模型、所述第二神经网络模型以及所述第三神经网络模型，得到对应的第一姿态数据、第二姿态数据以及第三姿态数据；

对所述第一姿态数据、所述第二姿态数据以及所述第三姿态数据进行第二预定处理，得到对应的第一图像、第二图像以及第三图像，所述第二预定处理包括池化处理；

至少根据所述第一图像、所述第二图像以及所述第三图像，确定所述目标姿态数据。

3.根据权利要求2所述的方法，其特征在于，至少根据所述第一图像、所述第二图像以及所述第三图像，确定所述目标姿态数据，包括：

对所述第一图像、所述第二图像以及所述第三图像进行第三预定处理，得到第四图像，所述第三预定处理包括Concat处理；

将所述第四图像输入所述第四神经网络模型，得到所述目标姿态数据。

4.根据权利要求1所述的方法，其特征在于，获取第一传感器组数据、第二传感器组数据以及第三传感器组数据，包括：

获取预定时间内的所述第一传感器组数据、所述第二传感器组数据以及所述第三传感器组数据，所述第一传感器组数据、所述第二传感器组数据以及所述第三传感器组数据是经过第四预定处理后得到的数据，所述第四预定处理包括高通滤波和/或低通滤波。

5.根据权利要求1所述的方法，其特征在于，在获取第一传感器组数据、第二传感器组数据以及第三传感器组数据之前，所述方法还包括：

在所述目标对象佩戴第一传感器组、第二传感器组以及第三传感器组的情况下，获取所述目标对象的多个不同的预定动作，得到第一预定传感器组数据、第二预定传感器组数据以及第三预定传感器组数据；

获取预定神经网络模型；

至少根据所述第一预定传感器组数据、所述第二预定传感器组数据以及所述第三预定传感器组数据对所述预定神经网络模型进行学习，得到所述神经网络模型。

6.根据权利要求3所述的方法，其特征在于，所述第一神经网络模型、所述第二神经网络模型以及所述第三神经网络模型分别包括M层的卷积层，所述第四神经网络模型包括N层的所述卷积层，其中，0＜M＜N，且M以及N为整数。

7.一种人体姿态的确定装置，其特征在于，所述装置包括：

第一获取单元，用于获取第一传感器组数据、第二传感器组数据以及第三传感器组数据，所述第一传感器组数据用于表征EMG对应的多个传感器的数据，所述第二传感器组数据用于表征EIT对应的多个传感器的数据，所述第三传感器组数据用于表征FMG对应的多个传感器的数据；

第一处理单元，用于分别对所述第一传感器组数据、所述第二传感器组数据以及所述第三传感器组数据进行第一预定处理，得到第一目标传感器组数据、第二目标传感器组数据以及第三目标传感器组数据，其中，所述第一预定处理包括数据增强处理；

输入单元，用于将所述第一目标传感器组数据、所述第二目标传感器组数据以及所述第三目标传感器组数据输入神经网络模型，得到目标对象的目标姿态数据，所述神经网络模型是使用多组预定数据通过机器学习训练出的，多组所述预定数据中的每组数据包括第一历史传感器组数据、第二历史传感器组数据、第三历史传感器组数据以及历史实际姿态数据，其中，所述第一历史传感器组数据用于表征EMG对应的多个传感器的历史数据，所述第二历史传感器组数据用于表征EIT对应的多个传感器的历史数据，所述第三历史传感器组数据用于表征FMG对应的多个传感器的历史数据。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，所述程序执行权利要求1至6中任意一项所述的方法。

9.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至6中任意一项所述的方法。

10.一种人体姿态的确定系统，其特征在于，包括：

控制器，所述控制器用于执行权利要求1至6中任意一项所述的方法；

第一传感器组，用于提供第一传感器组数据，所述第一传感器组数据用于表征EMG对应的多个传感器的数据；

第二传感器组，用于提供第二传感器组数据，所述第二传感器组数据用于表征EIT对应的多个传感器的数据；

第三传感器组，用于提供第三传感器组数据，所述第三传感器组数据用于表征FMG对应的多个传感器的数据。

Images