CN117556258A - 运动数据处理方法、装置、设备及存储介质 - Google Patents
运动数据处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117556258A CN117556258A CN202311577275.7A CN202311577275A CN117556258A CN 117556258 A CN117556258 A CN 117556258A CN 202311577275 A CN202311577275 A CN 202311577275A CN 117556258 A CN117556258 A CN 117556258A
- Authority
- CN
- China
- Prior art keywords
- data
- expansion
- spectrum
- state
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 299
- 238000003672 processing method Methods 0.000 title claims description 38
- 238000001228 spectrum Methods 0.000 claims abstract description 381
- 238000000034 method Methods 0.000 claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 39
- 238000006243 chemical reaction Methods 0.000 claims abstract description 23
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 230000008451 emotion Effects 0.000 claims description 70
- 238000012549 training Methods 0.000 claims description 67
- 230000002996 emotional effect Effects 0.000 claims description 18
- 230000003595 spectral effect Effects 0.000 claims description 18
- 230000009471 action Effects 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 5
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 8
- 238000002567 electromyography Methods 0.000 description 7
- 230000003190 augmentative effect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000009182 swimming Effects 0.000 description 5
- 230000000903 blocking effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 206010049565 Muscle fatigue Diseases 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000013434 data augmentation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003183 myoelectrical effect Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 210000004243 sweat Anatomy 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000035900 sweating Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2131—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on a transform domain processing, e.g. wavelet transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种运动数据处理方法、装置、设备及存储介质，属于数据处理技术领域。本发明通过获取用户在正常状态下第一数量的初始手势动作数据；对初始手势动作数据进行预处理，得到初始频谱数据；利用随机噪声信号对初始频谱数据进行数据扩充，得到第二数量的第一扩充频谱数据；选取使用的一种或多种状态数据，对第一扩充频谱数据进行状态数据扩充，得到第三数量的第二扩充频谱数据；基于所述第一扩充频谱数据和所述第二扩充频谱数据进行数据转换，得到目标扩充手势动作数据，将多种状态融入生成的手势数据中，使得生成的数据有更强的可解释性和真实性。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种运动数据处理方法、装置、设备及存储介质。
背景技术
目前VR(Virtual Reality，虚拟现实)/AR(Augmented Reality，增强现实)领域进行手势操控的应用中，很多工作基于EMG信号实现微小手势识别。使用深度学习方法进行EMG信号进行手势识别时，存在的一大难点就是数据量不足，为了解决EMG数据量局限性的问题，可以采用多种数据增强方法。例如对原始信号进行变换、切割处理，会导致生成的数据质量非常不稳定，且缺乏真实数据的应用特点。目前的方法依然存在一定局限性。
发明内容
本发明的主要目的在于提供一种运动数据处理方法、装置、设备及存储介质，旨在解决现有技术数据扩充存在一定局限性导致扩充的数据缺乏真实性的技术问题。
为实现上述目的，本发明提供了一种运动数据处理方法，所述方法包括以下步骤：
获取用户在正常状态下第一数量的初始手势动作数据；
对所述初始手势动作数据进行预处理，得到初始频谱数据；
利用随机噪声信号对所述初始频谱数据输入进行数据扩充，得到第二数量的第一扩充频谱数据，所述第二数量大于所述第一数量；
选取使用的一种或多种状态数据，对所述第一扩充频谱数据进行状态数据扩充，得到第三数量的第二扩充频谱数据，其中，所述第三数量大于所述第二数量，所述第二扩充频谱数据包括由每种状态数据和第一扩充频谱数据构成的状态扩充频谱数据；
基于所述第一扩充频谱数据和所述第二扩充频谱数据进行数据转换，得到目标扩充手势动作数据。
可选地，所述将所述初始频谱数据输入至预设信号生成器进行数据扩充，得到第一扩充频谱数据，包括：
获取随机噪声信号；
将所述初始频谱数据和所述随机噪声信号输入至第一数据扩充网络进行数据拼接，得到拼合频谱数据，所述第一数据扩充网络为通过手势动作样本数据训练得到的预设信号生成器和预设信号判别器构建的；
将所述拼合频谱数据进行数据扩充，得到第二数量的第一扩充频谱数据。
可选地，所述选取使用的一种或多种状态数据，对所述第一扩充频谱数据进行状态数据扩充，得到第三数量的第二扩充频谱数据，包括：
选取使用的一种或多种状态数据，将所述状态数据和所述第一扩充频谱数据输入至第二数据扩充网络进行状态数据扩充，得到第三数量的第二扩充频谱数据，其中，所述第二数据扩充网络为通过用户在多种状态下的手势动作样本数据训练得到的多种状态生成器构建的，所述状态包括下述的一种或多种：运动状态、情感状态、指示外部因素的额外状态。
可选地，所述选取使用的一种或多种状态数据，对所述第一扩充频谱数据进行状态数据扩充，得到第三数量的第二扩充频谱数据，包括：
将所述第一扩充频谱数据输入至第二数据扩充网络；
在所述第二数据扩充网络中，分别选取使用的情感状态数据和运动状态数据同时对所述第一扩充频谱数据进行情感状态数据扩充和运动状态数据扩充，得到第四数量的情感扩充频谱数据和第五数量的运动扩充频谱数据；
将所述第二数量的第一扩充频谱数据、所述第四数量的情感扩充频谱数据和所述第五数量的运动扩充频谱数据相加，得到第六数量的扩充频谱数据；
选取使用的额外状态数据，在所述第二数据扩充网络中对所述第六数量的扩充频谱数据进行额外状态数据扩充，得到第三数量的第二扩充频谱数据。
可选地，所述方法还包括：
采集用户在正常状态下的第一手势动作样本数据；
将所述第一手势动作样本数据划分为第一手势动作训练样本数据和第二手势动作训练样本数据；
将所述第二手势动作训练样本数据和随机高斯样本信号进行拼合，得到拼合样本数据；
基于对抗生成器和所述拼合样本数据得到伪样本数据；
对所述第一手势动作训练样本数据和所述伪样本数据进行判定，得到判定结果；
通过所述判定结果进行参数调整，以对初始信号生成器和初始信号判别器进行对抗训练，得到预设信号生成器和预设信号判别器；
根据所述预设信号判别器和所述预设信号生成器构建第一数据扩充网络。
可选地，所述方法还包括：
采集用户在情感波动状态下的第二手势动作样本数据、用户在运动状态下的第三手势动作样本数据以及用户在额外扰动状态下的第四手势动作样本数据；
对第一手势动作样本数据、所述第二手势动作样本数据、所述第三手势动作样本数据、所述第四手势动作样本数据进行预处理，得到第一频谱样本数据、第二频谱样本数据、第三频谱样本数据以及第四频谱样本数据；
对所述第一频谱样本数据进行数据切分，得到二维图块；
对所述二维图块进行编码，得到编码后的二维图块；
根据编码后的二维图块得到降维压缩后的中间向量；
对所述中间向量进行解码，得到解码结果；
将所述解码结果进行线性映射以及拼接，得到二维频谱样本数据；
基于所述二维频谱样本数据、所述第二频谱样本数据、所述第三频谱样本数据以及所述第四频谱样本数据进行训练，生成多种状态生成器；
根据多种所述状态生成器构建第二数据扩充网络。
可选地，所述基于所述二维频谱样本数据、所述第二频谱样本数据、所述第三频谱样本数据以及所述第四频谱样本数据进行训练，生成多种状态生成器，包括：
将所述二维频谱样本数据分别与所述第二频谱样本数据、所述第三频谱样本数据以及所述第四频谱样本数据进行比较，并计算比较误差数据；
基于所述比较误差数据进行训练，生成情感状态生成器、运动状态生成器以及额外状态生成器；
基于所述情感状态生成器、所述运动状态生成器以及所述额外状态生成器得到多种状态生成器。
可选地，所述基于所述第一扩充频谱数据和所述第二扩充频谱数据进行数据转换，得到目标扩充手势动作数据，包括：
将所述第六数量的扩充频谱数据和所述第三数量的第二扩充频谱数据进行数据融合，得到融合扩充频谱数据；
将所述融合扩充频谱数据进行反傅里叶变换，得到目标扩充手势动作数据。
可选地，所述基于所述第一扩充频谱数据和所述第二扩充频谱数据进行数据转换，得到目标扩充手势动作数据之后，还包括：
对所述目标扩充手势动作数据进行数据增强，得到增强扩充手势动作数据；
将所述增强扩充手势动作数据输入至第二数据扩充网络中的预设信号判别器进行质量检测；
将所述增强扩充手势动作数据不符合质量标准的数据进行剔除，得到更新后的目标扩充手势动作数据。
此外，为实现上述目的，本发明还提出一种运动数据处理装置，所述运动数据处理装置包括：
获取模块，用于获取用户在正常状态下第一数量的初始手势动作数据；
处理模块，用于对所述初始手势动作数据进行预处理，得到初始频谱数据；
扩充模块，用于利用随机噪声信号对所述初始频谱数据进行数据扩充，得到第二数量的第一扩充频谱数据，所述第二数量大于所述第一数量；
所述扩充模块，还用于选取使用的一种或多种状态数据，对所述第一扩充频谱数据进行状态数据扩充，得到第三数量的第二扩充频谱数据，其中，所述第三数量大于所述第二数量，所述第二扩充频谱数据包括由每种状态数据和第一扩充频谱数据构成的状态扩充频谱数据；
转换模块，用于基于所述第一扩充频谱数据和所述第二扩充频谱数据进行数据转换，得到目标扩充手势动作数据。
此外，为实现上述目的，本发明还提出一种运动数据处理设备，运动数据处理设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的运动数据处理程序，运动数据处理程序配置为实现如上文的运动数据处理方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，存储介质上存储有运动数据处理程序，运动数据处理程序被处理器执行时实现如上文的运动数据处理方法的步骤。
本发明通过获取用户在正常状态下第一数量的初始手势动作数据；对初始手势动作数据进行预处理，得到初始频谱数据；利用随机噪声信号对初始频谱数据进行数据扩充，得到第二数量的第一扩充频谱数据；选取使用的一种或多种状态数据，对第一扩充频谱数据进行状态数据扩充，得到第三数量的第二扩充频谱数据；基于第一扩充频谱数据和第二扩充频谱数据进行数据转换，得到目标扩充手势动作数据，将多种状态融入生成的手势数据中，使得生成的数据有更强的可解释性和真实性。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的运动数据处理设备的结构示意图；
图2为本发明运动数据处理方法第一实施例的流程示意图；
图3为本发明运动数据处理方法一实施中采集正常状态下用户的初始手势动作数据的示意图；
图4为本发明运动数据处理方法第二实施例的流程示意图；
图5为本发明运动数据处理方法一实施中预设信号生成器的架构示意图；
图6为本发明运动数据处理方法第三实施例的流程示意图；
图7为本发明运动数据处理方法第四实施例的流程示意图；
图8为本发明运动数据处理方法一实施中预设状态生成器进行数据扩充的流程示意图；
图9为本发明运动数据处理方法第五实施例的流程示意图；
图10为本发明运动数据处理方法一实施中本实施例中对抗生成器的训练框架图；
图11为本发明运动数据处理方法一实施中采集用户在情感波动状态下的数据的示意图；
图12为本发明运动数据处理方法一实施中采集用户在运动状态下的数据的示意图；
图13为本发明运动数据处理方法一实施中采集的手势动作数据类型示意图；
图14为本发明运动数据处理方法一实施中状态提取自编码器的框架示意图；
图15为本发明运动数据处理方法一实施中训练阶段的流程示意图；
图16为本发明运动数据处理方法第六实施例的流程示意图；
图17为本发明运动数据处理方法一实施中预设信号判别器的架构示意图；
图18为本发明运动数据处理方法一实施中的整体流程示意图；
图19为本发明运动数据处理装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的运动数据处理设备结构示意图。
如图1所示，该运动数据处理设备可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity，Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对运动数据处理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及运动数据处理程序。
在图1所示的运动数据处理设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明运动数据处理设备中的处理器1001、存储器1005可以设置在运动数据处理设备中，运动数据处理设备通过处理器1001调用存储器1005中存储的运动数据处理程序，并执行本发明实施例提供的运动数据处理方法。
本发明实施例提供了一种运动数据处理方法，参照图2，图2为本发明运动数据处理方法第一实施例的流程示意图。
本实施例中，运动数据处理方法包括以下步骤：
步骤S10：获取用户在正常状态下第一数量的初始手势动作数据。
需要说明的是，本实施例的执行主体可为运动数据处理设备，还可为其他可实现相同或相似功能的设备，本实施例对此不作限制，本实施例以运动数据处理设备为例进行说明。
本申请主要通过第一数据扩充网络和第二数据扩充网络进行运动数据处理，通过融合随机噪声、情感波动状态、运动状态、其他额外状态等真实环境中的复杂变化因素，强化生成数据的多样性，为下游预测任务提供泛化性更高的生成式运动数据集。
需要说明的是，在运动数据主要为EMG(Electromyography，肌电图)运动数据，主要为用户的手势动作数据，还可包括用户其他部位的运动数据，例如腿部动作数据、头部动作数据等。
在需要进行运动数据处理时，可通过一组肌电电极采集用户在正常状态下的第一数量的初始手势动作数据，正常状态即为用户无运动状态以及无情感波动状态。如图3所示，图3为采集正常状态下用户第一数量的初始手势动作数据的示意图，通过采集用户在正常状态下进行不同的手势动作，得到初始手势动作数据。
步骤S20：对初始手势动作数据进行预处理，得到初始频谱数据。
应理解的是，为提高初始手势动作数据的准确性，可对初始手势动作数据进行预处理，具体包括活动段检测以及傅里叶时频变换等处理，从而将表征时序信号的初始手势动作数据转换为频谱数据。
示例性的，通过对初始手势动作数据进行活动段检测，提取动作数据，并转换为频谱数据，得到第一数量的初始频谱数据。
步骤S30：利用随机噪声信号对初始频谱数据进行数据扩充，得到第二数量的第一扩充频谱数据，第二数量大于第一数量。
在具体实施中，可对第一数量的初始频谱数据添加随机噪声信号，每次加入不同的随机噪声信号，从而实现第一轮的数据扩充，得到第二数量的第一扩充频谱数据，第一扩充频谱数据为初始频谱数据量增加的数据，因此第二数量大于第一数量，例如第一数量的初始频谱数据为10条，经过第一轮数据扩充后，得到第二数量的第一扩充频谱数据为100条。
步骤S40：选取使用的一种或多种状态数据，对第一扩充频谱数据进行状态数据扩充，得到第三数量的第二扩充频谱数据，其中，第三数量大于第二数量，第二扩充频谱数据包括由每种状态数据和第一扩充频谱数据构成的状态扩充频谱数据。
应理解的是，为了提高数据的真实性，还可对数据进行多种状态的扩充，因此，可选取使用的一种或多种状态数据对第二数量的第一扩充频谱数据进行第二轮数据扩充，从而得到第二扩充频谱数据。状态数据可包括情感状态数据、运动状态数据以及其他额外状态数据，例如用户在运动之后手臂肌体产生疲劳、自然出汗时的数据或用户在毛发/衣物阻隔状态的数据等。
需要说明的是，一种或多种状态数据可用于进行用户多种状态的扩充，例如用户的运动状态、情感状态、额外状态(指示除去运动、情感之外，对用户造成影响的外部因素)等，每一个状态均可以包括多个子状态，例如运动状态可包括用户进行跑步、快速走路、游泳等运动状态数据，情感状态可包括用户处于愤怒、悲伤、激动等情感状态，额外状态可包括用户肌肉疲劳、皮肤出汗、毛发/衣物阻隔等状态。
步骤S50：基于第一扩充频谱数据和第二扩充频谱数据进行数据转换，得到目标扩充手势动作数据。
对第一扩充频谱数据和第二扩充频谱数据进行融合得到扩充后的频谱数据，本实施例对融合的方式不进行限定，例如，可以采用并行方案来进行融合，即对第一扩充频谱数据、第二扩充频谱数据对应的两个数据集取并集得到扩充后的频谱数据。
需要说明的是，在得到扩充后的频谱数据后，还需将频谱数据转换为时序数据，因此可基于第一扩充频谱数据和第二扩充频谱数据进行数据转换，从而得到目标扩充手势动作数据，完成手势动作数据的扩充，从而可扩充出大量不同状态、不同风格的手势动作数据，使得后续构建深度学习预测模型的泛化能力更强。
本实施例通过获取用户在正常状态下第一数量的初始手势动作数据；对初始手势动作数据进行预处理，得到初始频谱数据；利用随机噪声信号对初始频谱数据进行数据扩充，得到第二数量的第一扩充频谱数据；选取使用的一种或多种状态数据，对第一扩充频谱数据进行状态数据扩充，得到第三数量的第二扩充频谱数据；基于第一扩充频谱数据和第二扩充频谱数据进行数据转换，得到目标扩充手势动作数据，将多种状态融入生成的手势数据中，使得生成的数据有更强的可解释性和真实性。
参考图4，图4为本发明运动数据处理方法第二实施例的流程示意图。
基于上述第一实施例，本实施例运动数据处理方法步骤S30，包括：
步骤S301：获取随机噪声信号。
需要说明的是，随机噪声信号可根据需求设置，例如设置白噪音信号或高斯噪声信号等，本实施例对此不加以限定，从而可进行第一轮数据扩充。
在具体实施中，可使用随机数生成器来生成符合高斯分布的随机数，从而得到随机噪声信号。
步骤S302：将初始频谱数据和随机噪声信号输入至第一数据扩充网络进行数据拼接，得到拼合频谱数据，第一数据扩充网络为通过手势动作样本数据训练得到的预设信号生成器和预设信号判别器构建的。
在具体实施中，可将随机噪声信号加入初始频谱数据中，并输入至第一数据扩充网络中，从而可通过第一数据扩充网络对初始频谱数据进行数据扩充，生成一个新的频谱数据。
需要说明的是，可将初始频谱数据和随机噪声信号输入至第一数据扩充网络中的预设信号生成器输入层进行数据拼接，从而得到拼合频谱数据。如图5所示，图5为预设信号生成器的架构示意图，预设信号生成器包括输入层、编码层、解码层以及输出层，可在预设信号生成器的输入层对初始频谱数据和随机噪声信号进行拼接，得到拼合频谱数据。
需要说明的是，第一数据扩充网络用于扩充频谱数据的丰富度，第一数据扩充网络是预设信号生成器和预设信号判别器构建得到的，预设信号生成器和预设信号判别器均为提前根据采集的手势动作样本数据训练得到。
步骤S303：将拼合频谱数据进行数据扩充，得到第二数量的第一扩充频谱数据。
继续如图5所示，可通过将拼合频谱数据输入至预设信号生成器中的编码层，编码层中的Conv2D表示二维卷积网络层，Batch Normalization表示批量归一化，ReLU为激活函数，编码层对拼合频谱数据进行编码处理，并将编码处理后的拼合频谱数据输入至预设信号生成器中的解码层，解码层中的Conv2d-TransPose为反卷积层，通过解码层对编码后的拼合频谱数据进行解码，得到数据扩充后的第一扩充频谱数据。
在具体实施中，例如初始频谱数据为1条，可通过加入随机噪声信号，从而通过预设信号生成器将初始频谱数据扩充为10条。
本实施例通过获取随机噪声信号；将初始频谱数据和随机噪声信号输入至第一数据扩充网络进行数据拼接，得到拼合频谱数据，第一数据扩充网络为通过手势动作样本数据训练得到的预设信号生成器和预设信号判别器构建的；将拼合频谱数据进行数据扩充，得到第二数量的第一扩充频谱数据，可通过第一数据扩充网络快速对初始频谱数据进行扩充，每次加入不同的噪声信号，得到不同的频谱数据，让生成的数据更加多样更加复杂。
参考图6，图6为本发明运动数据处理方法第三实施例的流程示意图。
基于上述第一实施例，本实施例运动数据处理方法步骤S40，包括：
步骤S401：选取使用的一种或多种状态数据，将状态数据和第一扩充频谱数据输入至第二数据扩充网络进行状态数据扩充，得到第三数量的第二扩充频谱数据，其中，第二数据扩充网络为通过用户在多种状态下的手势动作样本数据训练得到的多种状态生成器构建的，状态包括下述的一种或多种：运动状态、情感状态、指示外部因素的额外状态。
需要说明的是，可将选取的状态数据和第一扩充频谱数据输入至第二数据扩充网络进行状态数据扩充，可通过对第一扩充频谱数据进行情感状态的数据扩充以及运动状态的数据扩充等，从而可得到第三数量的第二扩充频谱数据。
第二数据扩充网络为用户在多种状态下的手势动作样本数据训练得到的多种状态生成器构建得到，预设状态生成器可通过提前采集用户处于不同状态下的手势动作样本数据进行训练得到，预设状态生成器用于对用户处于正常状态下的手势动作数据进行扩充，从而得到用户处于多种不同状态下的手势动作数据。用户在多种状态下的频谱数据可包括用户在运动状态、情感波动状态以及其他额外状态下的频谱数据。
应理解的是，多种状态数据可包括运动状态数据、情感状态数据以及指示外部因素的额外状态数据，从而可通过一种或多种状态数据对第一扩充频谱数据进行状态的扩充。
本实施例通过选取使用的一种或多种状态数据，将状态数据和第一扩充频谱数据输入至第二数据扩充网络进行状态数据扩充，得到第三数量的第二扩充频谱数据，其中，第二数据扩充网络为通过用户在多种状态下的手势动作样本数据训练得到的多种状态生成器构建的，状态包括下述的一种或多种：运动状态、情感状态、指示外部因素的额外状态，可快速根据第二数据扩充网络以及一种或多种状态数据对第一扩充频谱数据进行状态扩充，从而可扩充出大量不同状态、不同风格的动作数据，提高数据的真实性和复杂度。
参考图7，图7为本发明运动数据处理方法第四实施例的流程示意图。
基于上述第一和第三实施例，本实施例运动数据处理方法步骤S40，包括：
步骤S401'：将第一扩充频谱数据输入至第二数据扩充网络。
需要说明的是，为避免生成的状态数据存在异常，用户的多种状态数据扩充是并行扩充的，从而可提高数据扩充的效率。因此可将第一扩充频谱数据同时输入至第二数据扩充网络中的情感状态生成器以及运动状态生成器，从而同时进行情感状态以及运动状态的生成，例如第一扩充频谱数据为10条，则分别将10条频谱数据分别输入至情感状态生成器以及运动状态生成器。
步骤S402'：在第二数据扩充网络中，分别选取使用的情感状态数据和运动状态数据同时对第一扩充频谱数据进行情感状态数据扩充和运动状态数据扩充，得到第四数量的情感扩充频谱数据和第五数量的运动扩充频谱数据。
需要说明的是，可选取使用的情感状态数据在情感状态生成器中对第一扩充频谱数据进行情感状态数据扩充，例如情感状态数据包括用户在愤怒、悲伤以及高兴等情感状态数据，因此可对第一扩充频谱数据进行愤怒、悲伤以及高兴等情感状态数据的扩充。
例如第一扩充频谱数据为10条，则选取使用的愤怒情感状态数据对第一扩充频谱数据进行愤怒情绪添加，并选取使用的悲伤情感状态数据对第一扩充频谱数据进行悲伤情绪添加，选取使用的高兴情感状态数据对第一扩充频谱数据进行高兴情绪添加，从而可将10条的第一扩充频谱数据扩充至30条。例如第二数量为10条，则进行情感状态扩充后第四数量为30条。
需要说明的是，可选取使用的运动状态数据在情感状态生成器中对第一扩充频谱数据进行运动状态数据扩充，例如运动状态数据包括用户在跑步、游泳等运动状态数据，因此可对第一扩充频谱数据进行跑步、游泳等运动状态数据的扩充。
例如第一扩充频谱数据为10条，则选取使用的跑步运动状态数据对第一扩充频谱数据进行跑步状态添加，并选取使用的游泳运动状态数据对第一扩充频谱数据进行游泳状态添加，从而可将10条的第一扩充频谱数据扩充至20条。例如第二数量为10条，则进行运动状态扩充后的第五数量为20条。
步骤S403'：将第二数量的第一扩充频谱数据、第四数量的情感扩充频谱数据和第五数量的运动扩充频谱数据相加，得到第六数量的扩充频谱数据。
在具体实施中，可将未进行状态扩充的第一扩充频谱数据、进行情感状态扩充得到的情感扩充频谱数据以及进行运动状态扩充得到的运动扩充频谱数据相加，从而得到第一轮和第二轮数据扩充的总数，即第六数量的扩充频谱数据。
例如第一数量的第一扩充频谱数据为10条，第四数量的情感扩充频谱数据为30条，第五数量的运动扩充频谱数据为20条，则第六数量的扩充频谱数据为10+30+20＝60条。
步骤S404'：选取使用的额外状态数据，在第二数据扩充网络中对第六数量的扩充频谱数据进行额外状态数据扩充，得到第三数量的第二扩充频谱数据。
在具体实施中，可将第一扩充频谱数据、情感扩充频谱数据以及运动扩充频谱数据共同输入至第二数据扩充网络中的额外状态生成器，从而进行第三轮数据扩充，得到第三数量的第二扩充频谱数据。
例如第一扩充频谱数据为10条，若使用3种情感状态数据进行情感数据扩充，则得到的情感扩充频谱数据为3*10＝30条，若使用2种运动状态数据进行运动状态数据扩充，则得到的运动扩充频谱数据为2*10＝20条，则第六数量的扩充频谱数据为第一扩充频谱数据+情感扩充频谱数据+运动扩充频谱数据＝10+30+20＝60条。若使用三种额外状态数据进行额外状态数据扩充，则得到的第三数量的第二扩充频谱数据为60*3＝180条。
如图8所示，图8为状态生成器进行数据扩充的流程示意图，AE_emotion表示情感状态生成器，AE_sport表示运动状态生成器，AE_external表示额外状态生成器，G1为第一扩充频谱数据，将G1分别通过情感状态生成器和运动状态生成器，该步操作为并行实现，即G1中的每个频谱数据都同时输入AE_em1，AE_em2，……AE_emn，并输出n条对应的情感扩充频谱数据，输出数据集合G2，将G1中的每个频谱数据同时输入AE_sp1，AE_sp2，……AE_spn中，得到n条对应的运动扩充频谱数据，输出数据集合G3，将G1、G2、G3共同输入额外状态生成器，将G1、G2、G3中的每条数据都并行输入到一组AE_external中，实现数据扩充，得到扩充后的数据集合G4。
可以理解，本实施例同时采用了情感状态数据、运动状态数据和额外状态数据进行数据扩充，但并不局限于此，也可以仅采用情感状态数据、运动状态数据和额外状态数据中的一种来进行数据扩充，或者，仅使用第一扩充频谱数据来进行数据扩充也是可以的。
本实施例通过将第一扩充频谱数据输入至第二数据扩充网络；在第二数据扩充网络中，分别选取使用的情感状态数据和运动状态数据同时对第一扩充频谱数据进行情感状态数据扩充和运动状态数据扩充，得到第四数量的情感扩充频谱数据和第五数量的运动扩充频谱数据；将第二数量的第一扩充频谱数据、第四数量的情感扩充频谱数据和第五数量的运动扩充频谱数据相加，得到第六数量的扩充频谱数据；选取使用的额外状态数据，在第二数据扩充网络中对第六数量的扩充频谱数据进行额外状态数据扩充，得到第三数量的第二扩充频谱数据，在采集少量用户正常状态的动作数据之后，可以以此扩充出大量不同状态、不同风格的动作数据，使得后续构建深度学习预测模型的泛化能力更强。
参考图9，图9为本发明运动数据处理方法第五实施例的流程示意图。
基于上述第一以及第二实施例，本实施例运动数据处理方法在步骤S20之前，还包括：
步骤S11：采集用户在正常状态下的第一手势动作样本数据。
需要说明的是，在训练生成第一数据扩充网络的预设信号生成器以及第二数据扩充网络的状态生成器时，需要采集用户的手势动作样本数据进行训练，因此可采集用户在正常状态下的第一手势动作数据，即用户在静止站立状态下，无情感波动，且没有疲劳、出汗等干扰状态下采集的手势动作数据，数据采集设备可采用高密度电极阵列传感器(HD-sEMG sensor)或低密度电极传感器(LD-sEMG sensor)。继续如图3所示，以腕带的形式将电极贴合在用户前臂，然后用户按照要求进行相应手势进行数据采集。
第一手势动作样本数据为预处理的数据，预处理包括活动段检测和快速傅里叶变换，当信号振幅上升或下降原峰值的10％时，设定为活动段的开始或结束，统一按照窗口将活动段的数据时长统一。然后将提取到的活动数据经过快速傅里叶变换输出为二维频谱数据。
步骤S12：将第一手势动作样本数据划分为第一手势动作训练样本数据和第二手势动作训练样本数据。
需要说明的是，可通过将采集到的第一手势动作样本数据分为两组，一组作为真实样本，另一组加入随机噪声信号，从而进行训练。因此可将第一手势动作样本数据划分为第一手势动作训练样本数据和第二手势动作训练样本数据。
步骤S13：将第二手势动作训练样本数据和随机噪声样本信号进行拼合，得到拼合样本数据。
在具体实施中，可将第二手势动作训练样本数据加入随机噪声样本信号进行拼合，得到拼合样本数据。
步骤S14：基于对抗生成器和拼合样本数据得到伪样本数据。
在具体实施中，可通过对抗生成器将拼合样本数据输入至初始信号生成器中，从而生成伪样本数据。
伪样本数据可以作为信号生成器是否结束训练的训练条件。如图10所示，图10为本实施例中对抗生成器的训练框架图，将采集的第一手势动作样本数据进行预处理，得到频谱样本数据，并划分为两组，一组作为真实样本，输入至初始信号判别器，另一组加入随机高斯样本信号输入至初始信号生成器，生成伪样本数据，并将伪样本数据和真实样本数据输入至初始信号判别器判定输入样本的真伪，从而得到判定结果，并反向传播调整生成器和判别器的参数，对生成器和判别器进行对抗训练，得到预设信号生成器和预设信号判别器。
步骤S15：对第一手势动作训练样本数据和伪样本数据进行判定，得到判定结果。
可以理解的是，可将第一手势动作训练样本数据和伪样本数据输入至初始信号判别器进行判定，从而得到判定结果，判定结果可为样本为真实样本或样本为伪样本。
步骤S16：通过判定结果进行参数调整，以对初始信号生成器和初始信号判别器进行对抗训练，得到预设信号生成器和预设信号判别器。
需要说明的是，可通过判定结果对初始信号生成器和初始信号判别器的参数进行调整，从而对初始信号生成器和初始信号判别器进行对抗训练，直至得到预设信号生成器和预设信号判别器。
步骤S17：根据预设信号判别器和预设信号生成器构建第一数据扩充网络。
需要说明的是，可通过预设信号判别器和预设信号生成器构建第一数据扩充网络，从而可通过第一数据扩充网络进行第一轮数据扩充。
可选地，除了生成预设信号生成器和预设信号判别器，还需生成状态生成器，因此，步骤S20之前还包括：
采集用户在情感波动状态下的第二手势动作样本数据、用户在运动状态下的第三手势动作样本数据以及用户在额外扰动状态下的第四手势动作样本数据；
需要说明的是，通过采集用户在情感波动状态下的第二手势动作样本数据，即用户处于愤怒、悲伤、激动等特殊情绪状态下进行手势动作所采集到的数据，如图11所示，图11为采集用户在情感波动状态下的数据的示意图，采用视频影像等方法，激发用户产生愤怒、悲伤等情绪，用户此时进行相应的手势动作，以此采集到不同情感波动状态下的数据。
运动状态下的第三手势动作样本即用户处于不同运动或不同运动强度下进行手势动作所采集到的数据。如图12所示，图12为采集用户在运动状态下的数据的示意图，利用跑步机记录不同时速下用户运动时产生的数据。
额外扰动状态下的第四手势动作样本数据包括肌肉疲劳、皮肤出汗、毛发/衣物阻隔等情况下的数据。可以在采集完运动状态数据之后手臂肌体产生疲劳、自然出汗时进行采集。毛发/衣物阻隔状态可用毛毡等材料环套在手臂上模拟采集。如图13所示，图13为采集的手势动作数据类型示意图，包括正常状态数据、情感波动状态数据、运动状态数据以及其他扰动状态数据。
对第一手势动作样本数据、第二手势动作样本数据、第三手势动作样本数据、第四手势动作样本数据进行预处理，得到第一频谱样本数据、第二频谱样本数据、第三频谱样本数据以及第四频谱样本数据；
在具体实施中，可对第一手势动作样本数据、第二手势动作样本数据、第三手势动作样本数据、第四手势动作样本数据进行预处理，从而得到第一频谱样本数据、第二频谱样本数据、第三频谱样本数据以及第四频谱样本数据。
对第一频谱样本数据进行数据切分，得到二维图块；
在具体实施中，如图14所示，图14为状态提取自编码器的框架示意图，包括分割图块层、编码层、全连接层、解码层、拼接层，可将第一频谱样本数据输入至状态提取自编码器中的分割图块层，进行数据切分，从而得到一组二维图块(Patch)。
对二维图块进行编码，得到编码后的二维图块；
在具体实施中，在编码阶段，可将二维图块按顺序排列，经过线性映射输入至状态提取自编码器中的图像分类模型中编码器进行编码，从而得到编码后的二维图块。
根据编码后的二维图块得到降维压缩后的中间向量；
应理解的是，可将编码后的二维图块经过一组全连接层，从而进行数据降维，得到降维压缩后的中间向量。
对中间向量进行解码，得到解码结果；
作为一种示例，在解码阶段，将中间向量通过一组全连接层升维后，输入至深度学习模型的解码器中进行解密，从而得到解码结果。
将解码结果进行线性映射以及拼接，得到二维频谱样本数据；
输出的解码结果经过线性映射，经过拼接层重构成新的Patches序列，最后按照顺序拼接成二维频谱数据，即得到二维频谱样本数据。更好地关注到频谱中对应到状态属性变化的部位，针对性学习到有状态和无状态的差别，从而更好地关注到频谱中对应到状态属性变化的部位，针对性学习到有状态和无状态的差别。在状态提取自编码器训练阶段输入数据为正常状态下进行手势动作的频谱数据，输出的结果为二维频谱样本数据，并将二维频谱样本数据与其余的状态数据进行比较。
基于二维频谱样本数据、第二频谱样本数据、第三频谱样本数据以及第四频谱样本数据进行训练，生成多种状态生成器。
在具体实施中，可将二维频谱样本数据分别与第二频谱样本数据、第三频谱样本数据以及第四频谱样本数据对状态提取自编码器进行训练，从而生成表征情感状态生成器、运动状态生成器以及额外状态生成器的状态生成器。
根据多种状态生成器构建第二数据扩充网络。
在具体实施中，可将生成的情感状态生成器、运动状态生成器以及额外状态生成器共同构建状态生成器。
可选地，基于二维频谱样本数据、第二频谱样本数据、第三频谱样本数据以及第四频谱样本数据对状态提取自编码器进行训练，生成预设状态生成器的步骤，包括：将二维频谱样本数据分别与第二频谱样本数据、第三频谱样本数据以及第四频谱样本数据进行比较，并计算比较误差数据；基于比较误差数据进行训练，生成情感状态生成器、运动状态生成器以及额外状态生成器；基于情感状态生成器、运动状态生成器以及额外状态生成器得到多种状态生成器。
需要说明的是，可通过二维频谱样本数据分别与第二频谱样本数据、第三频谱样本数据以及第四频谱样本数据进行比较，从而可分别根据二维频谱样本数据与第二频谱样本数据的比较结果得到第一比较误差，并根据二维频谱样本数据与第三频谱样本数据的比较结果得到第二比较误差，根据二维频谱样本数据与第四频谱样本数据的比较结果得到第三比较误差，从而根据第一比较误差、第二比较误差以及第三比较误差得到比较误差数据，并返回梯度，从而通过比较误差数据对状态提取自编码器进行训练，从而可输出各种带状态的手势动作数据，完成训练，得到情感状态生成器、运动状态生成器以及额外状态生成器。如图15所示，15为本实施例中训练阶段的流程示意图，采集EMG原始数据，即用户在正常状态下的第一手势动作样本数据以及用户在运动状态下、情感波动状态下以及额外状态下的手势动作样本数据。对采集的样本数据进行预处理，包括活动段检测以及FFT时频转换。使用第一手势动作样本数据训练对抗网络，生成预设信号生成器和预设信号判别器。使用正常数据以及状态数据训练自编码器，生成状态生成器。
本实施例通过采集用户在正常状态下的第一手势动作样本数据；将第一手势动作样本数据划分为第一手势动作训练样本数据和第二手势动作训练样本数据；将第二手势动作训练样本数据和随机高斯样本信号进行拼合，得到拼合样本数据；基于对抗生成器和拼合样本数据得到伪样本数据；对第一手势动作训练样本数据和伪样本数据进行判定，得到判定结果；通过判定结果进行参数调整，以对初始信号生成器和初始信号判别器进行对抗训练，得到预设信号生成器和预设信号判别器；根据预设信号判别器和预设信号生成器构建第一数据扩充网络，可快速根据采集的第一手势动作样本数据进行训练，生成预设信号生成器和预设信号判别器，方便后续通过预设信号生成器对手势动作数据进行数据扩充，提高数据扩充的效率。
参考图16，图16为本发明运动数据处理方法第六实施例的流程示意图。
基于上述第一和第四实施例，本实施例运动数据处理方法步骤S50，包括：
步骤S501：将第六数量的扩充频谱数据和第三数量的第二扩充频谱数据进行数据融合，得到融合扩充频谱数据。
需要说明的是，将第六数量的扩充频谱数据以及第三数量的第二扩充频谱数据进行数据融合，得到融合扩充频谱数据，第六数量的扩充频谱数据为第二数量的第一扩充频谱数据、第四数量的情感扩充频谱数据以及第五数量的运动扩充频率数据相加得到。
步骤S502：将融合扩充频谱数据进行反傅里叶变换，得到目标扩充手势动作数据。
可通过反傅里叶变换将融合扩充频谱数据进行转换，从而将频谱数据转换为时序数据，得到目标扩充手势动作数据。
本实施例通过将第六数量的扩充频谱数据和第三数量的第二扩充频谱数据进行数据融合，得到融合扩充频谱数据；将融合扩充频谱数据进行反傅里叶变换，得到目标扩充手势动作数据，从而将所有扩充的频谱数据进行反傅里叶变换，转换为时序数据，得到最终的目标扩充手势动作数据。
作为一种示例，为了让扩充的数据更加多样，在得到目标扩充手势动作数据之后的步骤，还包括：
对初始扩充手势动作数据进行数据增强，得到增强扩充手势动作数据。
在具体实施中，为了让生成的数据更加多样，可对目标扩充手势动作数据进行数据增强，可选择部分数据进行数据增强或将全部的数据进行数据增强，本实施例对此不加以限定。
在具体实施中，数据增强可包括对初始扩充手势动作数据进行信号横向、纵向缩放(Scaling)模拟不同速度和不同力度进行手势动作，通过信号切片(Slicing)模拟采集过程中信号缺失的异常情况；通过添加白噪音模拟采集过程中信号扰动等异常情况等，从而得到增强扩充手势动作数据。
将增强扩充手势动作数据输入至第二数据扩充网络中的预设信号判别器进行质量检测。
在具体实施中，为了提高扩充的数据的真实性，需要对增强扩充手势动作进行判定，从而确定增强扩充手势动作数据是否符合标准。
需要说明的是，可将增强手势动作数据输入至预设信号判别器中进行质量检测。
将增强扩充手势动作数据不符合质量标准的数据进行剔除，得到更新后的目标扩充手势动作数据。
应理解的是，可设置置信度阈值，从而将增强手势动作数据的置信度与置信度阈值进行比较，若预设信号判别器给出的置信度低于设置的置信度阈值，则认为该条数据过于虚假不符合真实情况，将其删除，从而将不符合质量标准的进行剔除，得到剔除后的目标扩充手势动作数据，即更新后的目标扩充手势动作数据，以保证扩充数据集的整体质量。
如图17所示，图17为预设信号判别器的架构示意图，Conv2D为二维卷积层，Pool2D为二维池化层，ReLu为激活函数，Flatten为向量展平操作，将二维频谱数据输入到一组由二维卷积、二维池化、批归一化和ReLU激活函数组成的网络结构中，然后将输出结果展平为一维向量，通过一层全连接网络结构输出真或假的标签。
如图18所示，图18为本实施例运动数据处理的整体流程示意图，首先通过肌电电极采集用户正常状态下(无情感波动、静止站立、无外部扰动的状态)的一条数据。同样再经过活动段检测和FFT时频转换等预处理。然后将原始数据中引入随机噪声信号，送入训练好的EMG信号生成器，进行第一轮数据扩充。将原始数据与上一步扩充的数据共同输入训练好的一组状态生成器中，进行第二、三、四轮数据扩充。接着将所有扩充好的数据进行IFF时频转换，通过IFFT将频谱数据转化回时序信号。通过信号缩放、裁剪、加噪声等方法进行数据增强，进行第五轮数据扩充。最后将扩充得到的数据输入预设信号判别器中进行质量判断，去除掉那些明显不真实的数据。
参照图19，图19为本发明运动数据处理装置第一实施例的结构框图。
如图19所示，本发明实施例提出的运动数据处理装置包括：
获取模块10，用于获取用户在正常状态下第一数量的初始手势动作数据。
处理模块20，用于对初始手势动作数据进行预处理，得到初始频谱数据。
扩充模块30，用于将利用随机噪声信号对初始频谱数据进行数据扩充，得到第二数量的第一扩充频谱数据，第二数量大于第一数量。
扩充模块30，还用于选取使用的一种或多种状态数据，对第一扩充频谱数据进行状态数据扩充，得到第三数量的第二扩充频谱数据，其中，第三数量大于第二数量，第二扩充频谱数据包括由每种状态数据和第一扩充频谱数据构成的状态扩充频谱数据。
转换模块40，用于基于第一扩充频谱数据和第二扩充频谱数据进行数据转换，得到目标扩充手势动作数据。
本实施例通过获取用户在正常状态下第一数量的初始手势动作数据；对初始手势动作数据进行预处理，得到初始频谱数据；利用随机噪声信号对初始频谱数据进行数据扩充，得到第二数量的第一扩充频谱数据；选取使用的一种或多种状态数据，对第一扩充频谱数据进行状态数据扩充，得到第三数量的第二扩充频谱数据；基于第一扩充频谱数据和第二扩充频谱数据进行数据转换，得到目标扩充手势动作数据，将多种状态融入生成的手势数据中，使得生成的数据有更强的可解释性和真实性。
在一实施例中，扩充模块30，还用于将初始频谱数据和随机噪声信号输入至第一数据扩充网络进行数据拼接，得到拼合频谱数据，第一数据扩充网络为通过手势动作样本数据训练得到的预设信号生成器和预设信号判别器构建的；将拼合频谱数据进行数据扩充，得到第二数量的第一扩充频谱数据。
在一实施例中，扩充模块30，还用于选取使用的一种或多种状态数据，将状态数据和第一扩充频谱数据输入至第二数据扩充网络进行状态数据扩充，得到第三数量的第二扩充频谱数据，其中，第二数据扩充网络为通过用户在多种状态下的手势动作样本数据训练得到的多种状态生成器构建的，状态包括下述的一种或多种：运动状态、情感状态、指示外部因素的额外状态。
在一实施例中，扩充模块30，还用于将第一扩充频谱数据输入至第二数据扩充网络；在第二数据扩充网络中，分别选取使用的情感状态数据和运动状态数据同时对第一扩充频谱数据进行情感状态数据扩充和运动状态数据扩充，得到第四数量的情感扩充频谱数据和第五数量的运动扩充频谱数据；将第二数量的第一扩充频谱数据、第四数量的情感扩充频谱数据和第五数量的运动扩充频谱数据相加，得到第六数量的扩充频谱数据；选取使用的额外状态数据，在第二数据扩充网络中对第六数量的扩充频谱数据进行额外状态数据扩充，得到第三数量的第二扩充频谱数据。
在一实施例中，扩充模块30，还用于采集用户在正常状态下的第一手势动作样本数据；将第一手势动作样本数据划分为第一手势动作训练样本数据和第二手势动作训练样本数据；将第二手势动作训练样本数据和随机高斯样本信号进行拼合，得到拼合样本数据；基于对抗生成器和拼合样本数据得到伪样本数据；对第一手势动作训练样本数据和伪样本数据进行判定，得到判定结果；通过判定结果进行参数调整，以对初始信号生成器和初始信号判别器进行对抗训练，得到预设信号生成器和预设信号判别器；根据预设信号判别器和预设信号生成器构建第一数据扩充网络。
在一实施例中，扩充模块30，还用于采集用户在情感波动状态下的第二手势动作样本数据、用户在运动状态下的第三手势动作样本数据以及用户在额外扰动状态下的第四手势动作样本数据；对第一手势动作样本数据、第二手势动作样本数据、第三手势动作样本数据、第四手势动作样本数据进行预处理，得到第一频谱样本数据、第二频谱样本数据、第三频谱样本数据以及第四频谱样本数据；对第一频谱样本数据进行数据切分，得到二维图块；对二维图块进行编码，得到编码后的二维图块；根据编码后的二维图块得到降维压缩后的中间向量；对中间向量进行解码，得到解码结果；将解码结果进行线性映射以及拼接，得到二维频谱样本数据；基于二维频谱样本数据、第二频谱样本数据、第三频谱样本数据以及第四频谱样本数据进行训练，生成多种状态生成器；根据多种状态生成器构建第二数据扩充网络。
在一实施例中，扩充模块30，还用于将二维频谱样本数据分别与第二频谱样本数据、第三频谱样本数据以及第四频谱样本数据进行比较，并计算比较误差数据；基于比较误差数据进行训练，生成情感状态生成器、运动状态生成器以及额外状态生成器；基于情感状态生成器、运动状态生成器以及额外状态生成器得到多种状态生成器。
在一实施例中，转换模块40，还用于将第六数量的扩充频谱数据和第三数量的第二扩充频谱数据进行数据融合，得到融合扩充频谱数据；将融合扩充频谱数据进行反傅里叶变换，得到目标扩充手势动作数据。
在一实施例中，转换模块40，还用于对目标扩充手势动作数据进行数据增强，得到增强扩充手势动作数据；将增强扩充手势动作数据输入至第二数据扩充网络中的预设信号判别器进行质量检测；将增强扩充手势动作数据不符合质量标准的数据进行剔除，得到更新后的目标扩充手势动作数据。
此外，本发明实施例还提出一种存储介质，存储介质上存储有运动数据处理程序，运动数据处理程序被处理器执行时实现如上文的运动数据处理方法的步骤。
由于本存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。
需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的运动数据处理方法，此处不再赘述。
此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory，ROM)/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (12)
1.一种运动数据处理方法，其特征在于，所述运动数据处理方法包括：
获取用户在正常状态下第一数量的初始手势动作数据；
对所述初始手势动作数据进行预处理，得到初始频谱数据；
利用随机噪声信号对所述初始频谱数据进行数据扩充，得到第二数量的第一扩充频谱数据，所述第二数量大于所述第一数量；
选取使用的一种或多种状态数据，对所述第一扩充频谱数据进行状态数据扩充，得到第三数量的第二扩充频谱数据，其中，所述第三数量大于所述第二数量，所述第二扩充频谱数据包括由每种状态数据和第一扩充频谱数据构成的状态扩充频谱数据；
基于所述第一扩充频谱数据和所述第二扩充频谱数据进行数据转换，得到目标扩充手势动作数据。
2.如权利要求1所述的运动数据处理方法，其特征在于，所述利用随机噪声信号对所述初始频谱数据进行数据扩充，得到第二数量的第一扩充频谱数据，包括：
获取随机噪声信号；
将所述初始频谱数据和所述随机噪声信号输入至第一数据扩充网络进行数据拼接，得到拼合频谱数据，所述第一数据扩充网络为通过手势动作样本数据训练得到的预设信号生成器和预设信号判别器构建的；
将所述拼合频谱数据进行数据扩充，得到第二数量的第一扩充频谱数据。
3.如权利要求1所述的运动数据处理方法，其特征在于，所述选取使用的一种或多种状态扩充数据，对所述第一扩充频谱数据进行状态数据扩充，得到第三数量的第二扩充频谱数据，包括：
选取使用的一种或多种状态数据，将所述状态数据和所述第一扩充频谱数据输入至第二数据扩充网络进行状态数据扩充，得到第三数量的第二扩充频谱数据，其中，所述第二数据扩充网络为通过用户在多种状态下的手势动作样本数据训练得到的多种状态生成器构建的，所述状态包括下述的一种或多种：运动状态、情感状态、指示外部因素的额外状态。
4.如权利要求3所述的运动数据处理方法，其特征在于，所述选取使用的一种或多种状态数据，对所述第一扩充频谱数据进行状态数据扩充，得到第三数量的第二扩充频谱数据，包括：
将所述第一扩充频谱数据输入至第二数据扩充网络；
在所述第二数据扩充网络中，分别选取使用的情感状态数据和运动状态数据同时对所述第一扩充频谱数据进行情感状态数据扩充和运动状态数据扩充，得到第四数量的情感扩充频谱数据和第五数量的运动扩充频谱数据；
将所述第二数量的第一扩充频谱数据、所述第四数量的情感扩充频谱数据和所述第五数量的运动扩充频谱数据相加，得到第六数量的扩充频谱数据；
选取使用的额外状态数据，在所述第二数据扩充网络中对所述第六数量的扩充频谱数据进行额外状态数据扩充，得到第三数量的第二扩充频谱数据。
5.如权利要求2所述的运动数据处理方法，其特征在于，所述方法还包括：
采集用户在正常状态下的第一手势动作样本数据；
将所述第一手势动作样本数据划分为第一手势动作训练样本数据和第二手势动作训练样本数据；
将所述第二手势动作训练样本数据和随机高斯样本信号进行拼合，得到拼合样本数据；
基于对抗生成器和所述拼合样本数据得到伪样本数据；
对所述第一手势动作训练样本数据和所述伪样本数据进行判定，得到判定结果；
通过所述判定结果进行参数调整，以对初始信号生成器和初始信号判别器进行对抗训练，得到预设信号生成器和预设信号判别器；
根据所述预设信号判别器和所述预设信号生成器构建第一数据扩充网络。
6.如权利要求3所述的运动数据处理方法，其特征在于，所述方法还包括：
采集用户在情感波动状态下的第二手势动作样本数据、用户在运动状态下的第三手势动作样本数据以及用户在额外扰动状态下的第四手势动作样本数据；
对第一手势动作样本数据、所述第二手势动作样本数据、所述第三手势动作样本数据、所述第四手势动作样本数据进行预处理，得到第一频谱样本数据、第二频谱样本数据、第三频谱样本数据以及第四频谱样本数据；
对所述第一频谱样本数据进行数据切分，得到二维图块；
对所述二维图块进行编码，得到编码后的二维图块；
根据编码后的二维图块得到降维压缩后的中间向量；
对所述中间向量进行解码，得到解码结果；
将所述解码结果进行线性映射以及拼接，得到二维频谱样本数据；
基于所述二维频谱样本数据、所述第二频谱样本数据、所述第三频谱样本数据以及所述第四频谱样本数据进行训练，生成多种状态生成器；
根据多种所述状态生成器构建第二数据扩充网络。
7.如权利要求6所述的运动数据处理方法，其特征在于，所述基于所述二维频谱样本数据、所述第二频谱样本数据、所述第三频谱样本数据以及所述第四频谱样本数据进行训练，生成多种状态生成器，包括：
将所述二维频谱样本数据分别与所述第二频谱样本数据、所述第三频谱样本数据以及所述第四频谱样本数据进行比较，并计算比较误差数据；
基于所述比较误差数据进行训练，生成情感状态生成器、运动状态生成器以及额外状态生成器；
基于所述情感状态生成器、所述运动状态生成器以及所述额外状态生成器得到多种状态生成器。
8.如权利要求4所述的运动数据处理方法，其特征在于，所述基于所述第一扩充频谱数据和所述第二扩充频谱数据进行数据转换，得到目标扩充手势动作数据，包括：
将所述第六数量的扩充频谱数据和所述第三数量的第二扩充频谱数据进行数据融合，得到融合扩充频谱数据；
将所述融合扩充频谱数据进行反傅里叶变换，得到目标扩充手势动作数据。
9.如权利要求1至8中任一项所述的运动数据处理方法，其特征在于，所述基于所述第一扩充频谱数据和所述第二扩充频谱数据进行数据转换，得到目标扩充手势动作数据之后，还包括：
对所述目标扩充手势动作数据进行数据增强，得到增强扩充手势动作数据；
将所述增强扩充手势动作数据输入至第二数据扩充网络中的预设信号判别器进行质量检测；
将所述增强扩充手势动作数据不符合质量标准的数据进行剔除，得到更新后的目标扩充手势动作数据。
10.一种运动数据处理装置，其特征在于，所述运动数据处理装置包括：
获取模块，用于获取用户在正常状态下第一数量的初始手势动作数据；
处理模块，用于对所述初始手势动作数据进行预处理，得到初始频谱数据；
扩充模块，用于利用随机噪声信号对所述初始频谱数据进行数据扩充，得到第二数量的第一扩充频谱数据，所述第二数量大于所述第一数量；
所述扩充模块，还用于选取使用的一种或多种状态数据，对所述第一扩充频谱数据进行状态数据扩充，得到第三数量的第二扩充频谱数据，其中，所述第三数量大于所述第二数量，所述第二扩充频谱数据包括由每种状态数据和第一扩充频谱数据构成的状态扩充频谱数据；
转换模块，用于基于所述第一扩充频谱数据和所述第二扩充频谱数据进行数据转换，得到目标扩充手势动作数据。
11.一种运动数据处理设备，其特征在于，所述运动数据处理设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的运动数据处理程序，所述运动数据处理程序配置为实现如权利要求1至9中任一项所述的运动数据处理方法。
12.一种存储介质，其特征在于，所述存储介质上存储有运动数据处理程序，所述运动数据处理程序被处理器执行时实现如权利要求1至9中任一项所述的运动数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311577275.7A CN117556258A (zh) | 2023-11-23 | 2023-11-23 | 运动数据处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311577275.7A CN117556258A (zh) | 2023-11-23 | 2023-11-23 | 运动数据处理方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117556258A true CN117556258A (zh) | 2024-02-13 |
Family
ID=89816455
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311577275.7A Pending CN117556258A (zh) | 2023-11-23 | 2023-11-23 | 运动数据处理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117556258A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117828306A (zh) * | 2024-03-01 | 2024-04-05 | 青岛哈尔滨工程大学创新发展中心 | 一种基于船舶运动频谱特征的数据样本扩充方法及系统 |
-
2023
- 2023-11-23 CN CN202311577275.7A patent/CN117556258A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117828306A (zh) * | 2024-03-01 | 2024-04-05 | 青岛哈尔滨工程大学创新发展中心 | 一种基于船舶运动频谱特征的数据样本扩充方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111626218B (zh) | 基于人工智能的图像生成方法、装置、设备及存储介质 | |
| CN110807156A (zh) | 一种基于用户序列点击行为的兴趣推荐方法及系统 | |
| CN117556258A (zh) | 运动数据处理方法、装置、设备及存储介质 | |
| CN111932445A (zh) | 对风格迁移网络的压缩方法及风格迁移方法、装置和系统 | |
| CN111464834A (zh) | 一种视频帧处理方法、装置、计算设备及存储介质 | |
| KR20230153451A (ko) | 역 gan들을 이용한 시도 | |
| CN111833236B (zh) | 产生模拟用户的三维脸部模型的方法及装置 | |
| CN114067088A (zh) | 虚拟穿戴方法、装置、设备、存储介质及程序产品 | |
| CN112232889A (zh) | 一种用户兴趣画像扩展方法、装置、设备及存储介质 | |
| CN110135497A (zh) | 模型训练的方法、面部动作单元强度估计的方法及装置 | |
| CN114581992A (zh) | 一种基于预训练StyleGAN的人脸表情合成方法及系统 | |
| Marin et al. | The effect of latent space dimension on the quality of synthesized human face images | |
| CN113095206A (zh) | 虚拟主播生成方法、装置和终端设备 | |
| Huang et al. | Multi-density sketch-to-image translation network | |
| Hassanpour et al. | E2F-GAN: Eyes-to-face inpainting via edge-aware coarse-to-fine GANs | |
| CN116383639A (zh) | 一种生成对抗网络的知识蒸馏方法、装置、设备及存储介质 | |
| CN117575746A (zh) | 虚拟试穿方法、装置、电子设备及存储介质 | |
| CN111444383B (zh) | 一种音频数据处理方法、装置以及计算机可读存储介质 | |
| CN111728302A (zh) | 服装设计方法和装置 | |
| EP4024336A1 (en) | Neural network training method and apparatus, defect inspection method and apparatus, and non-transitory computer-readable medium | |
| JP2023138274A (ja) | 対話型機械学習システム、対話型機械学習方法、およびプログラム | |
| Akça et al. | A Deep Transfer Learning Based Visual Complexity Evaluation Approach to Mobile User Interfaces | |
| CN113538214B (zh) | 一种妆容迁移的控制方法、系统和存储介质 | |
| CN112101546B (zh) | 生成多样化结果的风格迁移方法、装置、计算机设备和存储介质 | |
| Talafha et al. | Attentional adversarial variational video generation via decomposing motion and content |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |