CN113537489B - 一种手肘角度预测方法、终端设备及存储介质 - Google Patents

一种手肘角度预测方法、终端设备及存储介质 Download PDF

Info

Publication number
CN113537489B
CN113537489B CN202110779885.XA CN202110779885A CN113537489B CN 113537489 B CN113537489 B CN 113537489B CN 202110779885 A CN202110779885 A CN 202110779885A CN 113537489 B CN113537489 B CN 113537489B
Authority
CN
China
Prior art keywords
elbow
elbow angle
data
data set
cmd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110779885.XA
Other languages
English (en)
Other versions
CN113537489A (zh
Inventor
郭诗辉
高星
林俊聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN202110779885.XA priority Critical patent/CN113537489B/zh
Publication of CN113537489A publication Critical patent/CN113537489A/zh
Application granted granted Critical
Publication of CN113537489B publication Critical patent/CN113537489B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种手肘角度预测方法、终端设备及存储介质，该方法中包括：S1：通过柔性传感器采集手肘处于不同角度时的电阻值，将采集的电阻值和手肘角度组成原始数据集DO；S2：构建基于生成对抗网络的cmd‑GAN网络模型，通过原始数据集DO对cmd‑GAN网络模型进行训练，通过训练后的cmd‑GAN网络模型将原始数据集DO转换为合成数据集DS；S3：构建基于全连接神经网络的预测器，通过合成数据集DS对预测器进行训练；S4：当对手肘角度进行预测时，将通过柔性传感器采集的电阻值输入训练后的预测器后，得到预测的手肘角度。本发明可以提高通过柔性传感器预测手肘角度的准确性。

Description

一种手肘角度预测方法、终端设备及存储介质
技术领域
本发明涉及手肘角度预测领域，尤其涉及一种手肘角度预测方法、终端设备及存储介质。
背景技术
柔性传感器是下一代人机交互(Human–Computer Interaction，HCI)系统中极有前途的解决方案，与其它解决方案(如RGB、RGBD和IMU传感器)相比，其在生物相容性、可拉伸性和轻便性方面均均有一定优势。柔性传感器紧密贴合于体表，有助于长期监测人体生理状态。现有技术中已经探索了使用柔性传感器来跟踪上身、下身、全身、手指、和肘部的运动，传感器信号主要由关节运动确定，但是皮肤表面的易变形性导致复杂的信号模式。柔性传感器即使有理想配置也易于引起不可控制的变形和位移，从而导致其信号模式发生较大变化。
大量的信号变化给部署的模式识别算法带来了巨大挑战，并阻碍了柔性传感器在现实世界中的广泛应用。因为人工智能的兴起，出现了使用柔性传感器完成诸如手部跟踪和通过模式抓取以识别物体的深度学习方法。但是，与其它领域的许多成功案例(例如自然语言处理和计算机视觉)不同，使用柔性传感器的数据驱动应用在模型准确性方面大大落后。将这些模式识别模型应用于柔性传感器信号时会遇到两个困难。首先，与自然语言处理和计算机视觉中使用的人类可读数据(如文本、图像等)相比，柔性传感器的数据难以解释，这使得通过人工(如众包)进行数据清理是不可行的，因为识别柔性传感器数据的显性而准确的标签非常困难。其次，信号变化使得用于机器学习和统计学习方法的特征工程复杂化。对于人类可解释的数据，可以使用领域知识边缘显式地识别特征空间，也可以通过将机器学习算法应用于带注释的数据集来隐式地识别特征空间。因此，数据驱动的模型要么无法捕获柔性传感器信号中的变化，要么会导致过度拟合的问题。
发明内容
为了解决上述问题，本发明提出了一种手肘角度预测方法、终端设备及存储介质。
具体方案如下：
一种手肘角度预测方法，包括以下步骤：
S1：通过柔性传感器采集手肘处于不同角度时的电阻值，将采集的电阻值和手肘角度组成原始数据集DO；
S2：构建基于生成对抗网络的cmd-GAN网络模型，通过原始数据集DO对cmd-GAN网络模型进行训练，通过训练后的cmd-GAN网络模型将原始数据集DO转换为合成数据集DS；
cmd-GAN网络模型包括生成器和鉴别器，生成器包括两个输入c和z，其中，c表示输入数据中的手肘角度，z表示噪声向量，生成器的输出为合成电阻值，鉴别器用于对合成电阻值和输入数据中的原始电阻值进行鉴别，以使损失函数最小；
cmd-GAN网络模型的损失函数包括对抗损失LD和生成损失LG，计算公式分别为：
LD＝αLD2+(1-α)LD1-E[log(CR)]
LG＝αLG2+(1-α)LG1-E[log(CF)]
其中，CR和CF分别表示鉴别器正确分类的真实和假样本的概率，E表示概率分布期望值，LD2和LG2分别表示对抗损失LD和生成损失LG中的Wasserstein距离，LD1和LG1分别表示对抗损失LD和生成损失LG中的交叉熵，α表示超参数；
S3：构建基于全连接神经网络的预测器，通过合成数据集DS对预测器进行训练；
S4：当对手肘角度进行预测时，将通过柔性传感器采集的电阻值输入训练后的预测器后，得到预测的手肘角度。
进一步的，原始数据集DO通过在普通的肘垫上增加多个柔性传感器的设备原型来采集，多个柔性传感器以相等的距离环形地安装于肘垫上。
进一步的，手肘角度通过用于运动捕捉的商用光学系统跟踪获得，通过计算上下臂的中轴之间的角度来计算肘关节角度。
进一步的，原始数据集DO包括使用者在不同动作模式下和设备原型处于不同状态下的数据。
进一步的，噪声向量从标准正态分布(0，1)采样获得。
进一步的，预测器由八个全连接层组成，第一层的输入为电阻值，最后一层的输出为手肘角度。
进一步的，预测器采用学习率为0.0001的Adam优化器，并计算预测手肘角度和真实手肘角度之间的均方误差充当损失函数进行训练。
一种手肘角度预测终端设备，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例上述的方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述的方法的步骤。
本发明采用如上技术方案，提出了基于无监督框架的具有可控模式丢失cmd-GAN网络模型，并构建了一种新颖的损失函数来实现模式丢失的效果，通过使用超参数来确定模式丢失和数据增强的程度，可以提高通过柔性传感器预测手肘角度的准确性。
附图说明
图1所示为本发明实施例一的流程图。
图2所示为该实施例中设备原型的示意图。
图3所示为该实施例中cmd-GAN网络模型的流程图；
图4所示为该实施例中预测过程的整体流程图。
图5所示为该实施例中在三个数据集上的二维PCA结果示意图。
图6所示为该实施例中超体积相交计算流程图。
图7所示为该实施例中在α值不同时Jaccard指标的比较图。
图8所示为该实施例中测试数据为正常分布时PMcorrupted的预测能力示意图。
图9所示为该实施例中测试数据为正常分布时PM的预测能力示意图。
图10所示为该实施例中测试数据有标签延迟时PMcorrupted的预测能力示意图。
图11所示为该实施例中测试数据有标签延迟时PM的预测能力示意图。
具体实施方式
为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。
现结合附图和具体实施方式对本发明进一步说明。
实施例一：
本发明实施例提供了一种手肘角度预测方法，如图1所示，其为本发明实施例所述的手肘角度预测方法的流程图，所述方法包括以下步骤：
S1：通过柔性传感器采集手肘处于不同角度时的电阻值，将采集的电阻值和手肘角度组成原始数据集DO。
如图2所示，该实施例中通过在普通的肘垫上增加六个柔性传感器的设备原型来采集原始数据集D0。六个柔性传感器以相等的距离环形地安装于肘垫上。柔性传感器通过将导电纱线螺旋缠绕在支撑纱线上制成的。当用户佩戴肘垫并弯曲肘部时，安装于肘垫上的柔性传感器的电阻值会发生变化。位于肘关节下方的柔性传感器被有效拉伸的程度比其他柔性传感器更大，并且电阻值也相应增加。该实施例中电阻值被数字化到[0，1023]的范围内。
肘关节旋转的实测度数可通过用于运动捕捉的商用光学系统(Vicon)进行跟踪。反射式标记器附着在设备原型上，红外热像仪以3D方式跟踪标记器的位置。通过计算上下臂的中轴之间的角度来计算肘关节角度。
该实施例中采集的原始数据集DO由73295个样本组成。每个样本包括为以六个序数(电阻值)为一组的电阻值：Rd＝[R1,R2,...,R6]和一个手肘度数θd。完整的数据收集过程包括各种动作模式和设备状态。动作模式包括走路、跑步、跳跃、拍手等时执行的肘部弯曲；设备状态包括通过任意旋转和平移肘关节上的装置来反复地取下并戴上该设备。
S2：构建基于生成对抗网络的cmd-GAN网络模型，通过原始数据集DO对cmd-GAN网络模型进行训练，通过训练后的cmd-GAN网络模型将原始数据集DO转换为合成数据集DS。
参考图3，cmd-GAN网络模型包括生成器tt和鉴别器D，生成器tt包括两个输入c和z，其中，c表示输入数据中作为类标签的离散的手肘角度，z表示从标准正态分布(0，1)采样的噪声向量，生成器的输出为合成电阻值tt(z,c)＝[R1′,R2′,...,R6′]，鉴别器D用于对合成电阻值tt(z,c)和输入数据中的原始电阻值进行鉴别，以使对抗损失和生成损失最小化。
cmd-GAN网络模型的损失函数包括对抗损失LD和生成损失LG，计算公式分别为：
LD＝αLD2+(1-α)LD1-E[log(CR)]
LG＝αLG2+(1-α)LG1-E[log(CF)]
其中，CR和CF分别表示鉴别器正确分类的真实和假样本的概率，E表示概率分布期望值，LD2和LG2分别表示对抗损失LD和生成损失LG中的Wasserstein距离，LD1和LG1分别表示对抗损失LD和生成损失LG中的交叉熵，α表示超参数。
鉴别器D通过sigmoid输出真实性概率：
LD1＝-E[log(D(x)1)]-E[log(1-D(tt(z,c))1)]
LG1＝-E[log(D(tt(z,c)))]
交叉熵定义如下：
LD2＝-E[D(x)2]-E[1-D(tt(z,c))2]
LG2＝-E[D(tt(z,c))]
S3：构建基于全连接神经网络的预测器，通过合成数据集DS对预测器进行训练；
S4：当对手肘角度进行预测时，将通过柔性传感器采集的电阻值输入训练后的预测器后，得到预测的手肘角度。参考图4所示。
本实施例的目的是通过柔性传感器电阻值的输入来预测手肘角度。理想情况下，该预测在所有动作模式和设备状态下都应具有鲁棒性。而如果直接对原始数据集DO进行训练会导致较差的预测性能。
该实施例中构建的预测器由八个全连接层组成。其中，第一层的输入层为6维的电阻值，接下来的六层具有512个输出特征，最后一层为一维的手肘角度，即对关节角度的预测结果。该实施例中预测器采用学习率为0.0001的Adam优化器，并计算预测手肘角度和真实手肘角度之间的均方误差(mse)充当损失函数进行训练。
(1)通过原始数据集DO对预测器进行训练的结果
该实施例中按照8：1：1的比例将采集到的原始数据集DO分为三个部分：训练集、验证集和测试集。通过训练集对预测器进行训练，训练在标准PC(Intel i7-9700K/3.6GHz，16GB内存，NVIDIA Titan 2070)上进行，耗时约24分钟，训练迭代11000次。训练后的预测器在测试集上的预测误差约为14.2°。该性能对于人体姿势跟踪而言并不理想，因为它大大落后于基于光学和基于惯性的系统的性能。
上述结果表明，对于相同的肘关节角度，传感器信号存在明显的不一致。不一致有两种形式：会话内和会话间。会话内表示数据是在同一会话内捕获的，即用户执行相同的活动并且不调整柔性传感器配置。会话间表示用户更改活动模式和/或柔性传感器配置。会话间的变化是由柔性传感器的不可控制的变形和位移引起的。柔性传感器紧密缝在垫布上，当使用者弯曲肘部时，在柔性传感器区域会出现明显的织物皱纹。这些皱纹不可避免地会影响传感器的数值。这些细微的变化对深度神经网络造成了巨大挑战，因为它们无法识别混乱的模式。
在原始数据集DO上的直接训练导致预测准确性令人不满意。对数据分布的深入研究显示，即使给定相同的θ值，R的变化也很大。因此，需要提出一种新的方法，以减少来自柔性传感器的不良配置和不可控制配置的干扰。
(2)通过cmd-GAN网络模型实现模式丢失
GAN(生成对抗网络)的模式丢失是指在训练输入变化程度较大的GAN时数据分布的不完整建模。通常认为这是缺陷，应该避免。该实施例中创新性地利用了此特性，并应用cmd-GAN网络模型来提取柔性传感器信号的主导模式。具体为将原始数据集DO输入到cmd-GAN网络模型中，并利用模式丢失获得仅模拟主要分布的模型分布Pg。这是使用非饱和损耗函数来实现的。使用独热编码将肘部角度离散化为[30，180]度的范围，从而将c的大小增加到150。标签值30和180分别表示肘部的完全弯曲和伸展。
柔性传感器信号的主要模式是由活跃的关节旋转引起的，而次要模式是由于伴随的织物变形和位移而产生的。但是，在主要模式和次要模式之间没有明显的分界线。过多的模式丢失不仅会导致GAN删除嵌入在次要模式中的特征，而且可能会意外地删除主要模式中的某些特征。因此，对模式丢失的程度进行灵活控制对于数据处理非常重要。为了解决该问题，该实施例中提出了一个新的损失函数，该损失函数巧妙地平衡了交叉熵和Wasserstein距离，以完成对模式丢失的控制。前者鼓励放弃模式，而后者则反对。最终损失函数由超级参数α(0≤α≤1)实现。最终损失函数中的四个损失函数训练生成器欺骗鉴别器，从而使鉴别器无法从伪样本中识别出真实样本。α值越大，表示损失函数对Wasserstein距离的影响越大。当α为0时，损失函数转化为单纯的交叉熵，而当α为1时，损失函数为Wasserstein距离。
(3)模式丢失的可视化评估
通过训练后的cmd-GAN模型来生成合成数据集DS。通过将c＝[30，180]的角度范围和随机噪声z输入生成器tt来生成数据集。理想情况下，生成器tt会捕获原始数据集D0中的主要模式，而忽略由柔性传感器变形或位移引起的次要模式(不需要的信息)。合成数据集DS能更好地替代原始训练集DO以表现电阻值和手肘角度的映射关系。
为了更好地可视化模式丢失的效果，该实施例中进行了主成分分析(PCA)，以将数据维数减少到2。除DO和DS之外，还包括与经过人工清洗的数据集DM进行比较。图5给出了三个数据集上维度降低后二维数据的可视化比较。
值得注意的是，该实施例中根据手肘度数的五个间隔对数据进行了划分：[30°,60°]、[60°,90°]、[90°,120]、[120°,150°]和[150°,180°]。通过上述可视化比较结果表明：
i)DM由于难以人工观察电阻值R与角度θ之间的映射关系，只能消除明显的离群值，因此得到的数据集仍然很混乱，并且与其他间隔的数据重叠。
ii)用于训练PM(由cmd-GAN合成)的数据噪声少得多，因此比其他数据更具可分离性。这显示了模式丢失的有效性：合成数据集DS捕捉了由关节旋转引起的主要模式，并在不同关节范围之间显示了更可区分的传感器数据分布。
人工清洗方式在现实情况下，没有完美的实测真实标签可用于确定是否正确检测到异常数据点。取而代之的是，只能通过观察数据收集过程中的异常情况进行故障排除来验证所检测到的异常值。在人工清洗方式中，手动创建了一个测试数据集以定量评估性能。该数据集包含5000个正常数据点，用于判断模型是否完全捕获了正常数据的分布。按照这种方法，将建议的方法应用于收集的原始数据集DO，并发现了两种类型的异常：偶然的异常值和那些在连续的时间窗口内不断发生的异常值。
(4)模式丢失的定量评估
上述步骤(3)直观地演示了模式丢失前后的数据分布。该步骤中使用Jaccard指标来测量超体积距离以评估数据分布，如图6所示。Jaccard指标通常被视为用于评估样本集相似性的统计信息。Jaccard指标的值越大，表示两个数据分布之间的距离越大。
在确定超参数α时，可以合成数据并计算每个角度的Jaccard值，因为所收集的原始数据DO最集中在31°～176°之间，因此可以计算出146个不同的Jaccard，之后，为了观察方便，对每10度取一个平均值，因此可以得到35到165之间的十四个Jaccard，并基于这十四个Jaccard从35到165绘制一条虚线(例如，图7中α值为1对应的线条)。图7显示了在不同α时(0.2、0.4、0.6、0.8、1)Jaccard指数的比较。结果表明，α值越大，合成数据的Jaccard值越大，这意味着，较大的α值会导致合成数据不同关节角度的电阻值特征更集中，数据分布的分离性更强。
(5)通过合成数据集DS对预测器进行训练的结果
该实施例中按照上述8：1：1比例将73295个样本分为训练集、验证集和测试集。然后使用cmd-GAN网络模型将原始训练集合成新数据，并不断调整α的值，从而调整合成数据的模式丢失程度。最后用合成数据集训练预测器PM，并在测试集上验证了其预测误差。
根据表1所示的实验结果，α对合成数据多样性的影响是显而易见的。当α接近于0时，过多的模式丢弃会导致次要模式被完全丢弃以及清除数据特征，从而降低PM的预测能力。另一方面，当α设置为1时，由于合成数据中存在过多的次要模式，导致PM的过拟合，预测误差也很大。最佳预测效果时α的取值是0.5，预测误差为11.989°，强于直接用原始训练集训练的预测器的准确率14.164°。
表1
(6)通过损坏训练集生成的合成训练集对预测器进行训练的结果
实验中训练集的数量为58729，将训练集损坏比例分别调整为0％、25％、50％和75％。其中将三分之二的损坏数据设置为标签混淆数据，而将三分之一作为标签延迟数据，以模拟现实世界中可能出现的损坏数据。
一方面，表2显示了在不同比例的损坏数据和不同α的情况下，由合成数据训练的PM的预测能力的变化。用于测试不同预测模型的预测能力的测试集样本量为7202。从表2可以看出，当数据损坏率分别为0％、25％、50％和75％时，可使PM具有最佳预测能力的合适的α分别为0.5、0.4、0.4和0.5。当输入到cmd-GAN网络模型的原始数据不包含人为损坏的数据时(即损坏数据的比例为0％)，最大预测误差为11.989°，其中α设置为0.5。随着损坏数据的比例从0％增加到75％，为了丢弃越来越多的损坏数据特征并学习具有合理分布的干净数据特征，从总体情况来看，α值趋于较小(可以从表2中观察到粗体数字的最佳预测和带下划线的次佳预测，表2所示为不同损坏数据比例和不同α下合成数据所训练的PM的预测误差)，因为较小的α意味着丢失损坏的数据特征的能力更强。
表2
另一方面，从表3可以看出(表3所示为不同损坏数据比例和不同α下合成数据的Jaccard指标)，具有不同比例的损坏数据和不同α时Jaccard的变化。对于不同比例的损坏数据，预测能力最强的α对应的Jaccard在表3中用粗体标出。随着损坏数据比例的增加，适合的Jaccard通常会变小(尽管75％和50％相似)，这表明合成数据的多样性减少了，从而减少了损坏数据的影响。
表3
通过上述实验证明，cmd-GAN的模式丢失程度由α控制。为了定量证明合成数据的质量将在选择合适的α之后比包含损坏数据的数据更高，用合成数据训练的PM与直接用损坏数据训练的PMcorrupted以及用人工清洗的数据训练PMmanual_clean比较。如表4所示，不论是原始收集的训练数据(即损坏的数据为0％)还是损坏的数据从25％人工增加到75％的情况下，PM的预测误差均小于PMcorrupted和PMmanual_clean。损坏数据的比例越高，与PMcorrupted和PMmanual_clean相比，PM的预测能力就越强。PMmanual_clean的预测能力要强于PMcorrupted，但改善程度不如PM明显。因此，该实施例中完成了对损坏数据质量的增强，并且损坏数据的比例越高，增强能力就越显着。
表4
脏数据比例(％) 0 25 50 75
PM 11.989 10.672 10.211 13.112
PMcorrupted 14.164 15.057 15.341 17.747
PMmanual_clean 13.552 13.182 12.783 16.516
(6)在异常检测中的应用
为了更直观地研究本实施例方法，该实施例中以一个预测模型为例，该模型以50％损坏数据充当训练集，绘制并比较了PMPMcorrupted预测的手肘角度θpred的曲线。手肘角度θd是测试集的实测真实值(图8～图11)。
如图8所示，当测试数据是正常分布时，在损坏的数据上训练的模型(即PMcorrupted)预测的手肘角度会拟合于已损坏的训练数据，所以无法如实地预测手肘角度。但是，从图9中可以看出，实际角度可以很好地被PM预测，并且PM预测的手肘角度θpred的曲线与θd的曲线几乎完全重叠，这意味着PM具有比PMcorrupted更好的预测能力，这意味着合成数据比损坏的数据更接近干净的实测真实数据。
如图11所示，当测试数据随时间延迟时，借助PM的预测能力，可以很容易地观察到θd与θpred具有相似的形状，但是随时间而延迟。基于此观察，通过检查数据收集过程，发现这种类型的异常是由网络延迟引起的。尽管PMcorrupted也可以预测一定的时间延迟现象，但是由于训练数据拟合于损坏的数据，因此预测角度趋于更接近中游度数，这可以从图10中观察到。
通过本实施例中的实验结果表明：
1)与原始数据集DO相比，合成数据集DS中两个相邻角度的两个超体积之间的重叠为0.501(用Jaccard指标衡量)。这证实了cmd-GAN捕获了传感数据的主要模式，并在合成数据中产生了可分离的模式。
2)在DS中而不是DO中训练回归模型可产生更高的准确性。这种性能提升表明DO中过多的噪声会对模型训练产生负面影响，而DS中的合成数据则可以捕获主导模式并显示出更好的预测能力。DS的平均预测误差为11.989°，而DO的平均预测误差为14.164°。
3)本实施例方法可以帮助识别DO中损坏的标签，这是人工分析难以完成的。在研究了实测真实关节角度和关节角度预测值之间的较大偏差部分后，确认了由网络延迟引起的标签损坏问题。这在进行手动检查时，很可能会忽略此问题。
本发明实施例提出的cmd-GAN网络模型致力于将人类动态运动引起的主导模式和传感器变形和未对准引起的次要模式区分开来。但是，由于没有明显的界线将主导模式和次要模式分开，因此本实施例中提出cmd-GAN网络模型的解决方案以在两者之间取得平衡。
实施例二：
本发明还提供一种手肘角度预测终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例一的上述方法实施例中的步骤。
进一步地，作为一个可执行方案，所述手肘角度预测终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述手肘角度预测终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，上述手肘角度预测终端设备的组成结构仅仅是手肘角度预测终端设备的示例，并不构成对手肘角度预测终端设备的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述手肘角度预测终端设备还可以包括输入输出设备、网络接入设备、总线等，本发明实施例对此不做限定。
进一步地，作为一个可执行方案，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述手肘角度预测终端设备的控制中心，利用各种接口和线路连接整个手肘角度预测终端设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述手肘角度预测终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述方法的步骤。
所述手肘角度预测终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)以及软件分发介质等。
尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (9)

1.一种手肘角度预测方法，其特征在于，包括以下步骤：
S1：通过柔性传感器采集手肘处于不同角度时的电阻值，将采集的电阻值和手肘角度组成原始数据集DO；
S2：构建基于生成对抗网络的cmd-GAN网络模型，通过原始数据集DO对cmd-GAN网络模型进行训练，通过训练后的cmd-GAN网络模型将原始数据集DO转换为合成数据集DS；
cmd-GAN网络模型包括生成器和鉴别器，生成器包括两个输入c和z，其中，c表示输入数据中的手肘角度，z表示噪声向量，生成器的输出为合成电阻值，鉴别器用于对合成电阻值和输入数据中的原始电阻值进行鉴别，以使损失函数最小；
cmd-GAN网络模型的损失函数包括对抗损失LD和生成损失LG，计算公式分别为：
LD＝αLD2+(1-α)LD1-E[log(CR)]
LG＝αLG2+(1-α)LG1-E[log(CF)]
其中，CR和CF分别表示鉴别器正确分类的真实和假样本的概率，E表示概率分布期望值，LD2和LG2分别表示对抗损失LD和生成损失LG中的Wasserstein距离，LD1和LG1分别表示对抗损失LD和生成损失LG中的交叉熵，α表示超参数；
S3：构建基于全连接神经网络的预测器，通过合成数据集DS对预测器进行训练；
S4：当对手肘角度进行预测时，将通过柔性传感器采集的电阻值输入训练后的预测器后，得到预测的手肘角度。
2.根据权利要求1所述的手肘角度预测方法，其特征在于：原始数据集DO通过在普通的肘垫上增加多个柔性传感器的设备原型来采集，多个柔性传感器以相等的距离环形地安装于肘垫上。
3.根据权利要求1所述的手肘角度预测方法，其特征在于：手肘角度通过用于运动捕捉的商用光学系统跟踪获得，通过计算上下臂的中轴之间的角度来计算肘关节角度。
4.根据权利要求1所述的手肘角度预测方法，其特征在于：原始数据集DO包括使用者在不同动作模式下和设备原型处于不同状态下的数据。
5.根据权利要求1所述的手肘角度预测方法，其特征在于：噪声向量从标准正态分布(0，1)采样获得。
6.根据权利要求1所述的手肘角度预测方法，其特征在于：预测器由八个全连接层组成，第一层的输入为电阻值，最后一层的输出为手肘角度。
7.根据权利要求1所述的手肘角度预测方法，其特征在于：预测器采用学习率为0.0001的Adam优化器，并计算预测手肘角度和真实手肘角度之间的均方误差充当损失函数进行训练。
8.一种手肘角度预测终端设备，其特征在于：包括处理器、存储器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1～7中任一所述方法的步骤。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1～7中任一所述方法的步骤。
CN202110779885.XA 2021-07-09 2021-07-09 一种手肘角度预测方法、终端设备及存储介质 Active CN113537489B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110779885.XA CN113537489B (zh) 2021-07-09 2021-07-09 一种手肘角度预测方法、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110779885.XA CN113537489B (zh) 2021-07-09 2021-07-09 一种手肘角度预测方法、终端设备及存储介质

Publications (2)

Publication Number Publication Date
CN113537489A CN113537489A (zh) 2021-10-22
CN113537489B true CN113537489B (zh) 2024-03-19

Family

ID=78127331

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110779885.XA Active CN113537489B (zh) 2021-07-09 2021-07-09 一种手肘角度预测方法、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN113537489B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108664122A (zh) * 2018-04-04 2018-10-16 歌尔股份有限公司 一种姿态预测方法和装置
CN109864872A (zh) * 2019-02-21 2019-06-11 山东中医药大学 一种肘关节骨折主动康复量化数据采集的方法
CN110286749A (zh) * 2019-05-27 2019-09-27 华中师范大学 基于深度数据的手部姿势估计和追踪方法
CN110837301A (zh) * 2019-11-16 2020-02-25 北京华严互娱科技有限公司 一种用于手势识别的数据手套及手势识别方法
CN111428655A (zh) * 2020-03-27 2020-07-17 厦门大学 一种基于深度学习的头皮检测方法
CN112005198A (zh) * 2018-01-25 2020-11-27 脸谱科技有限责任公司 基于多个输入的手部状态重建
CN112840600A (zh) * 2018-08-20 2021-05-25 瑞典爱立信有限公司 使用生成对抗网络和强化学习来改进站点的免疫系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170249561A1 (en) * 2016-02-29 2017-08-31 GM Global Technology Operations LLC Robot learning via human-demonstration of tasks with force and position objectives

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112005198A (zh) * 2018-01-25 2020-11-27 脸谱科技有限责任公司 基于多个输入的手部状态重建
CN108664122A (zh) * 2018-04-04 2018-10-16 歌尔股份有限公司 一种姿态预测方法和装置
CN112840600A (zh) * 2018-08-20 2021-05-25 瑞典爱立信有限公司 使用生成对抗网络和强化学习来改进站点的免疫系统
CN109864872A (zh) * 2019-02-21 2019-06-11 山东中医药大学 一种肘关节骨折主动康复量化数据采集的方法
CN110286749A (zh) * 2019-05-27 2019-09-27 华中师范大学 基于深度数据的手部姿势估计和追踪方法
CN110837301A (zh) * 2019-11-16 2020-02-25 北京华严互娱科技有限公司 一种用于手势识别的数据手套及手势识别方法
CN111428655A (zh) * 2020-03-27 2020-07-17 厦门大学 一种基于深度学习的头皮检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
A Flexible Reference-Insensitive Spatiotemporal Fusion Model for Remote Sensing Images Using Conditional Generative Adversarial Network;Zhenyu Tan;《 IEEE Transactions on Geoscience and Remote Sensing 》;全文 *
Correcting Corrupted Labels Using Mode Dropping of ACGAN;Jizhong Su; Xing Gao; Yipeng Qin; Shihui Guo;《2021 15th International Symposium on Medical Information and Communication Technology (ISMICT)》;全文 *
Human posture tracking with flexible sensors for motion recognition;Zhiyong Chen, Xiaowei Chen, Yong Ma, Shihui Guo;《Computer animation & Virtual worlds》;全文 *
S.Li,G.E.Francisco.Post-strokehemiplegic gait: newperspective and insights.《Frontiers in Physiology》.2018,全文. *
基于针织柔性传感器无线传输系统构建与测试;易红霞;《针织工业》;全文 *

Also Published As

Publication number Publication date
CN113537489A (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
Lemhadri et al. Lassonet: Neural networks with feature sparsity
Man et al. Deep Q learning driven CT pancreas segmentation with geometry-aware U-Net
Tsironi et al. An analysis of convolutional long short-term memory recurrent neural networks for gesture recognition
WO2021143353A1 (zh) 一种手势信息处理方法、装置、电子设备及存储介质
Ge et al. Hand gesture recognition and tracking based on distributed locally linear embedding
Han et al. Two-stage learning to predict human eye fixations via SDAEs
Grattarola et al. Change detection in graph streams by learning graph embeddings on constant-curvature manifolds
Cretu et al. Soft object deformation monitoring and learning for model-based robotic hand manipulation
Mici et al. A self-organizing neural network architecture for learning human-object interactions
Kerola et al. Cross-view human action recognition from depth maps using spectral graph sequences
Zhang et al. Feature-transfer network and local background suppression for microaneurysm detection
Liu et al. Target recognition of sport athletes based on deep learning and convolutional neural network
Sanzari et al. Discovery and recognition of motion primitives in human activities
Peng et al. MSFF-Net: multi-stream feature fusion network for surface electromyography gesture recognition
Alhersh et al. Learning human activity from visual data using deep learning
Bionda et al. Deep autoencoders for anomaly detection in textured images using CW-SSIM
Zhao et al. A Spatio‐Temporal Siamese Neural Network for Multimodal Handwriting Abnormality Screening of Parkinson’s Disease
Karnati et al. Facial expression recognition in-the-wild using blended feature attention network
CN113537489B (zh) 一种手肘角度预测方法、终端设备及存储介质
Baptista et al. Deformation-based abnormal motion detection using 3d skeletons
Huang et al. Learning rebalanced human parsing model from imbalanced datasets
Zafar et al. Empowering human-robot interaction using sEMG sensor: Hybrid deep learning model for accurate hand gesture recognition
Hasan et al. Gesture feature extraction for static gesture recognition
Li et al. Assessing fruit hardness in robot hands using electric gripper actuators with tactile sensors
Senjaya et al. Ergonomic risk level prediction framework for multiclass imbalanced data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant