CN114330575A - 一种基于孪生神经网络的健身动作判别方法及智能沙包 - Google Patents
一种基于孪生神经网络的健身动作判别方法及智能沙包 Download PDFInfo
- Publication number
- CN114330575A CN114330575A CN202111669774.XA CN202111669774A CN114330575A CN 114330575 A CN114330575 A CN 114330575A CN 202111669774 A CN202111669774 A CN 202111669774A CN 114330575 A CN114330575 A CN 114330575A
- Authority
- CN
- China
- Prior art keywords
- feature vector
- data feature
- action
- standard
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000009471 action Effects 0.000 title claims abstract description 163
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 83
- 238000012850 discrimination method Methods 0.000 title claims description 12
- 239000004576 sand Substances 0.000 title abstract description 22
- 239000013598 vector Substances 0.000 claims abstract description 209
- 238000000034 method Methods 0.000 claims abstract description 47
- 230000001133 acceleration Effects 0.000 claims description 33
- 230000006870 function Effects 0.000 claims description 33
- 230000000694 effects Effects 0.000 claims description 17
- 230000015654 memory Effects 0.000 claims description 15
- 238000010276 construction Methods 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 abstract description 3
- 230000033001 locomotion Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 10
- 238000006073 displacement reaction Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000007547 defect Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于孪生神经网络的健身动作判别方法及智能沙包，包括步骤：基于标准健身动作构建标准数据特征向量；基于用户健身动作构建用户数据特征向量；将所述标准数据特征向量和所述用户数据特征向量输入所述孪生神经网络；基于所述孪生神经网络，确定所述标准数据特征向量与所述用户数据特征向量之间的分类结果和距离结果；根据所述分类结果和所述距离结果得到判别结果，确定所述用户健身动作相对于所述标准健身动作的准确度。本发明通过提取特征，然后使用孪生神经网络进行分类和距离的计算，最后对两个模型的结果进行组合实现最后的判别，从而帮助用户在达到锻炼的目的时不伤害身体。
Description
技术领域
本发明涉及健身动作的判别技术领域，尤其涉及一种基于孪生神经网络的健身动作判别方法及智能沙包。
背景技术
随着生活水平的提高，人们对运动健身的需求也越来越高，市面上出现了多种多样的健身设备。沙包作为常用的健身器材，因其占地小且可以用于辅助锻炼全身肌肉，而受到人们的青睐。但是使用沙包健身的过程中，如何保证以正确的姿势和频率击打沙包，从而既达到锻炼的目的而又不伤害身体成为亟待解决的问题。
在现有技术中，一般通过在沙包中设置传感器实时采集用户健身过程中沙包的3轴加速度数据和3轴角速度数据，通过小波变换、机器学习分类或深度学习分类等方法来判别用户当前的动作是否标准。但是在沙包健身的应用场景中，由于动作类型多，不同动作间相似度高，现有技术无法实现很好的识别效果，往往会存在过拟合的情况。
因此，现有技术还有待于改进和发展。
发明内容
本发明针对现有技术的上述缺陷，本发明提供一种基于孪生神经网络的健身动作判别方法，以解决现有技术中由于健身场景中动作类型多，不同动作间相似度高导致无法很好判别用户动作与标准动作之间区别的问题。
本发明解决技术问题所采用的技术方案如下：
一种基于孪生神经网络的健身动作判别方法，其中，所述方法包括：
基于标准健身动作构建标准数据特征向量；
基于用户健身动作构建用户数据特征向量；
将所述标准数据特征向量和所述用户数据特征向量输入所述孪生神经网络；
基于所述孪生神经网络，确定所述标准数据特征向量与所述用户数据特征向量之间的分类结果和距离结果；
根据所述分类结果和所述距离结果得到判别结果，确定所述用户健身动作相对于所述标准健身动作的准确度。
所述的基于孪生神经网络的健身动作判别方法，其中，所述健身动作是作用于沙包的健身动作。
所述的基于孪生神经网络的健身动作判别方法，其中，所述基于标准健身动作构建标准数据特征向量包括：
每隔一时间间隔，记录所述沙包在所述标准健身动作作用下的第一三轴加速度和第一三轴角速度；
基于所述第一三轴加速度和所述第一三轴角速度，构建所述标准健身动作的第一欧式距离向量和第一余弦距离向量作为所述标准数据特征向量；
所述第一欧式距离向量表达式为：
所述第一余弦距离向量表达式为：
其中(xi,yi,zi)为沙包在所述标准健身动作作用下的实时数据，(x0,y0,z0)为沙包的初始数据。
所述的基于孪生神经网络的健身动作判别方法，其中，所述基于用户健身动作构建用户数据特征向量包括：
每隔所述时间间隔，记录所述沙包在所述用户健身动作作用下的第二三轴加速度和第二三轴角速度；
基于所述第二三轴加速度和所述第二三轴角速度，构建所述用户健身动作的第二欧式距离向量和第二余弦距离向量作为所述用户数据特征向量；
所述第二欧式距离向量表达式为：
所述第二余弦距离向量表达式为：
其中(xj,yj,zj)为沙包在所述用户健身动作作用下的实时数据，(x0,y0,z0)为沙包的初始数据。
所述的基于孪生神经网络的健身动作判别方法，其中，所述时间间隔为100ms。
所述的基于孪生神经网络的健身动作判别方法，其中，所述基于所述孪生神经网络，确定所述标准数据特征向量与所述用户数据特征向量之间的分类结果和距离结果包括：
利用交叉熵损失函数，确定所述用户数据特征向量与所述标准数据特征向量之间的分类结果；
利用对比损失函数，确定所述用户数据特征向量与所述标准数据特征向量之间的距离结果。
所述的基于孪生神经网络的健身动作判别方法，其中，所述交叉熵损失函数的表达式为：
其中yi表示所述标准数据特征向量与所述用户数据特征向量是否匹配，当所述标准数据特征向量与所述用户数据特征向量相匹配时yi＝1，当所述标准数据特征向量与所述用户数据特征向量不相匹配时yi＝0；N为所述标准数据特征向量与所述用户数据特征向量的个数；pi为预测yi＝1的概率。
所述的基于孪生神经网络的健身动作判别方法，其中，所述对比损失函数的表达式为：
其中Dw为所述标准数据特征向量与所述用户数据特征向量之间的欧式距离；margin为设定的阈值；N为所述标准数据特征向量与所述用户数据特征向量的个数；Y为所述标准数据特征向量与所述用户数据特征向量是否匹配，当所述标准数据特征向量与所述用户数据特征向量相匹配时Y＝1，当所述标准数据特征向量与所述用户数据特征向量不相匹配时Y＝0。
所述的基于孪生神经网络的健身动作判别方法，其中，所述根据所述分类结果和所述距离结果得到判别结果，确定所述用户健身动作相对于所述标准健身动作的准确度包括：
使用优化器对所述交叉熵损失函数和所述对比损失函数进行梯度优化与反向传播，更新所述孪生神经网络的模型参数，使得迭代后所述分类结果和所述距离结果之间距离最小，以输出所述判别结果。
本发明还提供一种智能沙包，其中，所述智能沙包包括：沙包本体，设置在所述沙包本体内的传感器，从所述传感器接收所述沙包本体的三轴角速度和三轴加速度的处理器，与所述处理器相连的存储器及存储在所述存储器上并可在所述处理器上运行的基于孪生神经网络的健身动作判别程序，所述基于孪生神经网络的健身动作判别程序被所述处理器执行时实现如上任一项所述的基于孪生神经网络的健身动作判别方法的步骤。
本发明公开了一种基于孪生神经网络的健身动作判别方法及智能沙包，包括步骤：基于标准健身动作构建标准数据特征向量；基于用户健身动作构建用户数据特征向量；将所述标准数据特征向量和所述用户数据特征向量输入所述孪生神经网络；基于所述孪生神经网络，确定所述标准数据特征向量与所述用户数据特征向量之间的分类结果和距离结果；根据所述分类结果和所述距离结果得到判别结果，确定所述用户健身动作相对于所述标准健身动作的准确度。本发明通过提取特征，然后使用孪生神经网络进行分类和距离的计算，最后对两个模型的结果进行组合实现最后的判别，从而帮助用户在达到锻炼的目的时不伤害身体。
附图说明
图1是本发明基于孪生神经网络的健身动作判别方法的较佳实施例的流程图；
图2是本发明基于孪生神经网络的健身动作判别方法的较佳实施例中孪生神经网络从一个训练集学习深度预测模型，该训练集涵盖了不同物体的各种运动的示意图；
图3是本发明基于孪生神经网络的健身动作判别方法的较佳实施例中长短期记忆网络的结构示意图；
图4是本发明基于孪生神经网络的健身动作判别方法的较佳实施例中运动类型为旋转运动的示意图；
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
孪生神经网络(Siameses neural network)是基于两个人工神经网络建立的耦合构架，将两个样本输入孪生神经网络以比较两个样本的匹配程度。由于孪生神经网络可以进行小样本学习，且不容易被错误样本干扰，因此常用语对容错率要求严格的模式识别问题。在智能沙包健身领域，由于沙包健身动作中动作类型多，且不同动作间的相速度较高，因此利用孪生神经网络可以有效比较用户的健身动作与教练的标准动作，从而最大化不匹配的动作特征而最小化匹配的动作表征，从而可以确定用户在沙包健身过程中的不标准动作，从而指导用户及时纠正错误动作，既达到锻炼的目的又不伤害身体。
本发明公开了一种基于孪生神经网络的健身动作判别方法，具体地，所述健身动作为作用于沙包的健身动作，在利用沙包健身的过程中，用户需要持续与沙包进行交互(拳击等)，从而通过健身动作带动沙包发生位移，通过沙包的位移轨迹即可推断所述健身动作的姿势、角度、力度和频率等特征，通过比较在用户的健身动作作用下的沙包位移轨迹与在教练的标准健身动作作用下的沙包位移轨迹，即可判别用户的健身动作是否规范。
如图1所示，本发明所述基于孪生神经网络的健身动作判别方法包括：步骤S100、基于标准健身动作构建标准数据特征向量。
具体地，所述标准健身动作为教练预先录制的，在沙包健身中可以保证既达到锻炼目的又不伤害身体的标准动作，即用户通过模仿所述标准健身动作运动，在无需教练辅助的情况下也可以达到健身的效果。所述基于标准健身动作构建标准数据特征向量具体包括：
步骤S110、每隔一时间间隔，记录所述沙包在所述标准健身动作作用下的第一三轴加速度和第一三轴角速度；
步骤S120、基于所述第一三轴加速度和所述第一三轴角速度，构建所述标准健身动作的第一欧式距离向量和第一余弦距离向量作为所述标准数据特征向量。
具体地，所述第一欧式距离向量表达式为：
所述第一余弦距离向量表达式为：
其中(xi,yi,zi)为沙包在所述标准健身动作作用下的实时数据，通过设置在沙包中的传感器芯片每隔所述时间间隔采集，(x0,y0,z0)为沙包的初始数据。可选地，所述时间间隔为100ms。
具体地，当教练录制所述标准健身动作时，通过所述标准健身动作与沙包作用，带动所述沙包发生位移，通过在沙包中设置传感器芯片采集所述沙包的三轴加速度数据和三轴角速度数据，即可确定所述沙包在所述标准健身动作下的位移轨迹。但是在所述沙包内设置传感器芯片存在两个问题：第一是没有重力感应，也就是说每一次与健身动作发生交互的起始位置不一定是从0开始；第二是没有方向性，也就是说左右进行运动与上下进行运动对沙包来说是一致的。这种情况下直接利用传感器芯片采集的原始数据进行深度学习会有很大的问题，尤其是可能存在过拟合的情况，因此需要通过构建特征的方式对原始数据进行处理。其中，欧式距离向量可以很好地把握不同维度之间的关系，而余弦距离向量可以获得方向上的特征，弥补原始数据上的不足。
具体地，如图2所示为原始数据与构造特征后的数据比较，其中左侧为原始数据，AccX为X方向的加速度，AccY为Y方向的加速度，AccZ为Z方向的加速度，GyroX为X方向的角速度，GyroY为Y方向的角速度，GyroZ为Z方向的角速度；右侧为构造特征后的数据，Acc_Eur为欧式距离向量加速度，Gyro_Eur为欧式距离向量角速度，Acc_Cos为余弦距离向量加速度，Gyro_Cos为余弦距离向量角速度。需要说明的是，由于沙包在健身动作的作用下不停摆动，因此实际的X方向、Y方向和Z方向是不固定的，因此原始数据之间是无法直接计算的。而使用欧式距离分别对加速度和角速度进行特征构建，再使用余弦距离分别对加速度和角速度进行特征构建，既简化了数据，弥补原始数据的不足，又可以很好的把握不同维度之间的关系。
进一步地，为了更好地提高模型的泛化性能，能更好地适配真实环境，在构建所述标准数据特征向量之前还可以对所述原始数据进行预处理，包括以下方法：
1、为了模拟不同佩戴方向，随机对第一三轴加速度与第一三轴角速度进行变换；
2、为了模拟频率有略微差距，随机去掉头部或尾部的一些原始数据；
3、使用类似图像的增强方式，对所述原始数据进行一些缩小、放大、旋转、裁剪等；
4、为了不误判动作，进行不同标准动作组合成新的错误数据。
进一步地，如图1所示，所述基于孪生神经网络的健身动作判别方法还包括：步骤S200、基于用户健身动作构建用户数据特征向量。
具体地，所述用户健身动作是用户在自己练习时完成的健身动作。由于刚开始练习时用户往往无法完成标准的健身动作，这样既不能达到锻炼的目的，还有可能伤害到身体，因此需要与教练的标准健身动作进行比较学习。为了保证对所述标准健身动作的学习效果，则需要及时指出用户健身动作与标准健身动作之间的差别。具体地，所述基于用户健身动作构建用户数据特征向量包括：
步骤S210、每隔所述时间间隔，记录所述沙包在所述用户健身动作作用下的第二三轴加速度和第二三轴角速度；
步骤S220、基于所述第二三轴加速度和所述第二三轴角速度，构建所述用户健身动作的第二欧式距离向量和第二余弦距离向量作为所述用户数据特征向量。
具体地，所述第二欧式距离向量表达式为：
所述第二余弦距离向量表达式为：
其中(xj,yj,zj)为沙包在所述用户健身动作作用下的实时数据，通过设置在沙包中的传感器芯片每隔所述时间间隔采集，(x0,y0,z0)为沙包的初始数据。可选地，所述时间间隔为100ms。
具体地，当用户练习时，通过所述用户健身动作与沙包作用，带动所述沙包发生位移，通过在沙包中设置传感器芯片采集所述沙包的三轴加速度数据和三轴角速度数据，即可确定所述沙包在所述用户健身动作下的位移轨迹。但是在所述沙包内设置传感器芯片存在两个问题：第一是没有重力感应，也就是说每一次与健身动作发生交互的起始位置不一定是从0开始；第二是没有方向性，也就是说左右进行运动与上下进行运动对沙包来说是一致的。这种情况下直接利用传感器芯片采集的原始数据进行深度学习会有很大的问题，尤其是可能存在过拟合的情况，因此需要通过构建特征的方式对原始数据进行处理。其中，欧式距离向量可以很好地把握不同维度之间的关系，而余弦距离向量可以获得方向上的特征，弥补原始数据上的不足。对于采集数据和原始数据的处理与所述基于标准健身动作构建标准数据特征向量的过程相同，在此不再赘述。
进一步地，如图1所示，所述基于孪生神经网络的健身动作判别方法还包括：步骤S300、将所述标准数据特征向量和所述用户数据特征向量输入所述孪生神经网络。
具体地，分别使用所述欧式距离向量和所述余弦距离向量构建好新的所述标准数据特征向量和所述用户数据特征向量后，通过孪生神经网络模型架构进行特征学习和模型训练。具体地，如图3所示，从下而上为利用孪生神经网络处理所述标准数据特征向量和所述用户数据特征向量的过程，其中X1为将所述标准数据特征向量作为标准数据输入，X2为将所述用户数据特征向量作为用户数据输入；Network_1与Network_2为两个相同的神经网络模型，并且他们共用一套模型参数W，通过Network_1处理所述标准数据特征向量得到结果GW(x1)，通过Network_2处理所述用户数据特征向量得到结果GW(x2)，通过损失函数计算两个结果之间的相似度(基于孪生神经网络的分类，Similarity)和距离(标准孪生神经网络，Distance)，得到所述标准数据特征向量与所述用户数据特征向量之间的分类结果和距离结果。之后再使用优化器对损失函数进行梯度优化与反向传播，更新模型参数W，使得迭代之后两边的输出结果之间距离最小，从而得到最终的判别结果Ew，以确定所述用户健身动作相对于所述标准健身动作的准确度。
进一步地，如图1所示，所述基于孪生神经网络的健身动作判别方法还包括：步骤S400、基于所述孪生神经网络，确定所述标准数据特征向量与所述用户数据特征向量之间的分类结果和距离结果。
具体地，所述基于所述孪生神经网络，确定所述标准数据特征向量与所述用户数据特征向量之间的分类结果和距离结果包括：步骤S410、利用交叉熵损失函数，确定所述用户数据特征向量与所述标准数据特征向量之间的分类结果。
所述交叉熵损失函数(Cross Entropy Loss Function)经常用于分类问题中，并可以捕捉到二分类或多分类的情况下不同模型预测效果的差异。具体地，本发明所述交叉熵损失函数的表达式为：
其中yi表示所述标准数据特征向量与所述用户数据特征向量是否匹配，当所述标准数据特征向量与所述用户数据特征向量相匹配时yi＝1，当所述标准数据特征向量与所述用户数据特征向量不相匹配时yi＝0；N为所述标准数据特征向量与所述用户数据特征向量的个数；pi为预测yi＝1的概率，由于预测的结果只有两种情况(两个特征向量匹配或不匹配)，因此预测得到的概率为pi和1-pi。利用交叉熵损失函数对于所述标准数据特征向量与所述用户数据特征向量进行比较，得到的分类结果在数据上错误率(数据不匹配但判断为匹配占总实验次数的比率)低，但同时在准确率(数据匹配且判断为匹配占总实验次数的比率)同样也低，因此单独使用分类结果对所述标准数据特征向量与所述用户数据特征向量进行比较的效果一般。
进一步地，所述基于所述孪生神经网络，确定所述标准数据特征向量与所述用户数据特征向量之间的分类结果和距离结果还包括：步骤S420、利用对比损失函数，确定所述用户数据特征向量与所述标准数据特征向量之间的距离结果。
所述对比损失函数(Contrastive Loss Function)是孪生神经网络中常用的损失函数，可以有效地处理孪生神经网络中成对数据的关系，从而可以很好的表达成对样本的匹配程度，也能够很好用于训练提取特征的模型。具体地，本发明所述对比损失函数的表达式为：
其中Dw为所述标准数据特征向量与所述用户数据特征向量之间的欧式距离；margin为设定的阈值；N为所述标准数据特征向量与所述用户数据特征向量的个数；Y为所述标准数据特征向量与所述用户数据特征向量是否匹配，当所述标准数据特征向量与所述用户数据特征向量相匹配时Y＝1，当所述标准数据特征向量与所述用户数据特征向量不相匹配时Y＝0。
对于孪生神经网络而言，当输入的样本是匹配的时候，我们希望他们之间的欧式距离很小，损失也越小；当不是匹配样本的时候，欧式距离很大，损失也很大。简单来说就是我们要最小化匹配数据之间的距离，最大化不匹配数据之间的距离。
因此当Y＝1时(即所述标准数据特征向量与所述用户数据特征向量相匹配时)，所述损失函数的表达式简化为：
即当所述标准数据特征向量与所述用户数据特征向量相匹配时，如果两者的欧式距离较大，说明当前的模型不好，因此加大损失。
而当Y＝0时(即所述标准数据特征向量与所述用户数据特征向量不匹配时)，所述损失函数的表达式简化为：
即当所述标准数据特征向量与所述用户数据特征向量不匹配时，如果两者之间欧式距离反而小的话，依然说明当前的模型不好，损失值会变大。
需要说明的是，设置阈值margin，是表示我们只考虑欧式距离在0～margin之间的不匹配的所述标准数据特征向量与所述用户数据特征向量。当欧式距离超过margin，则把损失值看做为0，即不匹配的所述标准数据特征向量与所述用户数据特征向量离的很远，是符合要求的，其损失值应该是很低的；而对于那些匹配却离得很远的所述标准数据特征向量与所述用户数据特征向量，我们就需要增加损失值，从而不断更新成对的所述标准数据特征向量与所述用户数据特征向量之间的匹配程度。利用对比损失函数对于所述标准数据特征向量与所述用户数据特征向量进行比较，得到的距离结果在数据上准确率高，但同时在错误率上同样也高，因此单独使用距离结果对所述标准数据特征向量与所述用户数据特征向量进行比较的效果一般。
进一步地，如图1所示，所述基于孪生神经网络的健身动作判别方法还包括：步骤S500、根据所述分类结果和所述距离结果得到判别结果，确定所述用户健身动作相对于所述标准健身动作的准确度。
由于单独使用所述分类结果或所述距离结果无法同时实现数据的准确率高而错误率低，因此需要对两者进行组合达到一个错误率低且准确率高的效果。具体地，在所述孪生神经网络中，使用优化器对所述交叉熵损失函数和所述对比损失函数进行梯度优化与反向传播，更新所述孪生神经网络的模型参数，使得迭代后所述分类结果和所述距离结果之间距离最小，从而达到预测数据错误率低且准确率高的效果，以输出所述判别结果，确定所述用户健身动作相对于所述标准健身动作的准确度，从而辅助用户在无需教练辅导的情况下既达到锻炼的目的又不会伤害到身体。
在本发明的一种实施方式中，还包括一种智能沙包，如图4所示，所述智能沙包包括沙包本体100，设置在所述沙包本体100内的传感器200，处理器300，存储器400和显示器500。所述传感器200在用户使用所述智能沙包健身时，每隔固定的时间间隔采集所述沙包本体100的三轴角速度和三轴加速度；所述处理器300从所述传感器200接收所述沙包本体100的所述三轴角速度和所述三轴加速度；所述存储器400与所述处理器300相连，且在所述存储器400上存储有可在所述处理器300上运行的基于孪生神经网络的健身动作判别程序，所述基于孪生神经网络的健身动作判别程序被所述处理器执行时实现如上所述的基于孪生神经网络的健身动作判别方法的步骤；所述显示器500同样与所述处理器相连，以显示用户引导界面并播放标准健身动作，以供用户模仿学习。
此外，上述的存储器400中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
所述存储器400作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器400中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
所述存储器400可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器400可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random AccessMemory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
以下简述本发明所述智能沙包的使用方法：
首先教练录制标准健身动作，并通过所述智能沙包中的传感器记录所述智能沙包在所述标准健身动作作用下的三轴角速度和三轴加速度，从而得到所述智能沙包的位移轨迹。可选地，所述传感器每隔一固定的时间间隔记录一次所述智能沙包的三轴角速度和三轴加速度。通过欧式距离和余弦距离分别对所述三轴角速度和所述三轴加速度进行特征构建，从而得到所述标准健身动作的第一欧式距离向量和第一余弦距离向量作为标准数据特征向量。可选地，教练可以录制若干组所述标准健身动作，并分别构建各组所述标准健身动作的标准数据特征向量，并对所述标准数据特征向量分别标号。当用户开始练习时，选择想要模仿学习的一组标准健身动作，将对应这组标准健身动作的标号匹配给用户练习时完成的用户健身动作，在后续利用孪生神经网络进行数据处理时，将标号相同的所述标准健身动作和所述用户健身动作进行比较判别。
然后用户完成用户健身动作，并同样通过所述智能沙包中的传感器记录所述智能沙包在所述用户健身动作作用下的三轴角速度和三轴加速度，从而得到所述智能沙包的位移轨迹。可选地，所述传感器每隔一固定的时间间隔记录一次所述智能沙包的三轴角速度和三轴加速度。通过欧式距离和余弦距离分别对所述三轴角速度和所述三轴加速度进行特征构建，从而得到所述用户健身动作的第二欧式距离向量和第二余弦距离向量作为用户数据特征向量。
之后将所述标准数据特征向量和所述用户数据特征向量同时输入孪生神经网络，利用两个共用一套模型参数的相同神经网络模型分别处理所述标准数据特征向量和所述用户数据特征向量，利用交叉熵损失函数，确定所述用户数据特征向量与所述标准数据特征向量之间的分类结果，再利用对比损失函数，确定所述用户数据特征向量与所述标准数据特征向量之间的距离结果。最后在所述孪生神经网络中使用优化器对损失函数进行梯度优化与反向传播，更新模型参数，使得迭代之后两边的输出结果之间距离最小，从而达到预测数据错误率低且准确率高的效果，以输出判别结果，确定所述用户健身动作相对于所述标准健身动作的准确度，从而辅助用户在没有教练辅导的情况下达到锻炼的目的又不会伤害到身体。
当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件(如处理器，控制器等)来完成，所述的程序可存储于一计算机可读取的存储介质中，所述程序在执行时可包括如上述各方法实施例的流程。其中所述的存储介质可为存储器、磁碟、光盘等。
综上所述，本发明公开了一种基于孪生神经网络的健身动作判别方法及智能沙包，包括步骤：基于标准健身动作构建标准数据特征向量；基于用户健身动作构建用户数据特征向量；将所述标准数据特征向量和所述用户数据特征向量输入所述孪生神经网络；基于所述孪生神经网络，确定所述标准数据特征向量与所述用户数据特征向量之间的分类结果和距离结果；根据所述分类结果和所述距离结果得到判别结果，确定所述用户健身动作相对于所述标准健身动作的准确度。本发明通过提取特征，然后使用孪生神经网络进行分类和距离的计算，最后对两个模型的结果进行组合实现最后的判别，从而帮助用户在达到锻炼的目的时不伤害身体。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (10)
1.一种基于孪生神经网络的健身动作判别方法，其特征在于，所述方法包括：
基于标准健身动作构建标准数据特征向量；
基于用户健身动作构建用户数据特征向量；
将所述标准数据特征向量和所述用户数据特征向量输入所述孪生神经网络；
基于所述孪生神经网络，确定所述标准数据特征向量与所述用户数据特征向量之间的分类结果和距离结果；
根据所述分类结果和所述距离结果得到判别结果，确定所述用户健身动作相对于所述标准健身动作的准确度。
2.根据权利要求1所述的基于孪生神经网络的健身动作判别方法，其特征在于，所述健身动作是作用于沙包的健身动作。
3.根据权利要求2所述的基于孪生神经网络的健身动作判别方法，其特征在于，所述基于标准健身动作构建标准数据特征向量包括：
每隔一时间间隔，记录所述沙包在所述标准健身动作作用下的第一三轴加速度和第一三轴角速度；
基于所述第一三轴加速度和所述第一三轴角速度，构建所述标准健身动作的第一欧式距离向量和第一余弦距离向量作为所述标准数据特征向量；
所述第一欧式距离向量表达式为：
所述第一余弦距离向量表达式为：
其中(xi,yi,zi)为沙包在所述标准健身动作作用下的实时数据，(x0,y0,z0)为沙包的初始数据。
4.根据权利要求3所述的基于孪生神经网络的健身动作判别方法，其特征在于，所述基于用户健身动作构建用户数据特征向量包括：
每隔所述时间间隔，记录所述沙包在所述用户健身动作作用下的第二三轴加速度和第二三轴角速度；
基于所述第二三轴加速度和所述第二三轴角速度，构建所述用户健身动作的第二欧式距离向量和第二余弦距离向量作为所述用户数据特征向量；
所述第二欧式距离向量表达式为：
所述第二余弦距离向量表达式为：
其中(xj,yj,zj)为沙包在所述用户健身动作作用下的实时数据，(x0,y0,z0)为沙包的初始数据。
5.根据权利要求4所述的基于孪生神经网络的健身动作判别方法，其特征在于，所述时间间隔为100ms。
6.根据权利要求4所述的基于孪生神经网络的健身动作判别方法，其特征在于，所述基于所述孪生神经网络，确定所述标准数据特征向量与所述用户数据特征向量之间的分类结果和距离结果包括：
利用交叉熵损失函数，确定所述用户数据特征向量与所述标准数据特征向量之间的分类结果；
利用对比损失函数，确定所述用户数据特征向量与所述标准数据特征向量之间的距离结果。
7.根据权利要求6所述的基于孪生神经网络的健身动作判别方法，其特征在于，所述交叉熵损失函数的表达式为：
其中yi表示所述标准数据特征向量与所述用户数据特征向量是否匹配，当所述标准数据特征向量与所述用户数据特征向量相匹配时yi＝1，当所述标准数据特征向量与所述用户数据特征向量不相匹配时yi＝0；N为所述标准数据特征向量与所述用户数据特征向量的个数；pi为预测yi＝1的概率。
8.根据权利要求6所述的基于孪生神经网络的健身动作判别方法，其特征在于，所述对比损失函数的表达式为：
其中Dw为所述标准数据特征向量与所述用户数据特征向量之间的欧式距离；margin为设定的阈值；N为所述标准数据特征向量与所述用户数据特征向量的个数；Y为所述标准数据特征向量与所述用户数据特征向量是否匹配，当所述标准数据特征向量与所述用户数据特征向量相匹配时Y＝1，当所述标准数据特征向量与所述用户数据特征向量不相匹配时Y＝0。
9.根据权利要求6所述的基于孪生神经网络的健身动作判别方法，其特征在于，所述根据所述分类结果和所述距离结果得到判别结果，确定所述用户健身动作相对于所述标准健身动作的准确度包括：
使用优化器对所述交叉熵损失函数和所述对比损失函数进行梯度优化与反向传播，更新所述孪生神经网络的模型参数，使得迭代后所述分类结果和所述距离结果之间距离最小，以输出所述判别结果。
10.一种智能沙包，其特征在于，所述智能沙包包括：沙包本体，设置在所述沙包本体内的传感器，从所述传感器接收所述沙包本体的三轴角速度和三轴加速度的处理器，与所述处理器相连的存储器及存储在所述存储器上并可在所述处理器上运行的基于孪生神经网络的健身动作判别程序，所述基于孪生神经网络的健身动作判别程序被所述处理器执行时实现如权利要求1-9任一项所述的基于孪生神经网络的健身动作判别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111669774.XA CN114330575A (zh) | 2021-12-31 | 2021-12-31 | 一种基于孪生神经网络的健身动作判别方法及智能沙包 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111669774.XA CN114330575A (zh) | 2021-12-31 | 2021-12-31 | 一种基于孪生神经网络的健身动作判别方法及智能沙包 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114330575A true CN114330575A (zh) | 2022-04-12 |
Family
ID=81021717
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111669774.XA Pending CN114330575A (zh) | 2021-12-31 | 2021-12-31 | 一种基于孪生神经网络的健身动作判别方法及智能沙包 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114330575A (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107909060A (zh) * | 2017-12-05 | 2018-04-13 | 前海健匠智能科技（深圳）有限公司 | 基于深度学习的健身房健身动作识别方法及装置 |
| CN109011506A (zh) * | 2018-07-12 | 2018-12-18 | 深圳市虚数科技有限公司 | 一种训练动作识别方法 |
| CN110163086A (zh) * | 2019-04-09 | 2019-08-23 | 缤刻普达（北京）科技有限责任公司 | 基于神经网络的健身动作识别方法、装置、设备及介质 |
| CN110471529A (zh) * | 2019-08-07 | 2019-11-19 | 北京卡路里信息技术有限公司 | 动作评分方法及装置 |
| CN110478883A (zh) * | 2019-08-21 | 2019-11-22 | 南京信息工程大学 | 一种健身动作教学及矫正系统及方法 |
| CN112274902A (zh) * | 2020-10-16 | 2021-01-29 | 深圳卡路里科技有限公司 | 游泳数据获取方法及装置、游泳数据采集设备的控制方法 |
| CN112967783A (zh) * | 2021-02-26 | 2021-06-15 | 特斯联科技集团有限公司 | 一种基于神经网络学习算法的社区健身推荐方法和系统 |
| CN113326853A (zh) * | 2021-06-16 | 2021-08-31 | 西安隆基智能技术有限公司 | 一种基于神经网络的工艺参数分析方法、设备以及计算机存储介质 |
| CN113577651A (zh) * | 2021-08-26 | 2021-11-02 | 吉林大学 | 一种面向智能杠铃的运动状态识别方法 |
| CN113663312A (zh) * | 2021-08-16 | 2021-11-19 | 东南大学 | 一种基于微惯性的无器械健身动作质量评估方法 |
-
2021
- 2021-12-31 CN CN202111669774.XA patent/CN114330575A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107909060A (zh) * | 2017-12-05 | 2018-04-13 | 前海健匠智能科技（深圳）有限公司 | 基于深度学习的健身房健身动作识别方法及装置 |
| CN109011506A (zh) * | 2018-07-12 | 2018-12-18 | 深圳市虚数科技有限公司 | 一种训练动作识别方法 |
| CN110163086A (zh) * | 2019-04-09 | 2019-08-23 | 缤刻普达（北京）科技有限责任公司 | 基于神经网络的健身动作识别方法、装置、设备及介质 |
| CN110471529A (zh) * | 2019-08-07 | 2019-11-19 | 北京卡路里信息技术有限公司 | 动作评分方法及装置 |
| CN110478883A (zh) * | 2019-08-21 | 2019-11-22 | 南京信息工程大学 | 一种健身动作教学及矫正系统及方法 |
| CN112274902A (zh) * | 2020-10-16 | 2021-01-29 | 深圳卡路里科技有限公司 | 游泳数据获取方法及装置、游泳数据采集设备的控制方法 |
| CN112967783A (zh) * | 2021-02-26 | 2021-06-15 | 特斯联科技集团有限公司 | 一种基于神经网络学习算法的社区健身推荐方法和系统 |
| CN113326853A (zh) * | 2021-06-16 | 2021-08-31 | 西安隆基智能技术有限公司 | 一种基于神经网络的工艺参数分析方法、设备以及计算机存储介质 |
| CN113663312A (zh) * | 2021-08-16 | 2021-11-19 | 东南大学 | 一种基于微惯性的无器械健身动作质量评估方法 |
| CN113577651A (zh) * | 2021-08-26 | 2021-11-02 | 吉林大学 | 一种面向智能杠铃的运动状态识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110472554B (zh) | 基于姿态分割和关键点特征的乒乓球动作识别方法及系统 | |
| CN110569795B (zh) | 一种图像识别方法、装置以及相关设备 | |
| Trejo et al. | Recognition of yoga poses through an interactive system with kinect device | |
| US9639746B2 (en) | Systems and methods of detecting body movements using globally generated multi-dimensional gesture data | |
| CN108197589B (zh) | 动态人体姿态的语义理解方法、装置、设备和存储介质 | |
| CN102682302B (zh) | 一种基于关键帧的多特征融合的人体姿态识别方法 | |
| CN106778854A (zh) | 基于轨迹和卷积神经网络特征提取的行为识别方法 | |
| CN108205684A (zh) | 图像消歧方法、装置、存储介质和电子设备 | |
| CN104111733B (zh) | 一种手势识别系统及方法 | |
| Wang et al. | Video event detection using motion relativity and feature selection | |
| CN104850773A (zh) | 用于智能移动终端的用户身份认证方法 | |
| CN109508686A (zh) | 一种基于层次化特征子空间学习的人体行为识别方法 | |
| CN112742031B (zh) | 模型训练方法、游戏测试方法、ai角色训练方法及装置 | |
| CN117762250B (zh) | 一种基于交互设备的虚拟现实动作识别方法及系统 | |
| Javeed et al. | Automated gestures recognition in Exergaming | |
| KR20230022010A (ko) | 스포츠 활동분류 학습장치의 제어방법, 이를 수행하기 위한 기록매체 및 장치 | |
| Morel et al. | Automatic and generic evaluation of spatial and temporal errors in sport motions | |
| Tarasevičius et al. | Deep learning model for sensor based swimming style recognition | |
| CN114330575A (zh) | 一种基于孪生神经网络的健身动作判别方法及智能沙包 | |
| Kobayashi et al. | Swimming motion classification for coaching system by using a sensor device | |
| Abdullah et al. | Recognition and Evaluation of Stability Movements in Gymnastics Based on Deep Learning | |
| Goutsu et al. | Motion recognition employing multiple kernel learning of fisher vectors using local skeleton features | |
| US20240233443A1 (en) | Training One or More Machine Learning Models to Recognize One or More Movements Using Virtual Actors and Virtual Cameras | |
| CN113457108B (zh) | 一种基于认知表征的运动成绩提高方法和装置 | |
| CN113476833A (zh) | 游戏动作识别方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |