CN113144540A - 一种智能安全健身指导装置、系统及方法 - Google Patents

Abstract

本发明公开了一种智能安全健身指导装置、系统及方法，该系统包括交互显示装置、摄像装置、器械运动状态采集装置、服务器、动作识别处理器；交互显示装置包括主控板、显示器；主控板分别与显示器、摄像装置、器械运动状态采集装置、服务器、动作识别处理器连接；动作识别处理器用于识别用户动作，交互显示装置用于接收用户触摸操作、实时展示识别动作数据和纠正动作数据；服务器包括网络通信模块、动作纠正模块，动作纠正模块与网络通信模块连接，动作纠正模块用于根据标准运动模型进行对比动作。本发明通过建立人体模型以实时精准记录人们的训练姿势，并通过匹配标准姿态数据库，及时反馈用户以纠正用户的动作。

Description

一种智能安全健身指导装置、系统及方法

技术领域

本发明涉及人工智能识别技术领域，具体涉及一种智能安全健身指导装置、系统及方法。

背景技术

随着生活水平提升，人们对健康生活越来越关注，健身需求也日益增加，然而教练价格偏高且水平参次不齐，一方面存在健身安全问题，针对目前健身房内健身者因各种原因，导致没有正确的指导从而健身动作不规范引发的诸如运动损伤的风险增加、肌肉协调性转移和训练效率降低等问题；另一方面在面对人们健身意识的逐渐提高，将AI技术和健身设施相结合，协助人们的健身训练，然而现有的产品及研究仅适用于无器械、小型辅助器材健身场景，还不适用于健身房内的大型专业器械，对于使用专业器械的人体动作识别技术还需要再增强识别的精度才可以实现，加上用户身体数据仍欠深度，无法为用户提供的个性化指导需要加强其专业性。

发明内容

为了克服现有技术存在的缺陷与不足，本发明提供一种智能安全健身指导装置，该装置通过摄像装置对用户的实时动作进行捕捉，输出相应动作数据信号，并经过服务器处理后由显示器显示出分析结果，同时通过音响外放指导信息，实时给予用户反馈。

本发明的第二目的，在于提供一种智能安全健身指导系统；

本发明的第三目的，在于提供一种智能安全健身指导方法。

为了达到上述第一目的，本发明采用以下技术方案：

一种智能安全健身指导装置，设有交互显示装置，所述交互显示装置包括主控板、与主控板连接的显示器，所述智能安全健身指导装置还包括摄像装置、器械运动状态采集装置、服务器、动作识别处理器；

所述主控板还分别与摄像装置、器械运动状态采集装置、服务器、动作识别处理器连接；

所述摄像装置用于实时拍摄得到采集影像数据，所述器械运动状态采集装置用于采集健身器械绕空间3轴的旋转数据，所述动作识别处理器用于识别用户动作，所述交互显示装置用于接收用户触摸操作、实时展示识别动作数据和纠正动作数据；

所述服务器用于对接收的识别动作数据进行纠正。

作为优选的技术方案，所述交互显示装置还包括语音播放器，所述语音播放器与所述主控板连接，所述语音播放器用于实时语音播报指导。

作为优选的技术方案，所述器械运动状态采集装置采用3D扫描仪、陀螺仪、加速计、磁力计中任一种或任意多种组合。

作为优选的技术方案，所述的智能安全健身指导装置还包括移动伸缩架，所述移动伸缩架分别与所述摄像装置、交互显示装置连接。

为了达到上述第二目的，本发明采用以下技术方案：

一种智能安全健身指导系统，包括上述的智能安全健身指导装置，所述服务器包括网络通信模块、动作纠正模块，所述动作纠正模块与所述网络通信模块连接，所述动作纠正模块用于根据标准运动模型进行对比动作。

作为优选的技术方案，所述服务器还包括身份识别模块、处方制定模块，所述身份识别模块、处方制定模块分别与所述网络通信模块连接，所述身份识别模块用于验证用户身份，所述处方制定模块用于制定用户的锻炼计划和锻炼方式。

为了达到上述第三目的，本发明采用以下技术方案：

一种智能安全健身指导方法，包括以下步骤：

通过摄像装置实时拍摄得到采集影像数据，通过器械运动状态采集装置采集健身器械绕空间3轴的旋转数据；

通过交互显示装置的显示器接收用户触摸操作、通过交互显示装置内嵌的语音接收单元接收用户语音指令数据从而与用户进行实时互动；

根据采集影像数据处理人体模型在虚拟空间的同步运动得到人体时序3D模型数据；

根据健身器械绕空间3轴的旋转数据处理健身器械模型在虚拟空间的同步运动得到健身器械时序3D模型数据；

根据人体时序3D模型数据、健身器械时序3D模型数据结合标准运动模型进行动作比较处理得到用户错误动作数据、动作评价数据、标准动作指导数据，将用户错误动作数据、动作评价数据、标准动作指导数据发送到交互显示装置，所述标准运动模型通过导入标准动作的数据集，匹配相应动作的标准动作建立得到；

根据用户相关信息通过定制健身训练模型网络寻找最近多维欧几里得距离进行匹配最接近的锻炼计划和锻炼方式，将匹配的锻炼计划和锻炼方式发送至交互显示装置，所述用户相关信息包括用户身体数据、用户填写数据；

在用户健身后基于记录用户每次的锻炼情况和计划完成度实时调整更新锻炼计划；

通过交互显示装置，接收动作识别处理器发送的人体时序3D模型数据进行实时展示，接收动作纠正模块发送的用户错误动作数据、动作评价数据、标准动作指导数据进行实时显示，接收处方制定模块发送的锻炼计划和锻炼方式进行显示；

通过语音播放器接收动作纠正模块发送的用户错误动作数据、动作评价数据、标准动作指导数据对动作进行实时语音播报指导。

作为优选的技术方案，所述根据采集影像数据处理人体模型在虚拟空间的同步运动得到人体时序3D模型数据，具体包括以下步骤：

建立人体虚拟3D训练模型网络；

通过摄像装置记录人体运动视频进行人体追踪得到采集影像数据；

通过人体虚拟3D训练模型网络输入采集影像数据，输出得到人体时序3D模型数据，所述人体时序3D模型数据为基于动作肢体关键节点在三维中随时间运动的数据。

作为优选的技术方案，所述根据健身器械绕空间3轴的旋转数据处理健身器械模型在虚拟空间的同步运动得到健身器械时序3D模型数据，具体包括以下步骤：

对指定健身器械通过3D扫描仪进行扫描得到健身器械扫描模型；

根据器械运动状态采集装置采集绕空间3轴的旋转数据计算得到现实健身器械的横滚俯仰和航向；

根据横滚俯仰和航向调整健身器械扫描模型得到健身器械时序3D模型数据，所述健身器械时序3D模型数据为基于器械运动状态采集装置采集关键节点在三维中随时间运动的数据。

作为优选的技术方案，所述根据人体时序3D模型数据、健身器械时序3D模型数据结合标准运动模型进行动作比较处理得到用户错误动作数据、动作评价数据、标准动作指导数据，具体包括以下步骤：

输入人体时序3D模型数据、健身器械时序3D模型数据；

对人体时序3D模型数据、健身器械时序3D模型数据进行归一化，包括对关键节点位置和角度进行量化；

基于标准运动模型对比人体时序3D模型数据得到用户错误动作数据、动作评价数据、标准动作指导数据；

所述基于标准运动模型对比人体时序3D模型数据得到用户错误动作数据、动作评价数据、标准动作指导数据，具体包括：根据标准运动模型中的标准动作关键节点进行判断人体时序3D模型数据中的动作肢体关键节点角度、位置是否符合预设范围，若符合，进行判断下一个关键节点的错误直到所有关键节点判断完毕进行结束步骤，若不符合，则计算人体时序3D模型数据中的动作肢体关键节点角度、位置的偏离值，枚举动作出现的失误得到用户错误动作数据，将人体时序3D模型数据中的动作肢体关键节点与标准动作关键节点进行角度和位置的对比进行偏离值分级，根据偏离值找出对应的系统评级及指导语音得到动作评价数据，根据用户错误动作数据请求查询数据库得到标准动作指导数据。

本发明与现有技术相比，具有如下优点和有益效果：

(1)本发明采用3D计算机视觉技术，建立出人体模型以实时精准记录人们的训练姿势，并通过深度学习算法计算匹配标准姿态数据库，及时向健身者反馈来纠正健身者的动作，进一步地，本发明采用移动伸缩架与摄像装置连接，通过移动伸缩架调节摄像装置的高度和角度，使得建立的3D模型比市面上常见的2D模型具有更好的模拟人体形态，相比于私人教练的肉眼观察具有更准确的判断，且排除了人为存在注意力分散的因素，实现对用户健身动作的精准识别，能够专心地针对当前用户进行记录，误判的可能性更低。

(2)本发明以如何有效保障全民科学的健身为出发点，利用先进的动作捕捉技术，捕捉健身用户的动作轨迹和速度，便于进行量化分析，从深度摄像头中获取到骨骼关键点数据，结合人体生理学、运动力学原理，融合姿态算法，通过算法结合生理学和运动力学原理，将不同人的不同身体状况进行区分，导入计算机中构建人物骨骼位置的动态模型，然后与数据库中预制的标准动作轨迹和速度进行比对，将比对结果进行评级后通过屏幕UI和语音传达给用户，使健身训练摆脱纯粹依靠经验的状态，使用专业级健身教练的健身动作作为参考，结合相应的机器学习算法，智能实时语音辅助指导，从而帮助其在使用器械健身的过程中改进自己的每一个动作细节，真正起到一个专业的健身助教的功能，进而达到精准识别、实时指导健身者正确使用健身器械，达到降低人们使用健身器械的门槛、有效保障全民科学的健身的效果，尤其是提升运动员针对特定肌肉、动作训练时的使用专业器械的安全性和有效性。

(3)本发明在对健身用户群体千人千面精准个性化指导方面，除了对用户身高、体重、臂长、运动量等一些简单的身体数据进行处理外，还要加上自主填写的用户代谢情况、心肺功能、体能状况、肌肉状况和关节情况和病史等准确数据，根据这些数据利用支持向量机来进行分类拟合，定制属于个人合理的处方化健身指导方案；避免其在使用器械进行健身时，因为健身强度不足或是健身强度过高而引起的健身训练效率低和运动损伤的问题。

(4)本发明采用器械运动状态采集装置与主控板连接，配合摄像装置采集的影像数据，在动作识别处理器进行识别处理时，对健身器械的位置、角度的识别更加精准，避免了用户在使用健身器械进行健身时，因为健身器械的使用不当，而引起的健身训练效率低和运动损伤的问题。

附图说明

图1为本发明实施例1中智能安全健身指导装置的结构示意图；

图2为本发明实施例2中设有智能安全健身指导装置的智能安全健身指导系统的模块示意图；

图3为本发明实施例2中智能安全健身指导系统的工作示意图；

图4为本发明实施例2中智能安全健身指导系统的模块数据交互的示意图；

图5为本发明实施例2中智能安全健身指导系统的架构分层示意图；

图6为本发明实施例3中智能安全健身指导方法的建立人体虚拟3D训练模型网络的流程图；

图7为本发明实施例3中智能安全健身指导方法的动作比较处理的流程图。

具体实施方式

在本公开的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。同样，“一个”、“一”或者“该”等类似词语也不表示数量限制，而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现在该词前面的元素或者物件涵盖出现在该词后面列举的元素或者物件及其等同，而不排除其他元素或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。

在本公开的描述中，需要说明的是，除非另有明确的规定和限定，否则术语“安装”、“相连”、“连接”应做广义理解。例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本公开中的具体含义。此外，下面所描述的本公开不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例

实施例1

如图1所示，本实施例提供了一种智能安全健身指导装置，该装置设有交互显示装置，交互显示装置包括主控板、与主控板连接的显示器，智能安全健身指导装置还包括摄像装置、器械运动状态采集装置、服务器、动作识别处理器；

主控板还分别与摄像装置、器械运动状态采集装置、动作识别处理器连接；

摄像装置用于实时拍摄得到采集影像数据，器械运动状态采集装置用于采集健身器械绕空间3轴的旋转数据，交互显示装置用于接收用户触摸操作、实时展示识别动作数据和纠正动作数据；

服务器与主控板连接，服务器用于对接收的识别动作数据进行纠正。

在本实施例中，服务器设有网络通信模块，主控板设有网卡，通过网络通信模块与网卡无线连接，使主控板与服务器交互传输数据，其中传输数据包括动作识别处理器发送服务器各种登陆、查询修改等会话请求、服务器传回的应答、训练模型网络的更新参数等，该模块基于socket协议进行通信。

在本实施例中，主控板内嵌在显示器中；摄像装置采用单体tof深度摄像头，器械运动状态采集装置采用3D扫描仪、陀螺仪、加速计、磁力计；交互显示装置用于与用户进行交互实现实时指导，主控板将单体tof深度摄像头拍摄得到的采集影像数据作为采集数据传输至显示器、动作识别处理器，同时显示器通过主控板接收动作识别处理器发送的人体时序3D模型数据进行实时展示、接收用户触摸操作。

在本实施例中，交互显示装置还包括语音播放器，语音播放器与主控板连接，用于实时语音播报指导；实际应用时语音播放器采用音响。

在本实施例中，交互显示装置还包括语音接收单元；语音接收单元与主控板连接，用于接收用户语音指令数据进行与用户进行实时互动；在本实施例中，交互显示装置基于Qt框架进行开发，可根据实际情况采用其他开发框架，此处不做限定；

此外，器械运动状态采集装置还可以采用3D扫描仪、陀螺仪、加速计、磁力计中任一种或任意多种组合。

为了调节摄像装置、交互显示装置的高度或角度，智能安全健身指导装置还包括移动伸缩架，移动伸缩架分别与摄像装置、交互显示装置连接。

实施例2

如图2所示，本实施例提供了一种智能安全健身指导系统，该系统包括实施例1中的智能安全健身指导装置；

在本实施例中，服务器包括动作纠正模块，动作纠正模块与网络通信模块连接；

如图3所示，动作识别处理器在用户使用该系统时处理人体模型和健身器械模型在虚拟空间的同步运动；在本实施例中，动作识别处理器采用arm架构。

在本实施例中，处理人体模型在虚拟空间的同步运动时，动作识别处理器基于开源框架tensorflow建立人体虚拟3D训练模型网络，人体虚拟3D训练模型网络用于同步匹配现实人体动作与虚拟空间中人体模型动作得到人体时序3D模型数据；利用自顶向下的方法，先通过摄像装置记录人体运动视频进行人体追踪，即由单体tof深度摄像头发送的采集影像数据作为输入，通过人体虚拟3D训练模型网络输出人体时序3D模型数据；其中，人体时序3D模型数据为基于动作肢体关键节点在三维中随时间运动的数据，此外，该模块基于开源框架tensorflow完成，可根据实际情况使用其他深度学习开发框架，此处不做限定。

在本实施例中，处理健身器械模型在虚拟空间的同步运动时，动作识别处理器通过动作捕捉技术来实现现实健身器械动作和虚拟空间中健身器械模型动作的匹配同步：先对指定健身器械通过3D扫描仪进行扫描得到健身器械扫描模型；然后将器械运动状态采集装置固定在健身器械预设位置；根据器械运动状态采集装置采集绕空间3轴的旋转数据计算得到现实健身器械的横滚俯仰和航向；将横滚俯仰和航向通过蓝牙传输到动作识别处理器中，从而动作识别处理器根据横滚俯仰和航向调整健身器械扫描模型得到健身器械时序3D模型数据，实现现实中器械和虚拟空间中的3D模型进行匹配同步；其中，健身器械时序3D模型数据为基于器械运动状态采集装置采集关键节点在三维中随时间运动的数据。

结合图3所示，动作纠正模块基于导入标准动作数据集建立标准运动模型，根据动作识别处理器发送的人体时序3D模型数据、健身器械时序3D模型数据，结合建立的标准运动模型进行动作比较处理得到用户错误动作数据和动作评价数据，其中人体时序3D模型数据、健身器械时序3D模型数据用于在进行动作时辅助判断运动动作的正误。

在本实施例中，当用户需要使用健身器材进行运动动作时，需要基于人体关键点与器材之间的角度进行判断动作正误，动作识别处理器根据器械运动状态采集装置和摄像装置分别采集的数据进行识别出器械关键点和人体关键点在空间中随时间的位置变化，通过动作纠正模块比较预先设定好的机械关键点和人体关键点的角度值和相对位置等信息可以得到用户动作的正确信息或错误信息，进而得到用户错误动作数据和动作评价数据，根据用户错误动作数据查找数据库得到标准动作指导数据，即通过中间件请求查询数据库得到标准动作指导数据，将用户错误动作数据、动作评价数据、标准动作指导数据发送到交互显示装置。

如图3和图4所示，服务器还包括身份识别模块，身份识别模块用于用户账号的验证，通过比对数据库中已存储的用户身份数据进行验证用户身份；身份识别模块与网络通信模块连接；实际应用时，身份识别模块基于cookie和session的方式维持服务器与客户端的对话，其中客户端为交互显示装置；在本实施例中身份识别模块采用以下至少一种识别方式：手势识别、密码识别、语音识别、指纹识别、人脸识别和虹膜识别。

结合图3和图4，服务器还包括处方制定模块，用于个性化定制锻炼计划，处方制定模块与网络通信模块连接；为了对健身用户群体千人千面精准个性化指导，健身训练模型网络中作为输入数据的用户相关信息除了对用户身高、体重、臂长、运动量等一些简单的身体数据外，还包括通过用户自主填写其相应的代谢情况、心肺功能、体能状况、肌肉状况和关节情况和病史等准确数据，结合这些数据以及在训练模型网络前我们已有的标注数据集，利用支持向量机，将数据集分类，后将采集得到的用户相关信息输入定制健身训练模型网络中，通过寻找最近多维欧几里得距离来匹配数据集中最接近的锻炼计划和锻炼方式，从而给用户相应的训练建议，来达到定制属于个人合理的处方化健身指导方案的目的，进而避免其在使用器械进行健身时，因为健身强度不足或是健身强度过高而引起的健身锻炼效率低和运动损伤的问题；处方制定模块基于记录用户每次的锻炼情况和计划完成度，通过比较剩余计划天数和用户输入的个人用户信息利用定制健身训练模型网络在服务器调整用户的锻炼计划，并通过网络通信模块进行本地更新用户锻炼计划。

在本实施例中，语音播放器接收动作纠正模块发送的用户错误动作数据、动作评价数据、标准动作指导数据对动作进行实时语音播报指导。

在本实施例中，服务器接收用户传来的登录数据通过中间件进行缓存快速返回用户锻炼计划的相应阶段和用户当前标准健身动作数据，提升访问速度优化用户体验；同时对于数据容灾，中间件保证了数据在特殊情况下的稳定性；在本实施例中，数据库采用NoSQL，中间件采用redis或者memcache，可根据实际情况采用其他NoSQL中间件，此处不做限定。

在本实施例中，数据库用于存储和读取业务数据，业务数据包括用户账号信息、锻炼数据、锻炼参数等用于实现业务相关逻辑的数据；数据库的数据可以分为两部分，一部分来自用户填写的信息、用户的使用经历，其中用户填写的信息如用户账号信息等，另一部分为导入的标准动作数据、自主动采集的锻炼训练参数等，最终经过处理得到以动作肢体关键节点在三维中随时间运动的方式进行储存；当用户需要某个动作时，数据库可以将该动作肢体关键节点三维坐标随时间的变化返回给用户；在本实施例中数据库采用MySQL数据库进行系统功能开发以及训练集的存储。

如图5所示，本实施例的智能安全健身指导系统构架采用分层结构进行设计，主要包括UI层、通信层、业务层、中间件层、数据库以及物理层；

UI层作为上层应用，主要是为了与用户提供交互方式，通过接收来自通信层的信息，对页面进行相应的渲染和展示；交互显示装置构成UI层；UI层接收来自通信层视频流数据，通过视频解析进行展示，接收用户动作识别处理器处理得到的人体时序3D模型数据进行解析，用于实时动作展示，将单体tof深度摄像头拍摄得到的采集影像数据作为采集数据传输至显示器、动作识别处理器，同时显示器也接收动作识别处理器发送的人体时序3D模型数据进行实时展示，通过显示器的触摸屏接收用户触摸操作、通过语音接收单元接收用户语音指令数据从而与用户进行实时互动；语音播放器接收动作纠正模块发送的用户错误动作数据、动作评价数据、标准动作指导数据对动作进行实时语音播报指导；在本实施例中，UI层的设备主要是基于arm架构的linux平台，该部分主要使用Qt框架来进行界面的开发。

通信层作为主要的作用是连接UI层和业务层，处理相关socket请求以及待解析数据，使得本系统可以完成进程与进程间的通信以及交互显示装置与服务器之间的通信；在本实施例中，网络通信模块与网卡构成通信层，其中待解析数据包括标准动作指导数据、人体时序3D模型数据、用户锻炼计划。

业务层用于实现系统业务主要逻辑，其中业务层包括用户动作识别、身份识别、动作纠正、处方制定、实时指导等业务功能逻辑，并封装成接口，为各种网络请求提供服务；身份识别主要通过账号的验证，利用cookie和session的方式维持服务器端与客户端的对话。动作纠正主要是依赖先前提到的人体时序3D模型数据、健身器械时序3D模型数据，结合建立的标准运动模型进行动作比较处理得到用户动作错误数据、动作评价数据、标准动作指导数据；处方制定是通过记录用户每次的锻炼情况和计划完成度，通过比较剩余计划天数和锻炼效果进行动态调整用户的锻炼计划；实时指导是在锻炼过程中实时判断识别出错误动作，根据错误动作对应给出标准动作数据从而使用户得到实时标准动作的指导。该部分主要基于python的tensorflow等相关机器学习框架，通过数据库中的标准动作数据，以及服务器端先前训练的结果，来优化调整本地的识别和纠正业务。

中间件层是业务层与数据库层的过渡层，由中间件构成；中间件层主要用于联系业务层和数据库层，并进行相关的处理。该层接收用户从UI层发送的登录请求数据并利用缓存快速返回用户锻炼计划的相应阶段和标准动作数据，提升访问速度优化用户体验。同时中间件层考虑数据容灾，保证数据在特殊情况下的稳定性；实际应用时，中间件采用例如redis或者memcache等使得使用NoSQL的访问体验更加流畅。

数据库层提供业务数据的存储和读取功能，由数据库构成，业务数据包括用户账号信息、训练数据、训练参数等用于实现业务相关逻辑的数据。数据库层的数据可以分为两部分，一部分如用户账号信息等均来自用户自主填写以及用户的使用经历，另一部分标准动作数据、训练参数等来自我们自主动作采集，最终以人物关节点在三维中随时间运动的方式进行储存。当用户需要某个动作时，数据库可以将该动作肢体关键节点三维坐标随时间的变化返回给业务层。本系统应用采用的是MySQL数据库进行系统功能开发以及训练集的存储。

物理层是底层资源的支撑，它为应用的运行提供环境和资源基础；物理层设有硬件装置，硬件装置包括内嵌了主控板的显示器、单体tof深度摄像头、可调节高度角度的移动伸缩架。物理层采用了嵌入式技术，主控板使用常见的arm架构芯片CPU来进行本地系统的处理和运算，通过tof摄像头来采集用户数据，使用显示器跟用户进行交互，并将数据通过网卡跟服务器进行读取采集和样本参数。

实施例3

本实施例提供了一种智能安全健身指导方法，该方法包括以下步骤：

通过摄像装置实时拍摄得到采集影像数据，通过器械运动状态采集装置采集健身器械绕空间3轴的旋转数据；

通过交互显示装置的显示器接收用户触摸操作、通过交互显示装置内嵌的语音接收单元接收用户语音指令数据从而与用户进行实时互动；

根据采集影像数据处理人体模型在虚拟空间的同步运动得到人体时序3D模型数据；

根据健身器械绕空间3轴的旋转数据处理健身器械模型在虚拟空间的同步运动得到健身器械时序3D模型数据；

根据人体时序3D模型数据、健身器械时序3D模型数据结合标准运动模型进行动作比较处理得到用户错误动作数据、动作评价数据、标准动作指导数据，将用户错误动作数据、动作评价数据、标准动作指导数据发送到交互显示装置；其中，标准运动模型通过导入标准动作的数据集，匹配相应动作的标准动作建立得到；

根据用户相关信息通过定制健身训练模型网络寻找最近多维欧几里得距离进行匹配最接近的锻炼计划和锻炼方式，将匹配的锻炼计划和锻炼方式发送至主控板，并通过显示器进行展示；其中，用户相关信息包括用户身体数据、用户填写数据；

在用户健身后基于记录用户每次的锻炼情况和计划完成度实时调整更新锻炼计划；

通过交互显示装置，接收动作识别处理器发送的人体时序3D模型数据进行实时展示，接收动作纠正模块发送的用户错误动作数据、动作评价数据、标准动作指导数据进行实时显示，接收处方制定模块发送的锻炼计划和锻炼方式进行显示；

通过语音播放器接收动作纠正模块发送的用户错误动作数据、动作评价数据、标准动作指导数据对动作进行实时语音播报指导。

如图6所示，建立人体虚拟3D训练模型网络，包括以下步骤：

以第一开源3D图像库为训练对象；

建立人体动作时序网络并进行对抗训练得到初步训练模型网络；

训练完毕后，以第二开源3D图像库进行测试初步训练模型网络；

对当前帧进行识别处理：根据当前帧、先前帧、先前帧识别结果为输入，对当前帧图像进行人体骨骼节点识别和人体外轮廓识别，通过比较热力图的先后差异得到人体动作识别图像；若人体动作识别图像判定为用户的动作，将人体动作识别图像转化为人体动作时序网络的添加对象；

判断是否存在下一帧，若存在下一帧，对下一帧进行识别处理；否则，输出人体动作时序网络，即得到人体时序3D模型数据；

比较人体时序3D模型数据偏差值，若偏差值超出预设阈值范围，更新初步训练模型网络的模型网络参数进行优化；若偏差值满足预设阈值范围内，测试完毕；

初步训练模型网络测试完毕后即得到人体虚拟3D训练模型网络。

在本实施例中，根据采集影像数据处理人体模型在虚拟空间的同步运动得到人体时序3D模型数据，具体包括以下步骤：

建立人体虚拟3D训练模型网络；

通过摄像装置记录人体运动视频进行人体追踪得到采集影像数据；

通过人体虚拟3D训练模型网络输入采集影像数据，输出得到人体时序3D模型数据；人体时序3D模型数据为基于动作肢体关键节点在三维中随时间运动的数据。

在本实施例中，根据健身器械绕空间3轴的旋转数据处理健身器械模型在虚拟空间的同步运动得到健身器械时序3D模型数据，具体包括以下步骤：

对指定健身器械通过3D扫描仪进行扫描得到健身器械扫描模型；

根据器械运动状态采集装置采集绕空间3轴的旋转数据计算得到现实健身器械的横滚俯仰和航向；

根据横滚俯仰和航向调整健身器械扫描模型得到健身器械时序3D模型数据；健身器械时序3D模型数据为基于器械运动状态采集装置采集关键节点在三维中随时间运动的数据。

如图7所示，动作纠正模块进行动作比较，包括以下步骤：

导入标准动作的数据集，匹配相应动作的标准动作，建立出标准运动模型；

输入人体时序3D模型数据、健身器械时序3D模型数据；

对人体时序3D模型数据、健身器械时序3D模型数据进行归一化，包括对关键节点位置和角度进行量化；

将标准运动模型与人体时序3D模型数据作对比，具体包括：

根据标准运动模型中的标准动作关键节点进行判断人体时序3D模型数据中的动作肢体关键节点角度、位置是否符合预设范围，若符合，进行判断下一个关键节点的错误直到所有关键节点判断完毕进行结束步骤；若不符合，则计算人体时序3D模型数据中的动作肢体关键节点角度、位置的偏离值，枚举该动作出现的失误得到用户错误动作数据，将人体时序3D模型数据中的动作肢体关键节点与标准动作关键节点进行角度和位置的对比进行偏离值分级，根据偏离值找出对应的系统评级及指导语音得到动作评价数据，根据用户错误动作数据通过中间件请求查询数据库得到标准动作指导数据，进而通过语音播放器进行语音指导用户做出正确的动作。

结合图4所示，用户输入包括账号密码的用户身份登录信息，由网络通信模块转发至身份识别模块进行验证用户身份登录信息得到验证结果，主控板接收验证结果并通过显示器进行展示验证结果；此外，可根据实际情况采用数字密码、指纹、人体生物特征、自定义触摸滑动动作形式进行身份识别，此处不做限定。

结合图4所示，在本实施例中若用户验证成功，交互显示装置会接收得到由服务器发送的用户账号信息进行展示，此时用户登录成功；否则用户登录失败，并以验证错误的提示进行展示；在用户登录成功后，在用户进行锻炼的过程，处方制定模块通过交互显示装置显示推荐的运动处方，推荐的运动处方包括锻炼计划、锻炼方法；同时处方制定模块通过摄像装置实时获取用户锻炼情况，进而调整用户的锻炼计划；

结合图4所示，用户在锻炼过程中，通过摄像装置实时获取用户运动视频，进行人体追踪；动作识别处理器根据运动视频得到人体时序3D模型数据和健身器械时序3D模型数据，动作纠正模块根据人体时序3D模型数据、健身器械时序3D模型数据，结合标准运动模型进行动作比较得到用户错误动作数据、动作评价数据、标准动作指导数据，进而将用户错误动作数据、动作评价数据、标准动作指导数据传输到交互显示装置进行运动指导。

在本实施例中，系统通过摄像装置在捕捉用户的健身影像后，利用3D计算机视觉技术对其动作进行建模，建立出虚拟的用户动作模型从而实现将用户动作数据化，并与系统内部所包含的标准运动模型进行对比分析，最后根据所捕捉到的用户动作角度、位置进行评级，并通过网卡发送至主控板，进而将结果输出在显示器上：以标准运动模型的其中一个标准动作关键节点数据为例，在使用高位下拉器械时用户大臂与小臂的最小夹角需要保持在75°以上，当用户的动作输入系统后，系统将会把用户动作的数据与标准运动模型的标准数据进行对比：

若用户实时动作的大臂小臂最小夹角在75±5°范围内，系统评级为A，表明用户的动作标准，语音此时将播报“做的不错”；

若用户实时动作的大臂小臂最小夹角在75±10°范围内，系统评级为B，表明用户的动作比较标准，但仍有改进空间，语音此时将播报“还要加油”；

若用户实时动作的大臂小臂最小夹角在75±20°范围内，系统评级为C，表明用户的动作与标准动作差距较大，需要及时改正，语音此时将播报“动作需要改正”；

若用户实时动作的大臂小臂最小夹角在45-105°范围内，系统评级为D，表明用户的动作很不标准，需要及时调整，否则将会受伤，语音此时将播报“请停止锻炼，继续学习一下”。

此外，可根据实际情况调整系统评级预设范围及指导提示内容，此处不做限定。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种智能安全健身指导装置，设有交互显示装置，所述交互显示装置包括主控板、与主控板连接的显示器，其特征在于，所述智能安全健身指导装置还包括摄像装置、器械运动状态采集装置、服务器、动作识别处理器；

所述主控板还分别与摄像装置、器械运动状态采集装置、服务器、动作识别处理器连接；

所述摄像装置用于实时拍摄得到采集影像数据，所述器械运动状态采集装置用于采集健身器械绕空间3轴的旋转数据，所述动作识别处理器用于识别用户动作，所述交互显示装置用于接收用户触摸操作、实时展示识别动作数据和纠正动作数据；

所述服务器用于对接收的识别动作数据进行纠正。

2.根据权利要求1所述的智能安全健身指导装置，所述交互显示装置还包括语音播放器，所述语音播放器与所述主控板连接，所述语音播放器用于实时语音播报指导。

3.根据权利要求1或2所述的智能安全健身指导装置，其特征在于，所述器械运动状态采集装置采用3D扫描仪、陀螺仪、加速计、磁力计中任一种或任意多种组合。

4.根据权利要求1或2所述的智能安全健身指导装置，其特征在于，还包括移动伸缩架，所述移动伸缩架分别与所述摄像装置、交互显示装置连接。

5.一种智能安全健身指导系统，包括如权利要求1-4任一所述的智能安全健身指导装置，其特征在于，所述服务器包括网络通信模块、动作纠正模块，所述动作纠正模块与所述网络通信模块连接，所述动作纠正模块用于根据标准运动模型进行对比动作。

6.根据权利要求5所述的智能安全健身指导系统，其特征在于，所述服务器还包括身份识别模块、处方制定模块，所述身份识别模块、处方制定模块分别与所述网络通信模块连接，所述身份识别模块用于验证用户身份，所述处方制定模块用于制定用户的锻炼计划和锻炼方式。

7.一种智能安全健身指导方法，其特征在于，包括以下步骤：

通过摄像装置实时拍摄得到采集影像数据，通过器械运动状态采集装置采集健身器械绕空间3轴的旋转数据；

通过交互显示装置的显示器接收用户触摸操作、通过交互显示装置内嵌的语音接收单元接收用户语音指令数据从而与用户进行实时互动；

根据采集影像数据处理人体模型在虚拟空间的同步运动得到人体时序3D模型数据；

根据健身器械绕空间3轴的旋转数据处理健身器械模型在虚拟空间的同步运动得到健身器械时序3D模型数据；

根据人体时序3D模型数据、健身器械时序3D模型数据结合标准运动模型进行动作比较处理得到用户错误动作数据、动作评价数据、标准动作指导数据，将用户错误动作数据、动作评价数据、标准动作指导数据发送到交互显示装置，所述标准运动模型通过导入标准动作的数据集，匹配相应动作的标准动作建立得到；

根据用户相关信息通过定制健身训练模型网络寻找最近多维欧几里得距离进行匹配最接近的锻炼计划和锻炼方式，将匹配的锻炼计划和锻炼方式发送至交互显示装置，所述用户相关信息包括用户身体数据、用户填写数据；

在用户健身后基于记录用户每次的锻炼情况和计划完成度实时调整更新锻炼计划；

通过交互显示装置，接收动作识别处理器发送的人体时序3D模型数据进行实时展示，接收动作纠正模块发送的用户错误动作数据、动作评价数据、标准动作指导数据进行实时显示，接收处方制定模块发送的锻炼计划和锻炼方式进行显示；

通过语音播放器接收动作纠正模块发送的用户错误动作数据、动作评价数据、标准动作指导数据对动作进行实时语音播报指导。

8.根据权利要求7所述的智能安全健身指导方法，其特征在于，所述根据采集影像数据处理人体模型在虚拟空间的同步运动得到人体时序3D模型数据，具体包括以下步骤：

建立人体虚拟3D训练模型网络；

通过摄像装置记录人体运动视频进行人体追踪得到采集影像数据；

通过人体虚拟3D训练模型网络输入采集影像数据，输出得到人体时序3D模型数据，所述人体时序3D模型数据为基于动作肢体关键节点在三维中随时间运动的数据。

9.根据权利要求7所述的智能安全健身指导方法，其特征在于，所述根据健身器械绕空间3轴的旋转数据处理健身器械模型在虚拟空间的同步运动得到健身器械时序3D模型数据，具体包括以下步骤：

对指定健身器械通过3D扫描仪进行扫描得到健身器械扫描模型；

根据器械运动状态采集装置采集绕空间3轴的旋转数据计算得到现实健身器械的横滚俯仰和航向；

根据横滚俯仰和航向调整健身器械扫描模型得到健身器械时序3D模型数据，所述健身器械时序3D模型数据为基于器械运动状态采集装置采集关键节点在三维中随时间运动的数据。

10.根据权利要求7所述的智能安全健身指导方法，其特征在于，所述根据人体时序3D模型数据、健身器械时序3D模型数据结合标准运动模型进行动作比较处理得到用户错误动作数据、动作评价数据、标准动作指导数据，具体包括以下步骤：

输入人体时序3D模型数据、健身器械时序3D模型数据；

对人体时序3D模型数据、健身器械时序3D模型数据进行归一化，包括对关键节点位置和角度进行量化；

基于标准运动模型对比人体时序3D模型数据得到用户错误动作数据、动作评价数据、标准动作指导数据；

所述基于标准运动模型对比人体时序3D模型数据得到用户错误动作数据、动作评价数据、标准动作指导数据，具体包括：根据标准运动模型中的标准动作关键节点进行判断人体时序3D模型数据中的动作肢体关键节点角度、位置是否符合预设范围，若符合，进行判断下一个关键节点的错误直到所有关键节点判断完毕进行结束步骤，若不符合，则计算人体时序3D模型数据中的动作肢体关键节点角度、位置的偏离值，枚举动作出现的失误得到用户错误动作数据，将人体时序3D模型数据中的动作肢体关键节点与标准动作关键节点进行角度和位置的对比进行偏离值分级，根据偏离值找出对应的系统评级及指导语音得到动作评价数据，根据用户错误动作数据请求查询数据库得到标准动作指导数据。

Images