CN211962969U - 一种健身实时监测系统 - Google Patents

Abstract

本实用新型公开了一种健身实时监测系统包括远红外热成像心率检测模块、摄像头图像视频采集模块、显示模块、数据传输模块、总控制系统以及云端服务器；所述远红外热成像心率检测模块包括远红外热成像仪组件和温度测量组件，所述摄像头图像视频采集模块包括多摄像头组件和图像滤波组件；所述数据传输模块将数据信息传输给总控制系统；总控制系统预处理后，将数据信息发送至云端服务器，所述云端服务器根据该数据信息生成标准3D人物模型和与实时3D人物模型，通过总控制系统将其显示在显示模块上。本实用新型的健身实时监测系统既可以方便用户改正自己错误的健身动作，又可以实时了解身体肌肉的疲劳程度，避免造成损伤。

Description

一种健身实时监测系统

技术领域

本实用新型涉及一种健身监测系统，具体涉及一种健身实时监测系统。

背景技术

随着全面小康时代的到来，人们的生活水平不断提升，个人身体健康得到了越来越多的重视；很多人会选择在空余时间段选择健身器械进行健身，这使我国的国民身体素质有所提高；但在健身过程中，大多数人身边往往没有专门的健身教练进行指导，健身者无法知道自己的健身效果如何，甚至有时候会因为自己的训练方法不当而使得健身效果适得其反。

现有的健身系统中，出现了一种可实时监控自己健身状态的健身监控系统，例如授权公告号为CN107551525B的发明专利公开了“辅助健身系统及方法、健身器械”，其中，所述辅助健身系统包括：热成像装置，用于接收来自人体的红外信号，并基于所述红外信号进行热成像处理而生成人体图像；比较装置，用于将所述人体图像与标准健身动作的参考图像进行比较以生成一比较结果；显示装置，用于显示所述人体图像以及所述人体图像与所述参考图像的比较结果。通过上述辅助健身系统，健身人员不仅可以通过显示装置所呈现的比较结果观察自身的动作是否标准，同时还可以观察到肌肉的运动状态，从而避免因动作错误或者运动过量而造成的身体损伤。然而所述辅助健身系统仍然不能够更直观地向用户展示其健身效果。

实用新型内容

本实用新型的目的在于克服现有技术的不足，提供一种健身实时监测系统，所述健身实时监测系统可以更加直观地向用户展示其健身效果，既可以方便用户及时改正自己错误的健身动作，又可以供用户实时了解身体肌肉的疲劳程度，以便及时休息，从而避免造成损伤。

本实用新型解决上述技术问题的技术方案是：

一种健身实时监测系统，包括远红外热成像心率检测模块、摄像头图像视频采集模块、显示模块、数据传输模块、总控制系统以及云端服务器，其中，

所述远红外热成像心率检测模块用于采集用户对应训练区域的热成像图，包括远红外热成像仪组件和温度测量组件，其中，所述远红外热成像仪组件用于采集用户对应训练区域的肌肉热成像图和脸部热成像图；所述温度测量组件用于采集用户体表的温度数据；

所述摄像头图像视频采集模块用于采集用户健身姿态的视频图像信息，包括多摄像头组件和图像滤波组件，其中，所述多摄像头组件用于实时采集用户健身时的姿态信息；所述图像滤波组件用于减少多摄像头组件采集的图像视频信息中由于工作环境和硬件条件所产生的噪音；

所述数据传输模块用于将远红外热成像仪组件的图像数据和温度测量组件采集的用户体表温度数据，以及多摄像头组件的图像视频信息传输给总控制系统；

所述总控制系统对接收到的数据信息进行预处理后，通过无线传输模块将数据信息发送至云端服务器，所述云端服务器用于对该数据信息进行处理和存储，生成具有标准动作的标准3D人物模型和与用户当前健身动作一致的实时3D人物模型，并通过总控制系统将其显示在显示模块上。

优选的，所述多摄像头组件包括三个摄像头，三个摄像头以健身器械为原点，围绕该健身器械成环形分布，相邻两个摄像头之间的夹角为120°。

优选的，所述远红外热成像仪组件的远红外热成像仪放置在用户的正前方。

优选的，所述显示模块为显示器或者AR眼镜。

本实用新型与现有技术相比具有以下的有益效果：

1、本实用新型的健身实时监测系统通过摄像头图像视频采集模块采集用户的健身动作的视频图像信息；并通过总控制系统传递到云端服务器上，由云端服务器根据接收到的视频图像信息生成实时3D人物模型和标准3D人物模型，通过对比实时3D人物模型和标准3D人物模型，再将用户健身动作不规范和规范的部位在实时3D人物模型上以不同颜色显示在显示模块中。这样可以供用户实时对照和参考，以便及时改正，从而提高健身效果。

2、本实用新型的健身实时监测系统通过远红外热成像心率检测模块采集用户对应训练区域的图像数据和温度数据；并根据接收到的图像数据和温度数据，计算出用户肌肉的疲劳程度，将肌肉的疲劳程度以颜色叠加的方式显示在实时3D人物模型上；并将其显示在显示模块中。这样，用户在显示模块中不仅可以得知健身动作是否错误，而且还可以得知自己身体上的健身区域的肌肉的疲劳强度，以便决定是否休息，从而避免损伤。

3、本实用新型的健身实时监测系统可以更加直观地向用户展示其健身效果，既可以方便用户及时改正自己错误的健身动作，又可供用户实时了解身体肌肉的疲劳程度，以便及时休息，从而避免造成损伤。

4、本实用新型的的健身实时监测系统通过远红外热成像心率检测模块采集用户训练时对应区域的热成像图，热成像图中可以得出用户肌肉运动的情况，这样可以更加精准地向用户展示自己健身时对应训练区域的肌肉的运动状况，防止健身时用户虽然姿态正确，但是其内部肌肉发力不正确的情况出现。

附图说明

图1为本实用新型的健身实时监测系统的具体实施方式的结构框图。

图2为所述远红外热成像心率检测模块的结构框图。

图3为所述摄像头图像视频采集模块的结构框图。

图4为所述多摄像头组件与健身器械之间的位置关系图。

图5为本实用新型的健身实时监测系统的健身实时监测方法的流程示意图。

图6为图5中的基于热成像的非接触式心率检测方法的流程示意图。

图7为图5中的3D人物模型的构建方法的流程示意图。

图8为图5中的用户肌肉的疲劳程度分析的流程示意图。

具体实施方式

下面结合实施例及附图对本实用新型作进一步详细的描述，但本实用新型的实施方式不限于此。

参见图1-图4，本实用新型的健身实时监测系统包括远红外热成像心率检测模块1、摄像头图像视频采集模块2、显示模块7、数据传输模块3、总控制系统4以及云端服务器6，其中，

所述远红外热成像心率检测模块1用于采集用户对应训练区域的肌肉热成像图和脸部热成像图，包括远红外热成像仪组件1-1和温度测量组件1-2，其中，所述远红外热成像仪组件1-1用于采集用户对应训练区域的肌肉热成像图和脸部热成像图；所述温度测量组件1-2用于采集用户体表的温度数据，具体可以采用红外测温仪；

所述摄像头图像视频采集模块2用于采集用户的姿态的视频图像信息，包括多摄像头组件2-1和图像滤波组件2-2，其中，所述多摄像头组件2-1用于实时采集用户健身时的姿态信息，具体可以采用深度摄像头；所述图像滤波组件2-2用于减少多摄像头组件2-1采集的图像视频数据中由于工作环境和硬件条件所产生的噪音，具体可以采用DSP集成电路；

所述数据传输模块3用于将远红外热成像仪组件1-1的图像数据和温度测量组件1-2采集的用户体表温度数据，以及多摄像头组件2-1的图像视频数据传输给总控制系统4；

所述总控制系统4对接收到的数据信息进行预处理后通过无线传输模块5(例如WiFi)将数据信息发送至云端服务器6，所述云端服务器6用于对该数据信息进行处理和存储，生成具有标准动作的标准3D人物模型和与用户当前健身动作一致的实时3D人物模型，并通过总控制系统4将其显示在显示模块上。

其中，所述云端服务器6的数据处理包括以下过程：

首先，将热成像图转化为灰度图，对灰度图进行形态学运算，使得灰度图边界平滑，同时消除微小噪声点；由于热成像图中可能存在几处局部温度最高的区域，这些区域会对结果有影响，因此需要进一步判断哪些区域属于胸肌锻炼的区域；

接着，对热成像图中几处可能为肌肉锻炼区域进行标定，分割出标定区域的图像，并对标定区域的图像进行归一化处理，使图像尺寸统一为N×N的大小，并利用预先训练好的第一卷积神经网络模型对标定的区域进行预测；根据预测结果，判断出目前正在锻炼的肌肉区域；分割出目前用户所锻炼的肌肉区域的图像，并进行归一化处理，使图像尺寸统一为N×N的大小；随后利用预先训练好的第二卷积神经网络模型对肌肉图像进行预测，根据预测输出结果判定该区域是否为正确的肌肉锻炼区域。

随后，根据脸部热成像图，通过对脸部热成像图进行图像预处理，包括图像二值化、形态学运算和高斯滤波等，标定出人脸区域，运用TLD算法跟踪运动状态下的人脸区域，该区域即为感兴趣区域；对感兴趣区域进行灰度化处理，根据灰度值在一定时间下的频率变化计算出心率值。

接着，根据用户健身姿态的视频图像信息，通过云端服务器6处理计算该视频图像信息并与创建好的标准3D人物模型数据库中的标准3D人物模型匹配，从而生成当前与用户健身姿态相同的实时3D人物模型。

另外，由于通过远红外热成像心率检测模块采集用户训练时对应区域的热成像图，热成像图中可以得出用户肌肉运动的情况，这样可以更加精准地向用户展示自己健身时对应训练区域的肌肉的运动状况，防止健身时用户虽然姿态正确，但是其内部肌肉发力不正确的情况出现，例如在做仰卧起坐时，虽然用户的姿态正确，但是其发力方式可能不正确，例如采用腰部发力，而不是腹部发力，这样会影响健身效果。因此，通过远红外热成像心率检测模块采集用户训练时对应区域的热成像图，用户可以清楚地在显示模块7上看到自己腹部的肌肉的运动状况，在结合对腹部的疲劳程度的分析，从而得知自己肌肉发力是否正确，从而提高健身效果。

最后，总控制系统4通过将分析后的数据结果与预设数据库的信息匹配，并将匹配结果显示在显示模块7上，例如显示在AR眼镜。根据生成的标准3D人物模型和实时3D人物模型，通过AR眼镜叠加在真实世界里显示。用户目前的锻炼区域在3D人物模型上对应的位置以不同的颜色显示，例如正确锻炼区域显示绿色，非正确锻炼区域显示红色，通过不同的颜色，使得用户能直观了解到目前自己的健身动作是否正确。

此外根据得到的心率值和体温值，总控制系统4将心率值和体温值的分析结果与预设数据库中的健身方案相匹配，通过AR眼镜显示健身方案和健康安全提示，用户从而能够参考健身方案进行锻炼和根据健康安全提示考虑是否需要进行休息。

参见图1-图4，所述多摄像头组件2-1包括三个摄像头2-11，三个摄像头2-11以健身器械8为原点，围绕该健身器械8成环形分布，相邻两个摄像头2-11之间的夹角为120°。这样可以360度全方位采集到用户的健身姿态信息。

参见图1-图4，所述远红外热成像仪组件1-1的远红外热成像仪放置在用户的正前方。目的为了更好地捕捉到用户胸大肌热成像图和脸部热成像图，即远红外热成像仪根据不同的健身器械而摆放至不同位置。

本实施例中的显示模块7为显示器或者AR眼镜。

参见图1-图8，本实用新型的健身实时监测方法，包括以下步骤：

(1)、用户在健身器上运动时，远红外热成像心率检测模块1中的远红外热成像仪组件1-1采集用户对应训练区域的图像数据，所述图像数据包括肌肉热成像图和脸部热成像图；所述温度测量组件1-2采集用户体表的温度数据；同时，所述摄像头图像视频采集模块2采集用户的健身动作的视频图像信息；所述图像滤波组件2-2降低像头组件采集的视频图像信息于工作环境和硬件条件所产生的噪音，从而保证所采集的图像视频数据的准确性；

(2)、所述数据传输模块3将远红外热成像仪组件1-1所采集的图像数据、温度测量组件1-2采集的用户的体表温度数据以及摄像头图像视频采集模块2采集到的视频图像信息传输给总控制系统4；

(3)、所述总控制系统4接收到这些数据信息后，对该数据信息进行预处理，所述预处理过程可以根据所采集的数据信息的不同，灵选用不同的预处理技术；并将预处理后的数据信息传递给云端服务器6；

(4)、所述云端服务器6接收到数据信息后，对其进行数据处理，通过将收集到的视频图像信息进行处理，生成两个3D人物模型，其中一个3D人物模型与用户实时健身动作一致，为实时3D人物模型；另一个3D人物模型与用户实时健身动作一致且为正确的健身姿态，为标准3D人物模型；同时通过对远红外热成像心率检测模块1采集到的图像数据进行处理，计算出用户肌肉的疲劳程度，并将肌肉的疲劳程度以颜色叠加的方式显示在3D人物模型上；例如，实时3D人物模型中与标准3D人物模型一致的部位，即正确的健身姿态为颜色A，且该部分的肌肉的疲劳程度高于预设值，则高于预设值的疲劳强度的部分显示为颜色B，则在实时3D人物模型中，该部分肌肉所显示的颜色为A+B，这样就可以方便用户观察在观察健身动作是否正确的同时，也可以观察对应区域的肌肉的疲劳程度，从而合理安排休息时间。

(5)、所述云端服务器6将与用户实时健身动作一致的3D人物模型和正确健身动作的3D人物模型反馈给总控制系统4，总控制系统4将其显示在显示模块7中；同时，所述总控制系统4通过控制显示模块7播放对应的健身方案和健身安全的提示；

(6)、用户通过显示模块7实时监控自己的健身动作，及时改正错误的健身动作，且通过监控3D人物模型上的肌肉的疲劳程度，来取决是否休息。

参见图1-图8，在步骤(4)中，所述3D人物模型的构建方法包括以下步骤：

(4-1)、云端服务器6接收到总控制系统4传来的视频图像信息后，筛选出各个健身项目的各个阶段的标准健身动作，并生成可供用户参考的具有每个健身项目的标准健身动作的标准3D人物模型数据库；

(4-2)、当标准3D人物模型数据库构建完成后，所述云端服务器6根据用户当前的健身动作的视频图像信息，经过处理和计算，在预先创建的储存有各个健身项目的正确健身动作的标准3D人物模型数据库中匹配出相对应的健身项目的标准3D人物模型；同时，所述云端服务器6器经过处理用户当前的健身动作的视频图像信息后生成用户当前的实时3D人物模型；

(4-3)、所述云服务器通过分析计算实时3D人物模型和与其相对应的标准3D人物模型的各部分动作的差异，同时反馈给总控制系统4；

(4-4)、所述总控制系统4将实时3D人物模型和与其相对应的标准3D人物模型同时在显示模块7上显示，并将用户健身动作不规范和规范的部位在实时3D人物模型上分别用不同颜色标明。例如将用户健身动作中规范的部位用绿色表示，不规范的部位用红色标色。

参见图1-图8，在步骤(1)中，所述云端服务器6通过基于热成像的非接触式心率检测方法来获取用户的心率信息，并将其实时反馈到显示模块7上，其中，所述基于热成像的非接触式心率检测方法包括以下步骤：

(1-1)、利用OpenCV技术将热成像图转化为灰度图，并通过OpenCV技术对转化后的灰度图进行二值化，然后利用腐蚀算法和膨胀算法对二值化后的图像进行初步处理；其中，对于膨胀算法和腐蚀算法，其关键在于结构元的选取，一般以矩形结构元、十字结构元、椭圆结构元为主。由于十字结构元膨胀适用于对外形不规则、边沿处有较多尖锐突起的物体，因此，本实施例选取十字结构元，这样可以最大程度保持物体原本的轮廓形状。

(1-2)、在处理后的图像中选择保留人脸和裸露的颈部区域，利用Yolo(YouOnlyLookOnce)算法将热成像图中的脸部的下1/3区域设定为所要跟踪的感兴趣区域；用最小单位圆外切图片的边界点来获得人体的轮廓，计算获得人脸和裸露的颈部区域的范围并保留；由于人体的动脉血管主要分布于口角两侧至鼻根区的三角区域，所以由此区域推算得到的心率数据，准确性要高于由脸部的其他区域推算得到的心率数据。Yolo算法将目标检测的单独组件集成到单个神经网络中，yolo网络使用整个图像的特征来预测每个边界框，同时它还可以预测整张图像中的所有类别的所有边界框。因此，yolo网络能够全面的推断和预测整张图像的所有目标，实现端到端的训练和实时检测，其中，yolo检测系统框架分为三步：a、调整输入图像大小、b、图像上进行卷积神经网络计算；c、通过模型的置信度对所得到检测进行阈值处理。

(1-3)、使用小波去噪算法消除噪声；其中，小波去噪算法可以在消除噪声的同时，很好地保留有用信号。本实施例中的小波阈值去噪声的基本思想是将信号通过Mallat算法处理过的小波变换后，选择产生的小波系数。因为信号经小波分解后小波系数较大，噪声的小波系数较小，并且噪声的小波系数要小于信号的小波系数。通过选取一个合适的阈值，大于阈值的小波系数被认为是有信号产生的，应予以保留，小于阀值的小波系数则认为是噪声产生的，将该小波系数置为零，从而达到去噪的目的。另外，小波去噪声的效果的好坏，与小波基函数和阈值的选取有关。小波包分析能够为信号提供一种更精细的分析方法，它将频带进行多层次的划分，对多分辨率分析中没有细分的高频部分进行进一步分解，并能根据分析信号的特征，自适应地选择相应的频带，使之与信号频谱匹配，从而提高了时频分辨率。

(1-4)、对感兴趣区域的相应数值进行处理，计算用户每分钟的心率R，计算公式如下：

R＝q×f×60/t

其中，t表示当前的帧数，q表示经小波包重构后信号的波峰数，f表示视频的采样频率。

参见图1-图8，在步骤(3)中，所述疲劳程度的分析方法包括以下步骤：

(1)、远红外热成像心率检测模块1采集用户运动时健身部位的局部身体热成像图，将局部身体热成像图发送至总控制系统4；

(2)、总控制系统4对局部身体热成像图进行预处理，裁剪用户对应的健身部位中各块发热区域的局部热成像图，并将其发送给云端服务器6；

(3)、云端服务器6将局部热成像图输入到预先训练好的第一卷积神经网络模型，通过该第一卷积神经网络模型在多张热成像图中找到三头肌发热的热成像图；其中，所述第一卷积神经网络模型的构建步骤为：分别采集大量用户进行健身动作后的热成像图，在采集到的热成像图中裁剪出该健身器械时三头肌发热的热成像图作为训练集，用神经网络对训练集学习训练；

(4)、将所述三头肌发热的热成像图输入预先训练好的第二卷积神经网络模型中，通过第二卷积神经网络模型比较用户进行该健身项目时三头肌发热的热成像图和完全标准动作下进行该健身项目时三头肌发热的热成像图，并得到两者的匹配度；其中，所述第二卷积神经网络模型的构建步骤为：分别采集大量人体在完全标准动作下进行该健身动作后的热成像图，并在其中裁剪出三头肌发热的热成像图，将其作为训练集，用神经网络对训练集学习训练，最终得到一个训练模型，

(5)、所述云端服务器6对第一卷积神经网络模型中输出的三头肌热成像图进行进一步处理，得到该图像的温度值，并将各个时间点得到的温度值在同一坐标轴上标定，得到一条温度和时间的曲线；

(7)、通过该曲线的梯度值、轨迹间接判断肌肉的疲劳程度，并得到相应的健身方案和健康安全提示。

(8)、将该健身器械所针对锻炼的相关身体部位以图案的方式叠加在实时3D人物模型上；根据匹配度相关结果以颜色叠加的方式在实时3D人物模型上显示健身效果；例如：匹配度高于预设值则实时3D人物模型中的相关区域显示绿色，匹配度低于预设值则在实时3D人物模型中的相关区域显示红色；在这里，可以与实时3D人物模型中健身动作的标准和不标准的健身动作的部位进行颜色叠加。

除上述颜色叠加的方式外，还可以采用图案与颜色叠加的方式来显示在实时3D人物模型上。

上述为本实用新型较佳的实施方式，但本实用新型的实施方式并不受上述内容的限制，其他的任何未背离本实用新型的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本实用新型的保护范围之内。

Claims (7)

1.一种健身实时监测系统，包括远红外热成像心率检测模块、摄像头图像视频采集模块、显示模块、数据传输模块、总控制系统以及云端服务器，其特征在于，

所述远红外热成像心率检测模块用于采集用户对应训练区域的热成像图，包括远红外热成像仪组件和温度测量组件，其中，所述远红外热成像仪组件用于采集用户对应训练区域的肌肉热成像图和脸部热成像图；所述温度测量组件用于采集用户体表的温度数据；

所述摄像头图像视频采集模块用于采集用户健身姿态的视频图像信息，包括多摄像头组件和图像滤波组件，其中，所述多摄像头组件用于实时采集用户健身时的姿态信息；所述图像滤波组件用于减少多摄像头组件采集的图像视频信息中由于工作环境和硬件条件所产生的噪音；所述多摄像头组件包括三个摄像头，三个摄像头以健身器械为原点，围绕该健身器械成环形分布，其中，相邻两个摄像头之间的夹角为 120°；该所述多摄像头组件包括三个摄像头，三个摄像头以健身器械为原点，围绕该健身器械成环形分布，其中，相邻两个摄像头之间的夹角为 120°；

所述数据传输模块用于将远红外热成像仪组件的图像数据和温度测量组件采集的用户体表温度数据，以及多摄像头组件的图像视频信息传输给总控制系统；

所述总控制系统用于对接收到的数据信息进行预处理，并通过无线传输模块将数据信息将预处理后的数据信息发送至云端服务器，所述云端服务器用于对该数据信息进行处理和存储并生成具有标准动作的标准 3D 人物模型和与用户当前健身动作一致的实时 3D人物模型；

所述显示模块用于将具有标准动作的标准 3D 人物模型和与用户当前健身动作一致的实时 3D 人物模型展示给用户，该显示模块为VR眼镜。

2.根据权利要求 1 所述的健身实时监测系统，其特征在于，所述远红外热成像仪组件设置在用户的正前方，且正对着用户的上半身。

3.根据权利要求2 所述的健身实时监测系统，其特征在于，所述远红外热成像仪组件采用远红外热成像仪。

4.根据权利要求 1 所述的健身实时监测系统，其特征在于，所述显示模块为显示器。

5.根据权利要求 1 所述的健身实时监测系统，其特征在于，所述温度测量组件为红外测温仪。

6.根据权利要求 1 所述的健身实时监测系统，其特征在于，所述图像滤波组件采用DSP 集成电路模块。

7.根据权利要求 1 所述的健身实时监测系统，其特征在于，所述无线传输模块为WiFi。

Images