CN118021271A - 一种基于虚拟现实的健身监测装置及健身监测方法 - Google Patents
一种基于虚拟现实的健身监测装置及健身监测方法 Download PDFInfo
- Publication number
- CN118021271A CN118021271A CN202410130296.2A CN202410130296A CN118021271A CN 118021271 A CN118021271 A CN 118021271A CN 202410130296 A CN202410130296 A CN 202410130296A CN 118021271 A CN118021271 A CN 118021271A
- Authority
- CN
- China
- Prior art keywords
- user
- model
- heart rate
- emotion
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012806 monitoring device Methods 0.000 title claims abstract description 24
- 230000008451 emotion Effects 0.000 claims abstract description 76
- 238000004458 analytical method Methods 0.000 claims abstract description 47
- 238000004891 communication Methods 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims description 44
- 210000001217 buttock Anatomy 0.000 claims description 18
- 230000001815 facial effect Effects 0.000 claims description 17
- 238000013140 knowledge distillation Methods 0.000 claims description 15
- 230000004927 fusion Effects 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 10
- 210000000988 bone and bone Anatomy 0.000 claims description 9
- 238000005452 bending Methods 0.000 claims description 8
- 238000005520 cutting process Methods 0.000 claims description 8
- 230000007935 neutral effect Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 125000003275 alpha amino acid group Chemical group 0.000 claims description 4
- 230000006399 behavior Effects 0.000 claims description 4
- 150000001875 compounds Chemical class 0.000 claims description 4
- 230000007787 long-term memory Effects 0.000 claims description 4
- 230000006403 short-term memory Effects 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 4
- 230000005856 abnormality Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 230000009466 transformation Effects 0.000 description 10
- 238000004590 computer program Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000036541 health Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 239000002390 adhesive tape Substances 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 230000004941 influx Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于虚拟现实的健身监测装置及健身监测方法，所述健身监测装置包括：计算机、椭圆机、显示器和摄像头，所述椭圆机的把手上设有心率传感器，所述计算机与心率传感器通信连接；所述摄像头用于采集用户图像，所述计算机与摄像头通信连接；所述计算机用于根据摄像头采集的用户图像进行姿态监测、根据心率传感器采集的心率数据和摄像头采集的用户图像进行情感分析监测，输出监测结果至显示器。本发明能够对用户健身时的姿态和情感状态进行监测。
Description
技术领域
本发明涉及一种基于虚拟现实的健身监测装置及健身监测方法，属于虚拟现实、深度学习技术领域。
背景技术
随着现代生活节奏的加快和技术的不断进步，越来越多的人开始认识到保持身体健康的重要性。同时随着各种健身设备器材的多样化和健身设备器材的成本降低，越来越多的人开始选择室内健身运动。然而现有的室内健身运动都面临着以下的问题：健身形式单一；健身运动不具有趣味性，内容枯燥且单调；室内健身依靠自己摸索，无法有效的纠正健身运动中的的问题。
虚拟现实(Virtual Reality，简称VR)技术是一种复杂的交互性技术，让用户进入计算机生成的虚拟世界，与虚拟环境进行互动，带给用户沉浸式身临其境的体验。增强现实(Augmented Reality，简称AR)和混合现实(Mixed Reality，简称MR)等相关技术也与虚拟现实相互交织，为更广泛的应用场景提供可能性。Unity3D作为一款流行的跨平台游戏开发引擎，内置了先进且强大的物理引擎、图形引擎和渲染技术，使开发者能够创建令用户印象深刻的视觉效果，让用户之间的互动更加逼真。
目前主流的姿态识别模型是在大量训练数据和计算资源基础上训练得到的，推理速度慢且对设备的资源要求高，因此对训练好的姿态识别模型进行压缩，在保证推理效果的前提下减小模型的体量是必要的。
在当今数字化时代，社交媒体和在线通信的广泛使用导致了大量涌入的多模态数据，包括文本、图像、语音等。情感分析作为自然语言处理(NLP)领域的关键任务，不再局限于文本模态，而是逐渐演变成多模态情感分析。多模态情感分析能更全面地捕捉用户的情感体验，提高情感分析系统的效果和适用性。在构建和训练多模态情感分析模型时，数据的可用性和多样性是至关重要的。但是对于健身监测中所采集的用户脸部图片和用户实时心率这两种数据，目前还没有可用的数据集能够用来训练健身监测中采用的多模态情感分析模型。
发明内容
本发明的目的在于克服现有技术中的不足，提供一种基于虚拟现实的健身监测装置及健身监测方法，能够对用户健身时的姿态和情感状态进行监测。为达到上述目的，本发明是采用下述技术方案实现的：
第一方面，本发明提供了一种基于虚拟现实的健身监测装置，包括：
所述椭圆机的把手上设有心率传感器，所述计算机与心率传感器通信连接；所述摄像头用于采集用户图像，所述计算机与摄像头通信连接；所述计算机用于根据摄像头采集的用户图像进行姿态监测、根据心率传感器采集的心率数据和摄像头采集的用户图像进行情感分析监测，输出监测结果至显示器。
结合第一方面，可选地，所述椭圆机的把手上设有转向按钮、转盘上设有角度传感器，所述计算机与转向按钮、角度传感器、显示器通信连接，所述计算机用于根据转向按钮和角度传感器采集的数据，控制虚拟人在虚拟场景中移动，输出虚拟场景及虚拟人的第三视角画面至显示器。
第二方面，本发明提供了基于第一方面一种基于虚拟现实的健身监测装置的一种基于虚拟现实的健身监测方法，包括：
获取用户参与健身时心率传感器采集的心率数据、摄像头采集的用户图像；
将所述用户图像输入预训练的姿态识别模型，对用户健身时的姿态进行识别，输出姿态识别的监测结果；
将所述用户图像进行裁剪，得到用户面部图像，将所述心率数据和所述用户面部图像输入预训练的多模态情感分析模型，对用户健身时的情感状态进行分析，输出情感分析的监测结果。
结合第二方面，可选地，所述预训练的姿态识别模型为：以预训练的VirtualPose人体姿态检测模型作为教师模型，将Lite-HRNet-18模型作为学生模型的骨干模型，利用基于知识蒸馏的训练框架训练学生模型，训练得到的学生模型为预训练的姿态识别模型。
结合第二方面，可选地，所述基于知识蒸馏的训练框架包括：教师模型及其对应的自监督模块、学生模型及其对应的自监督模块、条件生成对抗网络模块，所述利用基于知识蒸馏的训练框架训练学生模型，包括：
利用学生模型的输出与训练数据集标签之间的损失Lgt、学生模型的输出与教师模型的输出之间的损失Lkd，对学生模型进行训练；
利用学生模型对应的自监督模块的输出与教师模型对应的自监督模块的输出之间的损失Lss，将教师模型的知识传递至学生模型；
以教师模型作为监督，利用条件生成对抗网络模块生成具有教师模型特性的生成样本，利用所述生成样本训练学生模型，以传递教师模型的知识。
结合第二方面，可选地，所述将所述用户图像输入预训练的姿态识别模型，对用户健身时的姿态进行识别，输出姿态识别的监测结果，包括：
使用OpenCV库获取摄像头实时采集的所述用户图像的图片帧；
将图片帧输入预训练的姿态识别模型，得到人体姿态的骨骼关键点的3D坐标；
基于预设的骨骼顺序连接人体姿态的骨骼关键点，得到实时的人体姿态的骨骼连线，基于臀部中心关键点与脖子关键点得到实时的人体上身骨骼连线；
计算实时的人体上身骨骼连线与基准人体上身骨骼连线之间的弯曲误差，通过式(1)计算两条连线的夹角为弯曲误差：
式(1)中，代表基准人体上身骨骼连线，/>代表实时的人体上身骨骼连线，通过下式表示：
式(2)中，为人体上身骨骼连线的计算通式，i的取值为0或1，/>为臀部中心关键点的3D坐标，/>为脖子关键点的3D坐标，/>为臀部中心关键点的在x方向上与原点的距离，/>为臀部中心关键点的在y方向上与原点的距离，/>为臀部中心关键点的在z方向上与原点的距离，/>为臀部中心关键点的在x方向上与原点的距离，/>为臀部中心关键点的在y方向上与原点的距离，/>为臀部中心关键点的在z方向上与原点的距离；
当计算得到的夹角θ小于等于预设阈值时，输出姿态识别监测结果为正常；当计算得到的夹角θ大于预设阈值时，输出姿态识别监测结果为异常。
结合第二方面，可选地，利用多模态数据集训练预设的多模态情感分析模型，得到所述预训练的多模态情感分析模型；所述多模态数据集，通过以下步骤制作得到：
获取用户在体验所述一种基于虚拟现实的健身监测装置时的原始心率数据和原始用户图像；
将原始用户图像进行裁剪，得到原始用户面部图像；
将获取到的原始心率数据进行归一化操作，得到第一序列，计算第一序列的均值，将第一序列中每个数据与第一序列的均值作差，得到第二序列；
按照时序将所述原始用户面部图像与第二序列对齐，得到对齐数据；
对所述对齐数据进行人工情感标注，得到每组对齐数据的情感类型，得到所述多模态数据集；其中，所述情感类型包括积极、消极和中性。
结合第二方面，可选地，将所述用户图像进行裁剪，得到用户面部图像，将所述心率数据和所述用户面部图像输入预训练的多模态情感分析模型，对用户健身时的情感状态进行分析，输出情感分析的监测结果，包括：
使用OpenCV库获取摄像头实时采集的所述用户图像的图片帧，对图片帧进行裁剪，得到以用户面部为中心的面部图片帧；
利用长短期记忆网络对所述心率数据进行特征提取，得到用户的心率特征；
利用面部行为分析工具OpenFace对所述面部图片帧进行分析，得到用户的面部微表情特征；
将用户的心率特征和用户的面部微表情特征进行特征层级上的信息融合，得到融合特征；
基于所述融合特征对用户健身时的情感状态进行分析，识别用户当前的情感类型为积极、消极、中性中的一种，输出情感分析的监测结果。
结合第二方面，可选地，还包括：
获取用户参与健身时转向按钮和角度传感器采集的数据；
基于转向按钮采集的转向信号，控制虚拟场景中虚拟人的转向；根据角度传感器采集的角速度数据，处理为用户参与健身时的实时运动速度，基于所述实时运动速度，控制虚拟场景中虚拟人前进的实时速度；
输出虚拟场景及虚拟人的第三视角画面至显示器。
与现有技术相比，本发明实施例所提供的一种基于虚拟现实的健身监测装置及健身监测方法所达到的有益效果包括：
本发明提供的基于虚拟现实的健身监测装置，包括：计算机、椭圆机、显示器和摄像头，椭圆机的把手上设有心率传感器，计算机与心率传感器通信连接，摄像头用于采集用户图像，计算机与摄像头通信连接；本发明装置结构简单，无需复杂的装置配置；
本发明提供的基于虚拟现实的健身监测装置，椭圆机的把手上设有转向按钮、转盘上设有角度传感器，计算机根据转向按钮和角度传感器采集的数据，控制虚拟人在虚拟场景中移动，输出虚拟场景及虚拟人的第三视角画面至显示器；本发明将室内健身与虚拟现实结合，为用户提供了沉浸式的体验，能够提高用户的参与度和兴趣，使室内健身更有趣、更吸引人；
本发明提供的基于虚拟现实的健身监测方法，将用户图像输入预训练的姿态识别模型，对用户健身时的姿态进行识别，输出姿态识别的监测结果；本发明提供的姿态识别模型解决了目前主流姿态识别模型参数量、计算量大且不适宜部署在摄像头实时拍摄识别的场景的问题，通过基于知识蒸馏的训练框架对复杂的主流姿态识别模型进行压缩，训练得到轻量化且高精度的姿态识别模型；
本发明提供的基于虚拟现实的健身监测方法，将心率数据和用户面部图像输入预训练的多模态情感分析模型，对用户健身时的情感状态进行分析，输出情感分析的监测结果；本发明基于在用户体验本装置时采集的大量原始数据，制作得到将人脸图像和心率结合的多模态数据集，利用得到的多模态数据集训练多模态情感分析模型；
本发明根据摄像头采集的用户图像进行姿态监测、根据心率传感器采集的心率数据和摄像头采集的用户图像进行情感分析监测，输出监测结果；本发明能够对用户健身时的姿态和情感状态进行监测，使用户能够合理且高效的进行室内健身。
附图说明
图1是本发明实施例1提供的一种基于虚拟现实的健身监测装置的结构图；
图2是本发明实施例1提供的一种基于虚拟现实的健身监测装置的显示器输出的虚拟场景的示意图；
图3是本发明实施例2提供的一种基于虚拟现实的健身监测方法中基于知识蒸馏的训练框架的结构图；
图4是本发明实施例2提供的一种基于虚拟现实的健身监测方法中基于知识蒸馏的训练框架中的条件生成对抗网络模块的结构图；
图5是本发明实施例2提供的一种基于虚拟现实的健身监测方法中多模态数据集的制作流程图；
图6是本发明实施例2提供的一种基于虚拟现实的健身监测方法中多模态情感分析模型输出情感分析的监测结果的流程图。
图中：
1、计算机；2、椭圆机；3、显示器；4、摄像头；5、转向按钮；6、角度传感器。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例1：
如图1所示，本发明实施例提供了一种基于虚拟现实的健身监测装置，包括：计算机1、椭圆机2、显示器3、摄像头4、转向按钮5和角度传感器6。
椭圆机的把手上设有心率传感器，心率传感器采集用户参与健身时的心率数据，心率传感器与计算机通信连接。如图1所示，显示器设于椭圆机前方，显示器与计算机连接。在本实施例中，摄像头固定在显示器上，摄像头从正面采集用户参与健身时的用户图像，摄像头与计算机通信连接。计算机用于根据摄像头采集的用户图像进行姿态监测、根据心率传感器采集的心率数据和摄像头采集的用户图像进行情感分析监测，输出监测结果至显示器。
如图1所示，椭圆机的把手上设有转向按钮，椭圆机的转盘上设有角度传感器。计算机与转向按钮、角度传感器、显示器通信连接。计算机用于根据转向按钮和角度传感器采集的数据，控制虚拟人在虚拟场景中移动，输出虚拟场景及虚拟人的第三视角画面至显示器。
在本实施例中，转向按钮有两个，分别通过扎带固定于椭圆机的左右把手上。转向按钮发送0-1信号，当转向按钮处于抬起状态时，转向按钮持续发送信号0；当转向按钮处于被按压状态时，转向按钮持续发送信号1。计算机接受转向按钮发送的信号，当识别到信号1则赋予虚拟人在虚拟场景中转向的加速度，设于椭圆机左把手上的转向按钮通过信号控制虚拟人在虚拟场景中左转向，设于椭圆机右把手上的转向按钮通过信号控制虚拟人在虚拟场景中右转向。
在本实施例中，角度传感器为蓝牙5.0三轴加速度计倾角陀螺仪角度传感器，其型号为WT9011DCL-BT50，能够精确测量出加速度、角速度、角度、磁场数据。角度传感器通过胶带粘贴在椭圆机的转盘上，通过对角度传感器的初始化配置，让角度传感器只测量Y轴角速度。角度传感器跟随椭圆机转盘以圆心为中心自转，从而检测椭圆机转盘转动的实时角速度。本实施例中，椭圆机转盘的转动参数为60RPM-21.5km/h，计算机将实时角速度转化为转盘实时每秒转动的圈数，结合椭圆机转盘的转动参数，将实时角速度转化为虚拟人在虚拟场景中移动的实时速度。
具体的，计算机搭载Unity3D三维引擎，利用Unity3D三维引擎搭建如图2所示的虚拟场景。虚拟场景中包括：场景地图、用户虚拟人、数据显示模块和全景小地图。
场景地图是利用Unity3D游戏引擎构建渲染的，场景中包含各种动态效果，比如随风飘动的落叶、地面可以拾取的金币等。
用户虚拟人在虚拟场景中的移动由转向按钮和角度传感器控制，角度传感器为用户虚拟人提供速度参数，控制前进的速度，转向按钮为用户虚拟人提供转向信号，控制用户虚拟人左右转向。
数据显示模块实时显示用户虚拟人的前进速度、用户实时心率和用户控制虚拟人左右转向信号的触发，数据显示模块还能够显示用户健身时间以及在联网模式下多个用户之间跑步竞技的实时排名。
全景小地图包括了整个虚拟场景的地图全景跑道，同时在地图全景跑道上标注了其他用户以及AI虚拟人的位置，让用户在跑步健身时提前预知前方道路情况以及了解其他用户/AI虚拟人的相对位置。
进一步地，本实施例利用Unity3D三维引擎的Netcode for GameObjects功能及Unity Gaming Service的Lobby和Relay服务实现了一种Peer-to-Peer对等通信结构。在多个用户参与健身时，各用户之间采用Peer-to-Peer的直接通信方式。在网络通信服务的形式上，采用浮动服务器的形式。由创建房间的用户的健身监测装置担任服务器的角色，通过Lobby服务发布房间。其余用户的健身监测装置通过Lobby服务查找房间，加入房间并与创建房间的用户的健身监测装置建立连接。能够使用户与其他用户建立连接时无需担心IP以及防火墙问题，降低用户之间的连接难度，总成本远低于传统的C/S架构。
进一步地，本实施例利用Unity3D三维引擎进行用户虚拟人与AI虚拟人的碰撞检测与碰撞反应、用户虚拟人与地图场景中物体的碰撞检测与碰撞反应、AI虚拟人之间的碰撞预测与提前规避。对于用户虚拟人，由于为用户操控具有主观性，所以为其添加刚体组件和碰撞体组件，并为其添加碰撞检测与碰撞反应的代码，碰撞检测代码主要通过碰撞体组件来实现。当用户虚拟人通过碰撞检测代码检测到与地图场景物体发生碰撞时，用户虚拟人会被阻挡前进，让用户通过转向按钮调整前进方向以规避地图场景中的物体。当用户虚拟人通过碰撞检测代码检测到与AI虚拟人或其他用户虚拟人发生碰撞时，用户虚拟人则会执行碰撞反应代码，在发生碰撞的位置停留3s，以模拟在真实世界中发生碰撞后的反应处理时间，倒计时3s结束后恢复用户对虚拟人的控制。AI虚拟人利用Unity3D三维引擎的基于NavMesh的导航寻路功能，为AI虚拟人设置固定地图导航目标点和寻路路径，让其按照寻路路径从当前导航目标点自动移动到下一导航目标点，在运动过程中结合包围盒检测实现AI虚拟人的碰撞预测和碰撞反应，保证AI虚拟人能提前预测碰撞并提前规避。
本实施例将室内健身与虚拟现实结合，为用户提供了沉浸式的体验，能够提高用户的参与度和兴趣，使室内健身更有趣、更吸引人。
实施例2：
本发明实施例提供基于实施例1所述一种基于虚拟现实的健身监测装置的一种基于虚拟现实的健身监测方法，包括：
获取用户参与健身时心率传感器采集的心率数据、摄像头采集的用户图像；
将所述用户图像输入预训练的姿态识别模型，对用户健身时的姿态进行识别，输出姿态识别的监测结果；
将所述用户图像进行裁剪，得到用户面部图像，将所述心率数据和所述用户面部图像输入预训练的多模态情感分析模型，对用户健身时的情感状态进行分析，输出情感分析的监测结果。
具体步骤包括：
步骤1：获取用户参与健身时心率传感器采集的心率数据、摄像头采集的用户图像。
步骤2：将所述用户图像输入预训练的姿态识别模型，对用户健身时的姿态进行识别，输出姿态识别的监测结果。
其中，预训练的姿态识别模型为：以预训练的VirtualPose人体姿态检测模型作为教师模型，将Lite-HRNet-18模型作为学生模型的骨干模型，利用基于知识蒸馏的训练框架训练学生模型，训练得到的学生模型为预训练的姿态识别模型。
如图3所示，基于知识蒸馏的训练框架包括：教师模型及其对应的自监督模块、学生模型及其对应的自监督模块和条件生成对抗网络模块。自监督模块由一个编码器和线性预测头构成，编码器采用Resnet50作为主干结构，线性预测头由两个线性层和一个批标准化层构成。条件生成对抗网络模块由一个生成器、判别器、过滤模块和替换模块构成，条件生成对抗网络模块中的生成器和判别器采用SAGAN模型(Self-Attention GenerativeAdversarial Networks)中生成器和判别器的网络结构。
利用基于知识蒸馏的训练框架训练学生模型，包括：
第一部分：利用学生模型的输出与训练数据集标签之间的损失Lgt、学生模型的输出与教师模型的输出之间的损失Lkd，对学生模型进行训练。
其中，Lgt使用经典的L2损失函数的形式，Lkd使用改进后的L2损失函数的形式，通过下式表示：
式(1)中，yt为数据集图片经过学生模型的输出，y为训练数据集标签，ys为数据集图片经过教师模型的输出。在Lkd中，当学生模型的识别性能≤教师模型的识别性能时，则采用L2损失函数的形式，当学生模型的识别性能＞教师模型的识别性能时，则损失设为0。
第二部分：利用学生模型对应的自监督模块的输出与教师模型对应的自监督模块的输出之间的损失Lss，将教师模型的知识传递至学生模型。
借助自监督对比学习方法来辅助教师模型传递暗知识，通过自监督对比学习的思想，让学生模型学习教师模型对于一组具有不变性和等变性的输入图片样本之间在特征空间输出的相似性。
从训练数据集中取出一个批次的图片数据，对每张图片I应用随机变换t，其包括非几何变换ti和几何变换tj，非几何变换ti对原图片I进行灰度化的操作，得到灰度图片ti(I)，由于其变换的不变性，所以变换后的图片的标签在特征空间中与原图片标签在特征空间中一致，几何变换tj对原图片I进行旋转，得到旋转后的图片tj(I)。由于其变换的等变性，所以变换后的图片标签在特征空间中经过逆变换(tj)-1后与原图片标签在特征空间中一致。
先固定教师模型的参数，用预训练的教师模型训练教师模型的自监督模块，将变换后的图片与原图片作为输入，经过教师模型得到人体关键点3D坐标的预测值，再将其送入教师模型自监督模块计算在特征空间中投影的相似矩阵，即对于一个批次的原图片及变换后图片经过主干网络在特征空间中投影两两之间的余弦相似度拼接得到的矩阵，并在计算时对通过旋转变换得到的图片经过主干网络在特征空间中的投影上应用逆变换(tj)-1；对于相似矩阵，让源于同一数据集图片及变换的图片经过教师模型得到的输出在特征空间中投影的余弦相似度尽可能大，让源于不同数据集图片及变换的图片经过教师模型得到的输出在特征空间中投影的余弦相似度尽可能小，通过以上方式对教师模型自监督模块进行训练。
再通过基于知识蒸馏的训练框架训练学生模型自监督模块，使用损失Lss让学生模型自监督模块学习教师模型自监督模块对于一组输入图片经过主干网络在特征空间中的相似性，即Lss使用L2损失函数计算教师模型自监督模块输出的相似矩阵和学生模型自监督模块输出的相似矩阵之间的损失，在训练学生模型自监督模块的同时更新学生模型主干的参数，以达到传递教师模型知识训练学生模型的目的，提升学生模型的精度。
第三部分：以教师模型作为监督，利用条件生成对抗网络模块生成具有教师模型特性的生成样本，利用所述生成样本训练学生模型，以传递教师模型的知识。
条件生成对抗网络模块的结构如图4所示。对于一组输入数据x、真实标签y和随机噪声z，随机噪声z和真实标签y融合输入生成器生成一组图片G(z)，将输入数据x与生成图片G(z)结合标签y输入判别器，采用SAGAN中定义的损失函数和训练方法训练其生成高质量人体图片。
当条件生成对抗网络训练完成能够生成高质量的图片，将生成的图片G(z)输入教师模型得到预测的标签在过滤模块中通过计算真实标签y和预测标签/>之间的误差对生成的图片进行过滤，将误差高于设置阈值的样本对(G(z),y)丢弃，将误差低于设置阈值的样本对送入替换模块对生成图片G(z)对应的标签y进行替换，将真实标签y替换为教师模型预测标签/>得到可用于训练的具有教师模型知识的生成样本即/>从教师模型中所学到的知识会间接的蕴含在生成样本/>中，利用生成样本训练学生模型，以传递教师模型的知识。
本实施例通过三个损失函数Lgt、Lkd和Lss的线性组合整体对学生模型进行训练，以实现基于知识蒸馏的训练姿态识别模型中第一部分和第二部分训练的整体效果，其总损失L的计算公式为L＝Lkd+λ1Lgt+λ2Lss，其中λ1为学生模型的输出与训练数据集标签之间的损失Lgt的权重，λ2为学生模型对应的自监督模块的输出与教师模型对应的自监督模块的输出之间的损失Lss的权重。
具体的，将所述用户图像输入预训练的姿态识别模型，对用户健身时的姿态进行识别，输出姿态识别的监测结果，包括：
步骤2.1：使用OpenCV库获取摄像头实时采集的所述用户图像的图片帧。
步骤2.2：将图片帧输入预训练的姿态识别模型，得到人体姿态的骨骼关键点的3D坐标。
在本实施例中，人体姿态的骨骼关键点有15个，定义分别为：臀部中心、脖子、头顶、左臀、左膝盖、左脚、右臀、右膝盖、右脚、左肩、左肘、左手腕、右肩、右肘、右手腕。
步骤2.3：基于预设的骨骼顺序连接人体姿态的骨骼关键点，得到实时的人体姿态的骨骼连线。基于臀部中心关键点与脖子关键点的连线得到实时的人体上身骨骼连线。
步骤2.4：计算实时的人体上身骨骼连线与基准人体上身骨骼连线之间的弯曲误差。
基于虚拟现实的健身监测装置的发明者使用合理正确的跑步姿势在椭圆机上健身，通过预训练的姿态识别模型识别标准健身的人体骨骼模型，基于臀部中心关键点与脖子关键点的连线得到基准人体上身骨骼连线。
通过式(2)计算两条连线的夹角为弯曲误差：
式(2)中，代表基准人体上身骨骼连线，/>代表实时的人体上身骨骼连线，通过下式表示：
式(3)中，为人体上身骨骼连线的计算通式，i的取值为0或1，/>为臀部中心关键点的3D坐标，/>为脖子关键点的3D坐标，/>为臀部中心关键点的在x方向上与原点的距离，/>为臀部中心关键点的在y方向上与原点的距离，/>为臀部中心关键点的在z方向上与原点的距离，/>为臀部中心关键点的在x方向上与原点的距离，/>为臀部中心关键点的在y方向上与原点的距离，/>为臀部中心关键点的在z方向上与原点的距离。
步骤2.5：当计算得到的夹角θ小于等于预设阈值时，输出姿态识别监测结果为正常；当计算得到的夹角θ大于预设阈值时，输出姿态识别监测结果为异常。
还包括通过语音播报的形式提醒用户适当调整跑步速度和跑步姿态。
由于椭圆机踏板和把手相对位置固定，所以在摄像头拍摄的画面中用户的身体姿态不会有大幅度的左右移动，当用户在椭圆机上健身时，由于椭圆机设置的阻力，用户需要持续发力，会导致身体持续前倾，身体姿态中的上身骨骼则会持续向前弯曲，长时间以前倾姿态进行健身不仅不能得到有效的锻炼，还有可能会损伤用户的腰部。因此本实施例通过预训练的姿态识别模型能够分析用户在椭圆机上健身时的人体骨骼姿态，并通过计算用户上身骨骼连线与基准的人体上身骨骼连线的弯曲误差，得到姿态识别监测结果。
同时本实施例针对目前主流姿态识别模型参数量大、计算量大且不适宜部署在摄像头实时拍摄识别的场景的问题，通过基于知识蒸馏的训练框架对复杂的主流姿态识别模型进行压缩，训练得到轻量化且高精度的姿态识别模型；使用本实施例预训练的姿态识别模型处理姿态识别任务，能够实现更高的效率。
步骤3：将所述用户图像进行裁剪，得到用户面部图像，将所述心率数据和所述用户面部图像输入预训练的多模态情感分析模型，对用户健身时的情感状态进行分析，输出情感分析的监测结果。
预训练的多模态情感分析模型结合摄像头采集处理的用户面部表情图像和椭圆机测量的用户实时心率，对用户健身时的情感状态进行分析，但是目前没有公开的针对图像和心率这两种模态数据的成熟可用数据集。
如图5所示，本实施例制作了针对图像和心率这两种模态数据的多模态数据集，通过以下步骤制作得到：
获取用户在体验所述一种基于虚拟现实的健身监测装置时的原始心率数据和原始用户图像。
将原始用户图像进行裁剪，得到原始用户面部图像。
具体的，对裁剪的图像进行缩放，缩放得到合适大小的面部图像，并经过亮度变化、随机噪声、翻转平移缩放等方式的扩展，得到原始用户面部图像。
将获取到的原始心率数据进行归一化操作，得到第一序列，计算第一序列的均值，将第一序列中每个数据与第一序列的均值作差，得到第二序列。能够减少因被试者运动过程中造成心率基线漂移对实验的影响。
按照时序将所述原始用户面部图像与第二序列对齐，得到对齐数据。
对所述对齐数据进行人工情感标注，得到每组对齐数据的情感类型，得到所述多模态数据集；其中，所述情感类型包括积极、消极和中性。
如图6所示，多模态情感分析模型包括由特征提取层、特征融合层和决策层。
通过长短期记忆网络对心率特征进行提取，数据流按顺序连续输入，输出心率特征，每个输入都是一个标量值，时间步长是60，因为每个时间窗口有60个样本。通过面部行为分析工具OpenFace对面部图像进行分析，得到被试者的面部微表情特征。
将提取到的50维面部特征和2维心率特征，输出特征融合层进行信息融合，得到融合特征52维。
将融合特征52维输入决策层，进行情感分类，决策层的隐藏层中使用tanh函数，最后使用sigmoid函数进行情感分类任务的输出，得到用户当前的情感为积极、消极还是中性。
具体的，将用户图像进行裁剪，得到用户面部图像，将心率数据和所述用户面部图像输入预训练的多模态情感分析模型，对用户健身时的情感状态进行分析，输出情感分析的监测结果，包括：
步骤3.1：使用OpenCV库获取摄像头实时采集的所述用户图像的图片帧，对图片帧进行裁剪，得到以用户面部为中心的面部图片帧。
步骤3.2：利用长短期记忆网络对所述心率数据进行特征提取，得到用户的心率特征。
步骤3.3：利用面部行为分析工具OpenFace对所述面部图片帧进行分析，得到用户的面部微表情特征。
步骤3.4：将用户的心率特征和用户的面部微表情特征进行特征层级上的信息融合，得到融合特征。
步骤3.5：基于所述融合特征对用户健身时的情感状态进行分析，识别用户当前的情感类型为积极、消极、中性中的一种，输出情感分析的监测结果。
本实施例中，当输出情感分析监测结果为积极，向椭圆机发送指令提高椭圆机阻力，帮助用户提升运动量和身体能量消耗；当输出情感分析监测结果为消极，向椭圆机发送指令减小椭圆机阻力，帮助用户提升运动体验，避免用户消极情感的积累，减少用户挫败感；当输出情感分析监测结果为中性，用户运动状态正常，运动量合适。
基于实施例1的基于虚拟现实的健身监测装置，还包括：
获取用户参与健身时转向按钮和角度传感器采集的数据；
基于转向按钮采集的转向信号，控制虚拟场景中虚拟人的转向；根据角度传感器采集的角速度数据，处理为用户参与健身时的实时运动速度，基于所述实时运动速度，控制虚拟场景中虚拟人前进的实时速度；
输出虚拟场景及虚拟人的第三视角画面至显示器。
本实施例根据摄像头采集的用户图像进行姿态监测、根据心率传感器采集的心率数据和摄像头采集的用户图像进行情感分析监测，输出监测结果；本发明能够对用户健身时的姿态和情感状态进行监测，使用户能够合理且高效的进行室内健身。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (9)
1.一种基于虚拟现实的健身监测装置，其特征在于，包括：计算机、椭圆机、显示器和摄像头，
所述椭圆机的把手上设有心率传感器，所述计算机与心率传感器通信连接；所述摄像头用于采集用户图像，所述计算机与摄像头通信连接；所述计算机用于根据摄像头采集的用户图像进行姿态监测、根据心率传感器采集的心率数据和摄像头采集的用户图像进行情感分析监测，输出监测结果至显示器。
2.根据权利要求1所述的一种基于虚拟现实的健身监测装置，其特征在于，所述椭圆机的把手上设有转向按钮、转盘上设有角度传感器，所述计算机与转向按钮、角度传感器、显示器通信连接，所述计算机用于根据转向按钮和角度传感器采集的数据，控制虚拟人在虚拟场景中移动，输出虚拟场景及虚拟人的第三视角画面至显示器。
3.基于权利要求1-2任一项所述的一种基于虚拟现实的健身监测方法，其特征在于，包括：
获取用户参与健身时心率传感器采集的心率数据、摄像头采集的用户图像；
将所述用户图像输入预训练的姿态识别模型，对用户健身时的姿态进行识别，输出姿态识别的监测结果；
将所述用户图像进行裁剪，得到用户面部图像，将所述心率数据和所述用户面部图像输入预训练的多模态情感分析模型，对用户健身时的情感状态进行分析，输出情感分析的监测结果。
4.根据权利要求3所述的基于虚拟现实的健身监测方法，其特征在于，所述预训练的姿态识别模型为：以预训练的VirtualPose人体姿态检测模型作为教师模型，将Lite-HRNet-18模型作为学生模型的骨干模型，利用基于知识蒸馏的训练框架训练学生模型，训练得到的学生模型为预训练的姿态识别模型。
5.根据权利要求4所述的基于虚拟现实的健身监测方法，其特征在于，所述基于知识蒸馏的训练框架包括：教师模型及其对应的自监督模块、学生模型及其对应的自监督模块、条件生成对抗网络模块，所述利用基于知识蒸馏的训练框架训练学生模型，包括：
利用学生模型的输出与训练数据集标签之间的损失Lgt、学生模型的输出与教师模型的输出之间的损失Lkd，对学生模型进行训练；
利用学生模型对应的自监督模块的输出与教师模型对应的自监督模块的输出之间的损失Lss，将教师模型的知识传递至学生模型；
以教师模型作为监督，利用条件生成对抗网络模块生成具有教师模型特性的生成样本，利用所述生成样本训练学生模型，以传递教师模型的知识。
6.根据权利要求3所述的基于虚拟现实的健身监测方法，其特征在于，所述将所述用户图像输入预训练的姿态识别模型，对用户健身时的姿态进行识别，输出姿态识别的监测结果，包括：
使用OpenCV库获取摄像头实时采集的所述用户图像的图片帧；
将图片帧输入预训练的姿态识别模型，得到人体姿态的骨骼关键点的3D坐标；
基于预设的骨骼顺序连接人体姿态的骨骼关键点，得到实时的人体姿态的骨骼连线，基于臀部中心关键点与脖子关键点得到实时的人体上身骨骼连线；
计算实时的人体上身骨骼连线与基准人体上身骨骼连线之间的弯曲误差，通过式(1)计算两条连线的夹角θ为弯曲误差：
式(1)中，为基准人体上身骨骼连线，/>为实时的人体上身骨骼连线，通过下式表示：
式(2)中，为人体上身骨骼连线的计算通式，i的取值为0或1，/>为臀部中心关键点的3D坐标，/>为脖子关键点的3D坐标，/>为臀部中心关键点的在x方向上与原点的距离，yAi为臀部中心关键点的在y方向上与原点的距离，/>为臀部中心关键点的在z方向上与原点的距离，/>为臀部中心关键点的在x方向上与原点的距离，/>为臀部中心关键点的在y方向上与原点的距离，/>为臀部中心关键点的在z方向上与原点的距离；
当计算得到的夹角θ小于等于预设阈值时，输出姿态识别监测结果为正常；当计算得到的夹角θ大于预设阈值时，输出姿态识别监测结果为异常。
7.根据权利要求3所述的基于虚拟现实的健身监测方法，其特征在于，利用多模态数据集训练预设的多模态情感分析模型，得到所述预训练的多模态情感分析模型；所述多模态数据集，通过以下步骤制作得到：
获取用户在体验所述一种基于虚拟现实的健身监测装置时的原始心率数据和原始用户图像；
将原始用户图像进行裁剪，得到原始用户面部图像；
将获取到的原始心率数据进行归一化操作，得到第一序列，计算第一序列的均值，将第一序列中每个数据与第一序列的均值作差，得到第二序列；
按照时序将所述原始用户面部图像与第二序列对齐，得到对齐数据；
对所述对齐数据进行人工情感标注，得到每组对齐数据的情感类型，得到所述多模态数据集；其中，所述情感类型包括积极、消极和中性。
8.根据权利要求3所述的基于虚拟现实的健身监测方法，其特征在于，将所述用户图像进行裁剪，得到用户面部图像，将所述心率数据和所述用户面部图像输入预训练的多模态情感分析模型，对用户健身时的情感状态进行分析，输出情感分析的监测结果，包括：
使用OpenCV库获取摄像头实时采集的所述用户图像的图片帧，对图片帧进行裁剪，得到以用户面部为中心的面部图片帧；
利用长短期记忆网络对所述心率数据进行特征提取，得到用户的心率特征；
利用面部行为分析工具OpenFace对所述面部图片帧进行分析，得到用户的面部微表情特征；
将用户的心率特征和用户的面部微表情特征进行特征层级上的信息融合，得到融合特征；
基于所述融合特征对用户健身时的情感状态进行分析，识别用户当前的情感类型为积极、消极、中性中的一种，输出情感分析的监测结果。
9.根据权利要求3所述的基于虚拟现实的健身监测方法，其特征在于，还包括：
获取用户参与健身时转向按钮和角度传感器采集的数据；
基于转向按钮采集的转向信号，控制虚拟场景中虚拟人的转向；根据角度传感器采集的角速度数据，处理为用户参与健身时的实时运动速度，基于所述实时运动速度，控制虚拟场景中虚拟人前进的实时速度；
输出虚拟场景及虚拟人的第三视角画面至显示器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410130296.2A CN118021271A (zh) | 2024-01-31 | 2024-01-31 | 一种基于虚拟现实的健身监测装置及健身监测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410130296.2A CN118021271A (zh) | 2024-01-31 | 2024-01-31 | 一种基于虚拟现实的健身监测装置及健身监测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118021271A true CN118021271A (zh) | 2024-05-14 |
Family
ID=90986807
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410130296.2A Pending CN118021271A (zh) | 2024-01-31 | 2024-01-31 | 一种基于虚拟现实的健身监测装置及健身监测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118021271A (zh) |
-
2024
- 2024-01-31 CN CN202410130296.2A patent/CN118021271A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11790589B1 (en) | System and method for creating avatars or animated sequences using human body features extracted from a still image | |
| CN106650687B (zh) | 一种基于深度信息和骨骼信息的姿势矫正方法 | |
| KR102645536B1 (ko) | 애니메이션 처리 방법 및 장치, 컴퓨터 저장 매체 그리고 전자 디바이스 | |
| CN111414839B (zh) | 基于姿态的情感识别方法及装置 | |
| CN109011508A (zh) | 一种智能教练系统及方法 | |
| CN107423398A (zh) | 交互方法、装置、存储介质和计算机设备 | |
| CN111617464A (zh) | 一种动作识别的跑步机健身方法 | |
| Neverova | Deep learning for human motion analysis | |
| Matsuyama et al. | Deep learning for ballroom dance recognition: A temporal and trajectory-aware classification model with three-dimensional pose estimation and wearable sensing | |
| Escobedo et al. | Dynamic sign language recognition based on convolutional neural networks and texture maps | |
| Tang et al. | Research on Sports Dance Movement Detection Based on Pose Recognition. | |
| Moeslund et al. | Summaries of 107 computer vision-based human motion capture papers | |
| Liu et al. | Key algorithm for human motion recognition in virtual reality video sequences based on hidden markov model | |
| WO2023160356A1 (zh) | 一种增强虚拟现实系统用户体验的方法及系统 | |
| CN111310655A (zh) | 基于关键帧和组合注意力模型的人体动作识别方法和系统 | |
| Cai et al. | POGT: A Peking opera gesture training system using infrared sensors | |
| Zhao et al. | Classifying in-place gestures with end-to-end point cloud learning | |
| CN116363757A (zh) | 一种基于自注意图卷积的骨骼和传感器双模态人体行为识别方法 | |
| CN118021271A (zh) | 一种基于虚拟现实的健身监测装置及健身监测方法 | |
| CN115530814A (zh) | 一种基于视觉姿态检测及计算机深度学习的儿童运动康复训练方法 | |
| Usman et al. | Skeleton-based motion prediction: A survey | |
| Wang | [Retracted] Long Jump Action Recognition Based on Deep Convolutional Neural Network | |
| Cai et al. | Immersive interactive virtual fish swarm simulation based on infrared sensors | |
| Wang et al. | 3D Hand Pose Estimation Based on Deep Learning and Ensemble Learning | |
| Palanimeera et al. | Yoga Posture Recognition by Learning Spatial-Temporal Feature with Deep Learning Techniques |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination |