CN114984540A - 一种基于人工智能的健身锻炼效果评价分析管理系统 - Google Patents

一种基于人工智能的健身锻炼效果评价分析管理系统 Download PDF

Info

Publication number
CN114984540A
CN114984540A CN202210654438.6A CN202210654438A CN114984540A CN 114984540 A CN114984540 A CN 114984540A CN 202210654438 A CN202210654438 A CN 202210654438A CN 114984540 A CN114984540 A CN 114984540A
Authority
CN
China
Prior art keywords
user
thermal imaging
current
processing unit
central processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210654438.6A
Other languages
English (en)
Other versions
CN114984540B (zh
Inventor
华韵之
管明祥
夏林中
刘俊
陈煜�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Information Technology
Original Assignee
Shenzhen Institute of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Information Technology filed Critical Shenzhen Institute of Information Technology
Priority to CN202210654438.6A priority Critical patent/CN114984540B/zh
Publication of CN114984540A publication Critical patent/CN114984540A/zh
Application granted granted Critical
Publication of CN114984540B publication Critical patent/CN114984540B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/88—Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本申请公开了一种基于人工智能的健身锻炼效果评价分析管理系统。该系统包括：健身镜，其中，健身镜配置有双目采集摄像头、红外热成像模组、通信模组，双目采集摄像头用于采集健身镜前健身区域内的用户图像，红外热成像模组，用于采集健身镜前健身区域内的热成像图；用户穿戴设备，用于实时采集用户的生理数据，并发送至通信模组；健身镜还配置有中央处理器，用于将双目摄像头采集到的用户图像、红外热成像模组采集到的热成像图、以及用户穿戴设备采集到的生理数据进行预处理，并将预处理后的数据输入至第一卷积神经网络模型，以获得用户进行健身锻炼时的锻炼效果分析分数。这样能够实时地对用户健身锻炼效果进行评价和分析，能够提高用户使用感。

Description

一种基于人工智能的健身锻炼效果评价分析管理系统
技术领域
本发明涉及人工智能领域，尤其涉及一种基于人工智能的健身锻炼效果评价分析管理系统。
背景技术
随着全面小康社会的到来，人们的生活水平在不断的提高，个人的身体健康得到越来越多的重视。很多人会选择在空余时间段利用健身器械进行健身。然而由于传统健身房存在场地限制，以及成本高昂等诸多问题。在消费升级的驱动下，健身行业正在进行一场无声的科技变革，智能化、高端化、个性化和定制化的家庭式健身，正在成为越来越多人的选择。
然而，在家庭式健身过程中，大多数人身边往往没有专门的健身教练进行指导，健身者无法知道自己的健身效果如何，甚至有时候会因为自己的训练方法不当而使得健身效果适得其反。
而目前的健身系统中，大多是基于3D人物训练形象建立的分析方法，但是该方法也存在动作识别和纠正精度不高的问题。所以目前的健身锻炼效果分析的方法都存在一定的局限性。
发明内容
鉴于上述现有技术的不足，本发明的目的在于提供一种基于人工智能的健身效果分析管理系统，以对于用户的健身锻炼的效果进行评价与分析。
本申请第一方面提供了一种基于人工智能的健身锻炼效果评价分析管理系统，其特征在于，所述基于人工智能的健身锻炼效果评价分析管理系统包括：健身镜，其中，所述健身镜配置有双目采集摄像头、红外热成像模组、通信模组，所述双目采集摄像头用于采集所述健身镜前健身区域内的用户图像，所述红外热成像模组，用于采集所述健身镜前健身区域内的热成像图；用户穿戴设备，用于实时采集用户的生理数据，并发送至所述通信模组；所述健身镜还配置有中央处理器，用于将所述双目摄像头采集到的用户图像、所述红外热成像模组采集到的热成像图、以及所述用户穿戴设备采集到的生理数据进行预处理，并将预处理后的数据输入至预先训练好的第一卷积神经网络模型中以获得用户进行健身锻炼时的锻炼效果分析分数。这样能够实时地采集到用户健身锻炼时的锻炼数据，对用户健身锻炼效果进行评价和分析，能够提高用户使用感。
可选的，结合第一方面，在一种可能的实现方式中，所述健身镜还包括显示器，以及反射玻璃，所述显示器分别展示用户当前姿态对应的3D人物模型与标准姿态对应的3D人物模型，所述中央处理器，用于根据所述双目采集摄像头拍摄到的用户图像，获取到用户当前姿态，并根据用户当前姿态获取第一关节数据；所述中央处理器，用于将所述第一关节数据与根据所述红外热成像模组采集到的热成像图获取到的第二关节数据进行第一融合处理，以获取到用户当前关节数据；所述中央处理器，还用于根据所述用户当前关节数据确定用户当前姿态对应的3D人物模型。这样通过红外热成像和关节数据融合处理得到的最终关节数据可以更加准确地标识当前用户的动作行为，以此能够构建的3D人物模型与用户动作更加同步，能够提高用户参与满意度，提高用户体验。
可选的，结合第一方面，在一种可能的实现方式中，当用户初次使用所述健身镜时，所述显示器显示用户全身图像，以指示用户在健身过程中能够处于健身区域内，所述中央处理器，用于当用户全身都位于所述健身区域内时，获取用户的特定关节数据；所述中央处理器，还用于根据所述用户的特定关节数据确定3D人物模型的缩放比例。当用户初次使用健身镜时，可以根据用户身材定制化3D人物模型的身材比例，这样使得该构建出来的3D人物模型与真人更加接近，能够提高用户体验与用户趣味性，避免千人一面的失真情况。
可选的，结合第一方面，在一种可能的实现方式中，所述健身镜还装配有存储模组，当用户健身锻炼时，所述双目摄像头采集的用户视频被存储于所述存储模组中，当用户健身结束之后，所述中央处理器，还用于从所述用户视频中捕捉用户关键动作，并根据所述用户关键动作提取第三关节数据；所述中央处理器将所述第三关节数据与所述用户关键动作相对应的标准关节数据进行对比，以获取用户对于所述用户关键动作的锻炼效果得分。这样可以对于用户的每一个关键动作进行评分，能够使得用户了解到每一个关键动作做得是否标准，从而能够定向的纠正每个动作，能够提高用户健身锻炼效果。
可选的，结合第一方面，在一种可能的实现方式中，当所述存储模块中存储有至少两个用户的用户数据时，若所述中央处理器从所述用户视频中捕捉到当前用户的用户关键动作，所述中央处理器从所述存储模块中调出所述至少两个用户中其他用户的用户关键动作；所述中央处理器在显示器中显示所述当前用户的用户关键动作与所述其他用户的用户关键动作对比图。这样当前用户可以将自己的关键动作与其他用户的关键动作进行对比，能够看清自己与其他用户的差距，能够看清谁的动作更加标准，能够提高运动锻炼的趣味性，使得健身锻炼不那么乏味。
可选的，结合第一方面，在一种可能的实现方式中，所述中央处理器，还用于根据用户确定的用户视频起止时间，对所述用户视频起止时间内所有用户关键动作进行捕捉；所述中央处理器，还用于对所述用户视频起止时间内所有用户关键动作的锻炼效果得分按照设定的加权系数进行加权，以获取所述用户视频起止时间的锻炼效果得分。这样用户可以获得在一段时间内的健身锻炼效果的评分，能够了解到一段时间内的动作是否标准，从而可以了解这一段时间的锻炼状态，能够提高用户参与度。
可选的，结合第一方面，在一种可能的实现方式中，所述存储模块，还用于当前用户每一次完成健身锻炼之后，存储预处理后的数据；所述中央处理器，还用于将所述预处理后的数据作为训练集，训练所述第一卷积神经网络模型，以得到第二神经网络模型，所述第二神经网络模型与所述当前用户相匹配，所述第二神经网络用于对于当前用户下一次健身锻炼效果的分析。这样每一次健身锻炼之后形成的数据都可以用于训练神经网络模型，从而形成每一个用户自身个性化的神经网络模型。能够对于每个用户的差异化进行分别分析，从而更加符合每个用户的自身情况，使得分析结果更加准确与接近用户自身情况。
可选的，结合第一方面，在一种可能的实现方式中，所述红外热成像模组，具体用于采集用户身体肌肉热成像图与脸部热成像图，并采集用户体表温度数据；所述中央处理器，用于指示显示器显示所述用户身体肌肉热成像图，以及脸部热成像图；所述中央处理器，还用于根据用户当前训练动作确定用户当前训练部位的肌肉热成像图的颜色阈值，并当所述身体肌肉热成像图与脸部热成像图的颜色达到所述肌肉热成像图的颜色阈值时，提示用户当前部位训练已到位。当通过热成像图观察到用户当前肌肉的颜色达到该颜色阈值时，则可以对用户进行提醒，用户的当前部位已经训练到位，以避免用户某一个部位过度训练，可以提示用户进行下一个动作或者部位的训练，以针对性的对用户的训练进行计划。
可选的，结合第一方面，在一种可能的实现方式中，所述用户穿戴设备，具体用于采集用户的体温与心率，并发送至所述通信模组；所述中央处理器，还用于根据用户穿戴设备采集的用户体温与心率，以及所述红外热成像模组确定的用户体温以及心率进行第二融合处理，以获取用户当前体温以及心率；所述中央处理器，当确定所述用户体温高于设定体温阈值，或所述心率超过设定心率阈值时，则提示用户休息。在一些情况下仅通过用户穿戴设备获取到的用户体温与心率并不十分准确。而将用户穿戴设备与红外热成像模块确定的用户体温以及心率进行融合处理得到的用户体温和心率会比较准确，以此来确定用户当前的体温和心率，从而能够对用户进行实时监测，以避免用户当前体温和心率出现异常的情况，避免过度锻炼。
可选的，结合第一方面，在一种可能的实现方式中，所述红外热成像模块，具体用于将获取到的热成像图转化为灰度图，并对灰度图进行二值化处理，并采用小波去噪算法消除噪声；所述红外热成像模块，具体用于计算用户每分钟的心率，其中，每分钟心率R＝f×60/t×q，其中f为视频的采样频率，t表示当前帧数，q为经小波包重构后信号的波峰数。这样可以通过红外热成像非接触式地获取到用户的心率。
本申请提供了一种基于人工智能的健身锻炼效果评价分析管理系统。该系统包括：健身镜，其中，所述健身镜配置有双目采集摄像头、红外热成像模组、通信模组，所述双目采集摄像头用于采集所述健身镜前健身区域内的用户图像，所述红外热成像模组，用于采集所述健身镜前健身区域内的热成像图；用户穿戴设备，用于实时采集用户的生理数据，并发送至所述通信模组；所述健身镜还配置有中央处理器，用于将所述双目摄像头采集到的用户图像、所述红外热成像模组采集到的热成像图、以及所述用户穿戴设备采集到的生理数据进行预处理，并将预处理后的数据输入至预先训练好的第一卷积神经网络模型中以获得用户进行健身锻炼时的锻炼效果分析分数。这样能够实时地采集到用户健身锻炼时的锻炼数据，对用户健身锻炼效果进行评价和分析，能够提高用户使用感。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1为本申请提供的一种基于人工智能的健身锻炼效果分析管理系统的场景示意图；
图2为本申请提供的一种健身镜的模块示意图；
图3为本申请提供的一种基于人工智能的健身锻炼效果分析管理系统的示意图；
图4为本申请提供的一种成像图的灰度示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。在本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，a和b，a和c，b和c或a和b和c，其中a、b和c可以是单个，也可以是多个。值得注意的是，“至少一项(个)”还可以解释成“一项(个)或多项(个)”。
需要说明的是，本申请中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本申请实施例中出现的第一、第二等描述，仅作示意与区分描述对象之用，没有次序之分，也不表示本申请实施例中对设备个数的特别限定，不能构成对本申请实施例的任何限制。
在家庭式健身过程中，大多数人身边往往没有专门的健身教练进行指导，健身者无法知道自己的健身效果如何，甚至有时候会因为自己的训练方法不当而使得健身效果适得其反。
而目前的健身系统中，大多是基于3D人物训练形象建立的分析方法，但是该方法也存在动作识别和纠正精度不高的问题。所以目前的健身锻炼效果分析的方法都存在一定的局限性。
所以，本申请提供了一种基于人工智能的健身锻炼效果评价分析管理系统，请参见图1与图3，图2提供了一个健身镜的具体模块示意图，该基于人工智能的健身锻炼效果评价分析管理系统可以包括：
健身镜，其中，所述健身镜配置有双目采集摄像头、红外热成像模组、通信模组，所述双目采集摄像头用于采集所述健身镜前健身区域内的用户图像，所述红外热成像模组，用于采集所述健身镜前健身区域内的热成像图；
用户穿戴设备，用于实时采集用户的生理数据，并发送至所述通信模组；
所述健身镜还配置有中央处理器，用于将所述双目摄像头采集到的用户图像、所述红外热成像模组采集到的热成像图、以及所述用户穿戴设备采集到的生理数据进行预处理，并将预处理后的数据输入至预先训练好的第一卷积神经网络模型中以获得用户进行健身锻炼时的锻炼效果分析分数。
需要说明该的是，该第一卷积神经网络模型是预先根据大量用户运动中的图像、用户热成像图，以及用户穿戴设备采集到的生理数据训练得到的。其中，该第一卷积神经网络模型包括通过激活函数连接的一个卷积层、一个池化层和最后的全连接层。基于大量用户数据集训练该第一神经网络，当训练次数达到设定迭代次数阈值时，训练结束，保留该第一神经网络的卷积层参数和池化层参数，以作为该第一神经网络的网络模型。
具体的，该卷积层中设置尺度分别为3×3、5×5、7×7、9×9的四种卷积核；池化层中设置大小分别为8×1、6×1、4×1、2×1的四种池化算子；3×3、5×5、7×7、9×9的卷积核与8×1、6×1、4×1、2×1的池化算子分别对应相连；池化层的步长为1；全连接层的dropout比重设置为0.5；全连接层内设置1024个神经元。
需要说明的是，该中央处理器对于该双目摄像头采集到的用户图像、所述红外热成像模组采集到的热成像图、以及所述用户穿戴设备采集到的生理数据进行预处理具体可以包括：
1)、根据所述双目采集摄像头拍摄到的用户图像，获取到用户当前姿态，并根据用户当前姿态获取第一关节数据；将所述第一关节数据与该中央处理器根据所述红外热成像模组采集到的热成像图获取的第二关节数据进行第一融合处理，以获取到用户当前关节数据。
2)、根据用户穿戴设备采集的用户体温与心率，以及所述红外热成像模组确定的用户体温以及心率进行第二融合处理，以获取用户当前体温以及心率。
则经过预处理可以获得用户当前的关节数据，以及用户当前体温以及心率数据。以此构成用户数据集。其中，用户当前的关节数据可以用如下表达式表示：
Ki＝(S0i,S1i,……,S17i),其中，S0i至S17i分别代表鼻子(S0i)、脖子(S1i)、右肩(S2i)、右肘(S3i)、右手腕(S4i)、左肩(S5i)、左肘(S6i)、左手腕(S7i)、右臀(S8i)、右膝盖(S9i)、右脚踝(S10i)、左臀(S11i)、左膝盖(S12i)、左脚踝(S13i)、右眼(S14i)、左眼(S15i)、右耳(S16i)、左耳(S17i)的关节数据，i代表当前的数据帧。
在每一个数据帧中，每一个关节的数据包含(x,y)两个数据，其中，x为人体关节点在融合图像上的横坐标，y为人体关节点在融合图像上的纵坐标。该坐标系的原点可以以该用户的关节数据中的任意一个关节点为原点，在本申请中以该鼻子(S0i)的坐标点为原点。通过这样的处理方式，则每一帧中用户关节点的数据构成一个[18，2]的关节矩阵。
所以，预处理得到的数据集为：Ni＝(Ki，Ti，Hi)。其中，该Ki为当前数据帧的关节数据，Ti为当前用户体温，Hi为当前用户心率。
将该预处理得到的数据集输入到该第一卷积神经网络中，从而能够得到一个(0,1)之间的检测结果，将该检测结果换算成以100分为满分的分数即可得到用户进行健身锻炼时的锻炼效果分析分数。需要说明该的是，该分数是浮动的，该采集到一帧图像即可获得一次用户健身锻炼时的锻炼效果分析分数。因此，该健身镜的显示器上显示的分数也可以是浮动的。可以截取一个固定时长中所有数据帧获得的分数取平均值作为用户实时健身锻炼时的锻炼效果分析分数显示。例如，该固定时长为1分钟。
在一种可能的实现方式中，所述健身镜还包括显示器，以及反射玻璃，所述显示器分别展示用户当前姿态对应的3D人物模型与标准姿态对应的3D人物模型，所述中央处理器，用于根据所述双目采集摄像头拍摄到的用户图像，获取到用户当前姿态，并根据用户当前姿态获取第一关节数据；所述中央处理器，用于将所述第一关节数据与根据所述红外热成像模组采集到的热成像图获取到的第二关节数据进行第一融合处理，以获取到用户当前关节数据；所述中央处理器，还用于根据所述用户当前关节数据确定用户当前姿态对应的3D人物模型。根据用户当前关节数据确定用户当前姿态对应的3D任务模型为本领域常规手段，此处不再赘述。这样能够通过红外热成像和关节数据融合处理得到的最终关节数据可以更加准确地标识当前用户的动作行为，以此能够构建的3D人物模型与用户动作更加同步，能够提高用户参与满意度，提高用户体验。
值得注意的是，当用户初次使用所述健身镜时，所述显示器显示用户全身图像，以指示用户在健身过程中能够处于健身区域内，这样可以采集到用户完整的全身图像。当用户全身都位于所述健身区域内时，所述中央处理器用于获取用户的特定关节数据；所述中央处理器，还用于根据所述用户的特定关节数据确定3D人物模型的身材比例。
具体的，当用户初次使用所述健身镜时，该中央处理器可以将该双目摄像头采集到的完整的用户图像输入图像识别网络模型(alphapose网络模型)中，以获取如前述18个人体初始的关节点，其中，每个关节点的关节数据可以表示为Pa(xa，ya，sa)。其中，xa表示该骨骼点的横坐标，ya表示骨骼点的纵坐标，sa为第一置信度表示该骨骼点位置可被信赖的程度。该第一置信度取决于该图像识别模型中具体算法识别方式，在本方案中不详细赘述。
当用户初次使用所述健身镜，且位于健身区域内时，可以认为该第一置信度为1，即可以完全信任该图像识别网络。则可以根据此时的关节数据中特定的关节数据确定3D人物的身材比例。其中，根据此时的关节数据中特定的关节数据确定3D人物的身材比例可以根据需求设置。示例性的，可以根据用户实际的左肩至右肩的距离，与3D人物的左肩至右肩的距离确定一个缩放比例，再通过该缩放比例将获取的用户所有的关节数据等比例缩小。通过这样的方式可以根据用户身材定制化3D人物模型的身材比例，这样使得该构建出来的3D人物模型与真人更加接近，能够提高用户体验与用户趣味性，避免千人一面的失真情况。在实际情况中，还可以根据左肩至左脚踝的距离确定缩放比例，再执行缩放操作，此处不做限制。
需要指出的是，通过该alphapose网络模型输出的骨骼点的第一置信度在实际实验中偏差较大，因此，在本发明中，仅在用户初次使用所述健身镜时，将该第一置信度设定为1，后续处理过程中不使用该alpahapose网络模型中输出的第一置信度。
当用户在初次使用所述健身镜，完成3D人物的身材比例的构建之后。该健身镜可以通过双目采集摄像头拍摄到的用户图像，以此来获取到用户当前姿态，并根据用户当前姿态获取第一关节数据；该中央处理器，还可以将所述第一关节数据与该中央处理器根据所述红外热成像模组采集到的热成像图获取第二关节数据进行第一融合处理，以获取到用户当前的关节数据。
需要说明的是，该中央处理器，根据双目摄像头拍摄到的用户图像获取用户当前姿态，并根据用户当前姿态获取第一关节数据具体可以包括：当该双目摄像头采集到用户图像之后，该中央处理器将包含当前用户姿态的用户图像输入图像识别网络模型中，以获取当前用户的18个人体关节点。可以参见前文理解。具体的，该第一关节数据可以包含该用户当前的18个人体关节点。
值得注意的是，该健身镜中设置有红外热成像模组。该红外热成像模组可以观测到人体的热成像图像信息。而实际上在用户运动过程中主要是用户的肌肉组织产生热量，在骨骼关节处产生的热量相对较少。而关节大多都位于肌肉连接处。因此，在热成像图像信息中，大部分骨骼关节处的颜色会比肌肉组织聚集的部分相对较暗一些。也有一些关节被肌肉、脂肪组织覆盖，这样会有一大片相对较亮的区域。所以根据这些规律，可以通过一些红外图像人体姿态提取网络对人体的热成像图像信息提取骨骼关节信息。基于预先训练好的红外图像人体姿态提取网络可以从热成像图像信息中提取出如前述用户的18个人体关节位点。
具体的，该中央处理器可以将红外热成像模组采集到的人体图像输入至红外图像人体姿态提取网络中，以获取用户的18个人体关节位点。该红外图像人体姿态提取网络结构由基础网络MS-RsNet与CenterNet构架的检测网络构成。MS-RsNet的获取方式为：在ResNet101网络结构基础上，抽取卷积层3、卷积层4、卷积层5的特征图在三个尺度上的特征输出并融合，形成多尺度金字塔特征提取结构，再将首个卷积层内卷积核换为单通道卷积核，得到多尺度ResNet网络，即基础网络MS-RsNet。
然而，仅仅根据双目摄像头拍摄到的用户图像获取到的第一关节数据，与红外热成像模组采集到的人体图像获取到的第二关节数据，在一些情况下准确率都不高。在一般情况下，采用双目摄像头获取的关节数据相较于红外热成像模组获取到的关节数据更加准确一些。但是在另一些情况下，如用户动作比较剧烈时，采用该双目摄像头获取的关节数据并不准确，所以需要采用该第二关节数据与该第一关节数据进行融合，以减小该第一关节数据的误差。所以本方案采用将该第一关节数据与第二关节数据进行第一融合处理，以获得用户当前的关节数据。
具体的，该第一融合处理具体可以包括：
获取第一关节数据时间之前的第一个用户复位数据帧，并获取该用户复位数据帧中关键关节数据。其中，该用户复位数据帧是指用户从训练动作恢复至标准站立状态时的数据帧，即在该用户复位数据帧下，用户是处于标准站立状态。但是实际上，在这个时刻用户站立状态，以及站立位置下，用户的关节点，可能与用户初始关节点形成一些差异。由此导致根据该双目摄像头在一小段时间内拍摄到的用户图像而获取到的第一关节数据都不太准确，有一些误差。所以，本方案根据该用户当前时间节点之前最近一次的用户复位数据帧获取动态置信度。该动态置信度可以代表在一小段时间内该双目摄像头拍摄到用户图像与初始用户图像的偏移程度。具体的，该动态置信度的计算公式如下：
Figure BDA0003688716230000101
其中，E为动态置信度，ΔS0是该最近一次的用户复位数据帧中鼻子对应的关节相较于用户在初始状态下鼻子对应的关节点的偏移量，|Ls2-Ls5|是用户左肩对应的关节与右肩对应的关节之间的距离。
Figure BDA0003688716230000111
是最近一次的用户复位数据帧中左肩对应的关节与右肩对应的关节之间形成的直线，以及用户在初始状态下左肩对应的关节与右肩对应的关节之间形成的之间的夹角。这样可以通过偏移量与偏移角度两个维度确定用户当前状态下与初始状态下的偏差。从而能够通过该动态置信度对该第二关节数据与该第一关节数据进行融合处理，从而能够减小误差。
需要说明的是，该双目摄像头每一次采集到用户执行了一次复位动作之后，都可以动态的获取到一个动态置信度。那么每一次复位动作之后，都可以采用新的动态置信度进行融合处理。
因此，将第二关节数据与该第一关节数据进行融合处理具体可以采用如下公式计算：P＝Pa1×(1-E)+Pa2。其中，Pa1是第一关节数据，Pa2是第二关节数据。P为用户当前关节数据。
需要说明的是，在一种实现方式中，所述用户穿戴设备，具体用于采集用户的体温与心率，并发送至所述通信模组；所述中央处理器，还用于根据用户穿戴设备采集的用户体温与心率，以及所述红外热成像模组确定的用户体温以及心率进行第二融合处理，以获取用户当前体温以及心率；所述中央处理器，当确定所述用户体温高于设定体温阈值，或所述心率超过设定心率阈值时，则提示用户休息。
具体的，该第二融合处理可以为：将该红外热成像模组确定的用户体温，以及该用户穿戴设备确定的用户体温进行加权平均，具体的权重值可以预先设置，用户当前的体温是加权平均之后得到的体温。同理，将该红外热成像模组确定的用户心率，以及将该用户穿戴设备确定的用户心率进行加权平均，该权重值也可以预先设置，用户当前的心率是加权平均之后得到的心率。需要指出的是，该用户穿戴设备采集到的用户体温和用户心率较为准确一些，因此权重值相对较高一些。
这样可以准确地计算出用户的当前体温和用户心率。当确定用户体温高于设定体温阈值，或者心率超过设定心率阈值时，则说明用户可能已经体力不支，或者已经训练到位，则可以提示用户休息，以避免用户出现意外。
需要说明的是，该该红外热成像模组可以根据当前的肌肉的RGB色彩确定用户的体温，具体方式此处不赘述。该红外热成像模组获取到用户心率的方式可以包括：所述红外热成像模块，具体用于将获取到的热成像图转化为灰度图，并对灰度图进行二值化处理，并采用小波去噪算法消除噪声；所述红外热成像模块，具体用于计算用户每分钟的心率，其中，每分钟心率R＝f×60/t×q，其中f为视频的采样频率，t表示当前帧数，q为经小波包重构后信号的波峰数。这样可以通过红外热成像非接触式地获取到用户的心率。
在一些实施方式中，所述健身镜还装配有存储模组，当用户健身锻炼时，所述双目摄像头采集的用户视频被存储于所述存储模组中，当用户健身结束之后，所述中央处理器，还用于从所述用户视频中捕捉用户关键动作，并根据所述用户关键动作提取第三关节数据；所述中央处理器将所述第三关节数据与所述用户关键动作相对应的标准关节数据进行对比，以获取用户对于所述用户关键动作的锻炼效果得分。
具体的，每一个关键动作都设定有具体的采分点。例如深蹲时，标准的左膝盖、左脚踝、左臀三个关节点之间形成的夹角为90度。但是实际用户锻炼过程中可能无法达到标准的角度。那么可以获取到用户此时的左膝盖、左脚踝、左臀三个关节点之间形成的夹角的正弦值作为用户此时对于深蹲的分数。其他还有包括俯卧撑、平板支撑、波比跳等也都有相应的采分点，此处不多赘述。这样可以基于用户的每一个关键动作都获取到相应的锻炼效果得分。能够使得用户了解到每一个关键动作做得是否标准，从而能够定向的纠正每个动作，能够提高用户健身锻炼效果。
在一些实施方式中，当所述存储模块中存储有至少两个用户的用户数据时，若所述中央处理器从所述用户视频中捕捉到当前用户的用户关键动作，所述中央处理器从所述存储模块中调出所述至少两个用户中其他用户的用户关键动作；所述中央处理器在显示器中显示所述当前用户的用户关键动作与所述其他用户的用户关键动作对比图。
这样，当前用户可以将自己的关键动作与其他用户的关键动作进行对比，能够看清自己与其他用户的差距，能够看清谁的动作更加标准，能够提高运动锻炼的趣味性，使得健身锻炼不那么乏味。
在一些实施方式中，所述中央处理器，还用于根据用户确定的用户视频起止时间，对所述用户视频起止时间内所有用户关键动作进行捕捉；所述中央处理器，还用于对所述用户视频起止时间内所有用户关键动作的锻炼效果得分按照设定的加权系数进行加权，以获取所述用户视频起止时间的锻炼效果得分。
这样用户可以选择用户视频的起止时间，该中央处理器可以对该起止时间内所有的关键动作进行捕捉。例如，在一段时间内用户既做了深蹲又做了波比跳，则可以采集到用户在起止时间内所有的健身动作，并对每个动作进行评分，进而获取每一种类型的健身动作的平均分。例如，对所有的深蹲动作获取一个平均分，对所有的波比跳获取一个平均分。然后对这一段时间内所有类型的健身动作的平均分进行加权平均，以得到用户在视频起止时间内的锻炼效果得分。其中，每一种类型的健身动作的权重可以根据用户选择的健身课程而设定。例如，用户选择的健身课程为减脂课程，则波比跳的权重更高，用户选择的课程为腿部锻炼，则深蹲动作的权重更高。
这样用户可以获得在一段时间内的健身锻炼效果的评分，能够了解到一段时间内的动作是否标准，从而可以了解这一段时间的锻炼状态，能够提高用户参与度。也可以与用户选择的课程相匹配，能够根据用户个性化进行打分。
在一些实施方式中，所述存储模块，还用于当前用户每一次完成健身锻炼之后，存储预处理后的数据；所述中央处理器，还用于将所述预处理后的数据作为训练集，训练所述第一卷积神经网络模型，以得到第二神经网络模型，所述第二神经网络模型与所述当前用户相匹配，所述第二神经网络用于对于当前用户下一次健身锻炼效果的分析。
这样每一次健身锻炼之后形成的数据都可以用于训练神经网络模型，从而形成每一个用户自身个性化的神经网络模型。能够对于每个用户的差异化进行分别分析，从而更加符合每个用户的自身情况，使得分析结果更加准确与接近用户自身情况。
在一种可能的实现方式中，所述红外热成像模组，具体用于采集用户身体肌肉热成像图与脸部热成像图，并采集用户体表温度数据；所述中央处理器，用于指示显示器显示所述用户身体肌肉热成像图，以及脸部热成像图；所述中央处理器，还用于根据用户当前训练动作确定用户当前训练部位的肌肉热成像图的颜色阈值，并当所述身体肌肉热成像图与脸部热成像图的颜色达到所述肌肉热成像图的颜色阈值时，提示用户当前部位训练已到位。
可以根据该肌肉热成像图与脸部热成像图获取到每一块肌肉的RGB颜色。当该RGB颜色达到设定的阈值时，则可以确定用户具体部位是否训练到位。例如，当用户进行深蹲锻炼时，若腿部肌肉的RGB颜色达到设定的颜色阈值时，可以确定用户腿部肌肉已经训练到位。则可以对用户进行提醒，用户的腿部已经训练到位，以避免用户腿部过度训练，可以提示用户进行下一个动作或者部位的训练，以针对性的对用户的训练进行计划。
本申请中提及的集成的单元模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请所提供的实施例中，应该理解到，所揭露的方法或系统，在没有超过本申请的精神和范围内，可以通过其他的方式实现。当前的实施例只是一种示范性的例子，不应该作为限制，所给出的具体内容不应该限制本申请的目的。例如，一些特征可以忽略，或不执行。
本申请方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本申请的保护范围。
以上对本申请实施例所提供的基于人工智能的健身锻炼效果评价分析管理系统。进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种基于人工智能的健身锻炼效果评价分析管理系统，其特征在于，所述基于人工智能的健身锻炼效果评价分析管理系统包括：
健身镜，其中，所述健身镜配置有双目采集摄像头、红外热成像模组、通信模组，所述双目采集摄像头用于采集所述健身镜前健身区域内的用户图像，所述红外热成像模组，用于采集所述健身镜前健身区域内的热成像图；
用户穿戴设备，用于实时采集用户的生理数据，并发送至所述通信模组；
所述健身镜还配置有中央处理器，用于将所述双目摄像头采集到的用户图像、所述红外热成像模组采集到的热成像图、以及所述用户穿戴设备采集到的生理数据进行预处理，并将预处理后的数据输入至预先训练好的第一卷积神经网络模型中，以获得用户进行健身锻炼时的锻炼效果分析分数。
2.根据权利要求1所述的基于人工智能的健身锻炼效果评价分析管理系统，其特征在于，所述健身镜还包括显示器，以及反射玻璃，所述显示器分别展示用户当前姿态对应的3D人物模型与标准姿态对应的3D人物模型，
所述中央处理器，用于根据所述双目采集摄像头拍摄到的用户图像，获取到用户当前姿态，并根据用户当前姿态获取第一关节数据；
所述中央处理器，用于将所述第一关节数据与根据所述红外热成像模组采集到的热成像图获取到的第二关节数据进行第一融合处理，以获取到用户当前关节数据；
所述中央处理器，还用于根据所述用户当前关节数据确定用户当前姿态对应的3D人物模型。
3.根据权利要求2所述的基于人工智能的健身锻炼效果评价分析管理系统，其特征在于，当用户初次使用所述健身镜时，所述显示器显示用户全身图像，以指示用户在健身过程中能够处于健身区域内，
所述中央处理器，用于当用户全身都位于所述健身区域内时，获取用户的特定关节数据；
所述中央处理器，还用于根据所述用户的特定关节数据确定3D人物模型的身材比例。
4.根据权利要求1所述的基于人工智能的健身锻炼效果评价分析管理系统，其特征在于，所述健身镜还装配有存储模组，当用户健身锻炼时，所述双目摄像头采集的用户视频被存储于所述存储模组中，
当用户健身结束之后，所述中央处理器，还用于从所述用户视频中捕捉用户关键动作，并根据所述用户关键动作提取第三关节数据；
所述中央处理器将所述第三关节数据与所述用户关键动作相对应的标准关节数据进行对比，以获取用户对于所述用户关键动作的锻炼效果得分。
5.根据权利要求4所述的基于人工智能的健身锻炼效果评价分析管理系统，其特征在于，当所述存储模块中存储有至少两个用户的用户数据时，
若所述中央处理器从所述用户视频中捕捉到当前用户的用户关键动作，所述中央处理器从所述存储模块中调出所述至少两个用户中其他用户的用户关键动作；
所述中央处理器在显示器中显示所述当前用户的用户关键动作与所述其他用户的用户关键动作对比图。
6.根据权利要求4所述的基于人工智能的健身锻炼效果评价分析管理系统，其特征在于，
所述中央处理器，还用于根据用户确定的用户视频起止时间，对所述用户视频起止时间内所有用户关键动作进行捕捉；
所述中央处理器，还用于对所述用户视频起止时间内所有用户关键动作的锻炼效果得分按照设定的加权系数进行加权，以获取所述用户视频起止时间的锻炼效果得分。
7.根据权利要求4所述的基于人工智能的健身锻炼效果评价分析管理系统，其特征在于，
所述存储模块，还用于当前用户每一次完成健身锻炼之后，存储预处理后的数据；
所述中央处理器，还用于将所述预处理后的数据作为训练集，训练所述第一卷积神经网络模型，以得到第二神经网络模型，所述第二神经网络模型与所述当前用户相匹配，所述第二神经网络用于对于当前用户下一次健身锻炼效果的分析。
8.根据权利要求1所述的基于人工智能的健身锻炼效果评价分析管理系统，其特征在于，
所述红外热成像模组，具体用于采集用户身体肌肉热成像图与脸部热成像图，并采集用户体表温度数据；
所述中央处理器，用于指示显示器显示所述用户身体肌肉热成像图，以及脸部热成像图；
所述中央处理器，还用于根据用户当前训练动作确定用户当前训练部位的肌肉热成像图的颜色阈值，并当所述身体肌肉热成像图与脸部热成像图的颜色达到所述肌肉热成像图的颜色阈值时，提示用户当前部位训练已到位。
9.根据权利要求1所述的基于人工智能的健身锻炼效果评价分析管理系统，其特征在于，
所述用户穿戴设备，具体用于采集用户的体温与心率，并发送至所述通信模组；
所述中央处理器，还用于根据用户穿戴设备采集的用户体温与心率，以及所述红外热成像模组确定的用户体温以及心率进行第二融合处理，以获取用户当前体温以及心率；
所述中央处理器，当确定所述用户体温高于设定体温阈值，或所述心率超过设定心率阈值时，则提示用户休息。
10.根据权利要求9所述的基于人工智能的健身锻炼效果评价分析管理系统，其特征在于，
所述红外热成像模块，具体用于将获取到的热成像图转化为灰度图，并对灰度图进行二值化处理，并采用小波去噪算法消除噪声；
所述红外热成像模块，具体用于计算用户每分钟的心率，其中，每分钟心率R＝f×60/t×q，其中f为视频的采样频率，t表示当前帧数，q为经小波包重构后信号的波峰数。
CN202210654438.6A 2022-06-10 2022-06-10 一种基于人工智能的健身锻炼效果评价分析管理系统 Active CN114984540B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210654438.6A CN114984540B (zh) 2022-06-10 2022-06-10 一种基于人工智能的健身锻炼效果评价分析管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210654438.6A CN114984540B (zh) 2022-06-10 2022-06-10 一种基于人工智能的健身锻炼效果评价分析管理系统

Publications (2)

Publication Number Publication Date
CN114984540A true CN114984540A (zh) 2022-09-02
CN114984540B CN114984540B (zh) 2023-02-21

Family

ID=83032428

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210654438.6A Active CN114984540B (zh) 2022-06-10 2022-06-10 一种基于人工智能的健身锻炼效果评价分析管理系统

Country Status (1)

Country Link
CN (1) CN114984540B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108273256A (zh) * 2018-02-06 2018-07-13 苏州东巍网络科技有限公司 一种采集健身用户身体数据的健身器材系统及使用方法
CN109045575A (zh) * 2018-08-30 2018-12-21 合肥工业大学 基于非接触式生理参数测量的智能跑步机
CN111111111A (zh) * 2020-01-14 2020-05-08 广东技术师范大学 一种健身实时监测系统及方法
CN111785377A (zh) * 2020-06-30 2020-10-16 重庆勤鸟圈科技有限公司 用于健身人群的预警系统及方法
CN112069933A (zh) * 2020-08-21 2020-12-11 董秀园 基于体态识别和人体生物力学的骨骼肌肉受力估计方法
CN113018831A (zh) * 2021-04-15 2021-06-25 上海兽鸟智能科技有限公司 一种智能健身镜及其使用方法
CN113318381A (zh) * 2021-05-28 2021-08-31 深圳市如骏运动科技有限公司 一种智能跑步机及其速度调节方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108273256A (zh) * 2018-02-06 2018-07-13 苏州东巍网络科技有限公司 一种采集健身用户身体数据的健身器材系统及使用方法
CN109045575A (zh) * 2018-08-30 2018-12-21 合肥工业大学 基于非接触式生理参数测量的智能跑步机
CN111111111A (zh) * 2020-01-14 2020-05-08 广东技术师范大学 一种健身实时监测系统及方法
CN111785377A (zh) * 2020-06-30 2020-10-16 重庆勤鸟圈科技有限公司 用于健身人群的预警系统及方法
CN112069933A (zh) * 2020-08-21 2020-12-11 董秀园 基于体态识别和人体生物力学的骨骼肌肉受力估计方法
CN113018831A (zh) * 2021-04-15 2021-06-25 上海兽鸟智能科技有限公司 一种智能健身镜及其使用方法
CN113318381A (zh) * 2021-05-28 2021-08-31 深圳市如骏运动科技有限公司 一种智能跑步机及其速度调节方法

Also Published As

Publication number Publication date
CN114984540B (zh) 2023-02-21

Similar Documents

Publication Publication Date Title
CN108256433B (zh) 一种运动姿态评估方法及系统
CN112464918B (zh) 健身动作纠正方法、装置、计算机设备和存储介质
CN111414839B (zh) 基于姿态的情感识别方法及装置
CN111652078A (zh) 一种基于计算机视觉的瑜伽动作指导系统和方法
KR102320960B1 (ko) 사용자 신체 맞춤형 홈 트레이닝 동작 안내 및 교정 시스템
CN110600125B (zh) 一种基于人工智能的体态分析助手系统及传输方法
CN116261749A (zh) 识别用户动作的方法和系统
Nagalakshmi Vallabhaneni The analysis of the impact of yoga on healthcare and conventional strategies for human pose recognition
JP6844284B2 (ja) 歩容の評価方法
CN111883229A (zh) 一种基于视觉ai的智能运动指导方法及系统
Dajime et al. Automated classification of movement quality using the Microsoft Kinect V2 sensor
US20230355135A1 (en) Intelligent gait analyzing apparatus
Zhen et al. Hybrid Deep‐Learning Framework Based on Gaussian Fusion of Multiple Spatiotemporal Networks for Walking Gait Phase Recognition
CN116525061B (zh) 一种基于远程人体姿态评估的训练监控方法及系统
CN114984540B (zh) 一种基于人工智能的健身锻炼效果评价分析管理系统
CN116543455A (zh) 建立帕金森症步态受损评估模型、使用方法、设备及介质
CN113842622B (zh) 一种运动教学方法、装置、系统、电子设备及存储介质
CN115410707A (zh) 一种膝关节骨性关节炎的远程诊疗及康复系统
CN115006822A (zh) 一种智能健身镜控制系统
CN113641856A (zh) 用于输出信息的方法和装置
KR20230005693A (ko) 태그를 사용한 운동관리 헬스케어 서비스 시스템
Arif et al. An interactive Kinect-based game development for shoulder injury rehabilitation
RU2813471C1 (ru) Способы и системы идентификации действия пользователя
CN109887572A (zh) 一种平衡功能训练方法及系统
CN114360060B (zh) 人体动作识别计数方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant