CN113517052A - 商用健身场景下的多感知人机交互系统与方法 - Google Patents

Abstract

本发明公开一种商用健身场景下的多感知人机交互系统与方法，涉及深度学习、机器视觉和多传感器融合等技术领域，为解决现有健身环境下教练人员不足和专业性不一的问题。本系统包括信息采集模块、信息处理/记录模块和人机交互模块，信息采集模块采集用户ID信息和传感器/人体姿态信息，之后进行信息处理和记录，并完成纠错和数据分析，最后通过人机交互模块显示处理结果，同时进行用户反馈。该系统各个模块之间相互配合，完成了信息录入、信息采集、信息处理及显示的功能，并能根据用户需求及时调整，能够完成商业健身房的智能化改造，满足健身者的日常需求。

Description

商用健身场景下的多感知人机交互系统与方法

技术领域

本发明提出一种商用健身场景下的多感知人机交互系统与方法，用于商用健身环境下测试者锻炼合格度和效果监测，该方法涉及深度学习、机器视觉和多传感器融合等技术领域。

背景技术

随着人们生活水平的提高，对身体健康的关注也越来越迫切，对健身的需求也越来越高。传统大型健身房主要分布于全国一、二线城市，以“年卡+私教”模式为主。占地面积较大，租金、设备、人员成本投入较高，缺乏专业性优质教练，且教练流动性较大，急需一场“变革”。包含智能感知的新型健身房运动模式能有效缓解当代成年人工作时间长导致的运动量缺失的问题，更适合目前城市的快节奏生活。而目前比较成熟的智能健身镜“魔镜”仅针对单人运动检测，并且无法与健身设备结合使用，仅适用于家用环境中。

随着计算机视觉领域的不断发展，在行为异常检测、自动驾驶和动作识别等领域，三维人体姿态估计越来越受重视。人体关键骨骼点检测作为计算机视觉的基础算法之一，目前已有开放式资源包，如kinect传感器的配套开发套件SDKV2，但在多人精准识别方面，仍面临较大的考验。三维人体姿态估计主要分为两类：直接估计法和2D-3D提升法，直接估计法从二维图像或视频帧中推断三维人体姿态；2D-3D提升法从中间估计的2D姿势判断出3D人体姿势。目前，OpenPose、CPN、AlphaPose、HRNet作为二维位姿检测器已被广泛使用，得益于现有2D位姿检测器的卓越性能，2D-3D提升方法的性能通常优于直接估计法。

发明内容

为了解决目前商用健身场景下的人员不足和专业性问题，提出一种基于多传感器感知的商用健身场景下的人机交互系统与方法，该系统通过人体关键点识别与多传感器融合，对健身者行为合格度进行检测与评估。

为解决上述技术问题，本发明的构思为：

本发明主要提供在商用健身场景下的多传感器融合方法，主要分为信息采集、信息处理/记录和人机交互三部分。其中，信息采集部分用于采集用户数据，主要分为ID检测模块、传感器检测模块和人体姿态检测模块：ID检测模块用于检测用户ID信息，调整至合适的健身计划；传感器检测模块采集的信息用于判断运动完成度及达标程度，并计入程序中；人体姿态检测模块通过视觉传感器采集信息，并使用二维检测器和2D-3D提升算法处理获得三维人体姿态估计信息，用于判断人体运动是否达标。信息处理/记录部分主要采用数据库记录用户数据和标准健身数据，并使用后端算法对记录数据进行处理。人机交互部分采用触控显示屏和移动终端app两种，不仅能显示用户数据及健身情况，还能根据用户需求对健身方案进行调整。

通过各传感器信息融合，在商用健身环境中构成一个完整的智能化系统。视觉传感器负责采集视觉信息，通过二维姿态检测器和2D-3D提升算法获取人体关键点位置三维坐标，用于判断健身者的状态(动作是否标准、有无出现身体侧倾等)；心率传感器佩戴于用户腕部，辅助判断健身者身体状态；力传感器和位移传感器安装于健身设备，检测健身者在运动过程对健身器材的施力大小和运动距离，辅助视觉信息判断健身者是否达到运动标准；肌电信号的采集模块通过对肌电信号的采集，判断健身者是否达到运动效果。在商用健身环境中，健身设备不同，对信号的采集及分析处理方式不同；在同一设备中，对于不同健身者，负载大小不同，评估方式也不同。在本发明中，针对不同的健身条件进行分析比较，提出合理、有效的解决方案。

根据上述发明构思，本发明采用以下技术方案：

一种商用健身场景下的多感知人机交互系统，包括信息采集、信息处理/记录和人机交互三个方面；其中，所述信息采集部分由ID检测模块、传感器检测模块和人体姿态检测模块组成，用于采集ID信息以及传感器/人体姿态信息；所述信息处理/记录部分由身体数据测量模块、信息融合模块、纠错模块、数据分析模块和数据库五个模块组成，用于进行数据分析和处理，并记录在数据库中，同时进行纠错功能；所述人机交互部分由人机交互模块组成，用于显示处理结果和对比分析结果，并同时进行用户反馈。

本发明中的多感知人机交互系统不同模块的任务不同，各个模块之间相互配合，信息的传递具有连贯性。具体模块信息如下所示：

ID检测模块：在实际使用过程中，健身人员通过ID读卡器/人脸识别验证身份信息，其中，ID读卡器亦可使用手机app扫码后登录实现，确认身份信息后，连接数据库，并从数据库中读取该用户信息，根据后台算法解析，提供合适的健身方案并通过人机交互界面显示。

传感器检测模块：通过多传感器进行检测，视觉传感器检测信息进行人体姿态识别，同时对于不同的健身设备，配备不同的位移/力传感器，以判断用户的运动强度，并配备心率传感器检测用户心率，用于判断其健康状态；

人体姿态识别模块：通过摄像头拍摄图像进行多人姿态识别。在摄像头拍摄后通过二维位姿检测器获取每一帧的二维位姿，最后通过2D-3D提升算法输出人体骨骼点三维坐标，以此判断人体锻炼姿态是否达标。

身体数据测量模块：在每次健身结束后，通过体重测量仪和体脂分析仪对身体信息进行采集，采集信息主要有：体重、体脂率、肌肉含量、含水量、基础代谢率等，并在采集过后计入用户数据库。

信息融合模块：该模块主要对不同传感器返回的不同信息进行处理并判断用户是否符合训练要求。与标准数据库进行对比，设置各种信息的标准值误差为20％(若测量值达到标准值的80％，则认为用户运动达标)。由于在不同健身设备上配备不同的传感器，需要根据实际使用传感器的类型进行信息融合判定：若所使用的传感器各项指标均达标，则认为用户在该运动中符合标准。

纠错模块：若用户在运动中未达标，则使用人机交互界面显示标准测量值及实际测量值，并播放用户运动姿态(在人体姿态检测模块中检测得到)和标准运动姿态视频作对比，纠正用户健身动作。

数据分析模块：使用数据库中的数据，通过后端处理算法分别对用户健身强度、锻炼效果和身体数据变化进行数据分析。

数据库：数据库模块分为标准数据库和用户数据库两种，标准数据库用于存放运动器材的教学视频及由专业健身人员锻炼时获得的传感器测量标准数据，用户数据库用于存储用户信息(身体数据及运动信息等)。

人机交互模块：针对不同的信息绘制数据—时间折线图，使用户更直观地看到通过每次健身后身体部分数据的变化。采用触控显示屏或移动终端app，使用户能查阅数据的同时若有需要能及时进行训练计划的调整。

整个系统构成了一个闭环系统，完成了信息录入、信息采集、信息处理及人机交互的功能，并能根据当前训练状态和用户意愿进行调整，能够完成商用健身房的智能化改造，集智能化、专业化和便捷化为一体，满足健身者的日常需求。

一种商用健身场景下的多感知人机交互方法，具体步骤如下：

S1：通过安装在健身设备上的ID读卡器或人脸识别设备完成个人信息识别，并通过程序记录的身高、体重，上次锻炼结果的信息进行定制化训练，自动调整至合适的健身程序，并使用人机交互模块播放适用于该健身器材的锻炼视频；

S2：通过放置在健身房墙壁不同位置的多个视觉传感器，以一定帧率持续采集用户的躯干动作图像，并采用二维检测器获取每一帧的二维位姿；

S3：利用连续帧的二维位姿作为输入，采用2D-3D提升算法估计中心帧的三维位姿，并进行人员匹配；

S4：心率传感器佩戴于用户腕部，用于检测心率数据，判断用户身体情况；

S5：采用安装于不同健身设备上的力传感器或位移传感器，检测在运动过程中健身者是否达到与该健身者适配的运动强度；

S6：采用肌电信号采集设备，采集健身者运动部位的肌电信号并进行数据处理，判断运动是否对健身者相应部位产生刺激；由于肌电信号采集设备需要在运动过程中采用外设传感器，故根据用户自身需求决定是否使用；

S7：通过对采集到的人体关节点三维数据、力传感器/位移传感器信息以及肌电信号信息的整合处理，判断运动效果，并记录在统计用户信息的数据库中；

S8：通过人机交互模块显示用户信息和锻炼成果，并反馈用户信息。

本发明与现有技术相比较，具有如下显而易见的实质性特点和显著优点：

1)在初次使用时，可通过用户不同的需求进行个性化训练定制，并在每次训练后进行数据更新，若对健身方案不满意，也可自行定制，在提供科学健身方案的同时，解决用户初次尝试健身时入门难、无法得到专业健身方案的问题；

2)使用多传感器融合技术，打造出一个智能化健身房，在该健身房中，用户不需要单独雇佣私教，即可拥有私教般的健身体验，解决了目前健身房教练缺失、专业水平不一且价格昂贵的问题；

3)通过数据分析和对比，提升用户在锻炼过程中的成就感，通过激励的方式解决部分用户在健身时“后劲不足”的问题。

附图说明

图1是本发明的一种商用健身场景下的多感知人机交互系统三维示意图；

图2是本发明中的系统组成框图；

图3是本发明的一种商用健身场景下的多感知人机交互系统流程图；

图4是本发明中信息采集模块的结构示意框图；

图5是本发明中信息处理/记录模块的结构示意框图；

图6是本发明中人机交互模块的结构示意框图。

具体实施方式

下面结合具体实施方式并参照附图，对本发明进行详细说明：

本发明一种商用健身场景下的多感知人机交互系统和方法，提供对人体健身情况的评估，用以代替健身房中的私教，对用户提供技术支持，优化其健身体验。其三维示意图如图1所示，其中，摄像头安装于健身房墙壁四周，通过多摄像头和姿态识别算法采集多人姿态信息，同时减小遮挡问题在姿态识别过程中造成的影响，并根据不同的健身设备安装不同的位移/力传感器，通过对多传感器的信息融合处理判断用户健身合格度，健身设备上安装触控显示屏，并显示分析结果。

如图2所示，一种商用健身场景下的多感知人机交互系统，包括信息采集、信息处理/记录和人机交互三个方面，其中，所述信息采集模块用于采集ID信息以及传感器/人体姿态信息；所述信息处理/记录模块用于进行数据分析和处理，并记录在数据库中，同时进行纠错功能；所述人机交互模块用于显示处理结果和对比分析结果，并同时进行用户反馈。

在用户的实际使用过程中，具体流程如图3所示。首先通过ID检测模块识别个人信息，并从数据库中调用相关用户信息，提取其健身规划并显示，通过传感器检测模块和人体姿态识别模块进行信息采集，将采集到的信息进行信息融合，并将经过处理的数据信息一方面传入纠错模块用以进行锻炼动作错误纠正，另一方面传入数据库进行信息存储。在每次锻炼结束后，通过身体数据测量模块测量身体数据(体重、体脂率、肌肉含量等)并存入数据库。最后，数据分析模块提取数据库中的用户信息并进行分析比较，通过绘制表格、折线图等方式将用户数据在人机交互界面中显示出来，便于用户查看，同时，用户能通过人机交互界面修改健身计划等数据，有利于根据用户实际情况对健身计划做出调整。

所述信息采集部分由ID检测模块、传感器检测模块和人体姿态检测模块组成，如图4所示。其中：所述ID检测模块通过人脸识别和ID读卡器两种方式验证身份信息，并开启健身设备；通过验证后用户相关信息能够在人机交互界面显示；所述传感器检测模块通过位移传感器、力传感器、肌电信号采集装置、心率传感器和视觉传感器获取用户健身信息，并以此判断用户健身情况；所述位移传感器、力传感器的使用视不同健身器材决定，其检测数据与视觉传感器采集的数据用于健身情况分析，肌电信号采集装置用于可视化显示活动部分肌肉，而心率传感器用于检测用户心率，作健康检测，若发生心率异常则及时发出警告；所述人体姿态检测模块通过传感器检测模块中的视觉传感器获得的连续视频帧作为输入，经过二维检测器处理得到二维关键点图像信息，最后通过2D-3D提升算法获取人体姿态信息；通过对人体姿态信息的提取，判定用户运动是否符合标准，并通过人机交互模块提示用户。

各类传感器的使用如下所示：

对于跑步机，可使用跑步机自带的距离传感器获取跑步距离、速度等信息；

对于小腿部弯举器、重锤拉力器、提踵练习器等属专项训练器材，可使用力传感和采集反馈信息；

对于综合性训练器材，需根据实际情况加装位移/力传感器；

肌电信号采集装置作为可穿戴设备，其使用有利于对运动效果的判断，但有增加运动难度或在运动中有干涉的风险，可由用户根据实际情况自行决定是否使用；

心率传感器进行人体健康状态监测，若发生心率过快/过慢等危险行为(达到一定阈值)及时发出警报，同时，该阈值可由用户作调整修改，并需要管理员审核，避免因个人身体状况不同产生的误判；

视觉传感器获取的连续帧图像作为人体姿态检测模块的输入，用以判断用户运动是否达标。

人体姿态检测模块以视觉传感器获得的连续视频帧作为输入，通过二维检测器(OpenPose、CPN、AlphaPose、HRNet等)输出人体二维关键点信息。该二维信息作为2D-3D提升算法的输入，通过提升算法输出人体三维信息。人体识别模块为多人识别，通过多摄像头的信息融合实现对多人检测中遮挡信息的判断，并为不同健身区域设置识别标签，联合ID识别信息，实现不同用户的姿态匹配。

如图5所示，所述信息处理/记录部分由身体数据测量模块、信息融合模块、纠错模块、数据分析模块和数据库五个模块组成，其中：所述身体数据测量模块通过体重测量仪和体脂分析仪两种方式获取身体素质数据传入用户数据库；所述信息融合模块将信息采集模块获取的传感器信息和人体姿态信息作为输入，由后端处理算法对不同的传感器信息与标准数据库进行比较，若数据达到要求，则判定为用户运动姿态标准，并以此作为判定数据传入用户数据库或纠错模块的准则；所述纠错模块以用户未达到健身标准的数据和标准数据库数据作对比，并通过人机交互模块显示，纠正用户健身姿势；所述数据库分为标准数据库和用户数据库两种，标准数据库用于存储标准健身视频、传感器信息的数据信息，用户数据库则用来存储用户身体素质数据、健身数据和健身计划的用户个人信息；所述数据分析模块以用户数据库中的用户数据作为输入，经过数据分析获得用户的身体素质、健身强度和健身计划分析。

以用户数据库为中心，以身体数据测量模块获得的身体素质数据和信息采集部分获得的用户健身数据(经过信息融合模块处理)为输入，并经过数据分析模块处理后输出分析报告，同时包含纠错模块，及时纠正用户运动不到位、运动动作错误等现象。其中，信息采集部分获得的传感器信息和人体姿态信息经过信息融合模块进行信息预处理，并与标准数据库进行对比，判断用户锻炼是否达到标准。对于传感器信息，需将测量数据与标准数据对比，力/位移传感器测量数据达到标准数据的80％(可做调整)则视为达标，由于大部分健身器材主要以计数为计量方式，故动作规范即可将计量数据加1，动作不规范则计量数据不变，最终传入数据库的运动量将为本次健身项目规范动作数量。

系统中人体姿态信息的加入有效避免用户在健身过程中存在错误操作但力/位移传感器无法检测的情况。通过与标准数据库的对比，信息融合模块将用户规范健身数据传递给数据库进行记录，同时将错误数据发送给纠错模块，纠错模块对比运动不规范的数据与标准数据，以视频的方式通过人机交互界面播放用户运动姿态信息与标准运动信息进行对比，帮助用户进行运动错误纠正。而肌电信号采集装置的测量数据经过处理后显示，可使用户更直观地观察到运动相关肌肉数据变化。

身体数据测量模块主要分为体重测量仪和体脂分析仪两部分，由该模块可测量得到用户的身体素质数据，在用户健身完成后，将根据获取到的身体素质数据和用户健身数据更新用户数据库，更新过后的数据会放入数据分析模块中由后端算法进行数据分析，该模块主要由身体素质分析、健身强度分析和健身计划分析三个部分组成，最后将以表格、折线图的形式展现给用户，使用户能够以更直观的方式看到通过健身对自身带来的改变。

人机交互界面模块主要由两部分组成：安装于健身设备的触控显示屏和与用户个人手机绑定的手机app，如图6所示。触控显示屏与健身器材绑定，为保障用户隐私，只显示与该健身器材相关的教学视频和用户数据，并能针对该设备进行健身方案修改和错误纠正；手机app与用户个人手机绑定，能显示用户的所有数据和数据分析结果，并能修改健身方案。人机交互界面被细分为触控显示屏和手机app两个部分，在保障用户隐私的同时，又能有效保证用户根据自身状态对健身方案的修改，并能达到随时查看自身健身效果的目的。最后，在用户完成一个健身项目后，离开该健身器材，在该设备上登录的ID账号自动退出，保障用户隐私安全。

Claims (5)

1.一种商用健身场景下的多感知人机交互系统，其特征在于：包括信息采集、信息处理/记录和人机交互三个方面，其中，所述信息采集部分用于采集ID信息以及传感器/人体姿态信息；所述信息处理/记录部分用于进行数据分析和处理，并记录在数据库中，同时进行纠错功能；所述人机交互部分用于显示处理结果和对比分析结果，并同时进行用户反馈。

2.根据权利要求1所述的商用健身场景下的多感知人机交互系统，其特征在于：所述信息采集部分由ID检测模块、传感器检测模块和人体姿态检测模块组成，其中：所述ID检测模块通过人脸识别和ID读卡器两种方式验证身份信息，并开启健身设备；通过验证后用户相关信息能够在人机交互界面显示；所述传感器检测模块通过位移传感器、力传感器、肌电信号采集装置、心率传感器和视觉传感器获取用户健身信息，并以此判断用户健身情况；所述位移传感器、力传感器的使用视不同健身器材决定，其检测数据与视觉传感器采集的数据用于健身情况分析，肌电信号采集装置用于可视化显示活动部分肌肉，而心率传感器用于检测用户心率，做健康检测，若发生心率异常则及时发出警告；所述人体姿态检测模块通过传感器检测模块中的视觉传感器获得的连续视频帧作为输入，经过二维检测器处理得到二维关键点图像信息，最后通过2D-3D提升算法获取人体姿态信息；通过对人体姿态信息的提取，判定用户运动是否符合标准，并通过人机交互模块提示用户。

3.根据权利要求1所述的商用健身场景下的多感知人机交互系统，其特征在于：所述信息处理/记录部分由身体数据测量模块、信息融合模块、纠错模块、数据分析模块和数据库五个模块组成，其中：所述身体数据测量模块通过体重测量仪和体脂分析仪两种方式获取身体素质数据传入用户数据库；所述信息融合模块将信息采集模块获取的传感器信息和人体姿态信息作为输入，由后端处理算法对不同的传感器信息与标准数据库进行比较，若数据达到要求，则判定为用户运动姿态标准，并以此作为判定数据传入用户数据库或纠错模块的准则；所述纠错模块以用户未达到健身标准的数据和标准数据库数据作对比，并通过人机交互模块显示，纠正用户健身姿势；所述数据库分为标准数据库和用户数据库两种，标准数据库用于存储标准健身视频、传感器信息的数据信息，用户数据库则用来存储用户身体素质数据、健身数据和健身计划的用户个人信息；所述数据分析模块以用户数据库中的用户数据作为输入，经过数据分析获得用户的身体素质、健身强度和健身计划分析。

4.根据权利要求1所述的商用健身场景下的多感知人机交互系统，其特征在于：所述人机交互部分分为安装于健身设备的触控显示屏和与用户手机绑定的手机app两种，触控显示屏与健身设备绑定，播放该健身设备的教学视频，并进行与该设备相关的错误纠正和用户数据显示，并能够修改本次锻炼的计划健身方案，触控显示屏显示内容仅与绑定设备有关，保护用户隐私；手机app与用户个人移动终端绑定，显示用户的完整数据以及数据分析结果，并能够永久修改健身计划。

5.一种商用健身场景下的多感知人机交互方法，其特征在于：具体步骤如下：

S1：通过安装在健身设备上的ID读卡器或人脸识别设备完成个人信息识别，并通过程序记录的身高、体重，上次锻炼结果的信息进行定制化训练，自动调整至合适的健身程序，并使用人机交互模块播放适用于该健身器材的锻炼视频；

S2：通过放置在健身房墙壁不同位置的多个视觉传感器，以一定帧率持续采集用户的躯干动作图像，并采用二维检测器获取每一帧的二维位姿；

S3：利用连续帧的二维位姿作为输入，采用2D-3D提升算法估计中心帧的三维位姿，并进行人员匹配；

S4：心率传感器佩戴于用户腕部，用于检测心率数据，判断用户身体情况；

S5：采用安装于不同健身设备上的力传感器或位移传感器，检测在运动过程中健身者是否达到与该健身者适配的运动强度；

S6：采用肌电信号采集设备，采集健身者运动部位的肌电信号并进行数据处理，判断运动是否对健身者相应部位产生刺激；由于肌电信号采集设备需要在运动过程中采用外设传感器，故根据用户自身需求决定是否使用；

S7：通过对采集到的人体关节点三维数据、力传感器/位移传感器信息以及肌电信号信息的整合处理，判断运动效果，并记录在统计用户信息的数据库中；

S8：通过人机交互模块显示用户信息和锻炼成果，并反馈用户信息。

Images