CN110298221B - 自助健身方法、系统、电子设备、存储介质 - Google Patents

自助健身方法、系统、电子设备、存储介质 Download PDF

Info

Publication number
CN110298221B
CN110298221B CN201810247332.8A CN201810247332A CN110298221B CN 110298221 B CN110298221 B CN 110298221B CN 201810247332 A CN201810247332 A CN 201810247332A CN 110298221 B CN110298221 B CN 110298221B
Authority
CN
China
Prior art keywords
action
vector
identification
joint point
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810247332.8A
Other languages
English (en)
Other versions
CN110298221A (zh
Inventor
冯伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai shibeisi Fitness Management Co.,Ltd.
Original Assignee
Shanghai Shibeisi Fitness Management Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Shibeisi Fitness Management Co ltd filed Critical Shanghai Shibeisi Fitness Management Co ltd
Priority to CN201810247332.8A priority Critical patent/CN110298221B/zh
Publication of CN110298221A publication Critical patent/CN110298221A/zh
Application granted granted Critical
Publication of CN110298221B publication Critical patent/CN110298221B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种自助健身方法、系统、电子设备、存储介质，健身系统包括：第一视频采集模块；显示模块；第一处理模块，执行如下步骤：获取第一视频采集模块采集的视频数据；判断是否有用户进入采集区域，若是则继续执行；判断该用户的脸部特征是否与预存的第一类用户中至少一位的脸部特征相匹配，若是则继续执行；控制显示模块提供健身视频；根据第一视频采集模块实时采集的视频数据生成三维骨骼动作模型；将当前三维骨骼动作模型作为一待测动作，并确定目标动作；对待测动作和目标动作进行匹配，当待测动作不匹配目标动作时进行错误提示。本发明提供的方法及设备能够实现自助健身，并实现实时动作识别和纠错。

Description

自助健身方法、系统、电子设备、存储介质
技术领域
本发明涉及计算机应用技术领域，尤其涉及一种自助健身方法、系统、电子设备、存储介质。
背景技术
人类的动作捕捉及识别方法，在当今社会具有非常广泛的应用，例如：智能监控、人机交互的体感游戏、视频检索等等。
人类的动作检测识别，从基于传统的RGB视频序列过渡到当今流行的RGB-D视频序列，运动轨迹一直作为重要的特征发展着。传统的运动轨迹的捕捉往往基于特征点的检测算法，不同的特征点检测方法会得出完全不同的运动轨迹。同时，由于特征点在不同帧的检索非常不稳定，在整个视频序列中，特征点往往不连续，因此对于特征点轨迹法多采用基于直方图的统计方法，对整个视频序列进行计算并统计后，采用支持向量机等分类器进行分类。
这些视频序列的匹配计算方法计算量大，无法即时响应，也无法适用于民用级别的人机交互，尤其对于动作识别比对和纠错。因此，现有技术对于健身识别纠错的人机交互而言，难以实现系统实时反馈动作是否出错的需求。
此外，现有技术没有一种有效的自助健身方法及健身系统。
发明内容
本发明为了克服上述现有技术存在的缺陷，提供一种自助健身方法、系统、电子设备、存储介质，以实现自助健身，并实现实时动作识别和纠错。
根据本发明的一个方面，提供一种健身系统，包括：第一视频采集模块，用于采集预定采集区域的视频数据；显示模块，用于显示健身视频；第一处理模块，执行如下步骤：S110.获取所述第一视频采集模块采集的视频数据；S120.根据所述视频数据，判断是否有用户进入所述采集区域，若是则继续执行步骤S130；S130.提取所述视频数据中所述用户的脸部特征，并判断该用户的脸部特征是否与预存的第一类用户中至少一位的脸部特征相匹配，若是则继续执行步骤S140；S140.控制所述显示模块提供健身视频，所述健身视频包括多个目标动作；S150.根据所述第一视频采集模块实时采集的视频数据生成三维骨骼动作模型；S160.根据采集时间和所述健身视频的播放时间的映射，将当前三维骨骼动作模型作为一待测动作，并确定所述待测动作所要匹配的目标动作，将该待测动作与该目标动作形成一匹配组；S170.在每一匹配组中，对待测动作和目标动作进行匹配，当待测动作不匹配目标动作时进行错误提示。
可选地，所述步骤S140还包括：控制所述显示模块提供健身视频并进行计时；所述第一处理模块还用于在所述步骤S170之后执行如下步骤：S180.根据用户指示控制所述显示模块停止所述健身视频的播放，并停止计时；S190.根据计时时间计算健身费用，并使所述显示模块显示所述健身费用；S111.提取所述视频数据中所述用户的脸部特征，并判断该用户的脸部特征是否与预存的该用户的支付脸部特征相匹配，若是则继续执行步骤S112；S112自该用户预存的支付账号中扣除所述健身费用。
可选地，所述第一视频采集模块包括三维视频采集器。
可选地，所述第一视频采集模块包括用于采集第一视频数据的二维视频采集器和用于采集第二视频数据的三维视频采集器，其中，所述第一视频数据用于供所述步骤S130提取用户的脸部特征，所述第二视频数据用于：供所述步骤S150生成三维骨骼动作模型；供所述步骤S111提取用户的脸部特征。
可选地，所述健身系统位于一具门体的健身空间内，所述健身系统还包括：门禁模块，所述门禁模块包括：第二视频采集模块，用于采集健身空间外的视频数据；门控模块，用于控制所述门体的开关；以及第二处理模块，用于提取所述第二视频采集模块采集的视频数据中用户的脸部特征，并判断该用户的脸部特征是否与预存的第一类用户中至少一位的脸部特征相匹配，若是，则指示所述门控模块使所述门体打开。
可选地，所述健身空间位于酒店、企业、共享办公区、无人健身仓、健身房、社区中的一个或多个。
可选地，所述健身空间位于酒店内时，所述用户的脸部特征与用户入住的房间标识绑定，其中，所述用户的脸部特征用于解锁用户入住的房间门或者所述房间标识绑定用户入住的房间的门卡。
可选地，若所述第一处理模块或所述第二处理模块判断用户的脸部特征是与预存的第一类用户中至少一位的脸部特征不匹配，则通过如下方式中的一种进行第一类用户的识别：二维码识别；指纹识别；虹膜识别；入住的房间的门卡，当健身空间位于酒店时；健身房储物箱手环，当健身空间位于健身房时；以及员工卡，当健身空间位于企业或共享办公区时。
可选地，所述第一处理模块与所述第二处理模块集成。
可选地，所述目标动作按所述三维骨骼动作模型拆解成五个身体部位：左臂、右臂、左腿、右腿以及躯干，每个所述身体部位均包括：三个骨骼点、三个骨骼点形成的三个向量及所述三个向量中两个向量之间的夹角，
至少一个身体部位的部位动作关联有一个或多个面向过程或者面向位移的识别项，每个识别项包括识别对象、识别参数及识别规则，所述识别对象包括所述三个骨骼点中的至少一个骨骼点；三个向量中的至少一个向量；以及所述三个向量中两个向量之间的一个夹角中的一项或多项，
其中，所述面向过程的识别项还包括一标准过程向量库，所述标准过程向量库按时间顺序储存有所述部位动作的至少一个向量，
所述步骤S170还包括：
依据目标动作的目标部位动作将待测动作划分为相应的待测部位动作，将待测动作的待测部位动作与相应的目标动作的目标部位动作形成一身体部位匹配组；
对每一身体部位匹配组，获取目标部位动作的识别项，依据所述三维骨骼动作模型获取所述待测部位动作对应所述识别对象的骨骼点的坐标、骨骼点形成的向量和/或向量之间的夹角，若所述识别项为面向过程的识别项，则将所述待测部位动作的向量与标准过程向量库中的对应向量进行匹配计算以与所述识别参数设定的向量阈值进行比较，若不符合所述识别规则，则反馈待测部位动作错误。
可选地，将所述待测部位动作的向量与标准过程向量库中的对应向量进行匹配计算以与所述识别参数设定的向量阈值进行比较包括：
计算标准过程向量库中的向量
Figure BDA0001606903120000031
与待测部位动作的向量
Figure BDA0001606903120000032
Figure BDA0001606903120000044
之间夹角θ的余弦值：
Figure BDA0001606903120000041
向量
Figure BDA0001606903120000042
与向量
Figure BDA0001606903120000043
之间的夹角θ的余弦值用于与所述识别参数设定的向量阈值进行比较。
可选地，面向过程的识别项包括轨迹识别、否定轨迹识别及保持识别；面向位移的识别项包括位移识别以及否定位移识别。
可选地，左臂包括：左手腕关节点、左手肘关节点、左肩关节点、左肩关节点至左手肘关节点形成的第一向量、左手肘关节点至左手腕关节点形成的第二向量、左肩关节点至左手腕关节点形成的第三向量以及该第一向量和该第二向量之间的夹角；
右臂包括：右手腕关节点、右手肘关节点、右肩关节点、右肩关节点至右手肘关节点形成的第一向量、右手肘关节点至右手腕关节点形成的第二向量、右肩关节点至右手腕关节点形成的第三向量以及该第一向量和该第二向量之间的夹角；
躯干包括：头部中心、脖子的脊柱中心、躯干的脊柱中心、头部中心至脖子的脊柱中心形成的第一向量、脖子的脊柱中心至躯干的脊柱中心形成的第二向量、头部中心至躯干的脊柱中心形成的第三向量以及该第一向量和该第二向量形成的夹角；
左腿包括：左脚踝关节点、左膝盖关节点、左髋关节点、左髋关节点至左膝盖关节点形成的第一向量、左膝盖关节点至左脚踝关节点形成的第二向量、左髋关节点至左脚踝关节点形成的第三向量以及该第一向量和该第二向量之间的夹角；
右腿包括：右脚踝关节点、右膝盖关节点、右髋关节点、右髋关节点至右膝盖关节点形成的第一向量、右膝盖关节点至右脚踝关节点形成的第二向量、右髋关节点至右脚踝关节点形成的第三向量以及该第一向量和该第二向量之间的夹角。
根据本发明的又一方面，还提供一种自助健身方法，包括：S110.获取第一视频采集模块采集的视频数据；S120.根据所述视频数据，判断是否有用户进入所述采集区域，若是则继续执行步骤S130；S130.提取所述视频数据中所述用户的脸部特征，并判断该用户的脸部特征是否与预存的第一类用户中至少一位的脸部特征相匹配，若是则继续执行步骤S140；S140.控制显示模块提供健身视频，所述健身视频包括多个目标动作；S150.根据所述第一视频采集模块实时采集的视频数据生成三维骨骼动作模型；S160.根据采集时间和所述健身视频的播放时间的映射，将当前三维骨骼动作模型作为一待测动作，并确定所述待测动作所要匹配的目标动作，将该待测动作与该目标动作形成一匹配组；S170.在每一匹配组中，对待测动作和目标动作进行匹配，当待测动作不匹配目标动作时进行错误提示。
根据本发明的又一方面，还提供一种电子设备，所述电子设备包括：处理器；存储介质，其上存储有计算机程序，所述计算机程序被所述处理器运行时执行如上所述的步骤。
根据本发明的又一方面，还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上所述的步骤。
相比现有技术，本发明通过对人脸特征的复用实现健身视频播放的触发、计费、动作识别及支付。此外，本发明通过对人脸特征的复用实现健身空间的门禁系统。由此，本发明可以实现有效的自助健身。本发明还通过实时采集直播视频形成三维骨骼模型来确定目标动作，并将实时采集的待测动作与目标动作进行对比，对于实时采集的每个待测动作，且按身体构造，简化骨骼点，以三个骨骼点为单位将动作划分为待测部位动作，并以面向过程和面向位移的识别项对待测部位动作进行识别，且在面向过程的识别项中通过实时采集的骨骼点构成的向量和一标准过程向量库中的向量进行简单的计算以与设定的向量阈值进行比较，骨骼点和向量的设定及匹配识别的过程计算量较小，能够实现实时的反馈，不会产生待测动作错误识别反馈延迟的现象。
附图说明
通过参照附图详细描述其示例实施方式，本发明的上述和其它特征及优点将变得更加明显。
图1示出了根据本发明实施例的自助健身方法的流程图；
图2示出了根据本发明实施例的健身系统的示意图；
图3和图4示出了根据本发明实施例的健身空间的示意图；
图5示出了根据本发明实施例的健身空间位于酒店大堂的平面示意图；
图6示出了根据本发明实施例的骨骼模型的示意图；
图7至图11示出了根据本发明实施例的5个身体部位的示意图；
图12示出了根据本发明实施例的标准过程向量库中向量与实时采集向量的对比；
图13和图14分别示出了根据本发明实施例的标准过程向量库中向量间的夹角与实时采集向量间的夹角；
图15示意性示出本公开示例性实施例中一种计算机可读存储介质示意图。
图16示意性示出本公开示例性实施例中一种电子设备示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所述的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
首先结合图1和图2本发明提供的自助健身方法及健身系统。图1示出了根据本发明实施例的自助健身方法的流程图。图2示出了根据本发明实施例的健身系统的示意图。
健身系统100包括第一视频采集模块101、显示模块102及第一处理模块103。
第一视频采集模块101可以是一个三维视频采集器。在一些变化例中，第一视频采集模块101也可以包括一个二维视频采集器及一个三维视频采集器。本发明并非以此为限，第一视频采集模块101可以包括的视频采集器的数量和种类并非以此为限。第一视频采集模块101用于采集预定采集区域的视频数据。预定采集区域例如可以是健身空间内的区域。可以理解，健身空间可以是第一视频采集模块101可以采集到视频的区域，或者通过墙或其他实体划分出的区域。显示模块102用于显示健身视频。
第一处理模块103用于执行图1所示的步骤。图1共示出了8个步骤：
步骤S110：获取所述第一视频采集模块101采集的视频数据。
步骤S120：根据所述视频数据，判断是否有用户进入所述采集区域，若是则继续执行步骤S130，若否则重新执行步骤S120。
步骤S130：提取所述视频数据中所述用户的脸部特征，并判断该用户的脸部特征是否与预存的第一类用户中至少一位的脸部特征相匹配，若是则继续执行步骤S140，若否则执行步骤S180。
具体而言，第一类用户为已经注册的用户，步骤S180用于当识别用户未注册时，向用户提供注册界面。
人脸识别例如可以通过首先建立人脸的面像档案。即用摄像机采集单位人员的人脸的面像文件或取他们的照片形成面像文件，并将这些面像文件生成面纹(Faceprint)编码贮存起来。获取当前的人体面像。即用摄像机捕捉的当前出入人员的面像，或取照片输入，并将当前的面像文件生成面纹编码。用当前的面纹编码与档案库存的比对。即将当前的面像的面纹编码与档案库存中的面纹编码进行检索比对。上述的“面纹编码”方式是根据人脸脸部的本质特征和开头来工作的。这种面纹编码可以抵抗光线、皮肤色调、面部毛发、发型、眼镜、表情和姿态的变化，具有强大的可靠性，从而使它可以从百万人中精确地辨认出某个人。人脸的识别过程，利用普通的图像处理设备就能自动、连续、实时地完成。
步骤S140：控制所述显示模块102提供健身视频，所述健身视频包括多个目标动作。
具体而言，在一些实施例中，第一处理模块103控制所述显示模块提供健身视频的同时进行计时。
具体而言，在本案中，对每个人体设定有15个骨骼点(可参见图6)，该15个骨骼点为：头部中心211、颈部中心(例如脖子的脊柱中心)212、躯干中心213(例如躯干的脊柱中心)、左肩关节点221、左手肘关节点222、左手腕关节点223、右肩关节点231、右手肘关节点232、右手腕关节点233、左髋关节点241、左膝盖关节点242、左脚踝关节点243、右髋关节点251、右膝盖关节点252、右脚踝关节点253。
本案中对这15个骨骼点以3个骨骼点为单位，划分成五个身体部分：躯干(见图7)、左臂(见图8)、右臂(见图9)、左腿(见图10)及右腿(见图11)。其中，各身体部位内的骨骼点之间还形成向量，向量之间还形成夹角。
具体而言，躯干(见图7)包括头部中心211、脖子的脊柱中心212、躯干的脊柱中心213、头部中心211至脖子的脊柱中心212形成的第一向量214、脖子的脊柱中心212至躯干的脊柱中心213形成的第二向量215、头部中心211至躯干的脊柱中心213形成的第三向量216以及该第一向量214和该第二向量215形成的夹角217。
左臂(见图8)包括左手腕关节点223、左手肘关节点222、左肩关节点221、左肩关节点221至左手肘关节点222形成的第一向量224、左手肘关节点222至左手腕关节点223形成的第二向量225、左肩关节点221至左手腕关节点223形成的第三向量226以及该第一向量224和该第二向量225之间的夹角227。
右臂(见图9)包括右手腕关节点233、右手肘关节点232、右肩关节点231、右肩关节点231至右手肘关节点232形成的第一向量234、右手肘关节点232至右手腕关节点233形成的第二向量235、右肩关节点231至右手腕关节点233形成的第三向量236以及该第一向量234和该第二向量235之间的夹角237。
左腿包括(见图10)包括左脚踝关节点243、左膝盖关节点242、左髋关节点241、左髋关节点241至左膝盖关节点242形成的第一向量244、左膝盖关节点242至左脚踝关节点243形成的第二向量245、左髋关节点241至左脚踝关节点243形成的第三向量246以及该第一向量244和该第二向量245之间的夹角247。
右腿包括(见图11)包括右脚踝关节点253、右膝盖关节点252、右髋关节点251、右髋关节点251至右膝盖关节点252形成的第一向量254、右膝盖关节点252至右脚踝关节点253形成的第二向量255、右髋关节点251至右脚踝关节点253形成的第三向量256以及该第一向量254和该第二向量255之间的夹角。
设定较少的具有代表性的关节点作为骨骼点，以在直播场景中动作识别和纠错时减少计算量。
将该目标动作按拆解成五个身体部位：左臂、右臂、左腿、右腿以及躯干。每个身体部位均包括如图7至图11所示的三个骨骼点、三个骨骼点形成的三个向量及所述三个向量中两个向量之间的夹角。至少一个身体部位的目标部位动作对应一个或多个面向过程或者面向位移的识别项。每个识别项包括识别对象、识别参数及识别规则，所述识别对象包括部位动作所述三个骨骼点中的至少一个骨骼点；三个向量中的至少一个向量；以及所述三个向量中两个向量之间的一个夹角中的一项或多项。
对于部位动作的识别项为面向过程还是面向位移可以通过预先设置动作库和相应的分类来实现。在又一些实施例中，还可以通过机器学习的方式，通过多个部位动作和设定的面向过程还是面向位移的标记的测试集训练机器学习的模型，进而可在直播过程中对于目标动作划分的部分动作进行分类。
面向过程的识别项需通过一标准过程向量库与实时采集的向量进行匹配进而判断是否符合识别项。标准过程向量库以一采样频率按时间顺序储存有所述部位动作的至少一个向量。例如，对于俯卧撑的左腿动作，以5次/秒的采样频率按时间顺序至少储存左臂的第一向量224、第二向量225(和夹角227)，作为一标准过程向量库。
具体而言，面向过程的所述识别项包括轨迹识别、否定轨迹识别及保持识别；面向位移的所述识别项包括位移识别以及否定位移识别。
轨迹识别用于识别该部位动作是否按照预定轨迹运动，若未按照预定轨迹运动，则提示出错。其识别对象包括所述三个向量中的至少一个向量和/或所述三个向量中两个向量之间的一个夹角。对应于识别对象，识别参数设定一个或多个阈值。阈值包括所述三个向量的向量阈值及所述夹角的夹角阈值，所述识别参数依据所述识别对象确定采用向量阈值和/或夹角阈值。
具体而言，上述向量阈值及夹角阈值用于判断实时采集的向量(及夹角)是否与该标准过程向量库中的向量(及夹角)相匹配。例如，可参考图12，对于向量阈值，当实时采集一部位动作的骨骼点222至骨骼点293的向量
Figure BDA0001606903120000101
按时间在标准过程向量库中查找到对应时间的对应骨骼点222至骨骼点223的向量
Figure BDA0001606903120000102
计算标准过程向量库中的向量
Figure BDA0001606903120000103
与实时采集的部位动作的向量
Figure BDA0001606903120000104
Figure BDA0001606903120000105
之间夹角θ的余弦值：
Figure BDA0001606903120000106
向量
Figure BDA0001606903120000107
与向量
Figure BDA0001606903120000108
之间的夹角θ的余弦值(余弦值为-1到1)用于与所述识别参数设定的向量阈值进行比较。向量阈值可以设置为0.1，对应的向量阈值为-1至0.1。向量阈值的范围也可以直接设置为-0.1至0.1。可依据该向量阈值与所计算的余弦值进行比较以确定向量
Figure BDA0001606903120000109
是否在该向量阈值范围内。
例如，在设置夹角阈值的实施例中，所述标准过程向量库按时间顺序至少储存有所述部位动作的第一向量及第二向量，可以依据两个向量计算向量之间的夹角或者直接将该夹角储存在标准过程向量库中。参考图13及图14，夹角阈值用于与实时采集的部位动作的(骨骼点292至骨骼点291)的第一向量294和(骨骼点292至骨骼点293)的第二向量295之间的夹角297α与标准过程向量库中对应时间的(骨骼点222至骨骼点221)的第一向量224和(骨骼点222至骨骼点223)的第二向量225之间的夹角227β的比值α/β比较以确定实时采集的部位动作的夹角是否位于所述夹角阈值的范围内。向量阈值可以设置为0.8，对应的向量阈值为0.8至1。向量阈值的范围也可以直接设置为0.8至1。可依据该夹角阈值与所计算的夹角比值进行比较以确定第一向量和第二向量之间的夹角是否在该向量阈值范围内。
进一步地，轨迹识别的识别参数还包括一起始幅度阈值及达成幅度阈值，起始幅度阈值用于判断部位动作是否开始，达成幅度阈值用于判断部位动作结束是否完成达成幅度。具体而言，可以设置一部位动作的夹角的起始最大值，并设置起始幅度阈值为0.8(或其他0至1中间的值)。当部位动作的夹角到达该起始最大值的80％时，可以判断部位动作开始。对于达成幅度阈值，可以设置一部位动作的夹角的达成最大值，并设置达成幅度阈值为0.2(或其他0至1中间的值)。当部位动作的夹角到达该达成最大值的(1-20％)时，可以判断部位动作完成达成幅度。在一些变化例中，也可采用向量和/或骨骼点的坐标来计算上述起始幅度阈值和达成幅度阈值。上述起始最大值和达成最大值可作为标准过程向量库中的第一个数据和最后一个数据。或者，在另一些实施例中，起始幅度阈值和达成幅度阈值都采用标准过程向量库中的最后一个数据来进行计算，此时，起始幅度阈值例如可以设置为0.2，达成幅度阈值例如也可以设置为0.2。
对应于上述设定的识别对象和识别参数，轨迹识别的识别规则包括达成规则及可选不同的错误规则。轨迹识别的达成规则为该部位动作的识别对象起始于起始幅度阈值所表示的位置且识别对象均在所设定的向量阈值和/或夹角阈值内；该部位动作的识别对象从起始幅度阈值所表示的位置到达成幅度阈值所表示的位置的过程中，识别对象均在所设定的向量阈值和/或夹角阈值内；并且该部位动作的识别对象到达达成幅度阈值所表示的位置且识别对象均在所设定的向量阈值和/或夹角阈值内。轨迹识别的不同的错误规则包括：超出对应向量阈值错误(例如，向量一所表示的大臂或大腿超出阈值)；超出对应夹角阈值错误(例如，夹角所表示的手肘处的夹角或膝盖处的夹角超出阈值)；及幅度不够错误。幅度不够错误的识别规则为该部位动作的识别对象起始于起始幅度阈值所表示的位置且识别对象均在所设定的向量阈值和/或夹角阈值内；该部位动作的识别对象从起始幅度阈值所表示的位置到达成幅度阈值所表示的位置的过程中，识别对象均在所设定的向量阈值和/或夹角阈值内；并且该部位动作的识别对象未到达达成幅度阈值所表示的位置且识别对象均在所设定的向量阈值和/或夹角阈值内。
否定轨迹识别用于识别该部位动作是否按照预定轨迹运动，若按照预定轨迹运动，则提示出错。对于否定轨迹识别，其与轨迹识别类似，识别对象包括所述三个向量中的至少一个向量和/或所述三个向量中两个向量之间的一个夹角(优选地，为第一向量和第二向量之间的夹角)。否定轨迹识别的识别参数设定一个或多个阈值，所述阈值包括所述三个向量的向量阈值及所述夹角的夹角阈值，所述识别参数依据所述识别对象确定采用向量阈值和/或夹角阈值。否定轨迹识别与轨迹识别不同的是，否定轨迹识别达成规则为：该部位动作的识别对象起始于起始幅度阈值所表示的位置且识别对象均在所设定的向量阈值和/或夹角阈值内；该部位动作的识别对象从起始幅度阈值所表示的位置到达成幅度阈值所表示的位置的过程中，识别对象均在所设定的向量阈值和/或夹角阈值内；该部位动作的识别对象到达达成幅度阈值所表示的位置且识别对象均在所设定的向量阈值和/或夹角阈值内；并且当前有除了否定识别和保持识别以外的识别正处于动作进行中的状态(换言之，轨迹或位移幅度正在增长)。当达成上述规则，则提示轨迹出错。换言之，若识别对象在该身体部位的运动过程中始终不在所述识别参数设定的阈值范围内，并且所述识别对象所表示的部位动作在运动过程中产生轨迹和/或位移，则将不提示出错。
保持识别用于识别部位动作在运动过程中是否保持在某一状态下(例如，保持直立或保持一弯曲角度)，若未保持在该状态下则提示出错。保持识别的识别对象包括所述三个向量中的至少一个向量和/或所述三个向量中两个向量之间的一个夹角。识别参数设定一个或多个阈值，所述阈值包括所述三个向量的向量阈值及所述夹角的夹角阈值，识别参数依据所述识别对象确定采用向量阈值和/或夹角阈值。保持识别的达成规则为：该部位动作的识别对象始终在所设定的向量阈值和/或夹角阈值内。若未达成保持识别的达成规则，则提示对应保持识别的错误。
对于位移识别和否定位移识别，尽管此处描述为面向位移而非面向对象的识别项，但位移识别和否定位移识别实际还需识别部位动作是否处于持续的运动状态，若部位动作并未处于持续的运动状态则中断识别，直接提示错误；或者从当前位置开始重新进行识别。
位移识别用于判断识别对象是否达到预定的位移方向和位移距离，若未达到则提示出错。位移识别的识别对象包括三个骨骼点中的一个或多个。优选地，指定该部位动作的一个骨骼点。识别参数设定位移距离、位移方向(位移方向可映射至三维坐标中的X轴正方向、X轴负方向、Y轴正方向、Y轴负方向、Z轴正方向、Z轴负方向，无需计算具体的位移方向)及起始幅度阈值。位移的起始幅度阈值为0至1中的值。例如，起始幅度阈值可以设置为0.2，并表示当指定骨骼点的位移超过设定位移距离的20％时，该部位动作开始或位移识别开始。位移识别的识别规则包括达成规则及可选不同的错误规则。位移识别的达成规则为指定骨骼点的移动方向与识别参数中设置的位移方向一致，且一次持续运动的位移距离大于等于识别参数中设置的位移距离。不同的错误规则包括指定骨骼点的位移未超过起始幅度阈值时，提示起始动作幅度不够；指定骨骼点位移幅度超过起始幅度阈值、指定骨骼点的移动方向与识别参数中设置的位移方向一致并且一次持续运动的位移距离小于识别参数中设置的位移距离，则提示达成幅度不够。
否定位移识别用于判断识别对象是否达到预定的位移方向和位移距离，若达到则提示出错。与位移识别类似，识别对象包括三个骨骼点中的一个或多个。优选地，指定该部位动作的一个骨骼点。识别参数设定位移距离、位移方向(位移方向可映射至三维坐标中的X轴正方向、X轴负方向、Y轴正方向、Y轴负方向、Z轴正方向、Z轴负方向)及起始幅度阈值。否定位移识别的达成规则为指定骨骼点的移动方向与识别参数中设置的位移方向一致、一次持续运动的位移距离大于等于识别参数中设置的位移距离并且当前有除了否定识别和保持识别以外的识别正处于动作进行中的状态(换言之，轨迹或位移幅度正在增长)。当达成上述规则，则提示轨迹出错。换言之，若识别对象在该身体部位的运动过程中不按所述识别参数设定的位移方向移动或者移动距离大于所述识别参数设定的位移距离，则不提示出错。
对一个动作的至少一个部位动作设置上述识别项，将至少一个部位动作及所述至少一个部位动作的识别项作为该动作的动作文件，将该动作文件与该动作编号关联地储存在所述标准动作数据库中。
在一个具体实施例中，对于深蹲动作，其对躯干、左腿和右腿设置了识别项。躯干的识别项包括保持识别和位移识别。躯干的保持识别中，识别对象仅为头部中心到颈部的脊椎中心的第一向量，相应地设置该第一向量的参数，并保存由躯干的第一向量在深蹲过程中的标准过程向量库以供后续匹配。当实时采集的躯干的第一向量超过第一向量的阈值，则表示身体未保持直立，提示出错。此处，由于躯干的特性，当头部中心到颈部的脊椎中心的第一向量保持直立时，一般可直接认定颈部的脊椎中心到躯干的脊柱中心的第二向量也保持直立，仅设定一个向量的阈值，以减少后续计算量，提高后续实时纠错的效率。
躯干的位移识别中，识别对象为躯干的脊柱中心的骨骼点，对应的识别参数为该骨骼点的预定位移距离及预定的位移方向(方向为Y轴负方向)。当躯干的脊柱中心沿Y轴负方向移动超过预定距离时，则表示部位动作的该识别达成。若躯干的脊柱中心沿Y轴负方向移动未超过预定位移距离时，则表示部位动作的幅度不够。
左腿设置有否定位移识别，用于提醒深蹲中膝盖不能超过脚尖。左腿的否定位移识别中，识别对象为左膝盖的关节点，识别参数为预定位移距离、预定的位移方向(方向为Z轴正方向)及起始幅度阈值。当左膝盖沿Z轴正方向移动超过预定位移距离时，则提示表示部位动作错误。当左膝盖沿Z轴正方向移动未超过预定位移距离时，则表示部位动作的该识别达成。右腿的识别项与左腿相同，在此不予赘述。
在有一些具体实施例中，对于深蹲、俯卧撑等具有来回的动作，可仅对来和回中间的一个过程来进行设定和识别。例如，仅对深蹲下蹲时的动作进行识别项的设定和识别纠错；仅对俯卧撑俯卧时的动作进行识别项的设定和识别纠错，由此可进一步减少动作识别的计算量以增加纠错的实时性。
步骤S150：根据所述第一视频采集模块101实时采集的视频数据生成三维骨骼动作模型。
在一些实施例中，第一视频采集模块101可以设置有三维视频采集器。三维视频采集器可以是三维景深红外摄像头或其他可以直接获取三维视频数据的摄像头，可利用3D建模工具制作动作模型动画，人物模型存在识别人体需要的上述15个骨骼点。模型动作动画必须符合标准的视频规范动作要求。做好的人物模型导出，导入Unity3D(三维游戏开发工具)的工程中，将模型中的15个骨骼点绑定到指定的记录3D位置的变量，运行程序，以合适的帧率记录每一帧的由骨骼点构成的上述15个向量，帧率的大小手动调节，使帧数在15到30左右适中即可。
在一个实施例中，实时采集的采样频率可与标准过程向量库中的采样频率相等，或者实时采集的采样频率可以大于标准过程向量库中的采样频率。当实时采集的采样频率可以大于标准过程向量库中的采样频率时，同一时间范围内的向量的多个数据与标准过程向量库中的向量的一个数据进行匹配计算。
步骤S160：根据采集时间和所述健身视频的播放时间的映射，将当前三维骨骼动作模型作为一待测动作，并确定所述待测动作所要匹配的目标动作，将该待测动作与该目标动作形成一匹配组。
具体而言，健身视频中播放多个动作，例如，在一健身视频中播放了2次深蹲、2次俯卧撑及2次卷腹。其中，时间0:0:05-0:0:10为深蹲动作，时间0:0:15-0:0:20为深蹲动作，时间0:0:25-0:0:30为俯卧撑动作，时间0:0:35-0:0:40为俯卧撑动作，时间0:0:45-0:0:50为卷腹动作，时间0:0:55-0:0:55为卷腹动作。当实时采集的时间为0:0:25时，则可判断当前的待测动作所要匹配的目标动作为俯卧撑。
步骤S170：在每一匹配组中，对待测动作和目标动作进行匹配，当待测动作不匹配目标动作时进行错误提示。
具体而言，步骤S170在每一匹配组中，依据目标动作的目标部位动作将待测动作划分为相应的待测部位动作，将待测动作的待测部位动作与相应的目标动作的目标部位动作形成一身体部位匹配组。
例如，将待测动作划分为左臂、右臂、左腿、右腿以及躯干五个待测部位动作。若目标动作的左臂、右臂以及躯干设置有识别项，则将左臂的待测部位动作与目标部位动作作为一身体部位匹配组；将右臂的待测部位动作与目标部位动作作为一身体部位匹配组；将躯干的待测部位动作与目标部位动作作为一身体部位匹配组。
形成身体部位匹配组后，步骤S170还对每一身体部位匹配组，获取目标部位动作的识别项，依据所述三维骨骼动作模型获取所述待测部位动作对应所述识别对象的骨骼点的坐标、骨骼点形成的向量和/或向量之间的夹角，按照上述步骤S140中所述的不同的识别项的内容进行识别和纠错。
在本发明的一个变化例中，还可以通过第一视频采集模块101采集的视频数据进行健身费用的支付。具体而言，第一处理模块103在步骤S170之后还可以执行如下步骤：：
首先，根据用户指示控制所述显示模块102停止所述健身视频的播放，并停止计时。用户指示例如可以是对显示模块102的触控操作、识别到用户进行了预定的指示动作、或者语音控制等等。然后，根据计时时间计算健身费用，并使所述显示模块102显示所述健身费用。之后，提取第一视频采集模块101所采集的视频数据中所述用户的脸部特征，并判断该用户的脸部特征是否与预存的该用户的支付脸部特征相匹配，若是则自该用户预存的支付账号中扣除所述健身费用，若否则可提示该用户存入其支付脸部特征。
在上述实施例的一个优选例中，所述第一视频采集模块101包括用于采集第一视频数据的二维视频采集器和用于采集第二视频数据的三维视频采集器。其中，所述第一视频数据用于供所述步骤S130提取用户的脸部特征，所述第二视频数据用于供所述步骤S150生成三维骨骼动作模型及支付时提取的用户的脸部特征。由于触发显示模块102显示健身视频无需非常精确的脸部识别，因此，可仅利用二维的视频数据来进行操作。而动作匹配及人脸支付都需要精确的脸部识别，以实现动作纠错并保证支付的安全性，因此采用三维视频数据来进行操作。此外，可控制二维视频采集器优先启动，以减少健身系统的能耗。在又一些实施例中，若第一视频采集模块101仅包括三维视频采集器，可对获取的视频数据的图像帧中首先识别用户的脸部特征，其次再进行三维骨骼动作模型的生成。
在本发明的又一个变化例中，结合图2至图4，所述健身系统100位于一具门体310的健身空间300内。健身空间300例如可以是可移动的健身仓或者与环境(如墙体)结合设置的健身区域。健身系统100还包括门禁模块104。所述门禁模块104包括第二视频采集模块105、门控模块106以及第二处理模块107。第二视频采集模块105用于采集健身空间300外的视频数据。第二视频采集模块105例如可以是二维视频采集器。门控模块106用于控制所述门体310的开关。第二处理模块107用于提取所述第二视频采集模块105采集的视频数据中用户400的脸部特征，并判断该用户的脸部特征是否与预存的第一类用户中至少一位的脸部特征相匹配，若是，则指示所述门控模块106使所述门体310打开。在一些实施例中，第一视频采集模块101和第二视频采集模块105可以复用。在又一些实施例中，所述第一处理模块103与所述第二处理模块107集成在一起。当用户400通过门禁模块106进入健身空间300后，可以继续通过图1所示的步骤进行自助健身。
在本发明的又一个变化例中，健身空间920位于酒店大堂900，如图5所示。图5示出了根据本发明实施例的健身空间位于酒店大堂的平面示意图。当健身空间920位于酒店大堂900时，用户在酒店前台910办理入住手续，并可获取其脸部特征以与用户入住的房间标识进行绑定。若该酒店房间的门禁也采用人脸识别时，可使用户的脸部特征解锁用户入住房间的门禁和健身空间920的门禁922。若该酒店房间的采用门卡开启时，用户的脸部特征可与门卡进行关联以与用户入住的房间标识进行绑定。这样的实施例，使得用户进入健身空间920利用集成有第一视频采集模块、显示模块、及第一处理模块的健身模块921进行健身计时后，其费用可与房费一并支付由此避免用户多次支付带来的不便。
在本发明的另一些实施例中，健身空间还可以位于企业、共享办公区、无人健身仓、健身房、社区等。当第一处理模块或第二处理模块判断用户的脸部特征是与预存的第一类用户中至少一位的脸部特征不匹配，本发明还可以通过二维码识别(根据临时密钥生成二维码供健身系统扫描或者根据临时密钥生成二维码供移动终端扫描)、指纹识别、虹膜识别、入住的房间的门卡(当健身空间位于酒店时)、健身房储物箱手环(当健身空间位于健身房时)以及员工卡(当健身空间位于企业或共享办公区时)等。以上仅仅是示意性地描述本发明提供的多个实施例，本发明并非以此为限，在不违背本发明构思的前提下，各特征的变化及不同的实施方式都在本发明的保护范围之内。
相比现有技术，本发明通过对人脸特征的复用实现健身视频播放的触发、计费、动作识别及支付。此外，本发明通过对人脸特征的复用实现健身空间的门禁系统。由此，本发明可以实现有效的自助健身。本发明还通过实时采集直播视频形成三维骨骼模型来确定目标动作，并将实时采集的待测动作与目标动作进行对比，对于实时采集的每个待测动作，且按身体构造，简化骨骼点，以三个骨骼点为单位将动作划分为待测部位动作，并以面向过程和面向位移的识别项对待测部位动作进行识别，且在面向过程的识别项中通过实时采集的骨骼点构成的向量和一标准过程向量库中的向量进行简单的计算以与设定的向量阈值进行比较，骨骼点和向量的设定及匹配识别的过程计算量较小，能够实现实时的反馈，不会产生待测动作错误识别反馈延迟的现象。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被例如处理器执行时可以实现上述任意一个实施例中所述电子处方流转处理方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。
参考图15所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品300，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在租户计算设备上执行、部分地在租户设备上执行、作为一个独立的软件包执行、部分在租户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到租户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
可以以一种或多种程序设计集成开发环境(IDE，Integrated DevelopmentEnvironment)，游戏开发引擎的任意组合来建立用于执行本发明操作的工程程序，例如Unity3D，Unreal，Visual Studio等。
在本公开的示例性实施例中，还提供一种电子设备，该电子设备可以包括处理器，以及用于存储所述处理器的可执行指令的存储器。其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一个实施例中所述电子处方流转处理方法的步骤。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图16来描述根据本发明的这种实施方式的电子设备600。图16显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图16所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图1中所述的步骤。
所述存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
所述存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得租户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本公开实施方式的上述电子处方流转处理方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

Claims (14)

1.一种健身系统，其特征在于，包括：
第一视频采集模块，用于采集预定采集区域的视频数据；
显示模块，用于显示健身视频；
第一处理模块，执行如下步骤：
S110.获取所述第一视频采集模块采集的视频数据；
S120.根据所述视频数据，判断是否有用户进入所述采集区域，若是则继续执行步骤S130；
S130.提取所述视频数据中所述用户的脸部特征，并判断该用户的脸部特征是否与预存的第一类用户中至少一位的脸部特征相匹配，若是则继续执行步骤S140；
S140.控制所述显示模块提供健身视频，所述健身视频包括多个目标动作；
S150.根据所述第一视频采集模块实时采集的视频数据生成三维骨骼动作模型；
S160.根据采集时间和所述健身视频的播放时间的映射，将当前三维骨骼动作模型作为一待测动作，并确定所述待测动作所要匹配的目标动作，将该待测动作与该目标动作形成一匹配组；
S170.在每一匹配组中，对待测动作和目标动作进行匹配，当待测动作不匹配目标动作时进行错误提示，
所述目标动作按所述三维骨骼动作模型拆解成五个身体部位：左臂、右臂、左腿、右腿以及躯干，每个所述身体部位均包括：三个骨骼点、三个骨骼点形成的三个向量及所述三个向量中两个向量之间的夹角，
至少一个身体部位的部位动作关联有一个或多个面向过程或者面向位移的识别项，每个识别项包括识别对象、识别参数及识别规则，所述识别对象包括所述三个骨骼点中的至少一个骨骼点；三个向量中的至少一个向量；以及所述三个向量中两个向量之间的一个夹角中的一项或多项，
其中，所述面向过程的识别项还包括一标准过程向量库，所述标准过程向量库按时间顺序储存有所述部位动作的至少一个向量，
所述步骤S170还包括：
依据目标动作的目标部位动作将待测动作划分为相应的待测部位动作，将待测动作的待测部位动作与相应的目标动作的目标部位动作形成一身体部位匹配组；
对每一身体部位匹配组，获取目标部位动作的识别项，依据所述三维骨骼动作模型获取所述待测部位动作对应所述识别对象的骨骼点的坐标、骨骼点形成的向量和/或向量之间的夹角，若所述识别项为面向过程的识别项，则将所述待测部位动作的向量与标准过程向量库中的对应向量进行匹配计算以与所述识别参数设定的向量阈值进行比较，若不符合所述识别规则，则反馈待测部位动作错误，其中，
面向过程的识别项包括轨迹识别、否定轨迹识别及保持识别，轨迹识别用于识别该部位动作是否按照预定轨迹运动，若未按照预定轨迹运动，则提示出错，否定轨迹识别用于识别该部位动作是否按照预定轨迹运动，若按照预定轨迹运动，则提示出错，保持识别用于识别部位动作在运动过程中是否保持在某一状态下，若未保持在该状态下则提示出错；
面向位移的识别项包括位移识别以及否定位移识别，位移识别用于判断识别对象是否达到预定的位移方向和位移距离，若未达到则提示出错，否定位移识别用于判断识别对象是否达到预定的位移方向和位移距离，若达到则提示出错。
2.如权利要求1所述的健身系统，其特征在于，所述步骤S140还包括：控制所述显示模块提供健身视频并进行计时；
所述第一处理模块还用于在所述步骤h之后执行如下步骤：
S180.根据用户指示控制所述显示模块停止所述健身视频的播放，并停止计时；
S190.根据计时时间计算健身费用，并使所述显示模块显示所述健身费用；
S111.提取所述视频数据中所述用户的脸部特征，并判断该用户的脸部特征是否与预存的该用户的支付脸部特征相匹配，若是则继续执行步骤S112；
S112.自该用户预存的支付账号中扣除所述健身费用。
3.如权利要求2所述的健身系统，其特征在于，所述第一视频采集模块包括三维视频采集器。
4.如权利要求2所述的健身系统，其特征在于，所述第一视频采集模块包括用于采集第一视频数据的二维视频采集器和用于采集第二视频数据的三维视频采集器，
其中，所述第一视频数据用于供所述步骤S130提取用户的脸部特征，
所述第二视频数据用于：
供所述步骤S150生成三维骨骼动作模型；
供所述步骤S111提取用户的脸部特征。
5.如权利要求1所述的健身系统，其特征在于，所述健身系统位于一具门体的健身空间内，所述健身系统还包括：
门禁模块，所述门禁模块包括：
第二视频采集模块，用于采集健身空间外的视频数据；
门控模块，用于控制所述门体的开关；以及
第二处理模块，用于提取所述第二视频采集模块采集的视频数据中用户的脸部特征，并判断该用户的脸部特征是否与预存的第一类用户中至少一位的脸部特征相匹配，若是，则指示所述门控模块使所述门体打开。
6.如权利要求5所述的健身系统，其特征在于，所述健身空间位于酒店、企业、共享办公区、无人健身仓、健身房、社区中的一个或多个。
7.如权利要求6所述的健身系统，其特征在于，所述健身空间位于酒店内时，所述用户的脸部特征与用户入住的房间标识绑定，其中，所述用户的脸部特征用于解锁用户入住的房间门或者所述房间标识绑定用户入住的房间的门卡。
8.如权利要求1所述的健身系统，其特征在于，若所述第一处理模块或所述第二处理模块判断用户的脸部特征是与预存的第一类用户中至少一位的脸部特征不匹配，则通过如下方式中的一种进行第一类用户的识别：
二维码识别；
指纹识别；
虹膜识别；
入住的房间的门卡，当健身空间位于酒店时；健身房储物箱手环，当健身空间位于健身房时；以及
员工卡，当健身空间位于企业或共享办公区时。
9.如权利要求5所述的健身系统，其特征在于，所述第一处理模块与所述第二处理模块集成在一起。
10.如权利要求1所述的健身系统，其特征在于，将所述待测部位动作的向量与标准过程向量库中的对应向量进行匹配计算以与所述识别参数设定的向量阈值进行比较包括：
计算标准过程向量库中的向量
Figure FDA0003261097660000041
(xai，yai，zai)与待测部位动作的向量
Figure FDA0003261097660000045
(xbi，ybi，zbi)之间夹角θ的余弦值：
Figure FDA0003261097660000042
向量
Figure FDA0003261097660000043
与向量
Figure FDA0003261097660000044
之间的夹角θ的余弦值用于与所述识别参数设定的向量阈值进行比较。
11.如权利要求1所述的健身系统，其特征在于，
左臂包括：左手腕关节点、左手肘关节点、左肩关节点、左肩关节点至左手肘关节点形成的第一向量、左手肘关节点至左手腕关节点形成的第二向量、左肩关节点至左手腕关节点形成的第三向量以及该第一向量和该第二向量之间的夹角；
右臂包括：右手腕关节点、右手肘关节点、右肩关节点、右肩关节点至右手肘关节点形成的第一向量、右手肘关节点至右手腕关节点形成的第二向量、右肩关节点至右手腕关节点形成的第三向量以及该第一向量和该第二向量之间的夹角；
躯干包括：头部中心、脖子的脊柱中心、躯干的脊柱中心、头部中心至脖子的脊柱中心形成的第一向量、脖子的脊柱中心至躯干的脊柱中心形成的第二向量、头部中心至躯干的脊柱中心形成的第三向量以及该第一向量和该第二向量形成的夹角；
左腿包括：左脚踝关节点、左膝盖关节点、左髋关节点、左髋关节点至左膝盖关节点形成的第一向量、左膝盖关节点至左脚踝关节点形成的第二向量、左髋关节点至左脚踝关节点形成的第三向量以及该第一向量和该第二向量之间的夹角；
右腿包括：右脚踝关节点、右膝盖关节点、右髋关节点、右髋关节点至右膝盖关节点形成的第一向量、右膝盖关节点至右脚踝关节点形成的第二向量、右髋关节点至右脚踝关节点形成的第三向量以及该第一向量和该第二向量之间的夹角。
12.一种自助健身方法，其特征在于，包括：
S110.获取第一视频采集模块采集的视频数据；
S120.根据所述视频数据，判断是否有用户进入所述采集区域，若是则继续执行步骤S130；
S130.提取所述视频数据中所述用户的脸部特征，并判断该用户的脸部特征是否与预存的第一类用户中至少一位的脸部特征相匹配，若是则继续执行步骤S140；
S140.控制显示模块提供健身视频，所述健身视频包括多个目标动作；
S150.根据所述第一视频采集模块实时采集的视频数据生成三维骨骼动作模型；
S160.根据采集时间和所述健身视频的播放时间的映射，将当前三维骨骼动作模型作为一待测动作，并确定所述待测动作所要匹配的目标动作，将该待测动作与该目标动作形成一匹配组；
S170.在每一匹配组中，对待测动作和目标动作进行匹配，当待测动作不匹配目标动作时进行错误提示，
所述目标动作按所述三维骨骼动作模型拆解成五个身体部位：左臂、右臂、左腿、右腿以及躯干，每个所述身体部位均包括：三个骨骼点、三个骨骼点形成的三个向量及所述三个向量中两个向量之间的夹角，
至少一个身体部位的部位动作关联有一个或多个面向过程或者面向位移的识别项，每个识别项包括识别对象、识别参数及识别规则，所述识别对象包括所述三个骨骼点中的至少一个骨骼点；三个向量中的至少一个向量；以及所述三个向量中两个向量之间的一个夹角中的一项或多项，
其中，所述面向过程的识别项还包括一标准过程向量库，所述标准过程向量库按时间顺序储存有所述部位动作的至少一个向量，
所述步骤S170还包括：
依据目标动作的目标部位动作将待测动作划分为相应的待测部位动作，将待测动作的待测部位动作与相应的目标动作的目标部位动作形成一身体部位匹配组；
对每一身体部位匹配组，获取目标部位动作的识别项，依据所述三维骨骼动作模型获取所述待测部位动作对应所述识别对象的骨骼点的坐标、骨骼点形成的向量和/或向量之间的夹角，若所述识别项为面向过程的识别项，则将所述待测部位动作的向量与标准过程向量库中的对应向量进行匹配计算以与所述识别参数设定的向量阈值进行比较，若不符合所述识别规则，则反馈待测部位动作错误，其中，
面向过程的识别项包括轨迹识别、否定轨迹识别及保持识别，轨迹识别用于识别该部位动作是否按照预定轨迹运动，若未按照预定轨迹运动，则提示出错，否定轨迹识别用于识别该部位动作是否按照预定轨迹运动，若按照预定轨迹运动，则提示出错，保持识别用于识别部位动作在运动过程中是否保持在某一状态下，若未保持在该状态下则提示出错；
面向位移的识别项包括位移识别以及否定位移识别，位移识别用于判断识别对象是否达到预定的位移方向和位移距离，若未达到则提示出错，否定位移识别用于判断识别对象是否达到预定的位移方向和位移距离，若达到则提示出错。
13.一种电子设备，其特征在于，所述电子设备包括：
处理器；
存储介质，其上存储有计算机程序，所述计算机程序被所述处理器运行时执行如权利要求12所述的步骤。
14.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求12所述的步骤。
CN201810247332.8A 2018-03-23 2018-03-23 自助健身方法、系统、电子设备、存储介质 Active CN110298221B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810247332.8A CN110298221B (zh) 2018-03-23 2018-03-23 自助健身方法、系统、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810247332.8A CN110298221B (zh) 2018-03-23 2018-03-23 自助健身方法、系统、电子设备、存储介质

Publications (2)

Publication Number Publication Date
CN110298221A CN110298221A (zh) 2019-10-01
CN110298221B true CN110298221B (zh) 2022-02-11

Family

ID=68026206

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810247332.8A Active CN110298221B (zh) 2018-03-23 2018-03-23 自助健身方法、系统、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN110298221B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110782482A (zh) * 2019-10-21 2020-02-11 深圳市网心科技有限公司 运动评估方法、装置、计算机设备及存储介质
CN111091889A (zh) * 2019-12-12 2020-05-01 深圳英鸿骏智能科技有限公司 一种基于镜面显示的人体形态检测方法、存储介质及装置
CN111898468A (zh) * 2020-07-09 2020-11-06 北京荟健科技有限公司 孕妇运动监控告警方法、装置、计算机设备及存储介质
CN112464915B (zh) * 2020-12-30 2024-03-26 南京积图网络科技有限公司 一种基于人体骨骼点检测的俯卧撑计数方法
CN112967782A (zh) * 2021-02-22 2021-06-15 厦门艾地运动科技有限公司 动作分析方案的配置及应用方法、装置及电子设备
CN112906646A (zh) * 2021-03-23 2021-06-04 中国联合网络通信集团有限公司 人体姿态的检测方法及装置
CN113262459B (zh) * 2021-05-26 2022-06-14 上海大动科技有限公司 应用于运动健身镜的动作标准性的判定方法，装置和介质
CN114071211B (zh) * 2021-09-24 2024-01-09 北京字节跳动网络技术有限公司 视频播放方法、装置、设备以及存储介质
CN114356100B (zh) * 2022-01-13 2024-05-07 上海健指树智能系统有限公司 健身动作指导方法、装置、电子设备及存储介质
CN115022704B (zh) * 2022-07-11 2024-06-28 深圳创维－Rgb电子有限公司 健身模式启动方法、装置、显示设备及可读存储介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103920285A (zh) * 2014-05-08 2014-07-16 深圳泰山在线科技有限公司 科学健身馆、科学健身系统以及科学健身方法
CN104598896A (zh) * 2015-02-12 2015-05-06 南通大学 基于Kinect骨架追踪的人体摔倒自动检测方法
CN105903157A (zh) * 2016-04-19 2016-08-31 深圳泰山体育科技股份有限公司 电子教练实现方法及系统
CN106022213A (zh) * 2016-05-04 2016-10-12 北方工业大学 一种基于三维骨骼信息的人体动作识别方法
CN106066996A (zh) * 2016-05-27 2016-11-02 上海理工大学 人体动作的局部特征表示方法及其在行为识别的应用
CN106897783A (zh) * 2017-04-14 2017-06-27 王辉 一种自助式智能互联网健身房
CN107050774A (zh) * 2017-05-17 2017-08-18 上海电机学院 一种基于动作采集的健身动作纠错系统及方法
CN107153829A (zh) * 2017-06-09 2017-09-12 南昌大学 基于深度图像的不良坐姿提醒方法和装置
CN107180235A (zh) * 2017-06-01 2017-09-19 陕西科技大学 基于Kinect的人体动作识别算法
CN107349594A (zh) * 2017-08-31 2017-11-17 华中师范大学 一种虚拟舞蹈系统的动作评价方法
CN107369270A (zh) * 2017-08-03 2017-11-21 重庆飞豹健身管理有限公司 自助健身舱
CN107390616A (zh) * 2017-09-13 2017-11-24 北京巨驰医药技术有限公司 全民医疗健身组合体系统和控制方法
CN107452159A (zh) * 2017-08-03 2017-12-08 重庆飞豹健身管理有限公司 无人健身管理系统及管理平台
CN107464377A (zh) * 2017-08-23 2017-12-12 唐雪梅 一种智慧健身方法及系统
WO2017217567A1 (ko) * 2016-06-15 2017-12-21 (주)그린콤 피트니스 모니터링 시스템

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103920285A (zh) * 2014-05-08 2014-07-16 深圳泰山在线科技有限公司 科学健身馆、科学健身系统以及科学健身方法
CN104598896A (zh) * 2015-02-12 2015-05-06 南通大学 基于Kinect骨架追踪的人体摔倒自动检测方法
CN105903157A (zh) * 2016-04-19 2016-08-31 深圳泰山体育科技股份有限公司 电子教练实现方法及系统
CN106022213A (zh) * 2016-05-04 2016-10-12 北方工业大学 一种基于三维骨骼信息的人体动作识别方法
CN106066996A (zh) * 2016-05-27 2016-11-02 上海理工大学 人体动作的局部特征表示方法及其在行为识别的应用
WO2017217567A1 (ko) * 2016-06-15 2017-12-21 (주)그린콤 피트니스 모니터링 시스템
CN106897783A (zh) * 2017-04-14 2017-06-27 王辉 一种自助式智能互联网健身房
CN107050774A (zh) * 2017-05-17 2017-08-18 上海电机学院 一种基于动作采集的健身动作纠错系统及方法
CN107180235A (zh) * 2017-06-01 2017-09-19 陕西科技大学 基于Kinect的人体动作识别算法
CN107153829A (zh) * 2017-06-09 2017-09-12 南昌大学 基于深度图像的不良坐姿提醒方法和装置
CN107369270A (zh) * 2017-08-03 2017-11-21 重庆飞豹健身管理有限公司 自助健身舱
CN107452159A (zh) * 2017-08-03 2017-12-08 重庆飞豹健身管理有限公司 无人健身管理系统及管理平台
CN107464377A (zh) * 2017-08-23 2017-12-12 唐雪梅 一种智慧健身方法及系统
CN107349594A (zh) * 2017-08-31 2017-11-17 华中师范大学 一种虚拟舞蹈系统的动作评价方法
CN107390616A (zh) * 2017-09-13 2017-11-24 北京巨驰医药技术有限公司 全民医疗健身组合体系统和控制方法

Also Published As

Publication number Publication date
CN110298221A (zh) 2019-10-01

Similar Documents

Publication Publication Date Title
CN110298221B (zh) 自助健身方法、系统、电子设备、存储介质
CN109829436B (zh) 基于深度表观特征和自适应聚合网络的多人脸跟踪方法
CN109308438B (zh) 动作识别库的建立方法、电子设备、存储介质
Yang et al. Handling movement epenthesis and hand segmentation ambiguities in continuous sign language recognition using nested dynamic programming
Tanawongsuwan et al. Gait recognition from time-normalized joint-angle trajectories in the walking plane
Gavrila The visual analysis of human movement: A survey
US9224037B2 (en) Apparatus and method for controlling presentation of information toward human object
CN105260726B (zh) 基于人脸姿态控制的交互式视频活体检测方法及其系统
CN110298218B (zh) 交互式健身装置和交互式健身系统
Ahmed et al. Kinect-based gait recognition using sequences of the most relevant joint relative angles
CN114067358A (zh) 一种基于关键点检测技术的人体姿态识别方法及系统
Chellappa et al. Human identification using gait and face
CN110298220B (zh) 动作视频直播方法、系统、电子设备、存储介质
CN110633004B (zh) 基于人体姿态估计的交互方法、装置和系统
CN106295313A (zh) 对象身份管理方法、装置和电子设备
TW201201115A (en) Facial expression recognition systems and methods and computer program products thereof
WO2020065954A1 (ja) 認証装置、認証方法および記憶媒体
He et al. A New Kinect‐Based Posture Recognition Method in Physical Sports Training Based on Urban Data
CN115331314A (zh) 一种基于app筛查功能的运动效果评估方法和系统
CN108681928A (zh) 一种智能广告投放方法
CN114581990A (zh) 一种跑步智能测试方法以及装置
CN111353347B (zh) 动作识别纠错方法、电子设备、存储介质
CN111353345A (zh) 提供训练反馈的方法、装置、系统、电子设备、存储介质
CN107480604A (zh) 基于多轮廓特征融合的步态识别方法
Drosou et al. Event-based unobtrusive authentication using multi-view image sequences

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210819

Address after: 200125 room 328, floor 3, unit 2, No. 231, Expo Village Road, pilot Free Trade Zone, Pudong New Area, Shanghai

Applicant after: Shanghai shibeisi Fitness Management Co.,Ltd.

Address before: 200233 room 136, building 20, tianlinfang, 130 Tianlin Road, Xuhui District, Shanghai

Applicant before: SHANGHAI MYSHAPE INFORMATION TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant