CN114022956A - 一种多维度智能研判健身动作运动效果的方法 - Google Patents
一种多维度智能研判健身动作运动效果的方法 Download PDFInfo
- Publication number
- CN114022956A CN114022956A CN202111279351.7A CN202111279351A CN114022956A CN 114022956 A CN114022956 A CN 114022956A CN 202111279351 A CN202111279351 A CN 202111279351A CN 114022956 A CN114022956 A CN 114022956A
- Authority
- CN
- China
- Prior art keywords
- module
- detection module
- fitness
- action
- dimensional intelligent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种多维度智能研判健身动作运动效果的方法,包括外接设备、AI智脑,外接设备有AI摄像头和边缘计算主机,AI智脑包括实时视频采集模块、目标检测模块、姿态检测模块、关节角度分析模块、动作对比模块、动作录入模块,AI智脑通过外接设备的AI摄像头获取图像信息,AI智脑目标检测模块、姿态检测模块、关节角度分析模块、动作对比模块完成目标识别、动作识别,以及运动量的计算。
Description
技术领域
本发明涉及智能健身技术领域,具体涉及一种多维度智能研判健身动作运动效果的方法。
背景技术
随着人们的生活水平不断提高,人们的身体健康状况令人堪忧。根据相关的统计数据,慢性重大疾病不断呈现年轻化,多数上班族的身体都处于亚健康状态。通过锻炼方式来改善、提高身体素质,已经成为社会的共识。市场上也出现了大量关于健身的APP,以及健身的佩戴电子产品。还有分布在城市各处的健身房等等。但是,对于广大的工薪阶层来说,健身的电子产品和健身房的私教价格昂贵,且包括健身APP在内,其对于健身运动后的效果评估还是模糊,甚至就没有效果评估,唯一用于评估可量化的指标是“身材瘦了”。
为解决人们在锻炼后对锻炼效果,以及锻炼过程中锻炼的动作是否规范的问题,研究开发出了本发明。
发明内容
有鉴于此,有必要提供一种对锻炼后的效果,以及锻炼过程中锻炼的动作是否规范的一种多维度智能研判健身运动效果的方法。
一种多维度智能研判健身动作运动效果的方法,包括外接设备、AI智脑,外接设备包括AI摄像头、边缘计算主机、安装支架,所述AI摄像头通过安装支架固定在健身器材上,其正对着健身人体的正面,所述AI摄像头采用WIFI/4G/5G网络进行信息传输,且连接着边缘计算主机;AI智脑包括实时视频采集模块、目标检测模块、姿态检测模块、关节角度分析模块、动作对比模块、动作录入模块;所述AI智脑连接并控制着AI摄像头,通过AI摄像头获取图像信息。
S1:实时视频采集模块通过外接设备采集视频图像,视频图像采用不低于416*416分辨率,且将图像传输给目标检测模块;
S2:目标检测模块的one-step算法对视频图像进行目标识别,且对每个目标自动生成独立的ID;
S3:姿态检测模块通过S1、S2步骤获得一幅图像,使用卷积网络技术提取图像特征,得到一组特征图,对特征图分别使用CNN网络提取和VGGNet网络提取,通过CNN网络提取将同一个人的关节点连接起来,形成为一个人的整体骨架;通过VGGNet网络提取获得人体的关键点与特征图;
S4:关节角度分析模块基于人的整体骨架,实时比对运动时骨架的变化,分析预算人体的运动量;
S5:AI智脑将信息传输至健身人员的手机上,且信息保存于云端,便于下次健身时提取;
S6:重复S1、S2、S3、S4的步骤。
进一步地,所述实时视频采集模块采用多级流水线架构,且视频图像采样为多级尺度传输到不同模型进行预测;从视频图像中进行目标检测,获得目标位置后,将目标区域从原始图像中裁剪出来,并传递给姿态检测模块。
进一步地,所述目标检测模块采用YOLO Nano模型进行训练,所述YOLO Nano模型比Tiny YOLOv2和Tiny YOLOv3的存储量都小,且其数据精度达到98%以上。
进一步地,所述姿态检测模块经过卷积网络提取特征、CNN网络提取PartConfidence Maps 和 Part Affinity Field的信息、Bipartite Matching(偶匹配),最终获得一个人的整体骨架;同时,所述姿态检测模块对一个人的整体骨架进行求Multi-Person Parsing,所述Multi-Person Parsing问题首先转成graphs问题,通过ungarianAlgorithm(匈牙利算法)完成求解;所述VGGNet网络提取将人体分为18个关键点,分别是鼻子、脖子、左肩、右肩、左肘、右肘、左腕、右腕、左髋、右髋、左膝、右膝、左脚踝、右脚踝、左眼、右眼、左耳、右耳,所述VGGNet的前10层用于为输入图像创建特征映射,后面采用2分支多阶段CNN,两个分支分别具有19和38个特征图,分别代表18个人体关键点和背景,以及亲和场(Part Affinity Fileds,PAF),代表关节与关节之间的联系。检测得到身体关键点及关键点的连接关系则可以得到人体姿态。
进一步地,所述关节角度分析模块获得目标的初始肢体数据后,基于2D姿态模型的基础上,关节角度分析模块生成3D空间姿态,所述关节角度分析模块以人体的额状面为基准面,人体正面为正方向,肢体在正方向时其角度为正,所述关节角度分析模块计算各关键点的偏离程度,通过肢体的比例变化计算出偏离程度。
进一步地,所述动作对比模块将关节角度以时间序列进行存储,提取关节角度分析模块的信息,与标准动作库的信息进行对比,得出动作的速度、角度、时间等因素下的标准程度。
相对现有技术,本发明的有益效果为,本发明实现了健身动作标准化、数字化,建立起标准动作库,实现了对健身人员动作状态的智能识别,智能测算,对健身人员的健身动作的标准,以及健身运动量的判定。
附图说明
为了更清楚地说明本发明实施方式的技术方案,下面将对实施方式中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1是本发明实施例的多维度智能研判健身动作运动效果的方法结构示意图。
图标:11-外接设备;12-AI智脑;13-AI摄像头;14-边缘计算主机;15-安装支架;16-实时视频采集模块;17-目标检测模块;18-姿态检测模块;19-关节角度分析模块;20-动作对比模块;21-动作录入模块。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚,下面将结合本发明实施方式中的附图,对本发明实施方式中的技术方案进行清楚、完整地描述,显然,所描述的实施方式是本发明一部分实施方式,而不是全部的实施方式。基于本发明中的实施方式,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式,都属于本发明保护的范围。因此,以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式,都属于本发明保护的范围。
在本发明的描述中,需要理解的是,术语“上”、“下”、“侧”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。
在本发明中,除非另有明确的规定和限定,术语“设置”、“连接”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
以下将结合具体实施例和附图对本发明进行详细说明。
请参阅图1,示出本发明的一种实施例,一种多维度智能研判健身动作运动效果的方法10,包括外接设备11、AI智脑12,外接设备11包括AI摄像头13、边缘计算主机14、安装支架15,所述AI摄像头13通过安装支架15固定在健身器材上,其正对着健身人体的正面,所述AI摄像头13采用WIFI/4G/5G网络进行信息传输,且连接着边缘计算主机14;AI智脑12包括实时视频采集模块16、目标检测模块17、姿态检测模块18、关节角度分析模块19、动作对比模块20、动作录入模块21;所述AI智脑12连接并控制着AI摄像头13,通过AI摄像头13获取图像信息。
S1:实时视频采集模块16通过外接设备11采集视频图像,视频图像采用不低于416*416分辨率,且将视频图像传输给目标检测模块17;
S2:目标检测模块17的one-step算法对视频图像进行目标识别,且对每个目标自动生成独立的ID;
S3:姿态检测模块通过S1、S2步骤获得一幅图像,使用卷积网络技术提取图像特征,得到一组特征图,对特征图分别使用CNN网络提取和VGGNet网络提取,通过CNN网络提取将同一个人的关节点连接起来,形成为一个人的整体骨架;通过VGGNet网络提取获得人体的关键点与特征图;
S4:关节角度分析模块19基于人的整体骨架,实时比对运动时骨架的变化,分析预算人体的运动量;
S5:AI智脑12将信息传输至健身人员的手机上,且信息保存于云端,便于下次健身时提取;
S6:重复S1、S2、S3、S4的步骤。
进一步地,作为本实施例的优选,所述实时视频采集模块16采用多级流水线架构,且视频图像采样为多级尺度传输到不同模型进行预测;从视频图像中进行目标检测,获得目标位置后,将目标区域从原始图像中裁剪出来,并传递给姿态检测模块18。
进一步地,作为本实施例的优选,所述目标检测模块17采用YOLO Nano模型进行训练,所述YOLO Nano模型比Tiny YOLOv2和Tiny YOLOv3的存储量都小;所述目标检测模块17用大量人类图片进行目标检测的识别训练,随后投入到健身房内进行场景训练,该训练首先是单人目标识别训练,然后是多人目标训练,所述目标检测模块17经过图片、单人场景、多人场景的训练后,其数据精度达到98%以上。
进一步地,作为本实施例的优选,所述姿态检测模块18经过卷积网络提取特征、CNN网络提取Part Confidence Maps 和 Part Affinity Field的信息、BipartiteMatching(偶匹配),最终获得一个人的整体骨架;同时,所述姿态检测模块18对一个人的整体骨架进行求Multi-Person Parsing,所述Multi-Person Parsing问题首先转成graphs问题,通过ungarian Algorithm(匈牙利算法)完成求解;所述VGGNet网络提取将人体分为18个关键点,分别是鼻子、脖子、左肩、右肩、左肘、右肘、左腕、右腕、左髋、右髋、左膝、右膝、左脚踝、右脚踝、左眼、右眼、左耳、右耳,所述VGGNet的前10层用于为输入图像创建特征映射,后面采用2分支多阶段CNN,两个分支分别具有19和38个特征图,分别代表18个人体关键点和背景,以及亲和场(Part Affinity Fileds,PAF),代表关节与关节之间的联系。检测得到身体关键点及关键点的连接关系则可以得到人体姿态。
进一步地,作为本实施例的优选,所述关节角度分析模块19获得目标的初始肢体数据后,基于2D姿态模型的基础上,关节角度分析模块19生成3D空间姿态,所述关节角度分析模块19以人体的额状面为基准面,人体正面为正方向,肢体在正方向时其角度为正,所述关节角度分析模块19计算各关键点的偏离程度,通过肢体的比例变化计算出偏离程度。
进一步地,作为本实施例的优选,所述动作对比模块20将关节角度以时间序列进行存储,提取关节角度分析模块19的信息,与标准动作库的信息进行对比,得出动作的速度、角度、时间等因素下的标准程度。
进一步地,作为本实施例的优选,健身人员初次进入健身房,在办理健身会员卡时,同时完成健身人员的信息输入,并生成独立的ID,当该健身人员再次进入健身房健身时,目标检测模块17将通过实时视频采集模块16完成对目标的识别,且AI智脑12根据该健身人员的锻炼记录,生成本次锻炼计划并同步到该健身人员的手机上。
进一步地,作为本实施例的优选,健身人员进入本发明安装区域内,健身人员开始健身运动,姿态检测模块18通过实时视频采集模块16和目标检测模块17获得健身人员健身时的骨架变化特征数据,关节角度分析模块19将健身人员健身时的骨架特征与标准动作库的信息进行对比,并通过手机外音提示健身人员改善健身动作。
进一步地,作为本实施例的优选,当健身人员完成一组动作后,AI智脑12对健身人员的健身动作给出综合评价,如健身时动作的误差、错误动作,给出改善方案,以及该组动作消耗的能量,所述改善方案包括文字展现和3D动作演示。
工作原理:健身人员进入本发明安装区域内,实时视频采集模块通过AI摄像头获取视频图像,目标检测模块的one-step算法对视频图像进行目标识别,且对每个目标自动生成独立的ID,姿态检测模块通过实时视频采集模块、目标检测模块获得一幅图像,使用卷积网络技术提取图像特征,对特征图分别使用CNN网络提取和VGGNet网络提取,形成为一个人的整体骨架和人体的关键点与特征图,关节角度分析模块基于人的整体骨架,实时比对运动时骨架的变化,分析预算人体的运动量,AI智脑对健身人员的健身动作给出综合评价,并给出改善方案,以及该组动作消耗的能量。
需要说明的是,本发明并不局限于上述实施方式,根据本发明的创造精神,本领域技术人员还可以做出其他变化,这些依据本发明的创造精神所做的变化,都应包含在本发明所要求保护的范围之内。
Claims (10)
1.一种多维度智能研判健身动作运动效果的方法,其特征在于:设有外接设备、AI智脑,所述AI智脑设有实时视频采集模块、目标检测模块、姿态检测模块、关节角度分析模块、动作对比模块、动作录入模块;
S1:实时视频采集模块通过外接设备采集视频图像,且将视频图像传输给目标检测模块;
S2:目标检测模块的one-step算法对视频图像进行目标识别,且对每个目标自动生成独立的ID;
S3:姿态检测模块通过S1、S2步骤获得一幅图像,使用卷积网络技术提取图像特征,得到一组特征图,对特征图分别使用CNN网络提取和VGGNet网络提取,通过CNN网络提取将同一个人的关节点连接起来,形成为一个人的整体骨架;通过VGGNet网络提取获得人体的关键点与特征图;
S4:关节角度分析模块基于人的整体骨架,实时比对运动时骨架的变化,分析预算人体的运动量;
S5:AI智脑将信息传输至健身人员的手机上,且信息保存于云端,便于下次健身时提取;
S6:重复S1、S2、S3、S4的步骤。
2.如权利要求1所述多维度智能研判健身动作运动效果的方法,其特征在于:所述外接设备至少设有一个AI摄像头,且AI摄像头底部设有安装支架,所述AI摄像头附近设有至少一个边缘计算主机。
3.如权利要求1或2所述多维度智能研判健身动作运动效果的方法,其特征在于:所述安装支架设有螺栓孔用于固定,通过螺丝固定安装支架;所述边缘计算机采用分布式架构,通过无线网络、线缆连接,实现数据的互联互通。
4.如权利要求1所述多维度智能研判健身动作运动效果的方法,其特征在于:所述实时视频采集模块采用多级流水线架构,所述实时视频采集模块采集的视频图像不低于416*416分辨率,视频图像采用多级尺度传输方式。
5.如权利要求1所述多维度智能研判健身动作运动效果的方法,其特征在于:所述目标检测模块采用one-step算法,通过one-step算法实现对视频图像进行目标识别,所述目标检测模块设有YOLO Nano模型,所述YOLO Nano模型用于目标检测模块的训练。
6.如权利要求1所述多维度智能研判健身动作运动效果的方法,其特征在于:所述姿态检测模块采用卷积网络技术对来自实时视频采集模块、目标检测模块的图像进行特征提取。
7.如权利要求1所述多维度智能研判健身动作运动效果的方法,其特征在于:所述姿态检测模块设有CNN网络模组和VGGNet网络模组,所述姿态检测模块通过CNN网络模组和VGGNet网络模组获得人的整体骨架和人体的关键点与特征图。
8.如权利要求1或7所述多维度智能研判健身动作运动效果的方法,其特征在于:所述所述姿态检测模块通过VGGNet网络模组获得人体的关键点与特征图,该人体的关键点与特征图包括鼻子、脖子、左肩、右肩、左肘、右肘、左腕、右腕、左髋、右髋、左膝、右膝、左脚踝、右脚踝、左眼、右眼、左耳、右耳。
9.如权利要求1所述多维度智能研判健身动作运动效果的方法,其特征在于:所述动作对比模块设有标准动作库,所述标准动作库与关节角度分析模块的数据进行比对。
10.如权利要求1所述多维度智能研判健身动作运动效果的方法,其特征在于:所述动作录入模块用来采集教练健身动作,且采集的信息存入动作对比模块内的标准动作库。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111279351.7A CN114022956A (zh) | 2021-11-01 | 2021-11-01 | 一种多维度智能研判健身动作运动效果的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111279351.7A CN114022956A (zh) | 2021-11-01 | 2021-11-01 | 一种多维度智能研判健身动作运动效果的方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114022956A true CN114022956A (zh) | 2022-02-08 |
Family
ID=80059232
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111279351.7A Pending CN114022956A (zh) | 2021-11-01 | 2021-11-01 | 一种多维度智能研判健身动作运动效果的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114022956A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116013548A (zh) * | 2022-12-08 | 2023-04-25 | 广州视声健康科技有限公司 | 基于计算机视觉的智慧病房监测方法和装置 |
-
2021
- 2021-11-01 CN CN202111279351.7A patent/CN114022956A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116013548A (zh) * | 2022-12-08 | 2023-04-25 | 广州视声健康科技有限公司 | 基于计算机视觉的智慧病房监测方法和装置 |
CN116013548B (zh) * | 2022-12-08 | 2024-04-09 | 广州视声健康科技有限公司 | 基于计算机视觉的智慧病房监测方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111126272B (zh) | 姿态获取方法、关键点坐标定位模型的训练方法和装置 | |
CN112069933A (zh) | 基于体态识别和人体生物力学的骨骼肌肉受力估计方法 | |
Chaudhari et al. | Yog-guru: Real-time yoga pose correction system using deep learning methods | |
Avola et al. | Deep temporal analysis for non-acted body affect recognition | |
US11945125B2 (en) | Auxiliary photographing device for dyskinesia analysis, and control method and apparatus for auxiliary photographing device for dyskinesia analysis | |
CN113239797B (zh) | 人体动作识别方法、装置及系统 | |
Chen et al. | Using real-time acceleration data for exercise movement training with a decision tree approach | |
CN114676956A (zh) | 基于多维数据融合的老人跌倒风险预警系统 | |
WO2021068781A1 (zh) | 一种疲劳状态识别方法、装置和设备 | |
Surer et al. | Methods and technologies for gait analysis | |
CN112633059B (zh) | 一种基于LabVIEW和MATLAB的跌倒远程监控系统 | |
He et al. | A New Kinect‐Based Posture Recognition Method in Physical Sports Training Based on Urban Data | |
Liu et al. | Trampoline motion decomposition method based on deep learning image recognition | |
CN114022956A (zh) | 一种多维度智能研判健身动作运动效果的方法 | |
Nie et al. | [Retracted] The Construction of Basketball Training System Based on Motion Capture Technology | |
CN111310655A (zh) | 基于关键帧和组合注意力模型的人体动作识别方法和系统 | |
CN116386136A (zh) | 基于人体骨骼关键点的动作评分方法、设备及介质 | |
CN113255462A (zh) | 步态评分方法、系统、计算机程序产品及可读存储介质 | |
CN207529395U (zh) | 一种基于语义折叠的人体步态行为主动检测识别系统 | |
Cao | Analysis of aerobic training posture using machine vision for body area networks | |
CN111166341A (zh) | 基于加速度冲击能量聚类的摔倒识别方法及可穿戴系统 | |
Zheng et al. | Sports Biology Seminar of Three‐dimensional Movement Characteristics of Yoga Standing Based on Image Recognition | |
CN117671738B (zh) | 基于人工智能的人体姿态识别系统 | |
Purushothaman et al. | Smart vision-based analysis and error deduction of human pose to reduce musculoskeletal disorders in construction | |
CN112667088B (zh) | 基于vr行走平台的手势应用识别方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |