CN109934111A - 一种基于关键点的健身姿态估计方法及系统 - Google Patents
一种基于关键点的健身姿态估计方法及系统 Download PDFInfo
- Publication number
- CN109934111A CN109934111A CN201910111732.0A CN201910111732A CN109934111A CN 109934111 A CN109934111 A CN 109934111A CN 201910111732 A CN201910111732 A CN 201910111732A CN 109934111 A CN109934111 A CN 109934111A
- Authority
- CN
- China
- Prior art keywords
- key point
- building
- point information
- video image
- human body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于关键点的健身姿态估计方法及系统,该健身姿态估计方法包括以下步骤:S1:采集健身视频:采集包含单个人体健身时的视频图像;S2:人体关键点定位:根据步骤S1采集的视频图像,定位人体中的多个关键点的坐标,获取2D关键点信息,并将2D关键点信息转换为3D关键点信息;S3:健身姿态估计:对步骤S1采集的视频图像进行特征提取,并将步骤S2获取的2D关键点信息和3D关键点信息转化为热图,再将提取的特征和热图进行融合,形成新的特征,并将新的特征输入到分类器,得到判断健身姿态是否标准的结果。本发明提出的基于关键点的健身姿态估计方法及系统,能够节省大量的人力和花费,实现事半功倍的效果。
Description
技术领域
本发明涉及生物识别领域,尤其涉及一种基于关键点的健身姿态估计方法及系统。
背景技术
传统的健身姿态次数统计需要佩戴可穿戴设备或者基于跑步机等外部设备进行统计,健身姿态动作是否标准需要依靠专业的健身教练或者外部人员来进行指导。这种依靠外部设备或者人力的方法,需要耗费大量的专业设备或者额外的具有专业知识的人力资源进行判断。在现在健身人员日益增多,健身需求日益增大的环境下,专业的设备和健身教练的耗资、耗时都比较高。
以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案,其并不必然属于本专利申请的现有技术,在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下,上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
为解决上述技术问题,本发明提出一种基于关键点的健身姿态估计方法及系统,能够节省大量的人力和花费,实现事半功倍的效果。
为了达到上述目的,本发明采用以下技术方案:
本发明公开了一种基于关键点的健身姿态估计方法,包括以下步骤:
S1:采集健身视频:采集包含单个人体健身时的视频图像;
S2:人体关键点定位:根据步骤S1采集的视频图像,定位人体中的多个关键点的坐标,获取2D关键点信息,并将2D关键点信息转换为3D关键点信息;
S3:健身姿态估计:对步骤S1采集的视频图像进行特征提取,并将步骤S2获取的2D关键点信息和3D关键点信息转化为热图,再将提取的特征和热图进行融合,形成新的特征,并将新的特征输入到分类器,得到判断健身姿态是否标准的结果。
优选地,步骤S2中获取2D关键点信息具体包括:将步骤S1采集的视频图像经过归一化处理后,将其中的每帧图像分别输入到沙漏神经网络模型,定位人体中的多个关键点的坐标以获取2D关键点信息;进一步地,多个关键点包括头顶、头部、脖子、左肩、右肩、左肘、右肘、左腕、右腕、胸腔、髋部、左髋、右髋、左膝、右膝、左踝和右踝。
优选地,步骤S2中将2D关键点信息转换为3D关键点信息具体包括:将2D关键点信息输入到全连接卷积神经网络模型,得到左右双视角的2D关键点的坐标;再通过全连接卷积神经网络模型将得到的左右双视角的2D关键点的坐标直接回归得到3D关键点信息。
优选地,步骤S3具体包括:采用卷积神经网络对步骤S1采集的视频图像进行特征提取,将步骤S2获取的2D关键点信息和3D关键点信息通过高斯模糊处理得到热图。
优选地,其中将步骤S2获取的2D关键点信息和3D关键点信息通过高斯模糊处理得到热图具体包括:将步骤S2获取的2D关键点信息和3D关键点信息进行单位统一,将单位统一后的2D关键点信息通过高斯模糊的方法,对2D关键点合成N个通道的热图特征,3D关键点在深度方向合成N个通道的灰度图,得到的热图包括N个通道的热图特征和N个通道的灰度图,其中N为步骤S2中定位人体的关键点的数量。
优选地,所述健身姿态估计方法还包括:S4:健身动作频率统计:根据步骤S2获取的2D关键点信息和3D关键点信息,获取视频图像中人体关键点位置的变化规律,通过关键点的轨迹变化来进行频率统计。
优选地,步骤S4具体包括:
S41:选择步骤S2获取的2D关键点信息和3D关键点信息中与健身动作相关的至少一个兴趣关键点的2D关键点信息和3D关键点信息;
S42:截取视频图像中包含完整的健身动作周期的多帧图像,对这些图像的所述兴趣关键点进行统计,统计出在同一运动方向上的最大距离的位置和最小距离的位置,取最大距离的位置和最小距离的位置的连线的中点作为参考点,在该参考点处作垂直于运动方向的垂线作为基准线;
S43:统计视频图像中运动人体的所述兴趣关键点在运动方向上跨越所述基准线的次数,以进行频率统计。
本发明还公开了一种基于关键点的健身姿态估计系统,包括:
采集健身视频模块,用于采集包含单个人体健身时的视频图像;
人体关键点定位模块,用于根据所述采集健身视频模块采集的视频图像,定位人体中的多个关键点的坐标,获取2D关键点信息,并将2D关键点信息转换为3D关键点信息;
健身姿态估计模块,用于对所述采集健身视频模块采集的视频图像进行特征提取,并将所述人体关键点定位模块获取的2D关键点信息和3D关键点信息转化为热图,再将提取的特征和热图进行融合,形成新的特征,并将新的特征输入到分类器,得到判断健身姿态是否标准的结果。
优选地,所述人体关键点定位模块包括2D关键点检测模块和2D转3D网络模块,其中所述2D关键点检测模块用于将步骤S1采集的视频图像经过归一化处理后,将其中的每帧图像分别输入到沙漏神经网络模型,定位人体中的多个关键点的坐标以获取2D关键点信息;所述2D转3D网络模块用于将2D关键点信息输入到全连接卷积神经网络模型,得到左右双视角的2D关键点的坐标;再通过全连接卷积神经网络模型将得到的左右双视角的2D关键点的坐标直接回归得到3D关键点信息。
优选地,所述健身姿态估计系统还包括:
健身动作频率统计模块,用于根据所述人体关键点定位模块获取的2D关键点信息和3D关键点信息,获取视频图像中人体关键点位置的变化规律,通过关键点的轨迹变化来进行频率统计。
与现有技术相比,本发明的有益效果在于:本发明公开的基于关键点的健身姿态估计方法及系统,通过采集人体健身时的视频图像,对健身视频图像获取准确的人体2D和3D关键点信息,并将该2D和3D关键点信息转化为热图,结合对视频图像提取的特征,融合后输入到分类器,实现对健身姿态的是否标准的判断,通过该方法和系统可以可以摆脱高昂设备和人体穿戴设备的约束,不需要每个人都拥有穿戴设备,只需提供健身视频即可,从而能够节省大量的人力和花费,实现事半功倍的效果。
在进一步的方案中,通过2D和3D关键点信息获取视频图像中人体关键点的变化规律,通过关键点的轨迹变化能够实现对健身动作的频率统计,使用户在摆脱穿戴设备的情况下仍然能够实现对健身动作的频率统计。
附图说明
图1是本发明优选实施例的健身姿态估计方法的流程示意图;
图2是本发明优选实施例的健身姿态估计步骤的具体示意图;
图3是本发明优选实施例的健身动作频率统计的示意图;
图4是本发明优选实施例的人体关键点定位模块的示意图;
图5是图4中的2D转3D网络模块的示意图。
具体实施方式
下面对照附图并结合优选的实施方式对本发明作进一步说明。
如图1所示,本发明优选实施例公开了一种健身姿态估计方法,包括以下步骤:
S1:采集健身视频:采集包含单个人体健身时的视频图像;
进一步,采集的视频图像是指在室内场景(例如健身房)采集的包含完整的健身人体进行健身时的视频图像,可以是多个角度的视频图像。突出人体个体,方便目标准确定位。其中采集健身视频可以使用摄像机、手机等可以录制视频的设备。
S2:人体关键点定位:根据步骤S1采集的视频图像,定位人体中的多个关键点的坐标,获取2D关键点信息,并将2D关键点信息转换为3D关键点信息;
进一步,将步骤S1采集的视频图像经过归一化处理后,将其中的每帧图像分别输入到沙漏神经网络模型,定位人体中的多个关键点的坐标以获取2D关键点信息;其中,多个关键点包括头顶、头部、脖子、左肩、右肩、左肘、右肘、左腕、右腕、胸腔、髋部、左髋、右髋、左膝、右膝、左踝和右踝,共17个关键点。
其中,将2D关键点信息转换为3D关键点信息具体包括:
输入人体的单视角2D像素坐标点,通过全连接卷积神经网络回归得到左右双视角的2D像素坐标点,保证在3D关键点预测时的深度准确性;
根据得到的左右双视角的2D像素坐标点,通过全连接卷积神经网络直接回归人体空间3D关键点;
对连续的健身视频中的人体都进行这样的步骤,从而得到视频帧中的每个人体的空间3D人体关键点。
其中,2D关键点信息用于健身动作频率统计,2D和3D关键点信息将用于健身姿态评估。
在本实施例中,采用沙漏神经网络模型(也即轻量级的网络模块)来完成对健身视频中的人体的2D和3D关键点的正确提取,保证网络模型能够满足视频图像的实时检测。
S3:健身姿态估计:对步骤S1采集的视频图像进行特征提取,并将步骤S2获取的2D关键点信息和3D关键点信息转化为热图,再将提取的特征和热图进行融合,形成新的特征,并将新的特征输入到分类器,得到判断健身姿态是否标准的结果。
具体地,如图2所示,步骤S3具体包括:
S31:输入健身人体姿态视频图像序列和经过人体关键点定位的关键点数据,人体关键点数据包括人体的2D和3D关键点数据;
S32:将该网络模型分为两个支流,第一个支流使用较深的网络模型对视频图像进行特征提取;第二个支流为对获取的2D和3D关键点数据的关键点位置坐标,转化为3D的热图形式;然后将对原始图像提取的特征和热图特征进行融合,形成新的特征图,作为判断健身姿态是否标准的判断依据;
进一步,使用卷积神经网络对多帧视频图像进行特征提取,对由步骤S2获得的2D和3D关键点信息进行热图的合成,其中热图的合成具体包括将3D和2D坐标进行单位统一,因为2D关键点坐标的单位是像素点,3D关键点的坐标是毫米,两者需要通过单位换算进行统一,而后将统一过后的2D点通过高斯模糊的方法,对人体2D关键点合成17个通道的热图特征,3D关键点只需要把深度方向合成17个通道的灰度图;将这34个通道和对视频提取的特征图像融合,作为健身姿态的判别特征。
S33:将融合的新的特征图加入到分类器,对输入的健身姿态视频图像进行判断健身动作是否标准。
S4:健身动作频率统计:根据步骤S2获取的2D关键点信息和3D关键点信息,获取视频图像中人体关键点位置的变化规律,通过关键点的轨迹变化来进行频率统计,保证精度准确。
进一步地,步骤S4是基于步骤S2获取的关键点信息,通过统计不同健身动作的关键点的变化规律,统计得到该运动人体的次数频率,从而可以对不同的健身动作进行较为准确的人体动作频率的统计,可以使用多个健身动作而不需要根据不同的动作进行调整。具体包括:
S41:选择步骤S2获取的2D关键点信息和3D关键点信息中与健身动作相关的至少一个兴趣关键点的2D关键点信息和3D关键点信息,只分析和健身动作相关的兴趣关键点,例如跑步可以只关注脚踝处的关键点;
S42:截取视频图像中包含完整的健身动作周期的多帧图像作为网络模块的输入,对这些图像的所述兴趣关键点进行统计,如图3所示,统计出在同一运动方向上的最大距离的位置和最小距离的位置,取最大距离的位置和最小距离的位置的连线的中点作为参考点,在该参考点处作垂直于运动方向的垂线作为基准线;
S43:在视频图像中,运动人体的兴趣关键点在运动方向上每跨越一次基准线,则认为该人体动作重复了一次;通过该方法来统计视频图像中运动人体的所述兴趣关键点在运动方向上跨越所述基准线的次数以进行频率统计。
本发明的另一优选实施例还公开了一种种健身姿态估计系统,包括采集健身视频模块、人体关键点定位模块、健身姿态估计模块和健身动作次数统计模块,其中各个模块的功能如下。
采集健身视频模块用于采集包含单个人体健身时的视频图像;具体地,采集的视频图像是指在室内(例如健身房)采集的包含完整的健身人体进行健身时的视频图像,可以是多个角度的视频图像。其中使用室内采集的健身视频可以突出人体个体,方便目标准确定位。其中采集健身视频模块可以是摄像机、手机等可以录制视频的设备。
如图4所示,人体关键点定位模块包括2D关键点检测模块10和2D转3D网络模块20,其中人体关键点定位模块用于将采集健身视频模采集的健身视频图像中的每帧图像输入到2D关键点检测模块10的沙漏神经网络模型内,定位人体中的多个关键点的坐标以获取2D关键点信息,其中多个关键点包括头顶、头部、脖子、左肩、右肩、左肘、右肘、左腕、右腕、胸腔、髋部、左髋、右髋、左膝、右膝、左踝和右踝共17个关键点;然后将2D关键点信息输入到2D转3D网络模块20,其中2D转3D网络模块20的示意图如图5所示,输入人体的左视图2D人体关键点坐标,通过由1024个神经元31、修改线性单元31、随机挑选神经元33和BN加速层34构成的全连接神经网络30回归得到左右双视角的2D人体关键点坐标,保证在3D关键点预测时的深度准确性,然后,根据得到的左右双视角的2D人体关键点坐标,通过和前述步骤相同的全连接神经网络30直接回归得到人体空间3D关键点信息,从而获取人体的2D关键点信息和3D关键点信息。
健身姿态估计模块用于对采集健身视频模块采集的视频图像进行特征提取,并将人体关键点定位模块获取的2D关键点信息和3D关键点信息转化为热图,再将提取的特征和热图进行融合,形成新的特征,并将新的特征输入到分类器,得到判断健身姿态是否标准的结果。具体地,健身姿态估计模块由两个支流的神经网络组成,第一个支流经过较深的网络模型(例如卷积神经网络)对视频图像进行特征提取,第二个支流对2D关键点信息和3D关键点信息进行高斯模糊处理,转化为热图;然后将热图和提取的特征相融合,共同输入到分类器中进行对健身视频中的健身动作是否标准的分类预测,完成对健身人体姿态的评估。其中该健身姿态估计模块基于神经网络模型进行预测,实现基于人体关键点的健身姿态估计。
健身动作频率统计模块用于根据所述人体关键点定位模块获取的2D关键点信息和3D关键点信息,获取视频图像中人体关键点位置的变化规律,通过关键点的轨迹变化来进行次数统计。具体地,选取与健身动作相关的兴趣关键点,统计包含一个完整运动周期内,该兴趣关键点的移动范围,如图3中运动方向最大距离的线到运动方向最小距离的线之间,取两条线的中线为基准线,每当兴趣关键点由一个方向跨过基准线,则健身动作重复一次;通过这种初始化设定运动范围和设置基准线,利用运动知识统计运动次数,完成对健身动作的频率统计。其中该健身动作频率统计模块基于关键点的几何信息进行判断,实现基于人体关键点的频率统计方法。
通过上述优选实施例的健身姿态估计方法及系统,实现了基于关键点的健身姿态估计以及健身动作的频率统计。
本发明优选实施例的健身姿态估计方法及系统,采用自上而下的方法,通过首先训练的沙漏模型,对健身场景中的人体进行2D关键点检测,然后通过2D转3D映射网络,获取3D关键点信息;再通过分析2D关键点的运动周期,获取该视频图像中的健身动作的周期,完成对健身动作的计次;并可根据输入的原始健身视频图像和该图像获取的人体2D和3D关键点信息,通过一个深层卷积神经网络对原始图像提取特征,然后将提取的特征与2D和3D关键点通过高斯模糊处理的热图进行融合,形成新的特征,再接上一个分类器,对该视频的图像进行健身姿态是否标准的判断。
人体姿态检测是一种新兴的生物特征识别,受到越来越多人的关注和研究。文中提出的健身姿态估计和频率统计主要指在特定的健身房或室内场景中,通过对人体关键点的估计,完成健身动作的次数统计以及健身姿态是否标准的判断。基于关键点的人体健身次数的统计和健身姿态评估,可以摆脱高昂设备和人体穿戴设备的约束,不需要每个人都拥有穿戴设备,而是大家只需要提供健身视频即可。而且健身视频容易获取,比如健身房的监控视频。健身动作姿态的分析,可以有助于个人养成良好的健身习惯。基于图像的健身姿态分析,不需要昂贵的私人教练,只需要提供健身视频即可。
深度学习在人脸、指纹、掌纹等各个生物特征识别领域都表现不俗;包括人体姿态检测、行为识别问题上又能够取得不错的效果。本发明将深度学习与健身姿态分析相结合,并通过视频输入进行处理,为分析人体姿态和运动信息提供一种可行的方案。
健身姿态估计和频率统计方法主要包括两个方面,第一个就是对健身动作频率的统计,可以让健身者有效了解目前的进度和调整自己的节奏。第二个就是包含对健身动作标准与否的判断,标准的健身动作能够提高健身效率同时能够保护自己避免损伤。本发明提出的基于人体关键点的健身姿态估计方法,能够有效解决上述两个方面的问题。利用人体关键点定位,结合传统方法和深度学习的方法,能够实现自动检测健身运动的次数和健身姿态是否标准的判断。
如上所述,基于关键点的健身姿态估计方法,能够节省大量的人力和花费,能够实现事半功倍的效果。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说,在不脱离本发明构思的前提下,还可以做出若干等同替代或明显变型,而且性能或用途相同,都应当视为属于本发明的保护范围。
Claims (10)
1.一种基于关键点的健身姿态估计方法,其特征在于,包括以下步骤:
S1:采集健身视频:采集包含单个人体健身时的视频图像;
S2:人体关键点定位:根据步骤S1采集的视频图像,定位人体中的多个关键点的坐标,获取2D关键点信息,并将2D关键点信息转换为3D关键点信息;
S3:健身姿态估计:对步骤S1采集的视频图像进行特征提取,并将步骤S2获取的2D关键点信息和3D关键点信息转化为热图,再将提取的特征和热图进行融合,形成新的特征,并将新的特征输入到分类器,得到判断健身姿态是否标准的结果。
2.根据权利要求1所述的健身姿态估计方法,其特征在于,步骤S2中获取2D关键点信息具体包括:将步骤S1采集的视频图像经过归一化处理后,将其中的每帧图像分别输入到沙漏神经网络模型,定位人体中的多个关键点的坐标以获取2D关键点信息;进一步地,多个关键点包括头顶、头部、脖子、左肩、右肩、左肘、右肘、左腕、右腕、胸腔、髋部、左髋、右髋、左膝、右膝、左踝和右踝。
3.根据权利要求1所述的健身姿态估计方法,其特征在于,步骤S2中将2D关键点信息转换为3D关键点信息具体包括:将2D关键点信息输入到全连接卷积神经网络模型,得到左右双视角的2D关键点的坐标;再通过全连接卷积神经网络模型将得到的左右双视角的2D关键点的坐标直接回归得到3D关键点信息。
4.根据权利要求1所述的健身姿态估计方法,其特征在于,步骤S3具体包括:采用卷积神经网络对步骤S1采集的视频图像进行特征提取,将步骤S2获取的2D关键点信息和3D关键点信息通过高斯模糊处理得到热图。
5.根据权利要求4所述的健身姿态估计方法,其特征在于,其中将步骤S2获取的2D关键点信息和3D关键点信息通过高斯模糊处理得到热图具体包括:将步骤S2获取的2D关键点信息和3D关键点信息进行单位统一,将单位统一后的2D关键点信息通过高斯模糊的方法,对2D关键点合成N个通道的热图特征,3D关键点在深度方向合成N个通道的灰度图,得到的热图包括N个通道的热图特征和N个通道的灰度图,其中N为步骤S2中定位人体的关键点的数量。
6.根据权利要求1至5任一项所述的健身姿态估计方法,其特征在于,还包括:
S4:健身动作频率统计:根据步骤S2获取的2D关键点信息和3D关键点信息,获取视频图像中人体关键点位置的变化规律,通过关键点的轨迹变化来进行频率统计。
7.根据权利要求6所述的健身姿态估计方法,其特征在于,步骤S4具体包括:
S41:选择步骤S2获取的2D关键点信息和3D关键点信息中与健身动作相关的至少一个兴趣关键点的2D关键点信息和3D关键点信息;
S42:截取视频图像中包含完整的健身动作周期的多帧图像,对这些图像的所述兴趣关键点进行统计,统计出在同一运动方向上的最大距离的位置和最小距离的位置,取最大距离的位置和最小距离的位置的连线的中点作为参考点,在该参考点处作垂直于运动方向的垂线作为基准线;
S43:统计视频图像中运动人体的所述兴趣关键点在运动方向上跨越所述基准线的次数,以进行频率统计。
8.一种基于关键点的健身姿态估计系统,其特征在于,包括:
采集健身视频模块,用于采集包含单个人体健身时的视频图像;
人体关键点定位模块,用于根据所述采集健身视频模块采集的视频图像,定位人体中的多个关键点的坐标,获取2D关键点信息,并将2D关键点信息转换为3D关键点信息;
健身姿态估计模块,用于对所述采集健身视频模块采集的视频图像进行特征提取,并将所述人体关键点定位模块获取的2D关键点信息和3D关键点信息转化为热图,再将提取的特征和热图进行融合,形成新的特征,并将新的特征输入到分类器,得到判断健身姿态是否标准的结果。
9.根据权利要求8所述的健身姿态估计系统,其特征在于,所述人体关键点定位模块包括2D关键点检测模块和2D转3D网络模块,其中所述2D关键点检测模块用于将步骤S1采集的视频图像经过归一化处理后,将其中的每帧图像分别输入到沙漏神经网络模型,定位人体中的多个关键点的坐标以获取2D关键点信息;所述2D转3D网络模块用于将2D关键点信息输入到全连接卷积神经网络模型,得到左右双视角的2D关键点的坐标;再通过全连接卷积神经网络模型将得到的左右双视角的2D关键点的坐标直接回归得到3D关键点信息。
10.根据权利要求8或9所述的健身姿态估计系统,其特征在于,还包括:
健身动作频率统计模块,用于根据所述人体关键点定位模块获取的2D关键点信息和3D关键点信息,获取视频图像中人体关键点位置的变化规律,通过关键点的轨迹变化来进行频率统计。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910111732.0A CN109934111B (zh) | 2019-02-12 | 2019-02-12 | 一种基于关键点的健身姿态估计方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910111732.0A CN109934111B (zh) | 2019-02-12 | 2019-02-12 | 一种基于关键点的健身姿态估计方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109934111A true CN109934111A (zh) | 2019-06-25 |
CN109934111B CN109934111B (zh) | 2020-11-24 |
Family
ID=66985589
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910111732.0A Expired - Fee Related CN109934111B (zh) | 2019-02-12 | 2019-02-12 | 一种基于关键点的健身姿态估计方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109934111B (zh) |
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110288532A (zh) * | 2019-07-01 | 2019-09-27 | 北京字节跳动网络技术有限公司 | 生成全身图像的方法、装置、设备及计算机可读存储介质 |
CN110378253A (zh) * | 2019-07-01 | 2019-10-25 | 浙江大学 | 一种基于轻量化神经网络的实时关键点检测方法 |
CN110457999A (zh) * | 2019-06-27 | 2019-11-15 | 广东工业大学 | 一种基于深度学习和svm的动物姿态行为估计与心情识别方法 |
CN110473603A (zh) * | 2019-07-09 | 2019-11-19 | 大连理工大学 | 一种基于肌电信号的健身辅助方法 |
CN110532891A (zh) * | 2019-08-05 | 2019-12-03 | 北京地平线机器人技术研发有限公司 | 目标对象状态识别方法、装置、介质和设备 |
CN110532873A (zh) * | 2019-07-24 | 2019-12-03 | 西安交通大学 | 一种联合人体检测与姿态估计的深度网络学习方法 |
CN110659594A (zh) * | 2019-09-09 | 2020-01-07 | 南京邮电大学 | 一种基于AlphaPose的热舒适姿态估计方法 |
CN110796032A (zh) * | 2019-10-11 | 2020-02-14 | 深圳市誉托科技有限公司 | 基于人体姿态评估的视频围栏及预警方法 |
CN110942009A (zh) * | 2019-11-22 | 2020-03-31 | 南京甄视智能科技有限公司 | 基于时空混合卷积网络的跌倒检测方法与系统 |
CN111079570A (zh) * | 2019-11-29 | 2020-04-28 | 北京奇艺世纪科技有限公司 | 一种人体关键点识别方法、装置及电子设备 |
CN111275032A (zh) * | 2020-05-07 | 2020-06-12 | 西南交通大学 | 基于人体关键点的深蹲检测方法、装置、设备及介质 |
CN111611903A (zh) * | 2020-05-15 | 2020-09-01 | 北京百度网讯科技有限公司 | 动作识别模型的训练方法、使用方法、装置、设备和介质 |
CN111709365A (zh) * | 2020-06-17 | 2020-09-25 | 成都工业学院 | 一种基于卷积神经网络的人体运动姿态自动检测方法 |
CN111753747A (zh) * | 2020-06-28 | 2020-10-09 | 高新兴科技集团股份有限公司 | 基于单目摄像头和三维姿态估计的剧烈运动检测方法 |
CN111985443A (zh) * | 2020-09-01 | 2020-11-24 | 安徽炬视科技有限公司 | 一种鲁棒的人体姿态估计算法 |
CN112036244A (zh) * | 2020-07-30 | 2020-12-04 | 广东技术师范大学 | 一种基于神经网络的人体姿态估计方法 |
CN112071392A (zh) * | 2020-09-08 | 2020-12-11 | 北京金山云网络技术有限公司 | 健身动作的推荐方法、装置、电子设备和计算机存储介质 |
CN112102951A (zh) * | 2019-11-21 | 2020-12-18 | 北京健康有益科技有限公司 | 一种基于人体体态估计算法的健康监测方法和装置 |
CN112233770A (zh) * | 2020-10-15 | 2021-01-15 | 郑州师范学院 | 一种基于视觉感知的健身房智能管理决策系统 |
CN113368487A (zh) * | 2021-06-10 | 2021-09-10 | 福州大学 | 基于OpenPose的3D私人健身系统及其工作方法 |
CN113517052A (zh) * | 2021-06-16 | 2021-10-19 | 上海大学 | 商用健身场景下的多感知人机交互系统与方法 |
CN113536857A (zh) * | 2020-04-20 | 2021-10-22 | 深圳绿米联创科技有限公司 | 目标动作识别方法、装置、服务器及存储介质 |
CN113657301A (zh) * | 2021-08-20 | 2021-11-16 | 北京百度网讯科技有限公司 | 基于视频流的动作类型识别方法、装置及穿戴设备 |
CN113706437A (zh) * | 2020-05-21 | 2021-11-26 | 国网智能科技股份有限公司 | 一种输电线路细粒度螺栓缺陷诊断方法及系统 |
US20220358309A1 (en) * | 2021-05-04 | 2022-11-10 | Tencent America LLC | Vision-based motion capture system for rehabilitation training |
CN117854114A (zh) * | 2024-03-06 | 2024-04-09 | 中国地质大学(武汉) | 一种斑马鱼求偶行为智能识别方法、设备及介质 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160236033A1 (en) * | 2015-02-17 | 2016-08-18 | Zan Quan Technology Co., Ltd | System and method for recording exercise data automatically |
CN107050774A (zh) * | 2017-05-17 | 2017-08-18 | 上海电机学院 | 一种基于动作采集的健身动作纠错系统及方法 |
CN108038465A (zh) * | 2017-12-25 | 2018-05-15 | 深圳市唯特视科技有限公司 | 一种基于合成数据集的三维多人物姿态估计 |
CN108460338A (zh) * | 2018-02-02 | 2018-08-28 | 北京市商汤科技开发有限公司 | 人体姿态估计方法和装置、电子设备、存储介质、程序 |
CN108647639A (zh) * | 2018-05-10 | 2018-10-12 | 电子科技大学 | 实时人体骨骼关节点检测方法 |
CN108734104A (zh) * | 2018-04-20 | 2018-11-02 | 杭州易舞科技有限公司 | 基于深度学习图像识别的健身动作纠错方法及系统 |
CN108830150A (zh) * | 2018-05-07 | 2018-11-16 | 山东师范大学 | 一种基于三维人体姿态估计方法及装置 |
CN108960212A (zh) * | 2018-08-13 | 2018-12-07 | 电子科技大学 | 基于端到端的人体关节点检测与分类方法 |
US20180353836A1 (en) * | 2016-12-30 | 2018-12-13 | Intel Corporation | Positional analysis using computer vision sensor synchronization |
CN109033946A (zh) * | 2018-06-08 | 2018-12-18 | 东南大学 | 融合方向图的人体姿态估计方法 |
CN109101919A (zh) * | 2018-08-03 | 2018-12-28 | 北京字节跳动网络技术有限公司 | 用于生成信息的方法和装置 |
CN109145867A (zh) * | 2018-09-07 | 2019-01-04 | 北京旷视科技有限公司 | 人体姿态估计方法、装置、系统、电子设备、存储介质 |
CN109376673A (zh) * | 2018-10-31 | 2019-02-22 | 南京工业大学 | 一种基于人体姿态估计的煤矿井下人员不安全行为识别方法 |
-
2019
- 2019-02-12 CN CN201910111732.0A patent/CN109934111B/zh not_active Expired - Fee Related
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160236033A1 (en) * | 2015-02-17 | 2016-08-18 | Zan Quan Technology Co., Ltd | System and method for recording exercise data automatically |
US20180353836A1 (en) * | 2016-12-30 | 2018-12-13 | Intel Corporation | Positional analysis using computer vision sensor synchronization |
CN107050774A (zh) * | 2017-05-17 | 2017-08-18 | 上海电机学院 | 一种基于动作采集的健身动作纠错系统及方法 |
CN108038465A (zh) * | 2017-12-25 | 2018-05-15 | 深圳市唯特视科技有限公司 | 一种基于合成数据集的三维多人物姿态估计 |
CN108460338A (zh) * | 2018-02-02 | 2018-08-28 | 北京市商汤科技开发有限公司 | 人体姿态估计方法和装置、电子设备、存储介质、程序 |
CN108734104A (zh) * | 2018-04-20 | 2018-11-02 | 杭州易舞科技有限公司 | 基于深度学习图像识别的健身动作纠错方法及系统 |
CN108830150A (zh) * | 2018-05-07 | 2018-11-16 | 山东师范大学 | 一种基于三维人体姿态估计方法及装置 |
CN108647639A (zh) * | 2018-05-10 | 2018-10-12 | 电子科技大学 | 实时人体骨骼关节点检测方法 |
CN109033946A (zh) * | 2018-06-08 | 2018-12-18 | 东南大学 | 融合方向图的人体姿态估计方法 |
CN109101919A (zh) * | 2018-08-03 | 2018-12-28 | 北京字节跳动网络技术有限公司 | 用于生成信息的方法和装置 |
CN108960212A (zh) * | 2018-08-13 | 2018-12-07 | 电子科技大学 | 基于端到端的人体关节点检测与分类方法 |
CN109145867A (zh) * | 2018-09-07 | 2019-01-04 | 北京旷视科技有限公司 | 人体姿态估计方法、装置、系统、电子设备、存储介质 |
CN109376673A (zh) * | 2018-10-31 | 2019-02-22 | 南京工业大学 | 一种基于人体姿态估计的煤矿井下人员不安全行为识别方法 |
Non-Patent Citations (7)
Title |
---|
ADRIAN BULAT 等: "Human pose estimation via Convolutional Part Heatmap Regression", 《ARXIV:1609.01743V1》 * |
JIAJUN WU 等: "Single Image 3D Interpreter Network", 《ARXIV:1604.08685V1》 * |
JU YONG CHANG 等: "2D–3D pose consistency-based conditional random fields for 3D human pose estimation", 《COMPUTER VISION AND IMAGE UNDERSTANDING 2018》 * |
JULIETA MARTINEZ 等: "A simple yet effective baseline for 3d human pose estimation", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 * |
XIAO CHU 等: "Multi-Context Attention for Human Pose Estimation", 《ARXIV:1702.07432V1》 * |
付涛 等: "基于卷积热点图回归的牛体姿态估计研究", 《中国优秀硕士学位论文全文数据库 信息科技辑(月刊)》 * |
胡弘 等: "Leap Motion关键点模型手姿态估计方法", 《计算机辅助设计与图形学学报》 * |
Cited By (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110457999A (zh) * | 2019-06-27 | 2019-11-15 | 广东工业大学 | 一种基于深度学习和svm的动物姿态行为估计与心情识别方法 |
CN110457999B (zh) * | 2019-06-27 | 2022-11-04 | 广东工业大学 | 一种基于深度学习和svm的动物姿态行为估计与心情识别方法 |
CN110378253B (zh) * | 2019-07-01 | 2021-03-26 | 浙江大学 | 一种基于轻量化神经网络的实时关键点检测方法 |
CN110288532B (zh) * | 2019-07-01 | 2023-08-08 | 抖音视界有限公司 | 生成全身图像的方法、装置、设备及计算机可读存储介质 |
CN110288532A (zh) * | 2019-07-01 | 2019-09-27 | 北京字节跳动网络技术有限公司 | 生成全身图像的方法、装置、设备及计算机可读存储介质 |
CN110378253A (zh) * | 2019-07-01 | 2019-10-25 | 浙江大学 | 一种基于轻量化神经网络的实时关键点检测方法 |
CN110473603B (zh) * | 2019-07-09 | 2022-04-12 | 大连理工大学 | 一种基于肌电信号的健身辅助方法 |
CN110473603A (zh) * | 2019-07-09 | 2019-11-19 | 大连理工大学 | 一种基于肌电信号的健身辅助方法 |
CN110532873A (zh) * | 2019-07-24 | 2019-12-03 | 西安交通大学 | 一种联合人体检测与姿态估计的深度网络学习方法 |
CN110532891A (zh) * | 2019-08-05 | 2019-12-03 | 北京地平线机器人技术研发有限公司 | 目标对象状态识别方法、装置、介质和设备 |
CN110532891B (zh) * | 2019-08-05 | 2022-04-05 | 北京地平线机器人技术研发有限公司 | 目标对象状态识别方法、装置、介质和设备 |
CN110659594A (zh) * | 2019-09-09 | 2020-01-07 | 南京邮电大学 | 一种基于AlphaPose的热舒适姿态估计方法 |
CN110659594B (zh) * | 2019-09-09 | 2022-08-30 | 南京邮电大学 | 一种基于AlphaPose的热舒适姿态估计方法 |
CN110796032A (zh) * | 2019-10-11 | 2020-02-14 | 深圳市誉托科技有限公司 | 基于人体姿态评估的视频围栏及预警方法 |
CN112102951A (zh) * | 2019-11-21 | 2020-12-18 | 北京健康有益科技有限公司 | 一种基于人体体态估计算法的健康监测方法和装置 |
CN110942009A (zh) * | 2019-11-22 | 2020-03-31 | 南京甄视智能科技有限公司 | 基于时空混合卷积网络的跌倒检测方法与系统 |
CN111079570B (zh) * | 2019-11-29 | 2024-01-26 | 北京奇艺世纪科技有限公司 | 一种人体关键点识别方法、装置及电子设备 |
CN111079570A (zh) * | 2019-11-29 | 2020-04-28 | 北京奇艺世纪科技有限公司 | 一种人体关键点识别方法、装置及电子设备 |
CN113536857A (zh) * | 2020-04-20 | 2021-10-22 | 深圳绿米联创科技有限公司 | 目标动作识别方法、装置、服务器及存储介质 |
CN111275032B (zh) * | 2020-05-07 | 2020-09-15 | 西南交通大学 | 基于人体关键点的深蹲检测方法、装置、设备及介质 |
CN111275032A (zh) * | 2020-05-07 | 2020-06-12 | 西南交通大学 | 基于人体关键点的深蹲检测方法、装置、设备及介质 |
CN111611903A (zh) * | 2020-05-15 | 2020-09-01 | 北京百度网讯科技有限公司 | 动作识别模型的训练方法、使用方法、装置、设备和介质 |
CN111611903B (zh) * | 2020-05-15 | 2021-10-26 | 北京百度网讯科技有限公司 | 动作识别模型的训练方法、使用方法、装置、设备和介质 |
CN113706437A (zh) * | 2020-05-21 | 2021-11-26 | 国网智能科技股份有限公司 | 一种输电线路细粒度螺栓缺陷诊断方法及系统 |
CN113706437B (zh) * | 2020-05-21 | 2024-03-15 | 国网智能科技股份有限公司 | 一种输电线路细粒度螺栓缺陷诊断方法及系统 |
CN111709365A (zh) * | 2020-06-17 | 2020-09-25 | 成都工业学院 | 一种基于卷积神经网络的人体运动姿态自动检测方法 |
CN111753747A (zh) * | 2020-06-28 | 2020-10-09 | 高新兴科技集团股份有限公司 | 基于单目摄像头和三维姿态估计的剧烈运动检测方法 |
CN111753747B (zh) * | 2020-06-28 | 2023-11-24 | 高新兴科技集团股份有限公司 | 基于单目摄像头和三维姿态估计的剧烈运动检测方法 |
CN112036244A (zh) * | 2020-07-30 | 2020-12-04 | 广东技术师范大学 | 一种基于神经网络的人体姿态估计方法 |
CN111985443A (zh) * | 2020-09-01 | 2020-11-24 | 安徽炬视科技有限公司 | 一种鲁棒的人体姿态估计算法 |
CN112071392A (zh) * | 2020-09-08 | 2020-12-11 | 北京金山云网络技术有限公司 | 健身动作的推荐方法、装置、电子设备和计算机存储介质 |
CN112233770B (zh) * | 2020-10-15 | 2023-07-07 | 郑州师范学院 | 一种基于视觉感知的健身房智能管理决策系统 |
CN112233770A (zh) * | 2020-10-15 | 2021-01-15 | 郑州师范学院 | 一种基于视觉感知的健身房智能管理决策系统 |
US20220358309A1 (en) * | 2021-05-04 | 2022-11-10 | Tencent America LLC | Vision-based motion capture system for rehabilitation training |
US12033435B2 (en) * | 2021-05-04 | 2024-07-09 | Tencent America LLC | Vision-based motion capture system for rehabilitation training |
CN113368487A (zh) * | 2021-06-10 | 2021-09-10 | 福州大学 | 基于OpenPose的3D私人健身系统及其工作方法 |
CN113517052A (zh) * | 2021-06-16 | 2021-10-19 | 上海大学 | 商用健身场景下的多感知人机交互系统与方法 |
CN113657301A (zh) * | 2021-08-20 | 2021-11-16 | 北京百度网讯科技有限公司 | 基于视频流的动作类型识别方法、装置及穿戴设备 |
CN117854114A (zh) * | 2024-03-06 | 2024-04-09 | 中国地质大学(武汉) | 一种斑马鱼求偶行为智能识别方法、设备及介质 |
CN117854114B (zh) * | 2024-03-06 | 2024-06-04 | 中国地质大学(武汉) | 一种斑马鱼求偶行为智能识别方法、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109934111B (zh) | 2020-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109934111A (zh) | 一种基于关键点的健身姿态估计方法及系统 | |
CN107349594B (zh) | 一种虚拟舞蹈系统的动作评价方法 | |
CN111144217B (zh) | 一种基于人体三维关节点检测的动作评价方法 | |
CN111881887A (zh) | 基于多摄像头的运动姿态监测和指导方法及装置 | |
CN106611157B (zh) | 一种基于光流定位和滑动窗口检测的多人姿态识别方法 | |
CN104700433B (zh) | 一种基于视觉的实时人体全身体运动捕捉方法及其系统 | |
CN105512621B (zh) | 一种基于Kinect的羽毛球动作指导系统 | |
CN112069933A (zh) | 基于体态识别和人体生物力学的骨骼肌肉受力估计方法 | |
CN110448870B (zh) | 一种人体姿态训练方法 | |
CN110222665A (zh) | 一种基于深度学习和姿态估计的监控中人体动作识别方法 | |
CN109919141A (zh) | 一种基于骨架姿态的行人再识别方法 | |
CN109145788A (zh) | 基于视频的姿态数据捕捉方法和系统 | |
CN114067358A (zh) | 一种基于关键点检测技术的人体姿态识别方法及系统 | |
CN106846372B (zh) | 人体运动质量视觉分析与评价系统及其方法 | |
CN110544302A (zh) | 基于多目视觉的人体动作重建系统、方法和动作训练系统 | |
US20100208945A1 (en) | Method and system for selecting the viewing configuration of a rendered figure | |
CN111985579A (zh) | 基于相机协同和三维骨骼估计的双人跳水同步性分析方法 | |
CN112464915B (zh) | 一种基于人体骨骼点检测的俯卧撑计数方法 | |
US20210035326A1 (en) | Human pose estimation system | |
CN108389227A (zh) | 一种基于多视图深感知器框架的三维姿势估计方法 | |
CN112288766A (zh) | 运动评估方法、装置、系统及存储介质 | |
Lin et al. | Using hybrid sensoring method for motion capture in volleyball techniques training | |
Almasi et al. | Investigating the application of human motion recognition for athletics talent identification using the head-mounted camera | |
CN116721471A (zh) | 一种基于多视角下多人三维姿态估计方法 | |
CN111539364A (zh) | 基于特征融合和多分类器投票的多体感人体行为识别算法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20201124 Termination date: 20220212 |
|
CF01 | Termination of patent right due to non-payment of annual fee |