CN109840478A - 一种动作评估方法、装置、移动终端和可读存储介质 - Google Patents

一种动作评估方法、装置、移动终端和可读存储介质 Download PDF

Info

Publication number
CN109840478A
CN109840478A CN201910008331.2A CN201910008331A CN109840478A CN 109840478 A CN109840478 A CN 109840478A CN 201910008331 A CN201910008331 A CN 201910008331A CN 109840478 A CN109840478 A CN 109840478A
Authority
CN
China
Prior art keywords
joint
movement
detected
rotation angle
motion images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910008331.2A
Other languages
English (en)
Other versions
CN109840478B (zh
Inventor
邓立邦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Intellect Cloud Picture Polytron Technologies Inc
Original Assignee
Guangdong Intellect Cloud Picture Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Intellect Cloud Picture Polytron Technologies Inc filed Critical Guangdong Intellect Cloud Picture Polytron Technologies Inc
Priority to CN201910008331.2A priority Critical patent/CN109840478B/zh
Publication of CN109840478A publication Critical patent/CN109840478A/zh
Application granted granted Critical
Publication of CN109840478B publication Critical patent/CN109840478B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开了一种动作评估方法、装置、移动终端和可读存储介质,方法包括获取待检测体的动作图像;其中,待检测体的每一部位按所对应的关节的旋转角度分为若干区域,且每一区域用不同的颜色进行标识;将动作图像传输至预设的关节识别模型,识别出动作图像中待检测体的各个关节;识别动作图像中待检测体的每一部位的颜色,确定待检测体的每一部位所对应的关节的旋转角度;根据动作图像中待检测体的各个关节,及每一关节的旋转角度,获得待检测体的动作关节图;将动作关节图与预存的标准动作关节图进行比对,并根据比对结果评估待检测体的动作是否标准。通过实施本发明的实施例能够为对待检测体的局部动作进行评估,提升动作评估的准确度。

Description

一种动作评估方法、装置、移动终端和可读存储介质
技术领域
本发明涉及图像识别领域,具体涉及一种动作判别方法、装置、移动终端和可读存储介质。
背景技术
在现实中,无论是人类还是机器,动作的评估普遍依靠相关人员的肉眼和经验判断。由于评估不能满足精确、规范、完美的严格要求,动作的发挥水平也往往不如人意。此外,动作的评估依赖于人力的现场监管,无法实现智能自动化,难以在社会上普及。
随着计算机技术的不断发展,基于上述问题,市面涌现了一系列动作评估产品。但现有技术中的动作评估方法,对动作的评估是基于整体而言,无法评估具体某一个实施部位,由于所属骨骼关节不同摆放,其实施动作与标准动作存在的差异,例如,以往的动作评估能识别,手是“握拳”动作,还是“手掌张开”,但不能根据手腕关节的旋转角度,识别手的掌心的朝向,如“手掌张开”时,手掌的掌心朝上还是朝下,从而导致动作评估不够精确。
发明内容
本发明实施例提供一种动作评估方法、装置、终端设备及存储介质,能够为对待检测体的局部动作进行评估,提升动作评估的准确度。
本发明第一实施例提供一种动作评估方法,包括获取待检测体的动作图像;其中,所述待检测体的每一部位按所对应的关节的旋转角度分为若干区域,且每一所述区域用不同的颜色进行标识;
将所述动作图像传输至预设的关节识别模型,识别出所述动作图像中待检测体的各个关节;
识别所述动作图像中待检测体的每一部位的颜色,确定所述待检测体的每一部位所对应的关节的旋转角度;
根据所述动作图像中待检测体的各个关节,及每一关节的旋转角度,获得所述待检测体的动作关节图;
将所述动作关节图与预存的标准动作关节图进行比对,并根据比对结果评估所述待检测体的动作是否标准。
进一步的,所述待检测体的每一部位按所对应的关节的旋转角度分为若干区域,且每一所述区域用不同的颜色进行标识,具体为:
将所述待检测体的每一部位按360°平均分成4个区域,则所述4个区域所对应的关节的旋转角度分别为:0°-90°、90°-180°、180°-270°和270°-360°。
用特定颜色的套装对每一部位的4个区域,用不同的颜色进行标识。
进一步的,所述预设的关节识别模型通过以下方式建立:
获取若干关节的静态图像,并进行灰度处理,获得若干灰度处理图像;
将所有灰度处理图像分为训练图像集和测试图像集,其中,所述训练图像集包括若干训练图像,所述测试图像集包括若干测试图像;
将每一所述训练图像的关节作矩形框标记,获得每一所述训练图像中关节的标记框参数;其中,所述关节标记框参数包括标记框的坐标、宽度和高度;
将每一所述训练图像、每一所述训练图像的关节标记框框参数及对应的关节名称,传输至训练模型中,反复训练,直至反复训练次数达到第一预设阈值时,停止训练,获得待测试训练模型;
将所述测试图像传输至所述待测试训练模型中,进行运行测试,获得损失函数;
根据所述损失函数,获得所述待测试训练模型的准确率;
若所述准确率达到第二预设阈值,则将所述待测试训练模型作为所述数据提取模型。
进一步的,所述关节包括颅骨、颈椎、胸椎、腰椎、左肩、右肩、左肘、右肘、左腕、右腕、左指骨、右指骨、左髋、右髋、左膝、右膝、左踝、右踝、左趾骨、右趾骨。
进一步的,所述根据所述动作图像中待检测体的各个关节,及每一关节的旋转角度,获得所述待检测体的动作关节图,具体为:
将所述动作图像中待检测体,相邻的关节两两连接,并对每一所述关节的旋转角度进行标识,获得所述待检测体的动作关节图。
进一步的,所述将所述动作关节图与预存的标准动作关节图进行比对,并根据比对结果评估所述待检测体的动作是否标准,具体为:
将所述动作关节图中各关节的旋转角度,与所述标准动作关节图中的对应的关节的旋转角度进行比对;
将所述动作关节图中相邻的两条关节连接线形成的夹角,作为待比对夹角;继而将每一所述待比对夹角与所述标准动作关节图中对应的夹角进行比对;其中,所述关节连接线为所述动作关节图中,相邻两个关节之间的连线;
若,所述动作关节图中,存在旋转角度与所述标准动作关节图不一致的关节,或存在夹角度数超过预设标准区间的待比对夹角,则评判所述待检测体的动作不标准。
进一步的,所述待检测体包括真实的人或机器人。
在本发明第一实施例的基础上,提供了第二实施例;
本发明第二实施例提供了一种动作评估装置,包括图像获取模块、关节识别模块、关节旋转角度识别模块、动作关节图生成模块和动作评估模块;
其中,所述图像获取模块用于,获取待检测体的动作图像;其中,所述待检测体的每一部位按所对应的关节的旋转角度分为若干区域,且每一所述区域用不同的颜色进行标识;
所述关节识别模块用于,将所述动作图像传输至预设的关节识别模型,识别出所述动作图像中待检测体的各个关节;
所述关节旋转角度识别模块用于,识别所述动作图像中待检测体的每一部位的颜色,确定所述待检测体的每一部位所对应的关节的旋转角度;
所述动作关节图生成模块用于,根据所述动作图像中待检测体的各个关节,及每一关节的旋转角度,获得所述待检测体的动作关节图;
所述动作评估模块用于,将所述动作关节图与预存的标准动作关节图进行比对,并根据比对结果评估所述待检测体的动作是否标准。
在本发明第一实施例的基础上,还提供了第三实施例
本发明第三实施例提供了一种终端设备,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序是实现本发明第一实施例所述的动作评估方法。
在本发明第一实施例的基础上,还提供了第四实施例
本发明第四实施例提供了一种计算机可读存储介质,所述计算机可读存储介质包括计算机程序,所述计算机程序运行时控制所述计算机可读存储介质所在的设备执行本发明第一实施例所述的动作评估方法。
通过实施本发明的实施例,有如下有益效果:
本发明实施例提供了一种动作评估方法、装置、移动终端和可读存储介质,首先获取待检测体的动作图像,在通过设置好的关节识别模型,识别出动作图像中,待检测体的各个关节,由于待检测体的每一个部位,事先按该部位所属的关节的旋转角度,被分为了几个区域并且每个区域用了不同颜色进行标识,因此在识别出待检测体的每个部位的颜色,就能知道图像中待检测做动作时的所拍摄到的部位的区域,从而确定该部位对应关节的旋转角度,紧接着根据各个关节,及关节对应的旋转角度获得待检测体的动作关节图,最后将动作关节图与标准的关节图进行比对,从而判断出待检测体当前做出的动作是否标准,与现有技术相比,本发明实施例提供的一种动作评估方法,不仅评估动作的整体是否正确,更考虑到了局部动作的准确性,通过关节的旋转角度进行评估,提升了动作评估的准确性。
附图说明
图1是本发明第一实施例提供的一种动作评估方法的流程示意图;
图2是本发明第二实施例提供的一种动作评估装置的结构示意图;
附图标记说明:图像获取模块210、关节识别模块220、关节旋转角度识别模块230、动作关节图生成模块240和动作评估模块250。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明第一实施例提供的一种动作评估方法包括步骤:
S101、获取待检测体的动作图像;其中,待检测体的每一部位按所对应的关节的旋转角度分为若干区域,且每一区域用不同的颜色进行标识。
S102、将动作图像传输至预设的关节识别模型,识别出动作图像中待检测体的各个关节。
S103、识别动作图像中待检测体的每一部位的颜色,确定待检测体的每一部位所对应的关节的旋转角度。
S104、根据动作图像中待检测体的各个关节,及每一关节的旋转角度,获得待检测体的动作关节图。
S105、将动作关节图与预存的标准动作关节图进行比对,并根据比对结果评估待检测体的动作是否标准。
对于步骤S101、优选的,让用户穿上特定运动套装并根据终端已录制的教程进行训练。通过摄像头大量抓拍用户各训练动作视频,系统提取视频并以抽帧形式提取多张静态图像,获得用户的动作图像。优选的,所终端可以是用户日常普遍使用的手机、电脑、触控屏、液晶显示屏等硬件设备,。
需要说明的是,特定的套装是根据实际情况自行定义的,包括帽子、手套、上衣、裤子、鞋套;如:用户的动作如果是打高尔夫球只需帽子、手套和上衣便可,练瑜伽则需帽子、手套、上衣、裤子、鞋套。其中,没有颜色代表骨骼关节,带有颜色则代表人体部位,相邻人体部位颜色不同,非相邻人体部位颜色可相同,例如:人体部位左前臂所属区域颜色是[红色,绿色,蓝色,黄色],那么:其相邻人体部位左手或者左上臂所属区域颜色不能是[红色,绿色,蓝色,黄色],其非相邻人体部位右手所属区域颜色则可以是[红色,绿色,蓝色,黄色]。部位,是以两个相邻骨骼关节分别为起点和终点的组成部分,如:骨骼关节左肘和左腕,两者形成的部位是左前臂。
此外,除了用特定的套装对待检测体进行标识,还可以通过其他方式对用户的部位的不同区域进行标识,如直接上色等,只是实现用不同的颜色进行标识即可。
对于步骤S102、优选的,预设的关节识别模型通过以下方式建立:
获取若干关节的静态图像,并进行灰度处理,获得若干灰度处理图像;
将所有灰度处理图像分为训练图像集和测试图像集,其中,训练图像集包括若干训练图像,测试图像集包括若干测试图像;
将每一训练图像的关节作矩形框标记,获得每一训练图像中关节的标记框参数;其中,关节标记框参数包括标记框的坐标、宽度和高度;
将每一训练图像、每一训练图像的关节标记框框参数及对应的关节名称,传输至训练模型中,反复训练,直至反复训练次数达到第一预设阈值时,停止训练,获得待测试训练模型;
将测试图像传输至待测试训练模型中,进行运行测试,获得损失函数;
根据损失函数,获得待测试训练模型的准确率;
若准确率达到第二预设阈值,则将待测试训练模型作为数据提取模型。
优选的,关节包括颅骨、颈椎、胸椎、腰椎、左肩、右肩、左肘、右肘、左腕、右腕、左指骨、右指骨、左髋、右髋、左膝、右膝、左踝、右踝、左趾骨、右趾骨。
在实际应用中,关节识别模型的建立如下:先把人体定义由20个骨骼关节组成,分别是:颅骨(头部)、颈椎(颈部)、胸椎(胸部)、腰椎(腰部)、左肩、右肩、左肘、右肘、左腕、右腕、左指骨(左手)、右指骨(右手)、左髋、右髋、左膝、右膝、左踝、右踝、左趾骨(左脚)、右趾骨(右脚)。
通过摄像头从不同角度大量抓拍上述骨骼关节的静态图像。系统提取图像并对其进行灰度处理;其中,灰度处理,不但提高图像处理效率,而且不会影响图像纹理特征。
上述骨骼关节图像经过灰度处理,变成灰度图。基于灰度图总数量,系统把图像分成训练图像和测试图像这两类;其中,前者用于模型训练,后者用于模型测试。灰度图均存储在本地服务器上,骨骼关节样本数据库建立完毕。
基于骨骼关节样本数据库,得到了大量人体骨骼关节图像。由于骨骼关节是连同与其相邻的人体部位,难以实现针对性抓拍,如:拍摄左腕时,也会把左前臂和左手的一部分一同拍摄。为了确保模型训练样本的质量,系统通过标记程序,对所有样本图像的骨骼关节作矩形框标记,一张样本图像对应一个骨骼关节,得出各样本所属骨骼关节的标记框坐标、宽度以及高度参数。
建立模型,基于机器学习方法,系统把骨骼关节样本数据库训练图像作为模型训练的输入图像。系统把上述输入图像、图像骨骼关节标记框参数以及图像骨骼关节名称传输给模型反复训练,得出目标预测框参数(即:坐标、宽度以及高度),实现基于物体坐标、类别检测识别骨骼关节的效果。
当模型与骨骼关节样本数据库训练图像反复训练的次数达到系统设定阀值,如:20万次,模型训练停止。系统把模型与骨骼关节样本数据库测试图像进行试运行测试,根据损失函数得出模型识别准确率。若准确率达到某一阀值,如:80%,则把模型应用于现场识别。以下是损失函数公式:
其中,x是相匹配的Jaccard系数,c是置信度,l是预测框,g是标记框,N是预测框数量,conf是置信损失,loc是定位损失,α是权重项,默认设置为1。
对于步骤S103、优选的,具体为:将待检测体的每一部位按360°平均分成4个区域,则4个区域所对应的关节的旋转角度分别为:0°-90°、90°-180°、180°-270°和270°-360°。
用特定颜色的套装对每一部位的4个区域,用不同的颜色进行标识。
例如,在特定的运动套装中,每个人体部位均按360°平均分成4个区域,每个区域90°,且区域之间颜色不同。例如:人体部位左前臂所属区域颜色以及角度划分是[红色0°-90°,绿色90°-180°,蓝色180°-270°,黄色270°-360°],当摄像头抓拍人体动作图像中,左前臂所属区域颜色是绿色,则可得知所属骨骼关节的摆放角度即旋转角度对应90°-180°。
对于步骤S104、优选的,具体为:将动作图像中待检测体,相邻的关节两两连接,并对每一关节的旋转角度进行标识,获得待检测体的动作关节图。
通过关节识别模型,识别用户各训练动作图像的骨骼关节;通过运动套装区域颜色判断,得出各图像骨骼关节所属摆放角度,即旋转角度。结合旋转角度,把图像已识别的相邻骨骼关节两两连接,形成用户骨骼关节图,并且对记录每一关节的旋转角度。
对于步骤S105、优选的,具体为:将动作关节图中各关节的旋转角度,与标准动作关节图中的对应的关节的旋转角度进行比对;
将动作关节图中相邻的两条关节连接线形成的夹角,作为待比对夹角;继而将每一待比对夹角与标准动作关节图中对应的夹角进行比对;其中,关节连接线为动作关节图中,相邻两个关节之间的连线;
若,动作关节图中,存在旋转角度与标准动作关节图不一致的关节,或存在夹角度数超过预设标准区间的待比对夹角,则评判待检测体的动作不标准。
由于2个骨骼关节连接可形成一条线段,两条线段连接可形成一个夹角。根据从上到下、从左到右的顺序把用户骨骼关节图与标准动作数据库对应的标准动作关节图进行比对。对于骨骼关节相同的连接线,基于一条线段重合,判断与其连接的另一条线段所形成的夹角是否超出标准区间;以及每一关节的旋转角度是否一致,若夹角是否超出标准区间,或关节色旋转角度不一致,则判断动作不标准,提示错误,用户动作实线显示,标准动作虚线显示,便于用户区别;否则,视为标准动作,不作提示。对于错误动作,用户修正动作,摄像头实时获取,终端实时更新比对结果。
优选的,标准动作图可以通过摄像头大量抓拍已穿特定运动套装教练的各训练动作视频,提取视频并以抽帧形式提取多张静态图像。将图像输入到已经训练好的关节识别模型中,识别出每张图像的关节,并进行连线,得到各个标准的动作关节图。
由于教练每个训练动作都会重复N次,系统基于相同骨骼关节,以其连接线所形成的夹角来分析每次重复动作,得出各标准动作对应的区间。
需要说明的是,待检测体可以为人体或机器人,当待检测体为机器人时,将上述教练替换为做标准动作的机器人,即可得到针对于机器人的标准动作关节图,同样预设的关节识别模型的建立,也只需将对象改为机器人,其余步骤保持不变,建立针对于机器人的关节识别模型。
在本发明第一实施例的基础上,对应提供了第二实施例
如图2所示,本发明第二实施例提供了一种动作评估装置,包括图像获取模块210、关节识别模块220、关节旋转角度识别模块230、动作关节图生成模块240和动作评估模块250;
其中,图像获取模块210用于,获取待检测体的动作图像;其中,待检测体的每一部位按所对应的关节的旋转角度分为若干区域,且每一区域用不同的颜色进行标识;
关节识别模块220用于,将动作图像传输至预设的关节识别模型,识别出动作图像中待检测体的各个关节;
关节旋转角度识别模块230用于,识别动作图像中待检测体的每一部位的颜色,确定待检测体的每一部位所对应的关节的旋转角度;
动作关节图生成模块240用于,根据动作图像中待检测体的各个关节,及每一关节的旋转角度,获得待检测体的动作关节图;
动作评估模块250用于,将动作关节图与预存的标准动作关节图进行比对,并根据比对结果评估待检测体的动作是否标准。
优选的、图像获取模块210用于,将待检测体的每一部位按所对应的关节的旋转角度分为若干区域,且每一区域用不同的颜色进行标识,具体为:
将待检测体的每一部位按360°平均分成4个区域,则4个区域所对应的关节的旋转角度分别为:0°-90°、90°-180°、180°-270°和270°-360°。
用特定颜色的套装对每一部位的4个区域,用不同的颜色进行标识。
优选的、关节识别模块220中还包括,关节识别模型建立模块,关节识别模型用于,获取若干关节的静态图像,并进行灰度处理,获得若干灰度处理图像;
将所有灰度处理图像分为训练图像集和测试图像集,其中,训练图像集包括若干训练图像,测试图像集包括若干测试图像;
将每一训练图像的关节作矩形框标记,获得每一训练图像中关节的标记框参数;其中,关节标记框参数包括标记框的坐标、宽度和高度;
将每一训练图像、每一训练图像的关节标记框框参数及对应的关节名称,传输至训练模型中,反复训练,直至反复训练次数达到第一预设阈值时,停止训练,获得待测试训练模型;
将测试图像传输至待测试训练模型中,进行运行测试,获得损失函数;
根据损失函数,获得待测试训练模型的准确率;
若准确率达到第二预设阈值,则将待测试训练模型作为数据提取模型。
优选的,动作关节图生成模块,根据动作图像中待检测体的各个关节,及每一关节的旋转角度,获得待检测体的动作关节图,具体为:
将动作图像中待检测体,相邻的关节两两连接,并对每一关节的旋转角度进行标识,获得待检测体的动作关节图。
优选的,动作评估模块将动作关节图与预存的标准动作关节图进行比对,并根据比对结果评估待检测体的动作是否标准,具体为:
将动作关节图中各关节的旋转角度,与标准动作关节图中的对应的关节的旋转角度进行比对;
将动作关节图中相邻的两条关节连接线形成的夹角,作为待比对夹角;继而将每一待比对夹角与标准动作关节图中对应的夹角进行比对;其中,关节连接线为动作关节图中,相邻两个关节之间的连线;
若,动作关节图中,存在旋转角度与标准动作关节图不一致的关节,或存在夹角度数超过预设标准区间的待比对夹角,则评判待检测体的动作不标准。
在本发明第一实施例的基础上,提供了第三实施例;
本发明第三实施例提供了一种终端设备,包括处理器、存储器以及存储在存储器中且被配置为由处理器执行的计算机程序,处理器执行计算机程序是实现本发明第一实施例提供的动作评估方法。
在本发明第一实施例基础上,提供了第四实施例;
本发明第四实施例提供了一种计算机可读存储介质,计算机可读存储介质包括存储的计算机程序,其中,在计算机程序运行时控制计算机可读存储介质所在的设备执行本发明第一实施例提供的动作评估方法。
通过实施本发明的实施例具有如下有益效果:
本发明实施例提供了一种动作评估方法、装置、移动终端和可读存储介质,首先获取待检测体的动作图像,在通过设置好的关节识别模型,识别出动作图像中,待检测体的各个关节,由于待检测体的每一个部位,事先按该部位所属的关节的旋转角度,被分为了几个区域并且每个区域用了不同颜色进行标识,因此在识别出待检测体的每个部位的颜色,就能知道图像中待检测做动作时的所拍摄到的部位的区域,从而确定该部位对应关节的旋转角度,紧接着根据各个关节,及关节对应的旋转角度获得待检测体的动作关节图,最后将动作关节图与标准的关节图进行比对,从而判断出待检测体当前做出的动作是否标准,与现有技术相比,本发明实施例提供的一种动作评估方法,不仅评估动作的整体是否正确,更考虑到了局部动作的准确性,通过关节的旋转角度进行评估,提升了动作评估的准确性,此外本发明基于关节识别模型以及特定运动套装区域颜色,得到抓拍图像的识别骨骼关节及其所属摆放角度,形成各动作对应的人体骨骼关节图。动作判断细致到各骨骼关节,避免实施动作部位容易识别错误的情况发生,使动作判断更实用有效。结合运动套装区域颜色的辅助判断,面对各骨骼关节的任何摆放,也能准确获取当前实施动作及其骨骼关节之间所形成的夹角,使动作判断更简单准确。动作监管过程只需一个摄像头便可,无需安装一系列的摄像组件多方位抓拍,投入、维护成本低。
需说明的是,以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外,本发明提供的装置实施例附图中,模块之间的连接关系表示它们之间具有通信连接,具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种动作评估方法,其特征在于,包括:
获取待检测体的动作图像;其中,所述待检测体的每一部位按所对应的关节的旋转角度分为若干区域,且每一所述区域用不同的颜色进行标识;
将所述动作图像传输至预设的关节识别模型,识别出所述动作图像中待检测体的各个关节;
识别所述动作图像中待检测体的每一部位的颜色,确定所述待检测体的每一部位所对应的关节的旋转角度;
根据所述动作图像中待检测体的各个关节,及每一关节的旋转角度,获得所述待检测体的动作关节图;
将所述动作关节图与预存的标准动作关节图进行比对,并根据比对结果评估所述待检测体的动作是否标准。
2.如权利要求1所述的动作评估方法,其特征在于,所述待检测体的每一部位按所对应的关节的旋转角度分为若干区域,且每一所述区域用不同的颜色进行标识,具体为:
将所述待检测体的每一部位按360°平均分成4个区域,则所述4个区域所对应的关节的旋转角度分别为:0°-90°、90°-180°、180°-270°和270°-360°
用特定颜色的套装对每一部位的4个区域,用不同的颜色进行标识。
3.如权利要求1所述的动作评估方法,其特征在于,所述预设的关节识别模型通过以下方式建立:
获取若干关节的静态图像,并进行灰度处理,获得若干灰度处理图像;
将所有灰度处理图像分为训练图像集和测试图像集,其中,所述训练图像集包括若干训练图像,所述测试图像集包括若干测试图像;
将每一所述训练图像的关节作矩形框标记,获得每一所述训练图像中关节的标记框参数;其中,所述关节标记框参数包括标记框的坐标、宽度和高度;
将每一所述训练图像、每一所述训练图像的关节标记框框参数及对应的关节名称,传输至训练模型中,反复训练,直至反复训练次数达到第一预设阈值时,停止训练,获得待测试训练模型;
将所述测试图像传输至所述待测试训练模型中,进行运行测试,获得损失函数;
根据所述损失函数,获得所述待测试训练模型的准确率;
若所述准确率达到第二预设阈值,则将所述待测试训练模型作为所述数据提取模型。
4.如权利要求3所述的动作评估方法,其特征在于,所述关节包括颅骨、颈椎、胸椎、腰椎、左肩、右肩、左肘、右肘、左腕、右腕、左指骨、右指骨、左髋、右髋、左膝、右膝、左踝、右踝、左趾骨、右趾骨。
5.如权利要求1所述的动作评估方法,其特征在于,所述根据所述动作图像中待检测体的各个关节,及每一关节的旋转角度,获得所述待检测体的动作关节图,具体为:
将所述动作图像中待检测体,相邻的关节两两连接,并对每一所述关节的旋转角度进行标识,获得所述待检测体的动作关节图。
6.如权利要求5所述的动作评估方法,其特征在于,所述将所述动作关节图与预存的标准动作关节图进行比对,并根据比对结果评估所述待检测体的动作是否标准,具体为:
将所述动作关节图中各关节的旋转角度,与所述标准动作关节图中的对应的关节的旋转角度进行比对;
将所述动作关节图中相邻的两条关节连接线形成的夹角,作为待比对夹角;继而将每一所述待比对夹角与所述标准动作关节图中对应的夹角进行比对;其中,所述关节连接线为所述动作关节图中,相邻两个关节之间的连线;
若,所述动作关节图中,存在旋转角度与所述标准动作关节图不一致的关节,或存在夹角度数超过预设标准区间的待比对夹角,则评判所述待检测体的动作不标准。
7.如权利要求1-6任意一项所述的动作评估方法,其特征在于,所述待检测体包括真实的人或机器人。
8.一种动作评估装置,其特征在于,包括图像获取模块、关节识别模块、关节旋转角度识别模块、动作关节图生成模块和动作评估模块;
其中,所述图像获取模块用于,获取待检测体的动作图像;其中,所述待检测体的每一部位按所对应的关节的旋转角度分为若干区域,且每一所述区域用不同的颜色进行标识;
所述关节识别模块用于,将所述动作图像传输至预设的关节识别模型,识别出所述动作图像中待检测体的各个关节;
所述关节旋转角度识别模块用于,识别所述动作图像中待检测体的每一部位的颜色,确定所述待检测体的每一部位所对应的关节的旋转角度;
所述动作关节图生成模块用于,根据所述动作图像中待检测体的各个关节,及每一关节的旋转角度,获得所述待检测体的动作关节图;
所述动作评估模块用于,将所述动作关节图与预存的标准动作关节图进行比对,并根据比对结果评估所述待检测体的动作是否标准。
9.一种终端设置,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序是实现如权利要求1-6任意一项所述的动作评估方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在的设备执行如权利要求1-6中任意一项所述的动作评估方法。
CN201910008331.2A 2019-01-04 2019-01-04 一种动作评估方法、装置、移动终端和可读存储介质 Active CN109840478B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910008331.2A CN109840478B (zh) 2019-01-04 2019-01-04 一种动作评估方法、装置、移动终端和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910008331.2A CN109840478B (zh) 2019-01-04 2019-01-04 一种动作评估方法、装置、移动终端和可读存储介质

Publications (2)

Publication Number Publication Date
CN109840478A true CN109840478A (zh) 2019-06-04
CN109840478B CN109840478B (zh) 2021-07-02

Family

ID=66883673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910008331.2A Active CN109840478B (zh) 2019-01-04 2019-01-04 一种动作评估方法、装置、移动终端和可读存储介质

Country Status (1)

Country Link
CN (1) CN109840478B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461020A (zh) * 2020-04-01 2020-07-28 浙江大华技术股份有限公司 不安全使用手机行为的识别方法、设备及相关存储介质
CN112288266A (zh) * 2020-10-27 2021-01-29 郑州捷安高科股份有限公司 调车手信号的处理、模型获取方法、装置、设备及介质
CN112587130A (zh) * 2020-12-03 2021-04-02 南通市第一人民医院 一种护理关节活动的系统及方法
CN113326726A (zh) * 2020-02-28 2021-08-31 富士通株式会社 行为识别方法、行为识别设备和计算机可读记录介质
CN113569743A (zh) * 2021-07-29 2021-10-29 上海健指树健康管理有限公司 基于肢体识别技术的健身评估方法及系统
CN113569776A (zh) * 2021-08-02 2021-10-29 北京易真学思教育科技有限公司 跳绳姿势检测方法、装置、电子设备和介质
CN115105820A (zh) * 2021-03-23 2022-09-27 薛雅馨 动作评估系统

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101133958A (zh) * 2007-09-30 2008-03-05 北京三维正基科技有限公司 关节动度检测系统及其检测方法
JP4142898B2 (ja) * 2002-06-03 2008-09-03 パナホーム株式会社 コーキング材の打ち継ぎ方法
CN101901350A (zh) * 2010-07-23 2010-12-01 北京航空航天大学 一种基于特征向量的静态手势识别方法
CN102481093A (zh) * 2009-07-09 2012-05-30 耐克国际有限公司 用于测试和/或训练的眼睛和身体运动跟踪
CN102609684A (zh) * 2012-01-16 2012-07-25 宁波江丰生物信息技术有限公司 人体姿势检测方法及装置
CN102670204A (zh) * 2012-05-18 2012-09-19 复旦大学附属华山医院 简易肩关节活动度测量仪
CN103049761A (zh) * 2013-01-21 2013-04-17 中国地质大学(武汉) 基于手语手套的手语识别方法及系统
CN103056864A (zh) * 2013-01-24 2013-04-24 上海理工大学 轮式运动机器人位置与角度的实时检测装置及方法
CN103706106A (zh) * 2013-12-30 2014-04-09 南京大学 一种基于Kinect的自适应连续动作训练方法
CN104254817A (zh) * 2012-04-16 2014-12-31 高通股份有限公司 快速手势重新约定
CN104574501A (zh) * 2014-12-19 2015-04-29 浙江大学 一种针对复杂三维场景的高质量纹理映射方法
CN105051755A (zh) * 2013-01-18 2015-11-11 微软技术许可有限责任公司 用于姿势识别的部位和状态检测
CN205433699U (zh) * 2015-12-31 2016-08-10 深圳先进技术研究院 彩色关节运动测试系统
CN106022305A (zh) * 2016-06-07 2016-10-12 北京光年无限科技有限公司 一种用于智能机器人的动作对比方法以及机器人
CN106625658A (zh) * 2016-11-09 2017-05-10 华南理工大学 一种实时模仿人体上半身动作的人形机器人控制方法
CN107292886A (zh) * 2017-08-11 2017-10-24 厦门市美亚柏科信息股份有限公司 基于网格划分及神经网络的目标物入侵检测方法及装置
CN107451568A (zh) * 2017-08-03 2017-12-08 重庆邮电大学 使用深度卷积神经网络的姿态检测方法及设备
CN107886089A (zh) * 2017-12-11 2018-04-06 深圳市唯特视科技有限公司 一种基于骨架图回归的三维人体姿态估计的方法
CN107909060A (zh) * 2017-12-05 2018-04-13 前海健匠智能科技(深圳)有限公司 基于深度学习的健身房健身动作识别方法及装置
CN108205654A (zh) * 2017-09-30 2018-06-26 北京市商汤科技开发有限公司 一种基于视频的动作检测方法及装置
CN108734104A (zh) * 2018-04-20 2018-11-02 杭州易舞科技有限公司 基于深度学习图像识别的健身动作纠错方法及系统
CN109102501A (zh) * 2018-08-06 2018-12-28 北京市商汤科技开发有限公司 一种关节图像处理方法及图像处理设备

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4142898B2 (ja) * 2002-06-03 2008-09-03 パナホーム株式会社 コーキング材の打ち継ぎ方法
CN101133958A (zh) * 2007-09-30 2008-03-05 北京三维正基科技有限公司 关节动度检测系统及其检测方法
CN102481093A (zh) * 2009-07-09 2012-05-30 耐克国际有限公司 用于测试和/或训练的眼睛和身体运动跟踪
CN101901350A (zh) * 2010-07-23 2010-12-01 北京航空航天大学 一种基于特征向量的静态手势识别方法
CN102609684A (zh) * 2012-01-16 2012-07-25 宁波江丰生物信息技术有限公司 人体姿势检测方法及装置
CN104254817A (zh) * 2012-04-16 2014-12-31 高通股份有限公司 快速手势重新约定
CN102670204A (zh) * 2012-05-18 2012-09-19 复旦大学附属华山医院 简易肩关节活动度测量仪
CN105051755A (zh) * 2013-01-18 2015-11-11 微软技术许可有限责任公司 用于姿势识别的部位和状态检测
CN103049761A (zh) * 2013-01-21 2013-04-17 中国地质大学(武汉) 基于手语手套的手语识别方法及系统
CN103056864A (zh) * 2013-01-24 2013-04-24 上海理工大学 轮式运动机器人位置与角度的实时检测装置及方法
CN103706106A (zh) * 2013-12-30 2014-04-09 南京大学 一种基于Kinect的自适应连续动作训练方法
CN104574501A (zh) * 2014-12-19 2015-04-29 浙江大学 一种针对复杂三维场景的高质量纹理映射方法
CN205433699U (zh) * 2015-12-31 2016-08-10 深圳先进技术研究院 彩色关节运动测试系统
CN106022305A (zh) * 2016-06-07 2016-10-12 北京光年无限科技有限公司 一种用于智能机器人的动作对比方法以及机器人
CN106625658A (zh) * 2016-11-09 2017-05-10 华南理工大学 一种实时模仿人体上半身动作的人形机器人控制方法
CN107451568A (zh) * 2017-08-03 2017-12-08 重庆邮电大学 使用深度卷积神经网络的姿态检测方法及设备
CN107292886A (zh) * 2017-08-11 2017-10-24 厦门市美亚柏科信息股份有限公司 基于网格划分及神经网络的目标物入侵检测方法及装置
CN108205654A (zh) * 2017-09-30 2018-06-26 北京市商汤科技开发有限公司 一种基于视频的动作检测方法及装置
CN107909060A (zh) * 2017-12-05 2018-04-13 前海健匠智能科技(深圳)有限公司 基于深度学习的健身房健身动作识别方法及装置
CN107886089A (zh) * 2017-12-11 2018-04-06 深圳市唯特视科技有限公司 一种基于骨架图回归的三维人体姿态估计的方法
CN108734104A (zh) * 2018-04-20 2018-11-02 杭州易舞科技有限公司 基于深度学习图像识别的健身动作纠错方法及系统
CN109102501A (zh) * 2018-08-06 2018-12-28 北京市商汤科技开发有限公司 一种关节图像处理方法及图像处理设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
纪超: ""温室果蔬采摘机器人视觉信息获取方法及样机系统研究"", 《中国博士学位论文全文数据库 农业科技辑》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113326726A (zh) * 2020-02-28 2021-08-31 富士通株式会社 行为识别方法、行为识别设备和计算机可读记录介质
CN111461020A (zh) * 2020-04-01 2020-07-28 浙江大华技术股份有限公司 不安全使用手机行为的识别方法、设备及相关存储介质
CN111461020B (zh) * 2020-04-01 2024-01-19 浙江大华技术股份有限公司 不安全使用手机行为的识别方法、设备及相关存储介质
CN112288266A (zh) * 2020-10-27 2021-01-29 郑州捷安高科股份有限公司 调车手信号的处理、模型获取方法、装置、设备及介质
CN112587130A (zh) * 2020-12-03 2021-04-02 南通市第一人民医院 一种护理关节活动的系统及方法
CN115105820A (zh) * 2021-03-23 2022-09-27 薛雅馨 动作评估系统
CN113569743A (zh) * 2021-07-29 2021-10-29 上海健指树健康管理有限公司 基于肢体识别技术的健身评估方法及系统
CN113569776A (zh) * 2021-08-02 2021-10-29 北京易真学思教育科技有限公司 跳绳姿势检测方法、装置、电子设备和介质

Also Published As

Publication number Publication date
CN109840478B (zh) 2021-07-02

Similar Documents

Publication Publication Date Title
CN109840478A (zh) 一种动作评估方法、装置、移动终端和可读存储介质
CN106022213B (zh) 一种基于三维骨骼信息的人体动作识别方法
CN109191588B (zh) 运动教学方法、装置、存储介质及电子设备
CN109934111A (zh) 一种基于关键点的健身姿态估计方法及系统
CN108734104B (zh) 基于深度学习图像识别的健身动作纠错方法及系统
CN112184705B (zh) 一种基于计算机视觉技术的人体穴位识别、定位及应用系统
CN108090742A (zh) 运动健身计划管理系统
CN109635875A (zh) 一种基于深度学习的端到端网口检测方法
CN107871120A (zh) 基于机器学习的体育赛事理解系统及方法
CN111263953A (zh) 动作状态评估系统、动作状态评估装置、动作状态评估服务器、动作状态评估方法以及动作状态评估程序
CN114724241A (zh) 基于骨骼点距离的动作识别方法、装置、设备及存储介质
CN109829442A (zh) 一种基于摄像头的人体动作评分的方法及系统
KR102320960B1 (ko) 사용자 신체 맞춤형 홈 트레이닝 동작 안내 및 교정 시스템
CN110047071A (zh) 一种图像质量评估方法、装置和介质
CN111883229B (zh) 一种基于视觉ai的智能运动指导方法及系统
US11134866B2 (en) Garments, systems and methods for sports training
CN109117753A (zh) 部位识别方法、装置、终端及存储介质
CN109839827A (zh) 一种基于全空间位置信息的手势识别智能家居控制系统
CN112288766A (zh) 运动评估方法、装置、系统及存储介质
CN109558824B (zh) 一种基于人员图像识别的健身动作监测与分析系统
Yang et al. Human exercise posture analysis based on pose estimation
CN110781777A (zh) 体育训练中人体动作的判定方法、系统和存储介质
CN109993116A (zh) 一种基于人体骨骼相互学习的行人再识别方法
CN105809653B (zh) 图像处理方法及装置
CN112001209A (zh) 一种基于人工智能的学生课堂学习行为的监测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant