CN115880783A - 用于儿科保健的儿童运动姿态识别方法 - Google Patents

用于儿科保健的儿童运动姿态识别方法 Download PDF

Info

Publication number
CN115880783A
CN115880783A CN202310140257.6A CN202310140257A CN115880783A CN 115880783 A CN115880783 A CN 115880783A CN 202310140257 A CN202310140257 A CN 202310140257A CN 115880783 A CN115880783 A CN 115880783A
Authority
CN
China
Prior art keywords
image
action
sub
images
division
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310140257.6A
Other languages
English (en)
Other versions
CN115880783B (zh
Inventor
阚成宝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Taihexinkang Medical Technology Co ltd
Original Assignee
Shandong Taihexinkang Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Taihexinkang Medical Technology Co ltd filed Critical Shandong Taihexinkang Medical Technology Co ltd
Priority to CN202310140257.6A priority Critical patent/CN115880783B/zh
Publication of CN115880783A publication Critical patent/CN115880783A/zh
Application granted granted Critical
Publication of CN115880783B publication Critical patent/CN115880783B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域,具体涉及一种用于儿科保健的儿童运动姿态识别方法,该方法包括:获取儿童运动时的人体肢干图像以及数据库中不同动作的动作模板图像;对人体肢干图像进行分割得到子区域,根据图像中子区域内像素点得到匹配程度;分别根据人体肢干图像中子区域的数量、优选模板图像对应的匹配程度以及关键点的位置信息分别得到第一、第二和第三效果评价值,进而得到综合效果评价值;对人体肢干图像中子区域的划分结果进行修正,得到优选分割图像,将优选分割图像与不同动作的动作模板图像进行匹配,得到儿童动作姿态识别结果。本发明获取运动姿态的识别结果的精度较高。

Description

用于儿科保健的儿童运动姿态识别方法
技术领域
本发明涉及图像处理技术领域,具体涉及一种用于儿科保健的儿童运动姿态识别方法。
背景技术
学前儿童处于身高迅速增长的时期,其骨骼也在不断地进行生长,并且该时期儿童的骨骼柔软、弹性大以及可塑性强。为了使得儿童能够健康成长,儿童需要进行一定程度的儿科保健运动。让儿童做出正确的保健运动姿势,让儿童身体得到最大程度的发育锻炼是儿科保健运动的主要目的,因此,对儿童进行儿科保健运动时的运动姿态识别就显得尤为重要。现有的运动姿态识别方法,通过将实时采集的运动图像与模板图像进行匹配,但是该方法在匹配时通常对图像进行均匀分割得到不同的匹配区域,使得匹配区域划分并不准确,导致动作识别结果不准确,进而影响运动姿态的识别结果。
发明内容
为了解决图像匹配时匹配区域划分的不准确,导致动作识别结果不准确,进而影响运动姿态的识别结果的技术问题,本发明的目的在于提供一种用于儿科保健的儿童运动姿态识别方法,所采用的技术方案具体如下:
获取儿童运动时的人体肢干图像以及数据库中不同动作的动作模板图像;
在人体肢干图像中根据以设定关键点为圆心,不同的设定长度为半径的圆获得待分割区域,根据不同角度对待分割区域进行分割得到至少两个子区域;同理获取动作模板图像中的子区域,根据人体肢干图像和动作模板图像中对应子区域内的像素点得到匹配程度;
根据人体肢干图像中子区域的数量得到子区域划分的第一效果评价值;根据匹配程度对动作模板图像进行筛选得到优选模板图像,根据优选模板图像对应的匹配程度得到子区域划分的第二效果评价值;根据优选模板图像中关键点的位置信息得到第三效果评价值;以人体肢干图像中子区域划分的第一、第二和第三效果评价值的乘积作为子区域划分的综合效果评价值;
利用综合效果评价值对人体肢干图像中子区域的划分结果进行修正,得到优选分割图像,将优选分割图像与不同动作的动作模板图像进行匹配,得到儿童动作姿态识别结果。
优选地,所述待分割区域为以第一设定数量个不同的设定长度为半径的圆构成的圆环区域。
优选地,所述根据不同角度对待分割区域进行分割得到至少两个子区域具体为:
以设定关键点为顶点,获取第二设定数量个与水平向右方向之间的夹角具有不同角度的射线,利用射线将待分割区域分割为至少两个子区域。
优选地,所述匹配程度的获取方法具体为:
对于任意一张动作模板图像,计算人体肢干图像与动作模板图像中对应位置处的子区域中位于人体肢干连线上的像素点数量之间的差值的绝对值,对所有子区域中对应的像素点数量之间的差值的绝对值进行求和,以求和结果的负相关映射值作为人体肢干图像和动作模板图像之间的匹配程度。
优选地,所述利用综合效果评价值对人体肢干图像中子区域的划分结果进行修正,得到优选分割图像,包括:
将待分割区域中圆的数量记为第一分割系数,将对待分割区域进行分割时的不同角度的数量记为第二分割系数;当第一分割系数为第一预设值且第二分割系数为第二预设值时,若综合效果评价值大于预设的效果阈值,则利用第一分割系数和第二分割系数对人体肢干图像进行子区域划分,得到优选分割图像;
若综合效果评价值小于或等于效果阈值,则将第一分割系数和第二分割系数均分别增加固定数值,再获取当前划分子区域的综合效果评价值;以此类推,直至综合效果评价值大于效果阈值时,利用对应的第一分割系数和第二分割系数对人体肢干图像进行子区域划分,得到优选分割图像。
优选地,所述根据匹配程度对动作模板图像进行筛选得到优选模板图像,根据优选模板图像对应的匹配程度得到子区域划分的第二效果评价值,包括:
当人体肢干图像与动作模板图像对应的匹配程度大于预设的匹配阈值时,获取对应的动作模板图像记为优选模板图像;
计算所有优选模板图像的数量与所有动作模板图像的数量之间的比值,计算所有优选模板图像分别与人体肢干图像之间的匹配程度的和值,对和值进行负相关映射,所述比值与负相关映射值的乘积为人体肢干图像中子区域划分的第二效果评价值。
优选地,所述将优选分割图像与不同动作的动作模板图像进行匹配,得到儿童动作姿态识别结果,包括:
将任意一个动作的所有动作模板图像记为动作帧图像,获取优选分割图像对应子区域划分方式,利用该划分方式获取动作帧图像进行子区域划分后对应的动作分割图像;
将任意一帧视频帧图像对应的优选分割图像记为目标分割图像,分别计算目标分割图像与各动作分割图像之间的匹配程度,将匹配程度的最大值对应的动作分割图像与目标分割图像构成匹配对;
获取所有视频帧图像对应的优选分割图像与动作帧图像对应的动作分割图像之间构成的匹配对的总数量;
计算匹配对中动作帧图像对应的匹配程度的和值得到特征和值;以所述匹配对的总数量与特征和值的乘积作为当前动作的动作匹配值;进而计算所有动作的动作匹配值;
获取动作匹配值大于动作阈值的动作,得到儿童运动姿态识别结果。
优选地,所述第三效果评价值的获取方法具体为:
对于任意两张优选模板图像,获取各个类型的关键点分别在两张优选模板图像上的极坐标;计算两张优选模板图像上属于同一类型的关键点的极径的差值的平方,以及关键点的极角的差值的平方,对两个平方的归一化值进行求和得到该类型关键点的坐标差异值,计算所有关键点的坐标差异值之和得到两张优选模板图像的评价指标;所有任意两张优选模板图像的评价指标的均值为第三效果评价值。
优选地,所述第一效果评价值的获取方法具体为:对人体肢干图像中所有子区域的数量进行负相关映射得到人体肢干图像中子区域划分的第一效果评价值。
优选地,所述人体肢干图像的获取方法具体为:
获取儿童运动时的视频帧图像,对每一视频帧图像进行人体关键点检测,得到关键点图像;将关键点图像中的关键点按照人体肢干进行连接得到人体肢干图像。
本发明实施例至少具有如下有益效果:
本发明通过获取儿童运动时的人体肢干图像以及不同动作的动作模板图像,后续通过人体肢干图像进行图像模板匹配操作时的计算量较小;在人体肢干图像中根据以设定关键点为圆心,不同的设定长度为半径的圆获得待分割区域,将待分割区域按角度划分得到多个子区域,将待分割区域划分为扇形的子区域,利用划分后的图像进行模板匹配时能够更好的表征人体肢干在不同动作表现形式之间的差异性,进而根据对应子区域的像素点得到匹配程度,表征了视频帧图像与动作模板图像之间的匹配度以及相似度;进一步的,从三个方面分析子区域划分的效果,第一效果评价值从子区域划分数量方面反映了当前子区域划分的效果,第二效果评价值从图像匹配效果方面反应了当前子区域划分的效果,第三效果评价值从较为相似的优选模板图像中关键点的位置信息方面反映了当前子区域划分的效果,得到综合效果评价值,利用综合效果评价值对子区域划分结果进行修正,能够获得较为准确的匹配区域的划分结果,使得动作识别结果更加准确,进而获取运动姿态的识别结果的精度较高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1是本发明的一种用于儿科保健的儿童运动姿态识别方法的方法流程图;
图2是本发明一个实施例中子区域划分结果示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种用于儿科保健的儿童运动姿态识别方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种用于儿科保健的儿童运动姿态识别方法的具体方案。
请参阅图1,其示出了本发明一个实施例提供的一种用于儿科保健的儿童运动姿态识别方法的方法流程图,该方法包括以下步骤:
步骤一,获取儿童运动时的人体肢干图像以及数据库中不同动作的动作模板图像。
具体地,利用摄像机对运动的儿童进行实时拍摄,获取儿童在运动时实时的视频帧图像,即视频帧图像在时间上连续。同时,获取数据库中不同动作的多张动作模板图像,例如,在儿童做出标准的跳跃动作的时间段内,利用摄像机采集的所有帧图像构成了跳跃动作的多张动作模板图像。即一个动作对应了多张动作模板图像,数据库中包含了儿童进行保健运动时多种不同的动作。
需要说明的是,由于儿童在进行保健运动时,不同种类的保健运动可能存在相同的动作,故在进行保健运动识别时,需要进行单一的保健动作的识别,进而获取儿童对应的保健运动种类,从而进行运动纠错等监督行为。通过不同种类的保健运动的标准动作图像构建保健运动的数据库,将实时获取的视频帧图像与数据库中的图像信息进行比较,进而根据比较算法获取视频帧图像对应的动作。基于此,本发明实施例采用基于模板匹配的匹配算法进行儿童运动姿态识别。
进一步的,根据儿童运动时的视频帧图像获得每一帧视频帧图像对应的人体肢干图像,具体地,对每一视频帧图像进行关键点检测,在本实施例中利用关键点检测网络对视频帧图像进行关键点检测,得到关键点图像,所述关键点检测网络采用OpenPose网络模型。其中,关键点图像中的人体关键点包括头部、颈部、腹部、双肩、双手、双肘、双髋、双膝以及双脚,共15个关键点。利用关键点检测网络对图像进行人体关键点检测为公知技术,在此不再过多介绍。
将人体关键点图像中的关键点按照人体肢干进行连接得到人体肢干图像,具体地,将头部关键点与颈部关键点连接,颈部关键点与腹部关键点连接;腹部关键点与左髋关键点连接,左髋关键点与左膝关键点连接,左膝关键点与左脚关键点连接,左手关键点与左肘关键点连接,左肘关键点与颈部关键点连接;右手关键点与右肘关键点连接,右肘关键点与颈部关键点连接,腹部关键点与右髋关键点连接,右髋关键点与右膝关键点连接,右膝关键点与右脚关键点连接,得到人体肢干图像。
步骤二,在人体肢干图像中根据以设定关键点为圆心,不同的设定长度为半径的圆获得待分割区域,根据不同角度对待分割区域进行分割得到至少两个子区域;同理获取动作模板图像中的子区域,根据人体肢干图像和动作模板图像中对应子区域内的像素点得到匹配程度。
通过比较不同动作中人体各个肢干部分的相对位置,进而根据人体各个肢干部分的相对位置的相似程度获取对应动作的相似程度,以达到动作匹配的效果。由于需要对儿童运动时的视频帧图像与不同动作的动作模板图像进行匹配,故也需要对动作模板图像进行人体关键点检测,将检测到的关键点按照人体肢干进行连接得到标准人体肢干图像,即可获得动作模板图像对应的标准人体肢干图像。进而利用视频帧图像对应的人体肢干图像与动作模板图像对应的标准人体肢干图像进行匹配。
在进行匹配时,需要对视频帧图像对应的人体肢干图像进行匹配区域的划分,现有方法通过将人体肢干图像划分为不同的人体肢干区域,例如手臂肢干区域以及小腿肢干区域等,进而将视频帧图像与动作模板图像中对应的人体肢干区域进行匹配。由于儿童正处于身体快速生长的阶段,不同年龄的儿童的人体肢干大小可能不同,同时,相同年龄的儿童的人体肢干大小也有可能不同,故仅根据人体肢干区域进行动作匹配操作,可能会由于人体肢干大小存在差异导致动作识别的准确率下降。
基于此,在本发明实施例中,不对人体肢干图像进行线性划分,而是通过对人体肢干图像进行扇形区域的划分,进而使得人体肢干在不同动作表现形式之间的差异性更好的显现出来。
具体地,根据以设定关键点为圆心,不同的设定长度为半径的圆获得待分割区域,其中在本实施例中选择腹部关键点作为设定关键点,实施者可根据具体实施场景进行设置,需要保证设定关键点选择尽可能的靠近人体肢干的中心部位。即以腹部关键点为圆心,第一设定数量个不同的设定长度为半径画圆,所有圆构成的圆环区域即为待分割区域。以腹部关键点为顶点,获取第二设定数量个与水平向右方向之间的夹角具有不同角度的射线,利用射线将待分割区域分割为至少两个子区域。
举例说明,如图2所示的子区域划分结果示意图,第一设定数量的取值为5,不同设定长度分别为1、2、3、4和5,则5个圆构成的圆环区域即为待分割全区域。第二设定数量的取值为8,8条射线与水平向右方向之间的夹角按照逆时针的顺序分别为0°、45°、90°、135°、180°、225°、270°和315°,则利用8条射线将待分割区域划分为40个子区域,即图2中的扇形区域即为子区域。
按照相同的分割方法,对动作模板图像对应的标准人体肢干图像也进行子区域的划分,视频帧图像的人体肢干图像中与动作模板图像的标准人体肢干图像中的子区域的位置是一一对应的关系。
若人体肢干图像对应的动作与标准人体肢干图像对应的动作相似度较高,则两张图像中人体肢干部分的位置信息较为接近,进而在两张图像的对应位置的子区域中包含的人体肢干部分大小较为接近。若人体肢干图像对应的动作与标准人体肢干图像对应的动作相似度较低,则两张图像中人体肢干部分的位置信息差异较大,进而在两张图像的对应位置的子区域中包含的人体肢干部分大小存在一定的差异性。在本实施例中,利用子区域中属于人体肢干部分的像素点数量表征子区域中包含的人体肢干部分大小。
对于任意一张动作模板图像,计算人体肢干图像与动作模板图像中对应位置处的子区域中,位于人体肢干连线上的像素点数量之间的差值的绝对值,即位于人体肢干连线上的像素点为子区域中属于人体肢干部分的像素点数量,对所有子区域中对应的像素点数量之间的差值的绝对值进行求和,以求和结果的负相关映射值作为人体肢干图像和动作模板图像之间的匹配程度,用公式表示为:
Figure SMS_1
其中,
Figure SMS_2
表示第p张人体肢干图像与第q张动作模板图像对应的标准人体肢干图像之间的匹配程度,/>
Figure SMS_3
表示第p张人体肢干图像中第a个子区域内位于人体肢干连线上的像素数量,/>
Figure SMS_4
表示第q张动作模板图像对应的标准人体肢干图像中第a个子区域内位于人体肢干连线上的像素数量,/>
Figure SMS_5
表示子区域的数量,exp()表示以自然常数e为底的指数函数。
Figure SMS_6
表示两张图像中第a个子区域内属于人体肢干部分的像素点数量之间的差异,该差异越大,说明视频帧图像的人体肢干图像与动作模板图像的标准人体肢干图像在第a个子区域中包含的人体肢干信息之间的差异性越大,对应的匹配程度越小,说明两张图像对应的动作越不可能是同一种动作,则两张图像之间越不匹配。
匹配程度表征了视频帧图像与动作模板图像之间的匹配度以及相似度,匹配程度的取值越大,说明视频帧图像对应的动作与动作模板图像对应的动作越可能是同一种动作,两者的匹配度越高,相似度越大。匹配程度的取值越小,说明视频帧图像对应的动作与动作模板图像对应的动作越不可能是同一种动作,两者的匹配度越低,相似度越小。
步骤三,根据人体肢干图像中子区域的数量得到子区域划分的第一效果评价值;根据匹配程度对动作模板图像进行筛选得到优选模板图像,根据优选模板图像对应的匹配程度得到子区域划分的第二效果评价值;根据优选模板图像中关键点的位置信息得到第三效果评价值;以人体肢干图像中子区域划分的第一、第二和第三效果评价值的乘积作为子区域划分的综合效果评价值。
首先,将待分割区域中圆的数量记为第一分割系数,将对待分割区域进行分割时的不同角度的数量记为第二分割系数,也即对待分割区域进行分割时射线的数量为第二分割系数,例如,图2中的子区域划分示意图,第一分割系数的取值为5,第二分割系数的取值为8。
使用不同的分割系数进行子区域的划分,会使得图像匹配结果呈现出不同的效果,当第一分割系数和第二分割系数的取值过大时,计算量较大,图像匹配的及时性就会降低。当第一分割系数和第二分割系数的取值过小时,会使得图像匹配结果的误差较大。因此,需要对子区域划分效果进行评估,以获取较优的分割系数,得到较为合适且准确的子区域划分结果。
为了保证图像匹配的及时性,在进行子区域划分时,在图像匹配结果的误差较小的同时,需要划分的子区域数量尽可能的少,基于此,构建人体肢干图像中子区域划分的第一效果评价值。具体地,对人体肢干图像中所有子区域的数量进行负相关映射得到人体肢干图像中子区域划分的第一效果评价值,用公式表示为:
Figure SMS_7
其中,
Figure SMS_8
表示第p张人体肢干图像中子区域划分的第一效果评价值,/>
Figure SMS_9
表示第p张人体肢干图像中子区域划分时的第一分割系数,/>
Figure SMS_10
表示第p张人体肢干图像中子区域划分时的第二分割系数,exp()表示以自然常数e为底的指数函数。
Figure SMS_11
为第一分割系数和第二分割系数的乘积,表征了第p张人体肢干图像中所有子区域的数量,该数量的取值越小,则对应的第一效果评价值越大,利用当前分割系数进行子区域划分的效果越好。
第一效果评价值从人体肢干图像中的子区域的数量方面表征了当前子区域划分的效果,第一效果评价值越大,说明当前被划分的子区域数量越少,对应的子区域划分的效果越好。第一效果评价值越小,说明当前被划分的子区域数量越多,对应的子区域划分的效果越差。
然后,利用第一分割系数和第二分割系数进行子区域划分的目的,是为了获得较为准确的图像匹配结果。当人体肢干图像与动作模板图像的标准人体肢干图像之间的匹配程度大于预设的匹配阈值时,说明视频帧图像对应的动作与动作模板图像对应的动作越可能是同一种动作,两者的匹配度越高,相似度越大。获取对应的动作模板图像记为优选模板图像。其中,匹配阈值的取值为0.9,实施者可根据具体实施场景进行设置。
根据匹配程度筛选出与人体肢干图像匹配度、相似度较高的动作模板图像,则优选模板图像对应的动作与人体肢干图像对应的视频帧图像对应的动作均可能较为相似。
优选模板图像的数量越多,说明与人体肢干图像对应的动作较为相似的标准动作对应的动作模板图像越多。例如,人体肢干图像对应的动作为跳跃,则数据库中标准跳跃动作与跳跃动作匹配度高和相似度高,则标准跳跃动作对应的动作模板图像均被筛选出来得到多张优选模板图像。进而说明人体肢干图像中子区域的划分效果较好。
进而对匹配度和相似度较高的动作模板图像对应的匹配程度进行分析,为了将相似的动作尽可能的被识别出来,故当子区域划分结果较好时,人体肢干图像与优选模板图像对应位置子区域内属于人体肢干部分的像素点数量的差异越大。而匹配程度反映了两张图像在对应子区域中属于人体肢干部分的像素点数量之间的差异,匹配程度越大,差异越小,匹配程度越小,差异越大。进一步的,匹配程度越小,差异越大,人体肢干图像中子区域的划分效果较好。
计算所有优选模板图像的数量与所有动作模板图像的数量之间的比值,计算所有优选模板图像分别与人体肢干图像之间的匹配程度的和值,对和值进行负相关映射,所述比值与负相关映射值的乘积为人体肢干图像中子区域划分的第二效果评价值,用公式表示为:
Figure SMS_12
其中,
Figure SMS_13
表示第p张人体肢干图像中子区域划分的第二效果评价值,/>
Figure SMS_14
表示所有优选模板图像的数量,/>
Figure SMS_15
表示所有动作模板图像的数量,/>
Figure SMS_16
表示第p张人体肢干图像与第b张优选模板图像之间的匹配程度,exp()表示以自然常数e为底的指数函数。
Figure SMS_17
表示优选模板图像的数量占所有动作模板图像的数量的比例,该比例越大,说明优选模板图像的数量越多,说明被筛选出来与人体肢干图像较为相似的动作模板图像的数量越多,对应的第二效果评价值越大,人体肢干图像中子区域的划分效果较好。
Figure SMS_18
反映了两张图像在对应子区域中属于人体肢干部分的像素点数量之间的差异,该差异越大,/>
Figure SMS_19
的取值越小,/>
Figure SMS_20
的取值越大,对应的第二效果评价值越大,说明人体肢干图像中子区域的划分效果较好。
第二效果评价值从匹配效果方面反映了当前子区域划分的效果,第二效果评价值越大,说明人体肢干图像与动作模板图像之间的匹配效果较好,对应的子区域划分的效果越好。第一效果评价值越小,说明人体肢干图像与动作模板图像之间的匹配效果较差,对应的子区域划分的效果越差。
进一步的,在获取的与人体肢干图像较为相似的优选模板图像中,利用分割系数进行子区域划分时,不同的优选模板图像之间的关键点的位置信息应当存在一定的差异性,由于本发明实施例中的子区域为扇形区域,故采用极坐标表征关键点的位置信息。
具体地,以设定关键点为极点,以水平向右的射线为极轴,逆时针方向为角度的正方向构建极坐标系,获取优选模板图像上每个关键点的极坐标,利用关键点的极坐标获取同一类型的关键点在不同图像中的位置信息的差异情况。当子区域划分的效果较好时,同一类型的关键点在不同图像中的位置信息的差异较小。当子区域划分的效果较差时,同一类型的关键点在不同图像中的位置信息的差异较大。例如,对于左手关键点,在第一张优选模板图像中的极坐标与第二张优选模板图像中的极坐标之间的差异较大,则对应的子区域划分效果较好。
对于任意两张优选模板图像,获取各个类型的关键点分别在两张优选模板图像上的极坐标;计算两张优选模板图像上属于同一类型的关键点的极径的差值的平方,以及关键点的极角的差值的平方,对两个平方的归一化值进行求和得到该类型关键点的坐标差异值,计算所有关键点的坐标差异值之和得到两张优选模板图像的评价指标;所有任意两张优选模板图像的评价指标的均值为第三效果评价值,用公式表示为:
Figure SMS_21
Figure SMS_22
表示第b张优选模板图像和第c张优选模板图像之间的评价指标,/>
Figure SMS_23
和/>
Figure SMS_24
分别表示第b张优选模板图像和第c张优选模板图像上第i个关键点的极径,/>
Figure SMS_25
和/>
Figure SMS_26
分别表示第b张优选模板图像和第c张优选模板图像上第i个关键点的极角,/>
Figure SMS_27
表示人体关键点的总数量,norm()表示归一化函数。计算所有的任意两张优选模板图像之间的评价指标的均值,得到第三效果评价值/>
Figure SMS_28
Figure SMS_29
为第i个关键点的坐标差异值,关键点的坐标差异值越大,说明两张优选模板图像之间的差异越大,在进行图像匹配时,出现匹配错误的可能性越低,对应的/>
Figure SMS_30
的取值越大,第三效果评价值也就越大,说明当前子区域划分的效果越好。关键点的坐标差异值越小,说明两张优选模板图像之间的差异越小,在进行图像匹配时,出现匹配错误的可能性越高,对应的/>
Figure SMS_31
的取值越小,第三效果评价值也就越小,说明当前子区域划分的效果越差。
第三效果评价值从较为相似的模板图像中关键点的位置信息方面反映了当前子区域划分的效果,第三效果评价值越大时,说明较为相似的优选模板图像中同一类型关键点的位置信息差异较大,说明当前子区域的划分能够将较为相似的优选模板图像区分开,则当前子区域划分效果越好。第三效果评价值越小时,说明较为相似的优选模板图像中同一类型关键点的位置信息差异较小,说明当前子区域的划分并不能够将较为相似的优选模板图像区分开,则当前子区域划分效果越差。
最后,第一效果评价值从子区域划分数量方面反映了当前子区域划分的效果,第二效果评价值从图像匹配效果方面反应了当前子区域划分的效果,第三效果评价值从较为相似的模板图像中关键点的位置信息方面反映了当前子区域划分的效果。结合三个方面的分析获得综合效果评价值,即以第一、第二和第三效果评价值的乘积作为综合效果评价值,更加全面而准确的反映了子区域划分的效果。
步骤四,利用综合效果评价值对人体肢干图像中子区域的划分结果进行修正,得到优选分割图像,将优选分割图像与不同动作的动作模板图像进行匹配,得到儿童动作姿态识别结果。
当综合效果评价值的取值越大时,说明子区域划分数量较小,利用划分后的图像进行模板匹配的效果较好,较为相似的模板图像中关键点的位置信息差异较大,对应的子区域划分效果较好。
由于第一分割系数和第二分割系数的取值不同,子区域的划分结果不同,对应的子区域划分效果也就不同,在本实施例中通过设置一个初始的第一分割系数和第二分割系数,对分割效果进行评价,并不断迭代,以获得最优的分割系数的取值,获得最好的子区域的分割效果。
当第一分割系数为第一预设值和第二分割系数为第二预设值时,在本实施例中第一预设值的取值为5,第二预设值的取值为5。获取人体肢干图像划分子区域的综合效果评价值;若综合效果评价值大于预设的效果阈值,说明利用当前的第一分割系数和第二分割系数进行子区域划分的效果较好,则利用第一分割系数和第二分割系数对人体肢干图像进行子区域划分,得到优选分割图像。
若综合效果评价值小于或等于效果阈值,则将第一分割系数和第二分割系数均分别增加固定数值,在本实施例中的固定数值为1,即将第一分割系数和第二分割系数的取值分别加1,得到新的第一分割系数和第二分割系数,再获取此时划分子区域的综合效果评价值,判断其是否大于效果阈值;以此类推,直至综合效果评价值大于效果阈值时,利用对应的第一分割系数和第二分割系数对人体肢干图像进行子区域划分,得到优选分割图像。
其中,效果阈值的取值为0.8,实施者可根据实际情况进行设置。
在获取优选分割图像后,利用对应的第一分割系数和第二分割系数对动作模板图像进行同样的子区域划分,得到动作分割图像。进而可以通过对优选分割图像和动作分割图像之间的匹配程度进行分析,以获得儿童的运动姿态。
具体地,数据库中包含了多种不同动作的动作模板图像,将任意一个动作的所有动作模板图像记为动作帧图像,获取优选分割图像对应子区域划分方式,划分方式中包含了对优选分割图像进行划分时的第一分割系数和第二分割系数,利用该划分方式获取动作帧图像进行子区域划分后对应的动作分割图像;即利用获取的第一分割系数和第二分割系数对动作帧图像进行子区域的划分得到动作分割图像。
将任意一帧视频帧图像对应的优选分割图像记为目标分割图像,分别计算目标分割图像与各动作分割图像之间的匹配程度,将匹配程度的最大值对应的动作分割图像与目标分割图像构成匹配对。进而能够获得每一视频帧图像匹配度较高的动作帧图像。
获取所有视频帧图像对应的优选分割图像与动作帧图像对应的动作分割图像之间构成的匹配对的总数量;计算匹配对中动作帧图像对应的匹配程度的和值得到特征和值;以所述匹配对的总数量与特征和值的乘积作为当前动作的动作匹配值,用公式表示为:
Figure SMS_32
其中,
Figure SMS_33
表示儿童当前的动作与第s个动作的动作匹配值,K表示匹配对的总数量,
Figure SMS_34
表示第d个匹配对中两张图像之间的匹配程度。
匹配对的总数量反映了所有视频帧图像与当前动作的动作帧图像之间的匹配数量,数量越大,说明视频帧图像对应的动作与动作帧图像对应的动作相似度越高,则当前儿童正在进行动作越可能是动作帧图像对应的动作,对应的动作匹配值越大。
匹配程度表征了视频帧图像与动作帧图像之间的匹配度以及相似度,匹配程度的取值越大,说明视频帧图像对应的动作与动作帧图像对应的动作越可能是同一种动作,对应的动作匹配值越大。
进而计算儿童当前的动作与所有动作之间的动作匹配值,获取动作匹配值大于动作阈值的动作,得到儿童运动姿态识别结果。其中,在本实施例中,动作阈值的取值为0.7,实施者可根据实际情况进行设置。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围,均应包含在本申请的保护范围之内。

Claims (10)

1.一种用于儿科保健的儿童运动姿态识别方法,其特征在于,该方法包括以下步骤:
获取儿童运动时的人体肢干图像以及数据库中不同动作的动作模板图像;
在人体肢干图像中根据以设定关键点为圆心,不同的设定长度为半径的圆获得待分割区域,根据不同角度对待分割区域进行分割得到至少两个子区域;同理获取动作模板图像中的子区域,根据人体肢干图像和动作模板图像中对应子区域内的像素点得到匹配程度;
根据人体肢干图像中子区域的数量得到子区域划分的第一效果评价值;根据匹配程度对动作模板图像进行筛选得到优选模板图像,根据优选模板图像对应的匹配程度得到子区域划分的第二效果评价值;根据优选模板图像中关键点的位置信息得到第三效果评价值;以人体肢干图像中子区域划分的第一、第二和第三效果评价值的乘积作为子区域划分的综合效果评价值;
利用综合效果评价值对人体肢干图像中子区域的划分结果进行修正,得到优选分割图像,将优选分割图像与不同动作的动作模板图像进行匹配,得到儿童动作姿态识别结果。
2.根据权利要求1所述的一种用于儿科保健的儿童运动姿态识别方法,其特征在于,所述待分割区域为以第一设定数量个不同的设定长度为半径的圆构成的圆环区域。
3.根据权利要求1所述的一种用于儿科保健的儿童运动姿态识别方法,其特征在于,所述根据不同角度对待分割区域进行分割得到至少两个子区域具体为:
以设定关键点为顶点,获取第二设定数量个与水平向右方向之间的夹角具有不同角度的射线,利用射线将待分割区域分割为至少两个子区域。
4.根据权利要求1所述的一种用于儿科保健的儿童运动姿态识别方法,其特征在于,所述匹配程度的获取方法具体为:
对于任意一张动作模板图像,计算人体肢干图像与动作模板图像中对应位置处的子区域中位于人体肢干连线上的像素点数量之间的差值的绝对值,对所有子区域中对应的像素点数量之间的差值的绝对值进行求和,以求和结果的负相关映射值作为人体肢干图像和动作模板图像之间的匹配程度。
5.根据权利要求1所述的一种用于儿科保健的儿童运动姿态识别方法,其特征在于,所述利用综合效果评价值对人体肢干图像中子区域的划分结果进行修正,得到优选分割图像,包括:
将待分割区域中圆的数量记为第一分割系数,将对待分割区域进行分割时的不同角度的数量记为第二分割系数;当第一分割系数为第一预设值且第二分割系数为第二预设值时,若综合效果评价值大于预设的效果阈值,则利用第一分割系数和第二分割系数对人体肢干图像进行子区域划分,得到优选分割图像;
若综合效果评价值小于或等于效果阈值,则将第一分割系数和第二分割系数均分别增加固定数值,再获取当前划分子区域的综合效果评价值;以此类推,直至综合效果评价值大于效果阈值时,利用对应的第一分割系数和第二分割系数对人体肢干图像进行子区域划分,得到优选分割图像。
6.根据权利要求1所述的一种用于儿科保健的儿童运动姿态识别方法,其特征在于,所述根据匹配程度对动作模板图像进行筛选得到优选模板图像,根据优选模板图像对应的匹配程度得到子区域划分的第二效果评价值,包括:
当人体肢干图像与动作模板图像对应的匹配程度大于预设的匹配阈值时,获取对应的动作模板图像记为优选模板图像;
计算所有优选模板图像的数量与所有动作模板图像的数量之间的比值,计算所有优选模板图像分别与人体肢干图像之间的匹配程度的和值,对和值进行负相关映射,所述比值与负相关映射值的乘积为人体肢干图像中子区域划分的第二效果评价值。
7.根据权利要求1所述的一种用于儿科保健的儿童运动姿态识别方法,其特征在于,所述将优选分割图像与不同动作的动作模板图像进行匹配,得到儿童动作姿态识别结果,包括:
将任意一个动作的所有动作模板图像记为动作帧图像,获取优选分割图像对应子区域划分方式,利用该划分方式获取动作帧图像进行子区域划分后对应的动作分割图像;
将任意一帧视频帧图像对应的优选分割图像记为目标分割图像,分别计算目标分割图像与各动作分割图像之间的匹配程度,将匹配程度的最大值对应的动作分割图像与目标分割图像构成匹配对;
获取所有视频帧图像对应的优选分割图像与动作帧图像对应的动作分割图像之间构成的匹配对的总数量;
计算匹配对中动作帧图像对应的匹配程度的和值得到特征和值;以所述匹配对的总数量与特征和值的乘积作为当前动作的动作匹配值;进而计算所有动作的动作匹配值;
获取动作匹配值大于动作阈值的动作,得到儿童运动姿态识别结果。
8.根据权利要求1所述的一种用于儿科保健的儿童运动姿态识别方法,其特征在于,所述第三效果评价值的获取方法具体为:
对于任意两张优选模板图像,获取各个类型的关键点分别在两张优选模板图像上的极坐标;计算两张优选模板图像上属于同一类型的关键点的极径的差值的平方,以及关键点的极角的差值的平方,对两个平方的归一化值进行求和得到该类型关键点的坐标差异值,计算所有关键点的坐标差异值之和得到两张优选模板图像的评价指标;所有任意两张优选模板图像的评价指标的均值为第三效果评价值。
9.根据权利要求1所述的一种用于儿科保健的儿童运动姿态识别方法,其特征在于,所述第一效果评价值的获取方法具体为:对人体肢干图像中所有子区域的数量进行负相关映射得到人体肢干图像中子区域划分的第一效果评价值。
10.根据权利要求1所述的一种用于儿科保健的儿童运动姿态识别方法,其特征在于,所述人体肢干图像的获取方法具体为:
获取儿童运动时的视频帧图像,对每一视频帧图像进行人体关键点检测,得到关键点图像;将关键点图像中的关键点按照人体肢干进行连接得到人体肢干图像。
CN202310140257.6A 2023-02-21 2023-02-21 用于儿科保健的儿童运动姿态识别方法 Active CN115880783B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310140257.6A CN115880783B (zh) 2023-02-21 2023-02-21 用于儿科保健的儿童运动姿态识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310140257.6A CN115880783B (zh) 2023-02-21 2023-02-21 用于儿科保健的儿童运动姿态识别方法

Publications (2)

Publication Number Publication Date
CN115880783A true CN115880783A (zh) 2023-03-31
CN115880783B CN115880783B (zh) 2023-05-05

Family

ID=85761398

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310140257.6A Active CN115880783B (zh) 2023-02-21 2023-02-21 用于儿科保健的儿童运动姿态识别方法

Country Status (1)

Country Link
CN (1) CN115880783B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101216896A (zh) * 2008-01-14 2008-07-09 浙江大学 一种基于模版匹配的视点无关的人体动作识别方法
WO2012155279A2 (en) * 2011-05-13 2012-11-22 Liberovision Ag Silhouette-based pose estimation
CN103616016A (zh) * 2013-11-29 2014-03-05 大连理工大学 基于点线组合特征的位姿视觉测量方法
CN107967687A (zh) * 2017-12-21 2018-04-27 浙江大学 一种获取目标物行走姿态的方法与系统
CN109446895A (zh) * 2018-09-18 2019-03-08 中国汽车技术研究中心有限公司 一种基于人体头部特征的行人识别方法
WO2020172783A1 (zh) * 2019-02-26 2020-09-03 武汉资联虹康科技股份有限公司 一种用于经颅磁刺激诊疗的人头姿态跟踪系统
CN111968128A (zh) * 2020-07-10 2020-11-20 北京航空航天大学 一种基于图像标记的无人机视觉姿态和位置解算方法
CN112200074A (zh) * 2020-10-09 2021-01-08 广州健康易智能科技有限公司 一种姿态对比的方法和终端
CN114973399A (zh) * 2022-04-20 2022-08-30 浙江大学 一种基于关键点运动估计的人体连续姿态估计方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101216896A (zh) * 2008-01-14 2008-07-09 浙江大学 一种基于模版匹配的视点无关的人体动作识别方法
WO2012155279A2 (en) * 2011-05-13 2012-11-22 Liberovision Ag Silhouette-based pose estimation
CN103616016A (zh) * 2013-11-29 2014-03-05 大连理工大学 基于点线组合特征的位姿视觉测量方法
CN107967687A (zh) * 2017-12-21 2018-04-27 浙江大学 一种获取目标物行走姿态的方法与系统
CN109446895A (zh) * 2018-09-18 2019-03-08 中国汽车技术研究中心有限公司 一种基于人体头部特征的行人识别方法
WO2020172783A1 (zh) * 2019-02-26 2020-09-03 武汉资联虹康科技股份有限公司 一种用于经颅磁刺激诊疗的人头姿态跟踪系统
CN111968128A (zh) * 2020-07-10 2020-11-20 北京航空航天大学 一种基于图像标记的无人机视觉姿态和位置解算方法
CN112200074A (zh) * 2020-10-09 2021-01-08 广州健康易智能科技有限公司 一种姿态对比的方法和终端
CN114973399A (zh) * 2022-04-20 2022-08-30 浙江大学 一种基于关键点运动估计的人体连续姿态估计方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIANG, H 等: "Linear programming for matching in human bodygesture recognition" *
代钦;石祥滨;乔建忠;刘芳;: "单目图像中超像素人体姿态估计方法" *
邓颖娜;朱虹;刘薇;钱慧芳;: "基于姿态模型的人群目标分割方法" *

Also Published As

Publication number Publication date
CN115880783B (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
CN106650687B (zh) 一种基于深度信息和骨骼信息的姿势矫正方法
US8824781B2 (en) Learning-based pose estimation from depth maps
CN109949341B (zh) 一种基于人体骨架结构化特征的行人目标跟踪方法
US9330307B2 (en) Learning based estimation of hand and finger pose
CN111881887A (zh) 基于多摄像头的运动姿态监测和指导方法及装置
CN110428486B (zh) 虚拟互动的健身方法、电子设备及存储介质
Ghazal et al. Human posture classification using skeleton information
WO2017161734A1 (zh) 通过电视和体感配件矫正人体动作及系统
CN115497596B (zh) 一种基于物联网的人体运动过程姿态纠正方法及系统
CN111860157B (zh) 一种运动分析方法、装置、设备和存储介质
Yang et al. Human upper limb motion analysis for post-stroke impairment assessment using video analytics
CN112395977A (zh) 基于身体轮廓和腿部关节骨架的哺乳动物姿态识别方法
CN115393964B (zh) 基于BlazePose的健身动作识别方法及装置
JP6381368B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN114926762A (zh) 运动评分方法、系统、终端及存储介质
CN109993116B (zh) 一种基于人体骨骼相互学习的行人再识别方法
CN111507301A (zh) 视频处理方法、装置、计算机设备以及存储介质
CN115880783A (zh) 用于儿科保健的儿童运动姿态识别方法
CN111353345B (zh) 提供训练反馈的方法、装置、系统、电子设备、存储介质
CN111353347B (zh) 动作识别纠错方法、电子设备、存储介质
CN116343325A (zh) 一种居家健身智能辅助系统
Zheng et al. A skeleton-based rehabilitation exercise assessment system with rotation invariance
Żelawski et al. The application of topological data analysis to human motion recognition
Murthy et al. Divenet: Dive action localization and physical pose parameter extraction for high performance training
Hu et al. Automatic activity classification based on human body kinematics and dynamic time wrapping

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant