CN116805433B - 一种人体运动轨迹数据分析系统 - Google Patents

Abstract

本发明属于轨迹分析领域，公开了一种人体运动轨迹数据分析系统，包括图像帧获取模块，图像帧获取模块包括时间周期计算单元、质量计算单元和图像帧获取单元；时间周期单元用于基于运动员的动作视频的第一帧图像帧和最后一帧图像帧计算出获取时间区间；质量计算单元用于分别计算每个获取时间区间内的图像帧的获取系数；图像帧获取单元用于分别获取每个获取时间区间内的获取系数最大的图像帧，将所有得到的图像帧保存到图像帧集合。本发明能够保证在提高获得的图像帧的质量同时，保持了运动轨迹的精确程度。

Description

一种人体运动轨迹数据分析系统

技术领域

本发明涉及轨迹分析领域，尤其涉及一种人体运动轨迹数据分析系统。

背景技术

为了对判断运动员的肢体的动作是否标准，传统的判别方式为由具有经验的教练等人员通过人眼识别的方式来进行判断，但是，这种判断方式获得的判断结果很容易受到外围因素以及作出判断的人员的个人因素的影响，从而导致分析的结果不够准确。而随着视频分析技术的发展，现有技术中也出现了利用神经网络来获得运动员的动作视频中的图像帧的关节点，然后将所有的图像帧的关节点的位置进行连接，从而得到运动轨迹，对得到的运动轨迹进行分析，从而判断运动员的肢体的动作是否标准。

现有技术中，对动作视频进行分析时，一般需要从动作视频中按照设定的取样间隔来获得图像帧，然后对所有取样得到的图像帧进行分析来得到关节点的多个坐标，将多个坐标进行连接得到运动轨迹。

但是，这样的取样方式存在着一定的缺点，即由于没有对获得的图像帧进行质量的判断，从而导致从质量较低的图像帧中获得的关节点的坐标影响了最终获得的运动轨迹的准确程度，从而导致无法正确地对运动员的肢体动作进行指导。

发明内容

本发明的目的在于公开一种人体运动轨迹数据分析系统，解决从动作视频中获取图像帧进行识别获得关节点的坐标时，如何提高获取的图像帧的质量，从而提高最终获得的运动轨迹的准确程度的问题。

为了达到上述目的，本发明提供如下技术方案：

本发明提供了一种人体运动轨迹数据分析系统，包括图像帧获取模块，图像帧获取模块包括时间周期计算单元、质量计算单元和图像帧获取单元；

时间周期单元用于基于运动员的动作视频的第一帧图像帧和最后一帧图像帧计算出获取时间区间；

质量计算单元用于分别计算每个获取时间区间内的图像帧的获取系数；

图像帧获取单元用于分别获取每个获取时间区间内的获取系数最大的图像帧，将所有得到的图像帧保存到图像帧集合。

优选地，还包括图像识别模块；

图像识别模块用于分别对图像帧集合中的每张图像帧进行识别，获得每张图像帧中的预设类型的关节点的坐标，将同一种类型的关节点的坐标保存到同一个坐标集合。

优选地，还包括轨迹分析模块；

轨迹分析模块用于将坐标集合中的元素所组成的运动轨迹与预设的标准的运动轨迹进行对比，获得轨迹分析结果。

优选地，还包括拍摄模块，拍摄模块用于获取运动员的运动视频。

优选地，还包括补光模块，补光模块用于在获取运动视频的过程中为拍摄模块进行补光。

优选地，基于运动员的动作视频的第一帧和最后一帧计算出获取时间区间，包括：

将第一帧图像帧和最后一帧图像帧进行图像差异求取处理，获得最后一帧图像帧中与第一帧图像帧中的像素点之间的灰度值的差值大于设定的第一差值阈值的像素点的数量npix；

获取第一帧图像帧和最后一帧图像帧之间的拍摄时刻的差值difshotim；

采用如下函数获得拍摄时刻间隔：

上述函数中，itrlshot为拍摄时刻间隔，η₁表示设定的数量权重，η₂表示设定的时间权重，nalpx表示最后一帧图像帧中的像素点的数量，msitrl表示设定的拍摄时刻的差值的最大值，baseitrl表示设定的时间间隔，mnitrl和mxitrl分别表示拍摄时刻间隔的最小值和最大值；

则第一个获取时间区间为[t_str,t_str+itrlshot)，第p个获取时间区间为[t_str+(p-1)itrlshot,t_str+p×itrlshot)，p属于[2,Q]，

优选地，分别计算每个获取时间区间内的图像帧的获取系数，包括：

对于第一个获取时间区间中的图像帧，其获取系数的计算方式为：

将图像帧中的所有像素点保存到像素点集合pixun；

使用如下函数计算其获取系数：

obtcoef表示获取系数，N_i表示pixun中灰度值为i的像素点的总数，Nall表示pixun中的像素点的总数；

对于第p个获取时间区间中的图像帧，其获取系数的计算方式为：

获取第一个获取时间区间中获取系数最大的图像帧mxfraone；

对于第p个获取时间区间中的图像帧fra_p，获取fra_p中与mxfraone之间的灰度值的差值大于设定的第二差值阈值的像素点的集合grybgun_p；

使用如下函数计算fra_p的获取系数：

obtcoef_q表示fra_p的获取系数，N_j表示grybgun_p中灰度值为j的像素点的总数，Nabgun_p表示grybgun_p中的像素点的总数。

优选地，最后一帧图像帧中与第一帧图像帧中的像素点之间的灰度值的差值的获取过程包括：

对于最后一帧图像帧中坐标为(x,y)的像素点p1，获取p1在第一帧图像帧中对应的像素点的p2，p2为第一帧图像帧中坐标为(x,y)的像素点；

计算p1和p2之间的灰度值的差值：

diffgry(p1,p2)＝|gray_p1-gray_p2|

diffgry(p1,p2)表示p1和p2之间的灰度值的差值。

本发明从运动视频中获取图像帧来进行关节点的识别时，采用的是先计算获取时间区间，然后再分别从每个获取时间区间中选出获取系数最大的图像帧来作为图像帧集合中的元素的方式。与现有技术相比，本发明并不是根据设定的取样间隔来获取图像帧，而是通过获取时间区间来获取图像帧，图像帧时间的间隔并是像取样间隔那样是固定的数值，但是由于获取时间区间的存在，图像帧整体上依然是分散得比较均匀的，从而能够保证在提高获得的图像帧的质量同时，保持了运动轨迹的精确程度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的第一种示意图。

图2为本发明的第二种示意图。

图3为本发明的第三种示意图。

图4为本发明的第四种示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1所示的一种实施例，本发明提供了一种人体运动轨迹数据分析系统，包括图像帧获取模块，图像帧获取模块包括时间周期计算单元、质量计算单元和图像帧获取单元；

时间周期单元用于基于运动员的动作视频的第一帧图像帧和最后一帧图像帧计算出获取时间区间；

质量计算单元用于分别计算每个获取时间区间内的图像帧的获取系数；

图像帧获取单元用于分别获取每个获取时间区间内的获取系数最大的图像帧，将所有得到的图像帧保存到图像帧集合。

本发明从运动视频中获取图像帧来进行关节点的识别时，采用的是先计算获取时间区间，然后再分别从每个获取时间区间中选出获取系数最大的图像帧来作为图像帧集合中的元素的方式。与现有技术相比，本发明并不是根据设定的取样间隔来获取图像帧，而是通过获取时间区间来获取图像帧，图像帧时间的间隔并是像取样间隔那样是固定的数值，但是由于获取时间区间的存在，图像帧整体上依然是分散得比较均匀的，从而能够保证在提高获得的图像帧的质量同时，保持了运动轨迹的精确程度。

优选地，如图2所示，还包括图像识别模块；

图像识别模块用于分别对图像帧集合中的每张图像帧进行识别，获得每张图像帧中的预设类型的关节点的坐标，将同一种类型的关节点的坐标保存到同一个坐标集合。

具体的，关节点的类型包括手掌、肩、肘、腕、髋、膝、踝关节及脊椎上的颈椎和腰椎等。

每种类型的关节点对应一个坐标集合，从而能够获得每个关节点的运动轨迹。

优选地，通过预先训练好的关节点识别模型来对图像帧进行识别，获得的图像帧中预设类型的关节点的坐标。

优选地，如图3所示，还包括轨迹分析模块；

轨迹分析模块用于将坐标集合中的元素所组成的运动轨迹与预设的标准的运动轨迹进行对比，获得轨迹分析结果。

具体的，以手掌的轨迹为例，将手掌对应的坐标集合中的元素所组成的运动轨迹与预设的标准的手掌的运动轨迹之间的相似度，将相似度作为分析结果。

另外，还可以将相似度最小的类型的关节点的作为运动员需要重点改进的动作位置。

优选地，如图4所示，还包括拍摄模块，拍摄模块用于获取运动员的运动视频。

具体的，拍摄模块可以在运动员作出动作时，从运动员的正面、背面或侧面获取运动员的运动视频。

优选地，还包括补光模块，补光模块用于在获取运动视频的过程中为拍摄模块进行补光。

优选地，补光模块发出的光线的亮度采用如下函数计算：

其中，brgtn表示补光灯的亮度，litspd表示设定的标准快门速度，shutspd表示获取运动员的运动视频中采用的快门速度，bsebrg表示设定的标准亮度。

本发明能够自动根据实时采用的快门速度来计算出补光模块发射出的光线的亮度，从而能够将光线的亮度与快门速度进行关联，实现了补光灯的亮度的自动调节，能够在快门速度较快时，提高发出的光线的亮度，避免了由于亮度不足影响拍摄出的运动视频中视频帧中的质量，从而有利于提高本发明的运动轨迹数据分析的结果的准确程度。

优选地，补光模块包括补光灯和亮度控制装置；

亮度控制装置用于计算补光灯发出的光线的亮度，以及用于基于计算得到的亮度对补光灯进行控制，控制补光灯以计算得到的亮度发出光线。

优选地，基于运动员的动作视频的第一帧和最后一帧计算出获取时间区间，包括：

将第一帧图像帧和最后一帧图像帧进行图像差异求取处理，获得最后一帧图像帧中与第一帧图像帧中的像素点之间的灰度值的差值大于设定的第一差值阈值的像素点的数量npix；

获取第一帧图像帧和最后一帧图像帧之间的拍摄时刻的差值difshotim；

采用如下函数获得拍摄时刻间隔：

上述函数中，itrlshot为拍摄时刻间隔，η₁表示设定的数量权重，η₂表示设定的时间权重，nalpx表示最后一帧图像帧中的像素点的数量，msitrl表示设定的拍摄时刻的差值的最大值，baseitrl表示设定的时间间隔，mnitrl和mxitrl分别表示拍摄时刻间隔的最小值和最大值；

则第一个获取时间区间为[t_str,t_str+itrlshot)，第p个获取时间区间为[t_str+(p-1)itrlshot,t_str+p×itrlshot)，p属于[2,Q]，

在本发明中，获取时间区间除了与difshotim相关之外，还与npix相关，difshotim的值越小，npix的值越小，则拍摄时刻间隔越大。因为difshotim越大时，表示动作视频的时长越长，从而需要设置更多数量的获取时间区间来进行图像帧的获取，从而保证能够得到足够多的关节点的作为来保证动作轨迹的准确性，而当npix越大时，则表示运动员的动作变化幅度越大，需要获得更多数量的关节点的作为来保证动作轨迹的准确性。因此，本发明的拍摄时间间隔能够随着运动视频的实际情况自动变化，保证了运动轨迹的准确性。

另外，本发明还设置了拍摄时刻间隔的最小值和最大值，用于避免拍摄时刻间隔过大或过小，影响动作轨迹的准确程度。因为若拍摄时刻间隔过大时，则图像帧的数量则会过小，获得的运动轨迹与原来的运动轨迹之间的差异便越大，而当拍摄时刻间隔过小时，则会导致需要对较多的图像帧进行计算，影响了获取分析结果的速度，使得用户体验不佳。

优选地，分别计算每个获取时间区间内的图像帧的获取系数，包括：

对于第一个获取时间区间中的图像帧，其获取系数的计算方式为：

将图像帧中的所有像素点保存到像素点集合pixun；

使用如下函数计算其获取系数：

obtcoef表示获取系数，N_i表示pixun中灰度值为i的像素点的总数，Nall表示pixun中的像素点的总数；

对于第p个获取时间区间中的图像帧，其获取系数的计算方式为：

获取第一个获取时间区间中获取系数最大的图像帧mxfraone；

对于第p个获取时间区间中的图像帧fra_p，获取fra_p中与mxfraone之间的灰度值的差值大于设定的第二差值阈值的像素点的集合grybgun_p；

使用如下函数计算fra_p的获取系数：

obtcoef_q表示fra_p的获取系数，N_j表示grybgun_p中灰度值为j的像素点的总数，Nabgun_p表示grybgun_p中的像素点的总数。

本发明在计算获取系数的过程中，除了第一个获取时间区间中的图像帧是基于所有的像素点进行计算的，其它的获取时间区间中的图像帧的获取系数都是在mxfraone的基础上进行计算得到的，本发明巧妙地利用了fra_p和mxfraone之间的差异，通过仅对差异部分来进行获取系数的计算，避免了对所有的像素点进行获取系数的计算，从而能够在保证获得获取时间区间中的质量最好的图像帧的同时，提高了获取系数的计算效率。因为对于第p个获取时间区间中的图像帧，除了前景部分之外，背景部分都是保持不变的，因此，若依然另背景部分的像素点加入到获取系数的计算，最终进行比较时，依然是要考前景部分的差异来获得最终的比较结果的。因此，本发明直接对grybgun_p中的像素点进行获取系数的计算，在提高计算效率的同时，保证了获得的图像帧的质量。

优选地，最后一帧图像帧中与第一帧图像帧中的像素点之间的灰度值的差值的获取过程包括：

对于最后一帧图像帧中坐标为(x,y)的像素点p1，获取p1在第一帧图像帧中对应的像素点的p2，p2为第一帧图像帧中坐标为(x,y)的像素点；

计算p1和p2之间的灰度值的差值：

diffgry(p1,p2)＝|gray_p1-gray_p2|

diffgry(p1,p2)表示p1和p2之间的灰度值的差值。

具体的，grybgun_p的获取过程与上述过程一致，本发明不再赘述。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (6)

1.一种人体运动轨迹数据分析系统，其特征在于，包括图像帧获取模块，图像帧获取模块包括时间周期计算单元、质量计算单元和图像帧获取单元；

时间周期单元用于基于运动员的动作视频的第一帧图像帧和最后一帧图像帧计算出获取时间区间；

质量计算单元用于分别计算每个获取时间区间内的图像帧的获取系数；

图像帧获取单元用于分别获取每个获取时间区间内的获取系数最大的图像帧，将所有得到的图像帧保存到图像帧集合；

基于运动员的动作视频的第一帧和最后一帧计算出获取时间区间，包括：

将第一帧图像帧和最后一帧图像帧进行图像差异求取处理，获得最后一帧图像帧中与第一帧图像帧中的像素点之间的灰度值的差值大于设定的第一差值阈值的像素点的数量npix；

获取第一帧图像帧和最后一帧图像帧之间的拍摄时刻的差值difshotim；

采用如下函数获得拍摄时刻间隔：

上述函数中，itrlshot为拍摄时刻间隔，η₁表示设定的数量权重，η₂表示设定的时间权重，nalpx表示最后一帧图像帧中的像素点的数量，msitrl表示设定的拍摄时刻的差值的最大值，baseitrl表示设定的时间间隔，mnitrl和mxitrl分别表示拍摄时刻间隔的最小值和最大值；

则第一个获取时间区间为[t_str,t_str+itrlshot)，第p个获取时间区间为[t_str+(p-1)itrlshot,t_str+p×itrlshot)，p属于[2,Q]，

分别计算每个获取时间区间内的图像帧的获取系数，包括：

对于第一个获取时间区间中的图像帧，其获取系数的计算方式为：

将图像帧中的所有像素点保存到像素点集合pixun；

使用如下函数计算其获取系数：

obtcoef表示获取系数，N_i表示pixun中灰度值为i的像素点的总数，Nall表示pixun中的像素点的总数；

对于第p个获取时间区间中的图像帧，其获取系数的计算方式为：

获取第一个获取时间区间中获取系数最大的图像帧mxfraone；

对于第p个获取时间区间中的图像帧fra_p，获取fra_p中与mxfraone之间的灰度值的差值大于设定的第二差值阈值的像素点的集合grybgun_p；

使用如下函数计算fra_p的获取系数：

obtcoef_q表示fra_p的获取系数，N_j表示grybgun_p中灰度值为j的像素点的总数，Nabgun_p表示grybgun_p中的像素点的总数。

2.根据权利要求1所述的一种人体运动轨迹数据分析系统，其特征在于，还包括图像识别模块；

图像识别模块用于分别对图像帧集合中的每张图像帧进行识别，获得每张图像帧中的预设类型的关节点的坐标，将同一种类型的关节点的坐标保存到同一个坐标集合。

3.根据权利要求2所述的一种人体运动轨迹数据分析系统，其特征在于，还包括轨迹分析模块；

轨迹分析模块用于将坐标集合中的元素所组成的运动轨迹与预设的标准的运动轨迹进行对比，获得轨迹分析结果。

4.根据权利要求1所述的一种人体运动轨迹数据分析系统，其特征在于，还包括拍摄模块，拍摄模块用于获取运动员的运动视频。

5.根据权利要求4所述的一种人体运动轨迹数据分析系统，其特征在于，还包括补光模块，补光模块用于在获取运动视频的过程中为拍摄模块进行补光。

6.根据权利要求1所述的一种人体运动轨迹数据分析系统，其特征在于，最后一帧图像帧中与第一帧图像帧中的像素点之间的灰度值的差值的获取过程包括：

对于最后一帧图像帧中坐标为(x,y)的像素点p1，获取p1在第一帧图像帧中对应的像素点的p2，p2为第一帧图像帧中坐标为(x,y)的像素点；

计算p1和p2之间的灰度值的差值：

diffgry(p1,p2)＝|gray_p1-gray_p2|

diffgry(p1,p2)表示p1和p2之间的灰度值的差值。