CN108564599B

CN108564599B - 一种人体运动速度估计方法

Info

Publication number: CN108564599B
Application number: CN201810307782.1A
Authority: CN
Inventors: 马敬奇; 程韬波; 钟震宇; 雷欢; 何峰; 吴亮生; 卢杏坚
Original assignee: Guangdong Institute of Intelligent Manufacturing
Current assignee: Institute of Intelligent Manufacturing of Guangdong Academy of Sciences
Priority date: 2018-04-08
Filing date: 2018-04-08
Publication date: 2020-11-24
Anticipated expiration: 2038-04-08
Also published as: CN108564599A

Abstract

一种人体运动速度估计方法，包括步骤：获取视频图像中的人体结构框架；序列化N个关节点；计算各关节点速度大小和方向，利用连续帧间权重递增法估计下一帧关节点的运动速度；计算人体躯干重心位置，得到当前人体躯干重心的运动速度并作为人体整体运动速度，利用连续帧间权重递增法估计下一帧人体整体运动速度；将人体结构框架划分为6个部位，每个部位包含至少一个关节点；利用提出的关节点‑轴心节点速度法线距离权重法，计算每个部位中的各个关节点的速度，将同一部位中的所有关节点速度乘以权重系数后进行累加得到该部位的运动速度。本发明能够较为精确的估计人体的运动速度，广泛应用于各个行业领域的人体运动分析。

Description

一种人体运动速度估计方法

技术领域

本发明属于运动预测技术领域，具体地说是一种人体运动速度估计方法。

背景技术

近年来，随着深度学习的膨胀式发展，目前基于卷积神经网络的图像识别已进入激烈竞争阶段，将深度学习用于图像分析的案例越来越多，例如植物、服饰、人脸等识别。另外随着智慧城市的提出，视频监控必将在智慧建设中占据重要地位，智能监控将会更多的应用到服务行业、安全设备中去。通过视频分析人体运动趋势，从而对人体行为做出预测也逐渐引起众多研究人员的注意，这个课题对于公共安全、生产安全、家居老人安全等都有重要意义。

发明内容

本发明要解决的技术问题是提供一种人体运动速度估计方法，更加精确的估计人体运动速度，应用更加广泛。

为了解决上述技术问题，本发明采取以下技术方案：

一种人体运动速度估计方法，包括以下步骤：

S1,获取视频图像中的人体结构框架，人体结构框架上设定N个关节点；

S2,序列化N个关节点，序列化的数据有[f,j,x,y,θ,v]，其中f表示视频帧，j表示N个关节点的索引值，x表示关节点的横坐标，y表示关节点的纵坐标，θ表示关节点相对图像X轴正方向的顺时针方向角度，v表示关节点的速度大小，初始速度为0；

S3,计算关节点j(j∈0,N-1)的速度大小v_j和方向θ_j，利用连续帧间权重递增法估计下一帧关节点的运动速度；

S4,计算人体躯干重心位置C(x，y)，得到当前的人体躯干重心C的运动速度并作为人体整体运动速度，利用连续帧间权重递增法估计下一帧人体整体运动速度即人体躯干重心C的运动速度；

S5,将人体结构框架划分为6个部位，每个部位包含至少一个关节点，分别为首部、右上肢、左上肢、躯干、右下肢和左下肢，每个部位选择一个关节点设定为轴心节点，同时每个部位中的所有节点都为速度节点；

S6,利用提出的关节点-轴心节点速度法线距离权重法，计算每个部位中的各个关节点的速度，将同一部位中的所有关节点速度乘以权重系数后进行累加得到该部位的运动速度。

所述关节点的数量N设为14，具体为{头，颈，左肩，右肩，左肘，右肘，左腕，右腕，左臀，右臀，左膝，右膝，左脚踝，右脚踝}，14个关节点的索引依次为{0，1，2，3，4，5，6，7，8，9，10，11，12，13}，其中首部包含关节点{0}、右上肢包含关节点{2，4，6}、左上肢包含关节点{3，5，7}、躯干包含关节点{1，8，9}、右下肢包含关节点{8，10，12}、左下肢包含关节点{9，11，13}。

所述步骤S3具体为：

设关节点j连续两帧的图像为f_j0(x₀,y₀)和f_j1(x₁,y₁)，则该两帧图像之间坐标满足

即f_j1(x₁,y₁)＝f_j0(x₀+Δx,y₀+Δy)，

通过傅里叶变换将图像坐标转化为相位坐标，

F_j1(u,v)＝F_j0(u,v)exp{-n2π(x_j0u+y_j0v)}

根据傅里叶变换的相位相移特性，关节点j连续两帧之间的相位差为

ΔF(u,v)＝F_j0(u,v)-F_j1(u,v)＝2π(x_j0u+y_j0v)，

对ΔF(u,v)进行反傅里叶变换即可求得相邻两帧间的平移位移Δf_j(x,y)，计算速度大小

速度方向

利用连续临近帧权重递增法估计关节点j下一帧的运动速度，计算运动速度加权平均值，该加权平均值即为下一帧关节点j的估计速度大小

关节点j的速度方向加权平均值

同时更新序列化数据中所有关节点的速度大小和速度方向。

所述步骤S4具体为：

设连续两帧图像人体躯干重心图像函数为f_c0(x_c0,y_c0)、f_c1(x_c1,y_c1)，其中，

根据连续临近帧权重递增法得到人体整体运动速度大小

速度方向

经过连续n帧权重递增方法精确估计下一帧人体整体运动速度值和角度，

所述步骤S6具体为：

计算关节点的速度时分别计算得到各个关节点在X轴、Y轴方向的速度，

其中p为各个部位的轴心节点，q为所有的关节点；

将同一部位的X轴、Y轴方向的速度乘以权重系数后分别累加，

则v_x和v_y合成后即为该部位速度，该部位速度的角度为

该部位速度大小为

所述人体躯干重心位置C的计算方法为：计算{颈，左臀，右臀}即关节点{1，8，9}的几何重心，得到人体重心位置，

所述关节点的速度方向θ，为表示速度方向变化程度，由[0,360°]的变化范围归一化为[0，1]。

所述采用深度识别VGG卷积神经网络提取视频图像中人体结构框架。

本发明能够更加精确人体运动速度，得到下一步的运动趋势，供研究参考用，可广泛应用于公共安全、生产安全、日常生活等各个行业领域。

附图说明

附图1为本发明流程示意图；

附图2为人体关节点示意图；

附图3为节点速度权重计算示意图；

附图4为部位计算示意图。

具体实施方式

为能进一步了解本发明的特征、技术手段以及所达到的具体目的、功能，下面结合附图与具体实施方式对本发明作进一步详细描述。

如附图1-4所示，本发明揭示了一种人体运动速度估计方法，包括以下步骤：

S1,获取视频图像中的人体结构框架，人体结构框架上设定N个关节点。可采用深度识别VGG卷积神经网络提取视频图像中人体结构框架。总共设置14个关节点，具体为{头，颈，左肩，右肩，左肘，右肘，左腕，右腕，左臀，右臀，左膝，右膝，左脚踝，右脚踝}，14个关节点的索引依次为{0，1，2，3，4，5，6，7，8，9，10，11，12，13}，其中首部包含关节点{0}、右上肢包含关节点{2，4，6}、左上肢包含关节点{3，5， 7}、躯干包含关节点{1，8，9}、右下肢包含关节点{8，10，12}、左下肢包含关节点{9，11，13}。如下表一所示：

表一

节点索引	人体节点
		0	头
1	颈
		2	左肩
3	右肩
		4	左肘
5	右肘
		6	左腕
7	右腕
		8	左臀
9	右臀
		10	左膝
11	右膝
		12	左脚踝
13	右脚踝

S2,序列化14个关节点，序列化的数据有[f,j,x,y,θ,v]，其中f表示视频帧，j表示N个关节点的索引值，x表示关节点的横坐标，y表示关节点的纵坐标，θ表示关节点相对图像X轴正方向的顺时针方向角度，v表示关节点的速度大小，初始速度为0。

S3,计算关节点j(j∈0,N-1)的速度大小v_j和方向θ_j，利用连续帧间权重递增法估计下一帧关节点的运动速度。在视频中连续n帧的人体运动速度较为接近，帧间越临近速度越接近。

即f_j1(x₁,y₁)＝f_j0(x₀+Δx,y₀+Δy)，

通过傅里叶变换将图像坐标转化为相位坐标，

F_j1(u,v)＝F_j0(u,v)exp{-n2π(x_j0u+y_j0v)}

ΔF(u,v)＝F_j0(u,v)-F_j1(u,v)＝2π(x_j0u+y_j0v)，

速度方向

关节点j的速度方向加权平均值

同时更新序列化数据中所有关节点的速度大小和速度方向。

S4,计算人体躯干重心位置C(x，y)，得到当前的人体躯干重心C的运动速度并作为人体整体运动速度，利用连续帧间权重递增法估计下一帧人体整体运动速度即人体躯干重心C的运动速度。

S5,将人体结构框架划分为6个部位，每个部位包含至少一个关节点，分别为首部、右上肢、左上肢、躯干、右下肢和左下肢，每个部位选择一个关节点设定为轴心节点，同时每个部位中的所有节点都为速度节点。在本实施例中，首部仅含有一个节点，故首部所包含的0节点即为轴心节点也为仅有的速度节点；右上肢部位以节点2为轴心节点，节点2、4、6为速度节点；左上肢部位以节点3为轴心节点，节点3、5、7为速度节点；右下肢部位以节点8为轴心节点，节点8、10、12为速度节点；左下肢部位以节点9为轴心节点，节点9、11、13为速度节点；躯干部位以躯干重心C为轴心节点，节点1、8、9为速度节点。按照上以方式设定轴心节点，是因为人类运动规律上肢的摆动以左右肩为轴心以类似钟摆形式甩动，且相邻两个关节点以肱骨或尺骨为连杆，左右上肢的运动范围和轴变角度都局限在一定范围。同理左右下肢也满足与上肢相同的运动规律。躯干和首部也可近似为轴心运动，摆动位置始终保持垂直向下方向。

利用提出的关节点-轴心节点速度法线距离权重法计算节点的速度权重。轴心节点为部位速度估算的基准节点，规定轴心节点的速度权重为1。关节点-轴心节点速度法线距离权重法：将关节点和轴心节点的速度分解为X、Y轴方向的速度分量，计算关节点X(Y)轴方向速度分量的法线与轴心节点X(Y)轴方向速度分量的法线之间的距离，并将该距离作为X(Y) 轴方向速度合成时该关节点的速度权重。

以右上肢为例说明速度节点权重计算方法，设轴心节点2的坐标为 (x₂,y₂)，节点4坐标(x₄,y₄)，节点6坐标(x₆,y₆)。根据连续帧间权重递增法得到节点2的速度方向θ₂，节点4的速度方向θ₄，节点6的速度方向θ₆。将节点速度分解为X轴和Y轴方向的速度分量，如图4所示，其中β_2y为节点2速度v₂Y轴方向分量v_2y的法线，β_2x为节点2速度v₂X轴方向分量v_2x的法线，β_4y为节点4速度v₄Y轴方向分量v_4y的法线，β_4x为节点4速度v₄X轴方向分量v_4x的法线，β_6y为节点6速度v₆Y轴方向分量v_6y的法线，β_6x为节点6速度v₆X轴方向分量v_6x的法线。则节点2、4、6X轴方向的速度分量权重为β_2x、β_4x、β_6x与轴心节点2X轴方向的法线β_2x之间的距离，即为节点2、4、6的横坐标与轴心节点横坐标之间的距离：

同理可得节点2、4、6在Y轴方向的速度分量权重：

将上述计算方式延伸到其他5个部位，则各关节点在X、Y轴方向的速度权重可归结为：

其中p为各个部位的轴心节点，p∈P{0,2,3,8,9,躯干部位重心}，q各个部位的所有关节点。人体日常肢体活动的表现形式集中在四肢、首部和躯干，人的行为可以通过四肢、首部或躯干某一个部位的动作描述，对人体行为的判断是基于人体肢体动作的分析。

所述步骤S4具体为：

根据连续临近帧权重递增法得到人体整体运动速度大小

速度方向

所述步骤S6具体为：

其中p为各个部位的轴心节点，q为所有的关节点；

则v_x和v_y合成后即为该部位速度，该部位速度的角度为

该部位速度大小为

通过以上的计算，可以较为精确的估计到下一帧的人体整体运动速度，为研究分析提供更加可靠的参考数据。

需要说明的是，以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，但是凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种人体运动速度估计方法，包括以下步骤：

S3,计算关节点j(j∈[0,N-1])的速度大小v_j和方向θ_j，利用连续帧间权重递增法估计下一帧关节点的运动速度；

S6,利用提出的关节点-轴心节点速度法线距离权重法，计算每个部位中的各个关节点的速度，将同一部位中的所有关节点速度乘以权重系数后进行累加得到该部位的运动速度；

所述步骤S3具体为：

即f_j1(x₁,y₁)＝f_j0(x₀+Δx,y₀+Δy)，其中(x₀,y₀)、(x₁,y₁)为节点j的图像像素坐标，Δx为x₀到x₁的X轴坐标偏移量，Δy为y₀到y₁的Y轴坐标偏移量；

通过傅里叶变换将图像坐标转化为相位坐标，其中(u,v)为对应节点j坐标(x,y)的相位坐标，F_j1(u,v)、F_j0(u,v)分别为f_j1(x₁,y₁)、f_j0(x₀,y₀)对应的相位值，x_j0、y_j0为节点j的连续两帧中的第一帧像素坐标；

F_j1(u,v)＝F_j0(u,v)exp{-n2π(x_j0u+y_j0v)}

ΔF(u,v)＝F_j0(u,v)-F_j1(u,v)＝2π(x_j0u+y_j0v)，

其中Δt为节点j平移位移Δf_j(x,y)所用时间，速度方向

关节点j的速度方向加权平均值

其中n为连续帧数，m∈[1,n]且为整数，v_jm为节点j的临近第m帧的速度，θ_jm为节点j的临近第m帧的运动角度，同时更新序列化数据中所有关节点的速度大小和速度方向；

所述步骤S6具体为：

计算关节点的速度时分别计算得到各个关节点在X轴、Y轴方向的速度权重，

其中p为各个部位的轴心节点，q为所有的关节点，w_qx为关节点q X轴方向的速度权重，w_qy为关节点q Y轴方向的速度权重；

将同一部位的X轴、Y轴方向的速度乘以权利系数后分别累加，计算X轴、Y轴方向速度的加权平均值，

其中v_p为轴心节点p的速度，θ_p为轴心节点p的速度角度，v_qx为同一部位节点集合中节点q沿X轴方向的速度，v_qy为同一部位节点集合中节点q沿Y轴方向的速度，θ_q为同一部位节点集合中节点q的速度方向；

则v_x和v_y合成后即为该部位速度，该部位速度的角度为

该部位速度大小为

2.根据权利要求1所述的人体运动速度估计方法，其特征在于，所述关节点的数量N设为14，具体为{头，颈，左肩，右肩，左肘，右肘，左腕，右腕，左臀，右臀，左膝，右膝，左脚踝，右脚踝}，14个关节点的索引依次为{0，1，2，3，4，5，6，7，8，9，10，11，12，13}，其中首部包含关节点{0}、右上肢包含关节点{2，4，6}、左上肢包含关节点{3，5，7}、躯干包含关节点{1，8，9}、右下肢包含关节点{8，10，12}、左下肢包含关节点{9，11，13}。

3.根据权利要求2所述的人体运动速度估计方法，其特征在于，所述步骤S4具体为：

设连续两帧图像人体躯干重心图像函数为f_c0(x_c0,y_c0)、f_c1(x_c1,y_c1)，其中(x_c0,y_c0)、(x_c1,y_c1)为人体躯干重心图像像素坐标，且

其中(x₁₀,y₁₀)、(x₈₀,y₈₀)、(x₉₀,y₉₀)分别为人体节点1、8、9连续两帧中的前一帧像素坐标，同理(x₁₁,y₁₁)、(x₈₁,y₈₁)、(x₉₁,y₉₁)分别为人体节点1、8、9连续两帧中的后一帧像素坐标，根据连续临近帧权重递增法得到人体整体运动速度大小

其中Δt为人体躯干重心C平移位移Δf_c(x,y)所用时间，速度方向

θ₁、θ₈、θ₉分别为人体节点1、8、9的速度方向，其中经过连续n帧权重递增方法精确估计下一帧人体整体运动速度值和角度，

其中n为连续帧数，m∈[1,n]且为整数，v_cm为人体躯干重心C的临近第m帧的速度，θ_cm为人体躯干重心C的临近第m帧的运动角度，Δf_cm(x_m,y_m)为人体躯干重心C从临近m帧到临近m+1帧的平移位移，Δt_m为Δf_cm(x_m,y_m)所用时间，θ_1m、θ_8m、θ_9m分别为人体节点1、8、9在临近m帧的运动角度。

4.根据权利要求3所述的人体运动速度估计方法，其特征在于，所述人体躯干重心位置C的计算方法为：计算{颈，左臀，右臀}即关节点{1，8，9}的几何重心，得到人体重心位置，

5.根据权利要求4所述的人体运动速度估计方法，其特征在于，所述关节点的速度方向θ，为表示速度方向变化程度，由[0°,360°]的变化范围归一化为[0，1]。

6.根据权利要求5所述的人体运动速度估计方法，其特征在于，采用深度识别VGG卷积神经网络提取视频图像中人体结构框架。