CN109255293A - 基于计算机视觉的模特走秀台步评价方法 - Google Patents

Abstract

本发明公开一种基于计算机视觉的模特走秀台步评价方法，包括：采集标准动作模板，对采集到的图像进行逐帧检测，形成二维图像平面上的人体关节点动作序列，保存为模板，并提取模板中的评价细则参数；待测目标在相同视角下进行动作测试，对图像中人体关节点动作序列进行关节点检测，形成动作序列；在动作序列中寻找步态关键帧，将动作序列进行步态分割，并提取周期数量内的步态序列；在等步态周期长度的步态序列和模板中对应的人体关节点动作序列内提取各部分关节点信息进行比对，得到待测的步态序列与模板中人体关节点动作序列的距离；根据所得距离评价各身体部分的分数，并通过细则参数比对，得出细则评价。

Description

基于计算机视觉的模特走秀台步评价方法

技术领域

本发明涉及计算机视觉领域，尤其涉及一种基于计算机视觉的模特走秀台步评价方法。

背景技术

随着人工智能时代的到来，基于视觉的动作捕捉技术在智能视频监控、人机交互以及虚拟现实等领域具有越来越广阔应用的前景和深远的研究意义。近年来人体动作识别问题得到了广泛的关注，研究者们提出了大量的研究方法并取得了丰硕的研究成果。利用基于视觉的方法对人体动作信息进行提取，并加之语义层面的分析，已经成为计算机视觉和模式识别的一个重要研究方向。

目前常见的人体动作识别方法主要有基于生物电学、生物力学、轮廓和图像等几种方法。前两者都是借助传感器获取人体运动时的各种数据来分析识别动作，但是采集数据都要佩戴各种传感器，极为不便且有些设备较为昂贵；如公开号CN107016342A的专利申请文献提供一种动作识别的方法及动作识别系统，具体为：启动惯性传感器采集运动关节处的运动参数：依据采集的运动参数解算姿态数据。后两者是现在常用的手段，通过图像处理来分析识别动作；如公开号CN106022236A的专利申请文件公开的一种基于人体轮廓的动作识别方法，包括以下步骤：利用数学形态学以及种子区域生长法提取出人体的轮廓，将人体的轮廓拟合成多边形，通过多边形各个顶点的位置关系识别人体的动作。

大多数基于视觉的方法先验地假设好人体运动结构，其包括一系列具有指定自由度的且数量固定的关节。这种自顶向下的方法有着不可避免的缺陷，首先一旦人体目标丢失，所有该目标的关节点位也就全部丢失了。再者，这种检测机制会导致检测方法的运行时间会随图像中人体目标的增加而增长。而采用自底向上的检测方法，不仅检测实时性好，而且检测速度也不受场景中人数限制。

对于动作识别而言，实际应用过程中往往涉及动作序列的检测和识别，因为一段完整的序列可能包含多个动作片段。先分割，后分析是动作分析系统的必要步骤。具体的动作分析比对中，动态时间规划和隐马尔科夫模型是两种较为常用的方法，以解决动作模板中由于时间和空间尺度不同所引起的微小差别。

发明内容

本发明提供一种基于计算机视觉的模特走秀台步评价方法，可以设定标准台步序列模版，通过普通相机捕获待测目标的动作信息，通过与标准模板进行比对，对运动目标的走姿做出评价，为模特走秀这一特定场景中动作的识别与分析提供了有效的解决方案。

本发明所采用的具体技术方案如下：

一种基于计算机视觉的模特走秀台步评价方法，包括以下步骤：

1)通过相机采集标准动作模板，采集时目标正对相机；对采集到的图像进行逐帧检测，形成二维图像平面上的人体关节点动作序列，将其保存成模板；提取模板中的评价细则参数；

2)待测目标在相同相机视角下进行动作测试；同样对其序列进行关节点检测，形成动作序列；在动作序列中寻找步态关键帧，将动作序列进行步态分割，提取一定周期数量的步态序列；

3)在等步态周期长度的步态序列和模板中对应的人体关节点动作序列内提取各部分关节点信息进行比对，得到待测的步态序列与模板中人体关节点动作序列的距离；

4)通过所得距离进行百分制换算，给出各身体部分评价分数；提取待测序列中的评价细则参数，与模板参数进行比对，给出细则评价。

本发明的人体动作分析与评价系统可以设定标准动作模板，可以利用相机抓取测试目标动作信息序列，来进行分析比对，并给出各项指标的评价分数和等级。

作为优选的，利用基于局部亲和域的深度学习方法检测图像中的人体关节点。检测关节点包括头部、颈部、左右肩、左右手肘、左右手腕、左右髋关节、左右膝盖和左右脚踝14个关节点。

作为优选的，步骤(2)所述步态关键帧为模特走台步过程中左脚脚尖落地瞬间或右脚脚尖落地瞬间，左脚和右脚都各跨一步为1个步态周期。

作为优选的，步骤(1)所述评价细则包含头肩平直、髋骨摆动幅度、双脚交叉3项。细则参数为动作序列中头肩形成的平均角度，两髋关节连线与垂直方向间夹角的方差，双腿交叉时的帧数在总动作序列中的占比，运动目标的垂直方向为颈关节点和两髋关节中点的连线。3项细则的评价包含优秀、良好、合格三个等级。

作为优选的，所述的步骤2)中，步态分割的具体过程如下：

(1)在获取到的人体运动帧信息F_t中，分别提取向量到向量向量到向量向量到向量向量到向量向量到向量向量到向量向量到向量的旋转角；对应的旋转角为α₁，α₂，α₃，α₄，α₅，α₆，α₇，记特征向量θ_t＝(α_1t,α_2t,α_3t,α_4t,α_5t,α_6t,α_7t)为t时刻下的旋转角向量；计算该时间段内随机变量的样本均值向量其中并构造均值为0的随机向量δ_t＝(β_1t,β_2t,β_3t,β_4t,β_5t,β_6t,β_7t)，其中

(2)计算其协方差矩阵C_7×7，设矩阵的秩为K，计算该协方差矩阵的K个特征值λ，将特征值按λ₁≥λ₂≥λ₃≥...λ_K进行排序，对应特征向量为η₁，η₂，η₃，…，η_K；利用特征值和特征向量构建新的特征向量其中

(3)利用特征值λ所占权重对特征向量进行压缩，得到压缩向量G＝{g_t}，其中然后将G归一化到[0,360]，得到G_nor；

(4)对一维向量G_nor进行高斯滤波，滤波后形成G_gauss；

(5)在G_gauss波形中进行寻峰，求得维离散数据的各局部最大值，并设定局部最大阈值及最小峰间距阈值对所求结果进行约束，留下的峰值点所对应的索引值即为在该时序列中的步态关键帧位置。

作为优选的，在步骤3)中，序列比对的具体步骤如下：

(1)首先计算各维坐标的均值，h为比对关节点数量，其中x_i，y_i分别为14个关节点的横坐标和纵坐标。将原始坐标点进行平移，

计算目标尺度因子则新的坐标点转换为

(2)进行旋转和反射，设矩阵分别是由R，Q中的其中一帧关节点坐标在经过平移和尺度变换后的新坐标组成的矩阵，由此引出正交Procrustes问题；求一个正交矩阵T，使得矩阵A在经过T矩阵映射后，与B矩阵间的Frobenius范数达到最小；

其中‖·‖_F为Frobenius范数，此问题等价于对矩阵BA^T进行奇异值分解，BA^T＝USV^T，则所求正交矩阵T＝UV^T；

为使最后的误差变得更小，还需在计算中引入反射变换；即固定A矩阵中的w'坐标，使z'坐标取其相反数，或者固定z'坐标，使w'坐标取其相反数，以最终的距离结果来确定仿射变化中是否需要引入反射优化；最终帧间距离

(3)对序列进行动态时间规整；设序列R＝(r₁,r₂,r₃,...,r_M)为从运动序列中分割出的步态周期，Q＝(q₁,q₂,q₃,...,q_N)为预先建立好的标准步态模板，设d(i,j)为q_i与r_i间经过Procrustes分析后形成的距离，D(i,j)为当前最小积累距离，则D(i,j)＝d(i,j)+min(D(i-1,j),D(i,j-1),D(i-1,j-1))，其中由两序列的起点q₁,r₁开始逐步计算积累距离D(i,j)，D(m,n)即为序列Q,R间的总距离，最后通过积累距离D产生过程中帧与帧之间的匹配对数量p对距离进行归一化，得到最终序列间距离

本发明根据时装表演中模特走秀的特定场景，提出了一种基于步态分割和模板比对的模特走姿评价方法。该方法利用计算机视觉在动作识别中的优势，直接从输入的视频流中提取各帧运动目标的关节点位置信息。在形成的动作序列中提取角度特征，并通过降维、滤波、寻峰等操作，对序列进行分割，然后利用结合了Procrustes分析的动态时间规整对分割好的序列与标准模板序列进行对齐，计算两者间距离并用于最后的评价。

在传统方法中，动作捕捉系统需要一套附着在身体上的标记物(一般为电磁标记)。这些系统有两个主要缺点：一是系统搭建繁琐，二是硬件成本高昂。本发明的方法利用计算机视觉技术，系统架设的适用条件限制较少。基于视觉的动作捕捉系统使用相机作为传感器，直接对图像或视频中的底层数据进行分析,提取与人体动作相关的信息，建立底层数据和高层语义之间的关系，在捕捉人体动作时基本不受场景制约，与传统方案比较优势明显。

附图说明

图1本发明实施例中人体关键点示意图；

图2本发明实施例中动作序列采集图；

图3本发明实施例中动作评价系统图；

图4本发明实施例中方法流程图。

具体实施方式

下面结合实施例和附图来详细说明本发明，并将本发明的实验中相关数据公开阐述，进而将本发明的方法详细透彻的传达给本来领域的技术人员。

本发明的具体实现步骤如下：

1)将相机平行于地面进行架设。由走姿标准的专业模特由远及近，正对相机进行动作录入，如图2所示。在视频流中手动选取3个步态周期，通过关节点检测，形成标准模板序列，其中模板序列分为整体(包含全部关节点)、上肢(包含颈部、左右肩、左右手肘、左右手腕)、下肢(包含左右髋关节、左右膝盖、左右脚踝)3组子模板，并在模板序列中提取细则参数，将模板和参数事先存于文件中。如图1所示，检测关节点包括头部、颈部、左右肩、左右手肘、左右手腕、左右髋关节、左右膝盖和左右脚踝14个关节点，分别对应图中的A～N点。

2)通过相机对待测目标进行实时动作捕捉，在形成的关节点序列上进行滑窗，设置滑窗长度为120帧，步长为5帧。将滑窗中的整段序列进行步态分割；如图4所示，步态分割的具体过程如下：

(1)在获取到的人体运动帧信息F_t中，分别提取向量到向量向量到向量向量到向量向量到向量向量到向量向量到向量向量到向量的旋转角；对应的旋转角为α₁，α₂，α₃，α₄，α₅，α₆，α₇，记特征向量θ_t＝(α_1t,α_2t,α_3t,α_4t,α_5t,α_6t,α_7t)为t时刻下的旋转角向量；计算该时间段内随机变量的样本均值向量其中并构造均值为0的随机向量δ_t＝(β_1t,β_2t,β_3t,β_4t,β_5t,β_6t,β_7t)，其中

(2)计算其协方差矩阵C_7×7，设矩阵的秩为K，计算该协方差矩阵的K个特征值λ，将特征值按λ₁≥λ₂≥λ₃≥...λ_K进行排序，对应特征向量为η₁，η₂，η₃，…，η_K；利用特征值和特征向量构建新的特征向量其中

(3)利用特征值λ所占权重对特征向量进行压缩，得到压缩向量G＝{g_t}，其中然后将G归一化到[0,360]，得到G_nor；

(4)对一维向量G_nor进行高斯滤波，滤波后形成G_gauss；

(5)在G_gauss波形中进行寻峰，求得维离散数据的各局部最大值，并设定局部最大阈值及最小峰间距阈值对所求结果进行约束，留下的峰值点所对应的索引值即为在该时序列中的步态关键帧位置。

利用上述的分割方法寻找序列中的关键步态帧，依据3个步态周期的要求，在当前序列中找到至少7个关键步态帧即可满足比对要求，将分割后的关节点序列与文件中的标准模板序列进行比对。

3)在分割好的序列中取出整体关节点、上肢关节点、下肢关节点，分别与标准模板进行比对；如图4所示，序列比对的具体步骤如下：

(1)首先计算各维坐标的均值，h为比对关节点数量，将原始坐标点进行平移，

计算目标尺度因子则新的坐标点转换为

(2)进行旋转和反射，设矩阵分别是由R，Q中的其中一帧关节点坐标在经过平移和尺度变换后的新坐标组成的矩阵，由此引出正交Procrustes问题；求一个正交矩阵T，使得矩阵A在经过T矩阵映射后，与B矩阵间的Frobenius范数达到最小；

其中‖·‖_F为Frobenius范数，此问题等价于对矩阵BA^T进行奇异值分解，BA^T＝USV^T，则所求正交矩阵T＝UV^T；

为使最后的误差变得更小，还需在计算中引入反射变换；即固定A矩阵中的w'坐标，使z'坐标取其相反数，或者固定z'坐标，使w'坐标取其相反数，以最终的距离结果来确定仿射变化中是否需要引入反射优化；最终帧间距离

(3)对序列进行动态时间规整；设序列R＝(r₁,r₂,r₃,...,r_M)为从运动序列中分割出的步态周期，Q＝(q₁,q₂,q₃,...,q_N)为预先建立好的标准步态模板，设d(i,j)为q_i与r_i间经过Procrustes分析后形成的距离，D(i,j)为当前最小积累距离，则D(i,j)＝d(i,j)+min(D(i-1,j),D(i,j-1),D(i-1,j-1))，其中由两序列的起点q₁,r₁开始逐步计算积累距离D(i,j)，D(m,n)即为序列Q,R间的总距离，最后通过积累距离D产生过程中帧与帧之间的匹配对数量p对距离进行归一化，得到最终序列间距离

利用本实施例中的比对方法，先对待测序列和模板序列进行仿射变换，消除位移、尺度、旋转等不一致带来的问题，然后通过动态时间规整对齐待测序列和模板序列，进而得到两序列间的距离。根据得到的距离，通过分段函数将距离映射到具体的分数上，给出定量评价结果。

4)分别计算分割好的待测序列中头肩平直、髋骨摆动幅度、双脚交叉3项细则所对应的值，在模板细则参数的基础上分别设定变化范围阈值，将细则评价分成优秀、良好、合格3个等级，给出细则的定性评价结果。最终输出结果如图3所示。

以上所述，仅为本发明的较佳实施举例，并不用于限制本发明，凡在本发明精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于计算机视觉的模特走秀台步评价方法，其特征在于，包括以下步骤：

1)通过相机采集标准动作模板，对采集到的图像进行逐帧检测，形成二维图像平面上的人体关节点动作序列，保存为模板，并提取模板中的评价细则参数；

2)待测目标在相同相机视角下进行动作测试，对图像中人体关节点动作序列进行关节点检测，形成动作序列；在动作序列中寻找步态关键帧，将动作序列进行步态分割，并提取周期数量内的步态序列；

3)在等步态周期长度的步态序列和模板中对应的人体关节点动作序列内提取各部分关节点信息进行比对，得到待测的步态序列与模板中人体关节点动作序列的距离；

4)根据所得距离评价各身体部分的分数，并待测的步态序列中的细则参数，与模板中的评价细则参数进行比对，得出细则评价。

2.如权利要求1所述基于计算机视觉的模特走秀台步评价方法，其特征在于：在步骤1)和步骤2)中，利用基于局部亲和域的深度学习方法检测图像中的人体关节点。

3.如权利要求2所述基于计算机视觉的模特走秀台步评价方法，其特征在于：所述的人体关节点包含14个关节点位。

4.如权利要求1所述基于计算机视觉的模特走秀台步评价方法，其特征在于：定义步态关键帧为模特走台步过程中左脚脚尖落地瞬间或右脚脚尖落地瞬间，左脚和右脚都各跨一步为1个步态周期。

5.如权利要求1所述基于计算机视觉的模特走秀台步评价方法，其特征在于：评价细则包含头肩平直、髋骨摆动幅度、双脚交叉3项；评价细则参数为动作序列中头肩形成的平均角度，两髋关节连线与垂直方向间夹角的方差，双腿交叉时的帧数在总动作序列中的占比。

6.如权利要求5所述基于计算机视觉的模特走秀台步评价方法，其特征在于：所述的垂直方向为颈关节点和两髋关节中点的连线。

7.如权利要求1所述基于计算机视觉的模特走秀台步评价方法，其特征在于：所述各身体部分分为整体、上肢和下肢。

8.如权利要求1所述基于计算机视觉的模特走秀台步评价方法，其特征在于：所述的步骤2)中，步态分割的具体过程如下：

(1)在获取到的人体运动帧信息F_t中，分别提取向量到向量向量到向量向量到向量向量到向量向量到向量向量到向量向量到向量的旋转角；对应的旋转角为α₁，α₂，α₃，α₄，α₅，α₆，α₇，记特征向量θ_t＝(α_1t,α_2t,α_3t,α_4t,α_5t,α_6t,α_7t)为t时刻下的旋转角向量；计算该时间段内随机变量的样本均值向量其中并构造均值为0的随机向量δ_t＝(β_1t,β_2t,β_3t,β_4t,β_5t,β_6t,β_7t)，其中

(2)计算其协方差矩阵C_7×7，设矩阵的秩为K，计算该协方差矩阵的K个特征值λ，将特征值按λ₁≥λ₂≥λ₃≥...λ_K进行排序，对应特征向量为η₁，η₂，η₃，…，η_K；利用特征值和特征向量构建新的特征向量其中

(3)利用特征值λ所占权重对特征向量进行压缩，得到压缩向量G＝{g_t}，其中然后将G归一化到[0,360]，得到G_nor；

(4)对一维向量G_nor进行高斯滤波，滤波后形成G_gauss；

(5)在G_gauss波形中进行寻峰，求得维离散数据的各局部最大值，并设定局部最大阈值及最小峰间距阈值对所求结果进行约束，留下的峰值点所对应的索引值即为在该时序列中的步态关键帧位置。

9.如权利要求1所述基于计算机视觉的模特走秀台步评价方法，其特征在于：在步骤3)中，序列比对的具体步骤如下：

(1)首先计算各维坐标的均值，h为比对关节点数量，将原始坐标点进行平移，

计算目标尺度因子则新的坐标点转换为

(2)进行旋转和反射，设矩阵分别是由R，Q中的其中一帧关节点坐标在经过平移和尺度变换后的新坐标组成的矩阵，由此引出正交Procrustes问题；求一个正交矩阵T，使得矩阵A在经过T矩阵映射后，与B矩阵间的Frobenius范数达到最小；

subject toΩ^TΩ＝I；

其中‖·‖_F为Frobenius范数，此问题等价于对矩阵BA^T进行奇异值分解，BA^T＝USV^T，则所求正交矩阵T＝UV^T；

为使最后的误差变得更小，还需在计算中引入反射变换；即固定A矩阵中的w'坐标，使z'坐标取其相反数，或者固定z'坐标，使w'坐标取其相反数，以最终的距离结果来确定仿射变化中是否需要引入反射优化；最终帧间距离

(3)对序列进行动态时间规整；设序列R＝(r₁,r₂,r₃,...,r_M)为从运动序列中分割出的步态周期，Q＝(q₁,q₂,q₃,...,q_N)为预先建立好的标准步态模板，设d(i,j)为q_i与r_i间经过Procrustes分析后形成的距离，D(i,j)为当前最小积累距离，则D(i,j)＝d(i,j)+min(D(i-1,j),D(i,j-1),D(i-1,j-1))，其中由两序列的起点q₁,r₁开始逐步计算积累距离D(i,j)，D(m,n)即为序列Q,R间的总距离，最后通过积累距离D产生过程中帧与帧之间的匹配对数量p对距离进行归一化，得到最终序列间距离