CN109446871A - 一种基于多项式拟合的模特走秀动作评价方法 - Google Patents

一种基于多项式拟合的模特走秀动作评价方法 Download PDF

Info

Publication number
CN109446871A
CN109446871A CN201810556789.7A CN201810556789A CN109446871A CN 109446871 A CN109446871 A CN 109446871A CN 201810556789 A CN201810556789 A CN 201810556789A CN 109446871 A CN109446871 A CN 109446871A
Authority
CN
China
Prior art keywords
fitting
polynomial
model
elegant
evaluation method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810556789.7A
Other languages
English (en)
Other versions
CN109446871B (zh
Inventor
童基均
柏雁捷
常晓龙
张瑾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201810556789.7A priority Critical patent/CN109446871B/zh
Publication of CN109446871A publication Critical patent/CN109446871A/zh
Application granted granted Critical
Publication of CN109446871B publication Critical patent/CN109446871B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多项式拟合的模特走秀动作评价方法，包括以下步骤：模特图像采集，通过摄像机对模特进行人体关节点进行检测；其中，所述人体面部关节点是相机正对人体面部时，人体关节在二维平面上的坐标点；对检测的人体关节点进行归一化处理后，再进行多项式拟合，得到多项式拟合系数；将多项式拟合系数作为特征进行PCA数据降维；利用降维后的数据训练SVM分类器，而后利用训练好的SVM分类器对模特走秀动作进行评价。本发明通过摄像机采集模特走秀视频数据，对该数据利用多项式拟合后进行分析，可训练一个评价动作的模型，可实现自动准确的对模特的走秀动作进行评价。

Description

一种基于多项式拟合的模特走秀动作评价方法
技术领域
本发明涉及一种基于多项式拟合的模特走秀动作评价方法。
背景技术
目前,近几年随着计算运算能力的提升，计算机视觉领域也取得的快速的发展。其中，人体动作识别受到计算机视觉领域的极大关注，其对动画、人机交互、运动分析和监控等都有重要的现实意义。但是人体运动的多变性和高复杂性，使得动作识别具有很高的挑战性。人体动作识别是计算机视觉研究最重要的领域之一，它是指基于刚体运动、关节角度和身体关键部位的人体运动姿态的预测和估计。
动作识别的方法主要有基于生物电学、生物力学、轮廓和图像等几种方法。生物力学信息包括关节角度、脚底压力等信息；生物电学信息一般指表面肌电信号(sEMG)，是通过传感器获取人体肌肉表面的神经肌肉系统活动时的生物电信号，通过分析生物电信号(sEMG)来实现动作识别。但是这两种方法所需设备昂贵，且使用不便。轮廓和图像都是通过摄像机来获取人体运动的信息，通过分析视频图像中每一帧的人体信息来进行动作识别。如基于轮廓的方法，是计算步态能量图来实现动作识别，但只能实现识别简单的动作。基于图像主要是从图像中获取人体运动数据来进行动作识别，该方法是现阶段科研人员研究动作识别的主要方法，需要从图像中提取我们所需要的人体动作信息，而且数据处理相对繁琐。
发明内容
本发明目的是针对现有技术存在的缺陷提供一种基于多项式拟合的模特走秀动作评价方法。
本发明为实现上述目的，采用如下技术方案：一种基于多项式拟合的模特走秀动作评价方法，包括以下步骤：
1)、模特图像采集，通过摄像机对模特进行人体关节点进行检测；其中，所述人体面部关节点是相机正对人体面部时，人体关节在二维平面上的坐标点；
2)、对检测的人体关节点进行归一化处理后，再进行多项式拟合，得到多项式拟合系数；
3)、将多项式拟合系数作为特征进行PCA数据降维；
4)、利用降维后的数据训练SVM分类器，而后利用训练好的SVM分类器对模特走秀动作进行评价。
进一步的，利用深度学习中的基于局部亲和域的方法来进行人体关节点检测。
进一步的，所述的人体关节点检测为18个关节点。
进一步的，步骤2)中的所述归一化处理为以人体两胯骨的中点为坐标原点，将所有关节点按比例缩放到预定范围内。
进一步的，步骤2)中的多项式拟合包括：BB部分、UB部分和LB部分，三部分分别进行多项式拟合。
进一步的，所述的BB部分、UB部分和LB部分的多项式拟合方法具体如下：
1)、BB部分为3个坐标点：鼻子、颈部和坐标原点，进行二阶多项式拟合： BBt＝(α0+α2i+α3i2)t，α0、α1和α2为BB部分多项式拟合的各阶系数；
2)、UB部分为7个坐标点：左右手、左右手肘以及左右肩和颈，该部分进行6阶多项式拟合：UBt＝(β0+β1i+β2i2+β3i3+β4i4+β5i5+β6i6)t，β0～β6为 UB部分多项式拟合的各阶系数；
3)、LB部分为7个坐标点，左右脚，左右膝盖，左右胯骨和坐标原点，该部分进行6阶多项式拟合：LBt＝(γ0+γ1i+γ2i2+γ3i3+γ4i4+γ5i5+γ6i6)t，γ0～γ6为 LB部分多项式拟合的各阶系数。
进一步的，在多项式拟合后，将3份部分的拟合系数一起进行PCA数据降维。
本发明的有益效果：本发明通过摄像机采集模特走秀视频数据，对该数据利用多项式拟合后进行分析，可训练一个评价动作的模型，可实现自动准确的对模特的走秀动作进行评价。
附图说明
图1为本发明人体BB、UB、和LB部分关键点图；
图2为本发明模特关节点检测图；
图3为本发明三部分关节点x轴y轴方向拟合；
图4为本发明不同阶数数据拟合结果；
图5为本发明实验流程图。
具体实施方式
图1至图5所示，公开了一种基于多项式拟合的模特走秀动作评价方法，具体实现步骤如下：
1)、将摄像机放在模特走秀舞台的正前面，对模特进行数据采集。
2)、将采集的数据结果利用深度学习中基于局部亲和域的方法来对模特的人体关节点进行实时检测，本实验中所用的计算机显卡为英伟达的GTX1080Ti。检测结果如图1、2所示，总共18个人体关节点，分别为左右眼睛、左右耳朵、鼻子，颈、左右肩、左右手肘、左右手、左右胯骨、左右膝盖和左右脚。
3)、对检测的关节点进行归一化处理。由于相机的位置是不变的，而模特在 T台上是一直移动的，这会导致检测结果会有差异，因此根据人体身高比例，颈每一个模特的关节点的x值和y值分别归一化到[-200,200]，[-800,800]范围内。
4)、对归一化后的数据进行多项式拟合，拟合时将人体关节点分为BB、UB 和LB这三部分进行，如图2所示，BB部分连接0、1、2这三个点，UB部分为连接5、4、3、2、6、7、8这7个关节点，LB部分为连接11、10、9、0、12、13、 14这7个点。多项式拟合的一般公式为P(x)＝c0+c1x+…+cnxn，其中cn为多项式拟合系数。图3为BB、UB、BB三部分分别在x轴和y轴的拟合结果图。
其中，BB部分为3个坐标点：鼻子、颈部和坐标原点，进行二阶多项式拟合：BBt＝(α0+α2i+α3i2)t，α0、α1和α2为BB部分多项式拟合的各阶系数；
UB部分为7个坐标点：左右手、左右手肘以及左右肩和颈，该部分进行6 阶多项式拟合：UBt＝(β0+β1i+β2i2+β3i3+β4i4+β5i5+β6i6)t，β0～β6为 UB部分多项式拟合的各阶系数；
LB部分为7个坐标点，左右脚，左右膝盖，左右胯骨和坐标原点，该部分进行6阶多项式拟合：LBt＝(γ0+γ1i+γ2i2+γ3i3+γ4i4+γ5i5+γ6i6)t，γ0～γ6为 LB部分多项式拟合的各阶系数。
由于三部分的形状复杂程度不一样，因此根据它们的复杂程度来进行拟合：在BB部分用二阶系数进行拟合，UB和LB部分用6阶系数进行拟合，分别将三部分的想x轴和y轴拟合的结果结合成一个坐标点，得到的结果如图4所示，只有UB和LB部分用6阶系数拟合时才能达到较好的拟合效果。
5)将拟合的系数作为特征来进行PCA数据降维处理。首先要将所有采集的数据分成训练集与测试集，用训练集的数据计算样本均值，计算样本协方差矩阵、对协方差矩阵进行特征值分解，求解K-L变换矩阵、选取K-L变换矩阵的主成分构建降维矩阵，最后对训练数据进行数据降维。测试数据只需要减去样本均值后在乘以降维矩阵就可以实现PCA数据降维处理。
6)随后用处理过的训练集进行SVM分类器的训练，SVM训练时采用高斯径向基函数作为核函数，参数δ为8，其他参数为默认值。在用训练好的数据进行SVM分类器对测试集进行测试。本发明实施流程如图5所示。
本发明随机抽取5个专业模特和5个业余模特进行个体测试实验，实验结果如表1所示。
表1个体检测结果表
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于多项式拟合的模特走秀动作评价方法，其特征在于，包括以下步骤：
1)、模特图像采集，通过摄像机对模特进行人体关节点进行检测；其中，所述人体面部关节点是相机正对人体面部时，人体关节在二维平面上的坐标点；
2)、对检测的人体关节点进行归一化处理后，再进行多项式拟合，得到多项式拟合系数；
3)、将多项式拟合系数作为特征进行PCA数据降维；
4)、利用降维后的数据训练SVM分类器，而后利用训练好的SVM分类器对模特走秀动作进行评价。
2.如权利要求1所述的基于多项式拟合的模特走秀动作评价方法，其特征在于，利用深度学习中的基于局部亲和域的方法来进行人体关节点检测。
3.如权利要求2所述的基于多项式拟合的模特走秀动作评价方法，其特征在于：所述的人体关节点检测为18个关节点。
4.如权利要求1所述的基于多项式拟合的模特走秀动作评价方法，其特征在于：步骤2)中的所述归一化处理为以人体两胯骨的中点为坐标原点，将所有关节点按比例缩放到预定范围内。
5.如权利要求4所述的基于多项式拟合的模特走秀动作评价方法，其特征在于：步骤2)中的多项式拟合包括：BB部分、UB部分和LB部分，三部分分别进行多项式拟合。
6.如权利要求5所述的基于多项式拟合的模特走秀动作评价方法，其特征在于：所述的BB部分、UB部分和LB部分的多项式拟合方法具体如下：
1)、BB部分为3个坐标点：鼻子、颈部和坐标原点，进行二阶多项式拟合：BBt＝(α0+α2i+α3i2)t，α0、α1和α2为BB部分多项式拟合的各阶系数；
2)、UB部分为7个坐标点：左右手、左右手肘以及左右肩和颈，该部分进行6阶多项式拟合：UBt＝(β0+β1i+β2i2+β3i3+β4i4+β5i5+β6i6)t，β0～β6为UB部分多项式拟合的各阶系数；
3)、LB部分为7个坐标点，左右脚，左右膝盖，左右胯骨和坐标原点，该部分进行6阶多项式拟合：LBt＝(γ0+γ1i+γ2i2+γ3i3+γ4i4+γ5i5+γ6i6)t，γ0～γ6为LB部分多项式拟合的各阶系数。
7.如权利要求6所述的基于多项式拟合的模特走秀动作评价方法，其特征在于：在多项式拟合后，将3份部分的拟合系数一起进行PCA数据降维。
CN201810556789.7A 2018-06-01 2018-06-01 一种基于多项式拟合的模特走秀动作评价方法 Active CN109446871B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810556789.7A CN109446871B (zh) 2018-06-01 2018-06-01 一种基于多项式拟合的模特走秀动作评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810556789.7A CN109446871B (zh) 2018-06-01 2018-06-01 一种基于多项式拟合的模特走秀动作评价方法

Publications (2)

Publication Number Publication Date
CN109446871A true CN109446871A (zh) 2019-03-08
CN109446871B CN109446871B (zh) 2024-02-09

Family

ID=65533036

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810556789.7A Active CN109446871B (zh) 2018-06-01 2018-06-01 一种基于多项式拟合的模特走秀动作评价方法

Country Status (1)

Country Link
CN (1) CN109446871B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111027473A (zh) * 2019-12-09 2020-04-17 山东省科学院自动化研究所 一种基于人体关节运动实时预测的目标识别方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103390174A (zh) * 2012-05-07 2013-11-13 深圳泰山在线科技有限公司 基于人体姿态识别的体育教学辅助系统和方法
CN104866860A (zh) * 2015-03-20 2015-08-26 武汉工程大学 一种室内人体行为识别方法
CN105512621A (zh) * 2015-11-30 2016-04-20 华南理工大学 一种基于Kinect的羽毛球动作指导系统
CN105631420A (zh) * 2015-12-23 2016-06-01 武汉工程大学 一种基于3d骨架的多视角室内人体行为识别方法
US20160296795A1 (en) * 2015-04-09 2016-10-13 Electronics And Telecommunications Research Institute Apparatus and method for analyzing golf motion
CN107301370A (zh) * 2017-05-08 2017-10-27 上海大学 一种基于Kinect三维骨架模型的肢体动作识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103390174A (zh) * 2012-05-07 2013-11-13 深圳泰山在线科技有限公司 基于人体姿态识别的体育教学辅助系统和方法
CN104866860A (zh) * 2015-03-20 2015-08-26 武汉工程大学 一种室内人体行为识别方法
US20160296795A1 (en) * 2015-04-09 2016-10-13 Electronics And Telecommunications Research Institute Apparatus and method for analyzing golf motion
CN105512621A (zh) * 2015-11-30 2016-04-20 华南理工大学 一种基于Kinect的羽毛球动作指导系统
CN105631420A (zh) * 2015-12-23 2016-06-01 武汉工程大学 一种基于3d骨架的多视角室内人体行为识别方法
CN107301370A (zh) * 2017-05-08 2017-10-27 上海大学 一种基于Kinect三维骨架模型的肢体动作识别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
C.K. CHAN: "Human motion classification using 2D stick-model matching regression coefficients", vol. 283, pages 3 - 5 *
XIAODONG YANG: "Effective 3D action recognition using EigenJoints", 《JOURNAL OF VISUAL COMMUNICATION AND IMAGE REPRESENTATION》, pages 1 - 10 *
ZHE CAO: "Realtime Multi-person 2D Pose Estimation Using Part Affinity Fields", pages 1 - 9 *
王健弘: "基于视频的人体动作识别关键技术研究", 《中国博士学位论文全文数据库 (信息科技辑)》, no. 09, pages 138 - 45 *
苑玮琦: "主成分分析重建误差掌纹识别方法", pages 2 - 5 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111027473A (zh) * 2019-12-09 2020-04-17 山东省科学院自动化研究所 一种基于人体关节运动实时预测的目标识别方法及系统
CN111027473B (zh) * 2019-12-09 2023-05-26 山东省科学院自动化研究所 一种基于人体关节运动实时预测的目标识别方法及系统

Also Published As

Publication number Publication date
CN109446871B (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
Ball et al. Unsupervised clustering of people from'skeleton'data
Scheurer et al. Human activity recognition for emergency first responders via body-worn inertial sensors
Jensen et al. Classification of kinematic swimming data with emphasis on resource consumption
CN105138995B (zh) 基于骨架信息的时不变及视不变的人体行为识别方法
Visee et al. An effective and efficient method for detecting hands in egocentric videos for rehabilitation applications
Bennett et al. Comparison of motion-based analysis to thermal-based analysis of thermal video in the extraction of respiration patterns
CN107122711A (zh) 一种基于角度径向变换和质心的夜视视频步态识别方法
US9420963B2 (en) Apparatus and method for recognizing user's posture in horse-riding simulator
Zariffa et al. Computer vision-based classification of hand grip variations in neurorehabilitation
Zhen et al. Hybrid deep-learning framework based on Gaussian fusion of multiple spatiotemporal networks for walking gait phase recognition
Sabir et al. Human gait identification using Kinect sensor
Huang et al. Human motion identification for rehabilitation exercise assessment of knee osteoarthritis
CN113780220A (zh) 一种基于童脸识别的儿童坐姿检测方法及系统
CN109446871A (zh) 一种基于多项式拟合的模特走秀动作评价方法
CN116999057A (zh) 基于穿戴式传感器的偏瘫步态识别及偏瘫步态评估方法
Akiduki et al. Extraction and classification of human gait features from acceleration data
CN107480604A (zh) 基于多轮廓特征融合的步态识别方法
CN115564795A (zh) 一种基于多模态信息的三维人体姿态估计方法
Zha et al. Multi-person gait recognition system based on kinect
CN114332922A (zh) 一种基于图像静态特征的摔倒检测方法
Likitlersuang et al. Arm angle detection in egocentric video of upper extremity tasks
CN109692004B (zh) 一种检测人体站姿的方法和装置
Ismail et al. Human gesture recognition using a low cost stereo vision in rehab activities
Razali et al. Gait recognition using motion capture data
Bera et al. Joint pain detection by gait analysis for elderly healthcare

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant