CN109271845A - 基于计算机视觉的人体动作分析与评价方法 - Google Patents

基于计算机视觉的人体动作分析与评价方法 Download PDF

Info

Publication number
CN109271845A
CN109271845A CN201810859255.1A CN201810859255A CN109271845A CN 109271845 A CN109271845 A CN 109271845A CN 201810859255 A CN201810859255 A CN 201810859255A CN 109271845 A CN109271845 A CN 109271845A
Authority
CN
China
Prior art keywords
human
test picture
human action
evaluation methods
joint points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810859255.1A
Other languages
English (en)
Inventor
童基均
常晓龙
赵英杰
熊信信
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Sci Tech University ZSTU
Zhejiang University of Science and Technology ZUST
Original Assignee
Zhejiang Sci Tech University ZSTU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Sci Tech University ZSTU filed Critical Zhejiang Sci Tech University ZSTU
Priority to CN201810859255.1A priority Critical patent/CN109271845A/zh
Publication of CN109271845A publication Critical patent/CN109271845A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于计算机视觉的人体动作分析与评价方法，包括步骤：1)获取带人体动作信息的模版，检测模版内的人体关节点，生成模版模型；2)获取人体动作的测试图片，检测测试图片内的人体关节点，并对测试图片进行数据预处理，使所述测试图片与模版模型在同一坐标系下具有相同的坐标原点；3)计算所述测试图片与模版模型内对应人体关节点间的距离，将得到的距离进行数值计算，根据设定的阈值进行评级分类。本发明的方法对硬件设备没有太高要求，一个普通相机即可，且对场景和测试样本中人体拍摄角度没有太多要求，适用于诸多场景中的人体动作分析与评价。

Description

基于计算机视觉的人体动作分析与评价方法
技术领域
本发明涉及计算机视觉领域，尤其涉及一种基于计算机视觉的人体动作分析与评价方法。
背景技术
由于计算机性能的快速发展，计算机视觉领域也相应的取得了巨大的进步。在显示的场景中，很大情况下人是作为主体的，所以人体动作识别就成为了计算机视觉中的一个热门话题，其在很多领域都有重要的现实意义，比如运动分析、人机交互和监控等。由于人体运动的复杂多变性，使得人体的动作识别在计算机视觉领域具有很高的挑战性。
目前常见的人体动作识别方法主要有基于生物电学、生物力学、轮廓和图像等几种方法。前两者都是借助传感器获取人体运动时的各种数据来分析识别动作，但是采集数据都要佩戴各种传感器，极为不便且有些设备较为昂贵；如公开号CN107016342A的专利申请文献提供一种动作识别的方法及动作识别系统，具体为：启动惯性传感器采集运动关节处的运动参数：依据采集的运动参数解算姿态数据。后两者是现在常用的手段，通过图像处理来分析识别动作。如公开号CN106022236A的专利申请文件公开的一种基于人体轮廓的动作识别方法，包括以下步骤：利用数学形态学以及种子区域生长法提取出人体的轮廓，将人体的轮廓拟合成多边形，通过多边形各个顶点的位置关系识别人体的动作。上述基于轮廓的方法，是计算步态能量图来实现动作识别，识别效果较差。
现阶段基于图像的动作识别分析方法的计算和流程较为复杂且对环境要求先对较高。
发明内容
本发明提供一种基于计算机视觉的人体动作分析与评价方法，可以简单设定比对的模版，并通过对测试人员的动作数据进行分析，实现快速、自动、准确的评价测试人员的动作，并给出一个定性定量的分析结果，为许多场景中的动作识别与分析提供了一种有效的解决方案。
本发明所采用的具体技术方案如下：
一种基于计算机视觉的人体动作分析与评价方法，包括以下步骤：
1)获取带人体动作信息的模版，检测模版内的人体关节点，生成模版模型；
2)获取人体动作的测试图片，检测测试图片内的人体关节点，并对测试图片进行数据预处理，使所述测试图片与模版模型在同一坐标系下具有相同的原点；
3)计算所述测试图片与模版模型内对应人体关节点间的距离，将得到的距离进行数值计算，根据设定的阈值进行分类和评价分级。
本发明预先设定模版，该模版可以是手动导入预先准备的数据，也是可以通过相机进行抓取。
所述的测试图片为相机实时获取的图片，内部有人体动作数据。分别检测模版和测试图片中的人体关节点，在经过数据预处理后，在同一坐标系下对所述的测试图片和模版模型进行比较分析。
本发明分析的结果是基于测试图片和模版模型中对应的人体关节点间的距离，再对测试图片中的人体动作进行评级分类。
作为优选的，在步骤1)和步骤2)中，利用深度学习中的基于局部亲和域的方法来进行人体关节点检测。该方法是由Zhe Cao等人在论文《Realtime Multi-Person 2D PoseEstimation using Part Affinity Fields》中提出的方法，是一种自下而上的检测方法，检测时间不会随着检测目标的增加而增加，且检测准确率高。
本发明中，检测点为左右眼睛、左右耳朵、鼻子、颈、左右肩、左右手肘、左右手、左右胯骨、左右膝盖和左右脚这18个人体关节点。
作为优选的，所述的原点为人体关节点的两胯骨的中点，在同一坐标系中，原点的位置相同，便于测试图片与模版模型的比较分析。
进一步的，为利于数据的比较分析，作为优选的，所述的数据预处理为平移尺度缩放、平移和旋转，所述数据预处理的具体过程包括：
(2.1)求每个测试图片的质心N为图中人体关节点的个数，(xi,yi)为关节点的坐标；
(2.2)将测试图片中所有关节点进行平移：即
(2.3)分别求解x、y的F范数：并对所有坐标点进行尺度标准化：
(2.4)利用最小二乘法搜寻最佳的旋转角度θ使得对应点之间的平方距离和最小化，将三种变换写成矩阵的形式为：
其中s是缩放比例，θ为旋转角度，T为平移的位移，t1，t2表示在x和y方向上的平移距离，R是一个正交矩阵，RTR＝I。
作为优选的，在步骤3)中，计算对应两人体关节点的普氏距离，即对应点之间的平方距离和的平方根用作形状差异的统计量，距离公式如下：
其中(xil,yil)为数据预处理后的关节点，(xi0,yi0)为模版模型中对应的关节点。
作为优选的，所述的数值计算为根据得出的距离进行百分制换算，来表示测试的得分，同时设置的三个阈值，根据得出的分数对动作进行分类，分为优秀、良好、中等和差4个档次。
附图说明
图1为人体关节点示意图；
图2为人体动作检测图；
图3为系统实验图；
图4为系统实验流程图；
图5为数据变换示意图。
具体实施方式
下面结合实施例和附图1-5来详细说明本发明，并将本发明的实验中相关数据公开阐述，进而将本发明的方法详细透彻的传达给本来领域的技术人员。
如图4所示，本实施例中的具体实现步骤如下：
1)将相机放在可以拍摄到人体的地方进行数据采集，数据有模版数据和测试数据，两种数据可以手动导入预先准备的数据，也可以相机进行抓取。如图3所示，点击“打开相机”，如需导入预先准备数据作为模版，可点击直接“直接导入”，也可点击“相机抓取”现场抓取图片作为模版。测试数据可点击“抓取图片”来抓取测试图片。
2)将采集的模版和测试数据，利用深度学习中基于局部亲和域的方法对进行人体关节点检测。本实施例中所用的计算机显卡为英伟达的GTX750Ti。取测试图片如图2所示，总共18个人体关节点，分别为左右眼睛、左右耳朵、鼻子，颈、左右肩、左右手肘、左右手、左右胯骨、左右膝盖和左右脚。
3)首先对数据进行预处理，将检测到的关节点平移到一两胯骨中点为原点(图1中O点位置)的坐标系中。
4)对预处理后的数据进行数据变换。如图5所示，将测试数据进行平尺度变换、平移、旋转操作，得到最接近模版数据的形状，而后计算模版和测试图片中两对应关节点的距离。
本实施例中数据变换的具体过程为：
(2.1)求每个测试图片的质心N为图中人体关节点的个数，(xi,yi)为关节点的坐标；
(2.2)将测试图片中所有关节点进行平移：即
(2.3)分别求解x、y的F范数：并对所有坐标点进行尺度标准化：
(2.4)利用最小二乘法搜寻最佳的旋转角度θ使得对应点之间的平方距离和最小化，将三种变换写成矩阵的形式为：
其中s是缩放比例，θ为旋转角度，T为平移的位移，R是一个正交矩阵，RTR＝I。
其中，计算距离公式如下：
其中(xil,yil)为测试图片中的关节点，(xi0,yi0)为模版模型中对应的关节点。
5)对计算出的距离进行百分之计算，然后设定三个阈值：60、75和90。得分小于60分时输出检测结果为差，得分在60到75分之间是输出检测结果为中等，得分在76到90分之间是输出检测检测结果为良好，得分在91到100分之间是输出检测结果为优秀。即最后点击“比对分析”即可输出检测结果，如图3所示。
以上所述，仅为本发明的较佳实施举例，并不用于限制本发明，凡在本发明精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于计算机视觉的人体动作分析与评价方法，其特征在于：包括以下步骤：
1)获取带人体动作信息的模版，检测模版内的人体关节点，生成模版模型；
2)获取人体动作的测试图片，检测测试图片内的人体关节点，并对测试图片进行数据预处理，使所述测试图片与模版模型在同一坐标系下具有相同的原点；
3)计算所述测试图片与模版模型内对应人体关节点间的距离，将得到的距离进行数值计算，根据设定的阈值进行评级分类。
2.如权利要求1所述的人体动作分析与评价方法，其特征在于：在步骤1)和步骤2)中，利用深度学习中的基于局部亲和域的方法来进行人体关节点检测。
3.如权利要求1所述的人体动作分析与评价方法，其特征在于：在步骤1)和步骤2)中，检测到18个人体关节点。
4.如权利要求1所述的人体动作分析与评价方法，其特征在于：所述的原点为人体关节点的两胯骨的中点。
5.如权利要求1所述的人体动作分析与评价方法，其特征在于：所述的数据预处理为平移尺度缩放、平移和旋转。
6.如权利要求5所述的人体动作分析与评价方法，其特征在于：所述数据预处理的具体过程包括：
(2.1)求每个测试图片的质心N为图中人体关节点的个数，(xi,yi)为关节点的坐标；
(2.2)将测试图片中所有关节点进行平移：即
(2.3)分别求解x、y的F范数：并对所有坐标点进行尺度标准化：
(2.4)利用最小二乘法搜寻最佳的旋转角度θ使得对应点之间的平方距离和最小化，将三种变换写成矩阵的形式为：
其中s是缩放比例，θ为旋转角度，T为平移的位移，t1，t2表示在x和y方向上的平移距离，R是一个正交矩阵，RTR＝I。
7.如权利要求6所述的人体动作分析与评价方法，其特征在于：在步骤3)中，计算对应两人体关节点的普氏距离，即对应点之间的平方距离和的平方根用作形状差异的统计量，距离公式如下：
其中(xil,yil)为数据预处理后的关节点，(xi0,yi0)为模版模型中对应的关节点。
8.如权利要求7所述的人体动作分析与评价方法，其特征在于，其特征在于：所述的数值计算为根据得出的距离进行百分制换算，来表示测试的得分，同时设置的三个阈值，根据得出的分数对动作进行分类，分为优秀、良好、中等和差4个档次。
CN201810859255.1A 2018-07-31 2018-07-31 基于计算机视觉的人体动作分析与评价方法 Pending CN109271845A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810859255.1A CN109271845A (zh) 2018-07-31 2018-07-31 基于计算机视觉的人体动作分析与评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810859255.1A CN109271845A (zh) 2018-07-31 2018-07-31 基于计算机视觉的人体动作分析与评价方法

Publications (1)

Publication Number Publication Date
CN109271845A true CN109271845A (zh) 2019-01-25

Family

ID=65148222

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810859255.1A Pending CN109271845A (zh) 2018-07-31 2018-07-31 基于计算机视觉的人体动作分析与评价方法

Country Status (1)

Country Link
CN (1) CN109271845A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097008A (zh) * 2019-04-30 2019-08-06 苏州大学 一种人体动作识别方法
CN112543942A (zh) * 2019-03-14 2021-03-23 欧姆龙株式会社 动作分析装置、动作分析方法及动作分析程序
CN112753210A (zh) * 2020-04-26 2021-05-04 深圳市大疆创新科技有限公司 可移动平台及其控制方法、存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105550667A (zh) * 2016-01-25 2016-05-04 同济大学 一种基于立体相机的骨架信息动作特征提取方法
CN105930767A (zh) * 2016-04-06 2016-09-07 南京华捷艾米软件科技有限公司 一种基于人体骨架的动作识别方法
CN107301370A (zh) * 2017-05-08 2017-10-27 上海大学 一种基于Kinect三维骨架模型的肢体动作识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105550667A (zh) * 2016-01-25 2016-05-04 同济大学 一种基于立体相机的骨架信息动作特征提取方法
CN105930767A (zh) * 2016-04-06 2016-09-07 南京华捷艾米软件科技有限公司 一种基于人体骨架的动作识别方法
CN107301370A (zh) * 2017-05-08 2017-10-27 上海大学 一种基于Kinect三维骨架模型的肢体动作识别方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112543942A (zh) * 2019-03-14 2021-03-23 欧姆龙株式会社 动作分析装置、动作分析方法及动作分析程序
CN110097008A (zh) * 2019-04-30 2019-08-06 苏州大学 一种人体动作识别方法
CN112753210A (zh) * 2020-04-26 2021-05-04 深圳市大疆创新科技有限公司 可移动平台及其控制方法、存储介质

Similar Documents

Publication Publication Date Title
He et al. Application of deep learning in integrated pest management: a real‐time system for detection and diagnosis of oilseed rape pests
CN107229930B (zh) 一种指针式仪表数值智能识别方法
Li et al. Classification of gait anomalies from kinect
CN105574527B (zh) 一种基于局部特征学习的快速物体检测方法
JP5845365B2 (ja) ３次元の近接インタラクションにおける、又は３次元の近接インタラクションに関連する改善
Uddin et al. Human activity recognition using body joint‐angle features and hidden Markov model
CN106295544B (zh) 一种基于Kinect的视角不变性步态识别方法
CN107230203A (zh) 基于人眼视觉注意机制的铸件缺陷识别方法
CN109271845A (zh) 基于计算机视觉的人体动作分析与评价方法
CN106980825B (zh) 一种基于归一化像素差特征的人脸姿势分类方法
Weidenbacher et al. A comprehensive head pose and gaze database
CN103247056B (zh) 人体骨关节系统三维模型-二维影像空间配准方法
CN111598172B (zh) 基于异构深度网络融合的动态目标抓取姿态快速检测方法
CN110096980A (zh) 字符检测识别系统
Bamwenda et al. Recognition of static hand gesture with using ANN and SVM
KR20120089948A (ko) Ｍｈｉ의 형태 정보를 이용한 실시간 동작 인식시스템 및 실시간 동작 인식 방법
CN109997199A (zh) 基于深度学习的结核病检查方法
CN109993116B (zh) 一种基于人体骨骼相互学习的行人再识别方法
CN109255293B (zh) 基于计算机视觉的模特走秀台步评价方法
CN114998986A (zh) 基于计算机视觉的引体向上动作规范智能识别方法及系统
CN110991292A (zh) 动作识别比对方法、系统、计算机存储介质和电子装置
CN109636856A (zh) 基于hog特征融合算子的物体六维度位姿信息联合测量方法
CN113033501A (zh) 一种基于关节四元数的人体分类方法及装置
Xu et al. A novel method for hand posture recognition based on depth information descriptor
Soumya et al. Artificial neural network based identification and classification of images of Bharatanatya gestures

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190125