CN107220596B - 基于级联纠错机制的人体姿态估计方法 - Google Patents

基于级联纠错机制的人体姿态估计方法 Download PDF

Info

Publication number
CN107220596B
CN107220596B CN201710328383.9A CN201710328383A CN107220596B CN 107220596 B CN107220596 B CN 107220596B CN 201710328383 A CN201710328383 A CN 201710328383A CN 107220596 B CN107220596 B CN 107220596B
Authority
CN
China
Prior art keywords
wrist
joint point
optical flow
positioning
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710328383.9A
Other languages
English (en)
Other versions
CN107220596A (zh
Inventor
高新波
戴慧冰
何立火
路文
郭兆骐
窦睿翰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201710328383.9A priority Critical patent/CN107220596B/zh
Publication of CN107220596A publication Critical patent/CN107220596A/zh
Application granted granted Critical
Publication of CN107220596B publication Critical patent/CN107220596B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于级联纠错机制的人体姿态追踪方法，主要解决现有技术对人体姿态估计中手腕定位不准确的问题。其包括：1)利用双向树结构模型定位手腕以外的身体各关节点；2)利用光流和粒子滤波初步预测手腕的位置；3)通过光流响应判断初步检测的结果是否可靠，若不可靠，则利用双向图结构模型来定位手腕的位置；4)利用肤色模型来判断双向图结构模型的定位结果是否可靠；5)若双向树结构模型的定位结果不正确，则再利用上一帧的手腕位置估计当前帧的手腕位置。实验结果表明，本发明能更精确地定位手腕的位置，从而取得更好的人体姿态估计效果，可用于视频监控、人机交互、数字娱乐、医学成像和运动场景下对人体姿态的识别。

Description

基于级联纠错机制的人体姿态估计方法
技术领域
本发明属于图像识别技术领域，特别是一种人体姿态估计方法，可用于在视频监控、人机交互、数字娱乐、医学成像和运动场景下对人体姿态的识别。
背景技术
人体姿态估计是指在2D或3D的静态图像或视频中检测出人体各部位的位置，根据人体各部位的连接关系，估计出人体姿态的过程。人体姿态估计是计算机视觉研究范畴内的一个重要问题,在许多实际应用中,如视频监控、人机交互、数字娱乐、医学成像和运动场景等领域都具有广泛的应用前景。但同时，对人体姿态的准确估计也是一个非常具有挑战性的问题。在现实生活中，人体姿势的变化、复杂的场景、严重的部位遮挡、明暗不一的光照条件、不同的人体服饰等都会对人体姿态的估计结果造成干扰。值得一提的是，在人体姿态估计中，因为手关节灵活，运动形式多样，因此手腕的定位成为人体姿态估计过程中最具挑战的任务之一。
为了克服在人体姿态估计中可能会出现的不利因素，人们长期致力于研究改进人体姿态估计的方法。现有的人体姿态估计方法一般是基于图结构模型来设计的，该模型将人体表示成各个部位以及任意两个部位之间的连接关系。
Yang和Ramanan等人提出了一种混合模型来表示人体部位以及各个部位的连接关系。在该混合模型中，各个部位被拆分成多个无向混合部分，从而使模型能够更加灵活地近似模拟人体部位的形变程度。Sapp和Taskar等人提出了一种MODEC模型，该模型采用二次变形成本作为几何特征，重新定义图结构模型中描述相邻部件连接关系的二元项。Kiefel和Gehler等人用二元随机变量代替图结构模型中的各个部件，将原始的图结构模型变得更加灵活。Pishchulin等人提出用poselet假说代替图结构模型中的一元和二元多项式。一般的图结构模型一般只考虑相邻部件之间的连接关系，但poselet假说还描述了不相邻身体部件之间的依赖关系，使得图结构模型表达人体姿态的效果更佳。
尽管相对原始的图结构模型，这些改进的模型已经具备较强的人体姿态表达能力，但也只能准确表示相对简单的人体姿态，对于复杂的人体姿态不能完全准确定位，不能满足实际生活中的应用要求。尤其是对手腕的正确定位，明显劣于其他身体关节点。但是，手腕的位置在整个人体姿态发挥重要的作用，手腕的错误定位会极大地影响对整个人体姿态的正确判断。
发明内容
本发明的目的在于针对人体姿态估计中对于手腕定位不准确的问题，利用视频图像序列特有的时间信息和自适应的肤色模型，提出一种基于级联纠错机制的人体姿态估计方法，以提高对手腕的正确检测率，得到更加准确的人体姿态估计效果。
实现本发明目的的技术方案是：基于手腕是最难估计的人体关节点的事实，将人体姿态估计分为两部分进行：第一部分对手腕以外的身体关节点进行定位；第二部分，对手腕的位置进行定位，具体实现步骤包括如下：
(1)利用双向树结构模型对手腕以外的身体关节点进行定位；
(2)利用光流和粒子追踪相结合的方法初步预测手腕的位置；
(3)根据光流响应矩阵B的列数和设定的两个列光流阈值对预测的结果进行判断：
若光流响应矩阵B的第1列B(1)大于第1列的光流阈值1.5，且第1列到第200列的光流阈值B(1)…B(200)的值下降缓慢，使得第200列的光流响应B(200)大于第200列的光流阈值1，则判断定位的结果是手腕，即定位成功；
若光流响应矩阵B的第1列B(1)大于第1列的光流阈值1.5，且第1列到第200列的光流阈值B(1)…B(200)的值下降迅速，使得第200列的光流响应B(200)小于第200列的光流阈值1，则判断定位的结果是手肘，即定位失败，执行(4)；
若光流响应矩阵B的第1列B(1)小于第1列的光流阈值1.5，则判定定位的结果是手肘，即定位失败，执行(4)；
(4)利用双向树结构模型重新预测手腕的位置；
(5)对(4)预测的结果进行判断：
基于同一个人脸部和手部的肤色具有相似性的特性，用人脸区域的肤色直方图近似代替手腕区域的肤色直方图，即先使用脸部检测器准确定位人脸，再统计人脸区域的色度、亮度、饱和度HSV肤色直方图，即手腕区域的HSV肤色直方图，最后根据HSV肤色直方图计算手腕定位框内肤色区域面积的比例：
若手腕定位框内肤色区域面积的比例高于50％，则判断双向树结构模型定位的结果准确；若手腕定位框内肤色区域面积的比例低于50％，判断双向树结构模型定位的结果错误，则把上一帧中已定位的手腕位置取作预测的手腕位置。
本发明具有如下优点:
1)本发明解决了人体姿态估计过程中由手肘引起的对手腕错误定位的问题。
现有技术在手腕的定位过程中，利用主成分分析PCA方法难以区分手腕和手肘，本发明利用光流响应矩阵B的列数和设定的两个列光流阈值，可以很好地区分手腕和手肘，很大程度上避免了由手肘引起的对手腕错误定位的情况。
2)增强了定位的鲁棒性。
本发明采用自适应肤色模型充分地利用了同一个人脸部和手部颜色特征的相似性，能有效地适应不同光照条件、不同年龄、不同人种等因素造成的手腕颜色特征的变化，增强了定位的鲁棒性。
3)提升手腕的定位效果。
现有的方法直接使用肤色特征来定位手腕，当背景中出现与肤色相近的物体时，就会产生错误的手腕定位结果；本发明间接使用肤色特征来定位手腕，将肤色特征作为一种判断手腕定位结果准确性的标准，既利用了手腕的肤色特征，又减小了对手腕的错误定位，较大地提升了手腕的定位准确率。
附图说明
图1是本发明的实现流程图；
图2是传统的图结构模型图；
图3是现有的双向树结构模型图；
图4是使用光流法处理原图像后得到的光流图；
图5是本发明实验中使用的客观评价标准PCP示意图；
图6是本发明对人体姿态估计的实验结果图。
具体实施方式
参照图1，本发明中基于级联纠错机制的人体姿态估计方法，包括如下步骤：
步骤1.利用双向树结构模型对手腕以外的身体关节点进行定位。
传统的人体姿态估计方法一般都是基于图结构模型进行。
参照图2，图结构模型一般分为纸盒结构模型、单向树结构模型和双向树结构模型，每一种模型都是由外观模型和几何约束模型两大部分组成，其中，外观模型对关节点的外观进行建模，用于度量每个关节点的图像似然度；几何约束模型表示两个关节点间的连接关系。
本发明选用双向树结构模型，如图3所示，该模型相比其他两种模型，其能双向地传递相邻关节点间的几何约束信息，且能更好地模拟人体复杂的姿态。本发明只研究人体上半身的姿态，其中包括头、脖子、左/右肩膀、左/右手肘、左/右手腕这8个关节点。
本步骤利用双向树结构模型对手腕以外的身体关节点进行定位，按如下步骤进行：
1a)提取原始视频帧的方向梯度直方图HOG特征，利用双向树结构外观模Φ(Pi,I)作为匹配模板，计算图像I中各个像素点和手腕以外各关节点的图像似然度，初步得到一系列候选的手腕以外各关节点位置，其中，i表示人体的第i个关节点，Pi表示观察图像序列I中第i个关节点的状态变量，I表示给定的一帧图像；
1b)根据双向树结构的几何约束模型
Figure BDA0001291779610000041
在候选的手腕以外各关节点位置中抑制不满足模型的预测结果，以保留更优的手腕以外各关节点位置，其中，i、j分别表示人体的第i个关节点和第j个关节点，Pi和Pj分别表示观察图像序列I中第i个关节点和第j个关节点的状态变量；
1c)运用和积算法从1b)候选的手腕以外各关节点位置中确定最优的手腕以外各关节点位置：
1c1)通过下式计算由关节点i传递到它的父关节点j的信息，
Figure BDA0001291779610000042
Figure BDA0001291779610000043
其中，I表示给定的一帧图像，k表示第k个关节点，ai(Pi)表示手腕以外第i个关节点的状态变量为Pi时的几何约束模型连接系数，m′i(Pj)表示手腕以外第j个关节点的状态变量为Pj时手腕以外第i个关节点的后验边缘分布，m′k(Pi)表示手腕以外第i个关节点的状态变量为Pi时手腕以外第k个关节点的后验边缘分布；
1c2)由手腕以外第j个关节点的状态变量为Pj时手腕以外第i个关节点的后验边缘分布m′i(Pj)，得到手腕以外第j个关节点的状态变量为Pj时，手腕以外所有关节点的后验边缘分布：m′(Pj)＝{m′1(Pj)…m′i(Pj)…m′N(Pj)}，其中，i,j∈{1…N}分别表示手腕以外的第i个关节点和第j个关节点，N表示手腕以外人体各关节点的总数；
1c3)从1b)候选的手腕以外第i个关节点位置中选取m′i(Pj)最大的位置，即为手腕以外第i个关节点的最优位置；
1c4)以此类推，最终确定手腕以外所有各关节点的最优位置。
步骤2.利用光流和粒子追踪相结合的方法初步预测手腕的位置。
与静止图像相比，由于视频图像还包含了人体运动过程中的时间信息，因而可以利用视频中的时间信息更好地对人体姿态进行估计。光流法是处理视频中时间信息最常见的方法之一，但单一使用光流法对手腕进行定位，只能预测手腕位置所在的区域范围而不能预测手腕的具体位置。
本发明利用光流和粒子追踪相结合的方法，可以初步预测手腕的具体位置，其如下步骤如下：
2a)建立外观模型：
采用光流法fast flow处理原始的视频帧，得到一系列的光流图像，如图4，并采用主成分分析PCA方法对光流图像中的特定关节点手腕进行外观建模，其表示如下：
Figure BDA0001291779610000051
其中，i表示第i个关节点，It表示t时刻的观察图像序列，
Figure BDA0001291779610000052
表示在It中第i个关节点的图像块，Ui表示部件i张成的子空间，dt表示图像块到子空间的距离，dw表示图像块在子空间内的距离，
Figure BDA0001291779610000053
表示图像块由子空间生成的概率，
Figure BDA0001291779610000054
表示图像块到子空间Ui距离为dt的概率，
Figure BDA0001291779610000055
表示图像块在子空间Ui内距离为dw的概率，
Figure BDA0001291779610000056
表示独立的高斯分布，μi表示均值，E表示单位矩阵，εE表示高斯噪声，
Figure BDA0001291779610000057
表示由Ui的特征值所构成的矩阵；
2b)根据外观模型，计算出每个图像块可能是手腕的概率
Figure BDA0001291779610000058
得到一系列候选的手腕位置；
2c)建立动态模型：
采用布朗运动对手腕的粒子追踪过程进行动态建模，其表示如下：
Figure BDA0001291779610000059
其中，θi表示对应仿射参数的方差，Pt i表示在It中第i个关节点的状态变量，
Figure BDA0001291779610000061
表示当t-1时刻手腕的状态变量为
Figure BDA0001291779610000062
的t时刻手腕状态变量为
Figure BDA0001291779610000063
的概率；
2d)在外观模型和动态模型共同引导下，判断手腕在视频中的运动轨迹，再根据得到的运动轨迹从候选的手腕位置中确定最优的手腕位置。
步骤3.根据光流响应矩阵B的列数和设定的两个列光流阈值对预测的结果进行判断。
通过实验观察，在手腕的定位过程中，利用主成分分析PCA方法难以区分手腕和手肘，但利用光流响应矩阵B的列数和设定的两个列光流阈值可以很好地区分手腕和手肘，本实例根据实验确定两个设置的列光流阈值分别为1.5和1。
将光流响应矩阵B的第1列B(1)、第200列B(200)分别与设置的列光流阈值进行比较：
若光流响应矩阵B的第1列B(1)大于第1列的光流阈值1.5，且第1列到第200列的光流阈值B(1)…B(200)的值下降缓慢，使得第200列的光流响应B(200)大于第200列的光流阈值1，则判断定位的结果是手腕，即定位成功；
若光流响应矩阵B的第1列B(1)大于第1列的光流阈值1.5，且第1列到第200列的光流阈值B(1)…B(200)的值下降迅速，使得第200列的光流响应B(200)小于第200列的光流阈值1，则判断定位的结果是手肘，即定位失败，执行步骤4；
若光流响应矩阵B的第1列B(1)小于第1列的光流阈值1.5，则判定定位的结果是手肘，即定位失败，执行步骤4。
步骤4.利用双向树结构模型重新预测手腕的位置。
4a)将2b)得到的结果作为候选的手腕位置；
4b)根据双向树结构的几何约束模型
Figure BDA0001291779610000064
在候选的手腕位置中抑制不满足模型的预测结果，以保留更优的候选手腕位置，其中，i、j分别表示人体的第i个关节点和第j个关节点,Pi和Pj分别表示观察图像序列I中第i个关节点和第j个关节点的状态变量；
4c)运用和积算法从4b)候选的手腕位置中确定最优的手腕位置：
通过下式计算由关节点i传递到它的父关节点j的信息，得到第j个关节点的状态变量为Pj时手腕的后验边缘分布m′i(Pj)，从4b)候选的手腕位置中选取m′i(Pj)最大的位置，即最优的手腕位置：
ai(Pi)∝Φ(Pi,I)Πmk(Pi)
Figure BDA0001291779610000071
其中，I表示给定的一帧图像，k表示人体的第k个关节点，ai(Pi)表示手腕的状态变量为Pi时的几何约束模型连接系数，mk(Pi)表示手腕的状态变量为Pi时第k个关节点的后验边缘分布，Φ(Pi,I)表示在图像I中手腕的状态变量为Pi时双向树结构的外观模型。
步骤5.对步骤4预测的结果进行判断。
因为实验的训练数据有限，训练得到的双向树结构模型只能估计特定的人体姿态，对手腕的定位结果不一定准确。因此，需要设计一个标准判断双向树结构模型对手腕的定位结果是否准确。在本发明中，基于同一个人脸部和手部的肤色具有相似性的特性，用人脸区域的肤色直方图近似代替手腕区域的肤色直方图，设计一个自适应的肤色检测模型，来判断双向树结构模型对手腕定位结果的准确性，其判断步骤如下：
5a)先使用脸部检测器准确定位人脸，再统计人脸区域的色度、亮度、饱和度HSV肤色直方图，即手腕区域的HSV肤色直方图；
5b)根据HSV肤色直方图计算手腕定位框内肤色区域面积的比例：
若手腕定位框内肤色区域面积的比例高于50％，则判断双向树结构模型定位的结果准确；
若手腕定位框内肤色区域面积的比例低于50％，判断双向树结构模型定位的结果错误，则把上一帧中已定位的手腕位置取作预测的手腕位置。
本发明的效果可通过以下实验进一步说明：
一、实验数据
数据库采用VdieoPose2.0，此数据库是目前被广泛用于人体姿态估计的主流数据库之一，其包括44个来自于电视节目Friends and Lost的视频剪辑片段，共有1286帧，这些视频序列图像十分接近现实的自然生活场景，因此在数据库VdieoPose2.0上测试本发明的有效性是可行且有效的，有利于本发明投入到实际的应用生产中。
从44个来自于电视节目Friends and Lost的视频剪辑片段中随机地选择26个视频片段作为训练数据，18个视频片段作为测试数据。
二、实验内容
本实验只定位人体上半身的8个关节点，其中包括头顶、脖子、左/右肩膀、左/右手肘、左/右手腕，通过这8个关节点的位置估计人体的上半身姿态，可以得到一系列对人体上半身姿态进行估计的实验结果图，如图5所示。
本实验采用MATLAB与C++语言两种语言进行编程实现。实验过程涉及到相当多的参数，其设置方式如下：双向树结构模型中的参数都是由训练集自动学习得到的；第1列的光流响应阈值设置为1.5，第200列的光流响应阈值设置为1；粒子滤波的粒子个数统一设置为1200个；其他参数根据Ross等人的工作设置。
三、评价标准
本实验采用正确定位的人体部件比率PCP作为客观评价标准，证明本发明在人体姿态估计领域的有效性，其实验是针对人体的上半身各部件进行。其中：
头、左/右上臂、左/右下臂6个部件分别通过不同的两个关节点确定，头由头顶和脖子这两个关节点共同确定，左上臂由左肩膀和左手肘这两个关节点共同确定，左下臂由左手肘和左手腕这两个关节点共同确定，右上臂由右肩膀和右手肘这两个关节点共同确定，右下臂由右手肘和右手腕这两个关节点共同确定。
关节点的预测位置可由实验结果得到，关节点的人工标定位置可由数据库VdieoPose2.0中的各关节点标定文件得到。
对每一个部件，当对应的两个关节点预测的位置与人工标定的位置之间的欧式距离都小于30个像素时，则该部件被正确定位，如图6所示，比如，对图6中的左手肘和左手腕这两个关节点，其由于预测的位置与人工标定的位置之间的欧式距离都小于30个像素，则判断图5中的左上臂部件被正确定位。
以此类推，分别统计每一个部件被正确定位的数目。
再统计每一个部件的总数目，最终得到人体上半身各部件的PCP值，如表1
表1人体上半身各部件的PCP值
部件名称 头 左上臂 右上臂 左下臂 右下臂
PCP值 83.111 38.111 37.222 24.546 26.143

Claims (4)

1.一种基于级联纠错机制的人体姿态估计方法，其特征在于：包括如下步骤：
(1)利用双向树结构模型对手腕以外的身体关节点进行定位；
(2)利用光流和粒子追踪相结合的方法初步预测手腕的位置；
(3)根据光流响应矩阵B的列数和设定的两个列光流阈值对预测的结果进行判断：
若光流响应矩阵B的第1列B(1)大于第1列的光流阈值1.5，且第1列到第200列的光流阈值B(1)…B(200)的值下降缓慢，使得第200列的光流响应B(200)大于第200列的光流阈值1，则判断定位的结果是手腕，即定位成功；
若光流响应矩阵B的第1列B(1)大于第1列的光流阈值1.5，且第1列到第200列的光流阈值B(1)…B(200)的值下降迅速，使得第200列的光流响应B(200)小于第200列的光流阈值1，则判断定位的结果是手肘，即定位失败，执行(4)；
若光流响应矩阵B的第1列B(1)小于第1列的光流阈值1.5，则判定定位的结果是手肘，即定位失败，执行(4)；
(4)利用双向树结构模型重新预测手腕的位置；
(5)对(4)预测的结果进行判断：
基于同一个人脸部和手部的肤色具有相似性的特性，用人脸区域的肤色直方图近似代替手腕区域的肤色直方图，即先使用脸部检测器准确定位人脸，再统计人脸区域的色度、亮度、饱和度HSV肤色直方图，即手腕区域的HSV肤色直方图，最后根据HSV肤色直方图计算手腕定位框内肤色区域面积的比例：
若手腕定位框内肤色区域面积的比例高于50％，则判断双向树结构模型定位的结果准确；
若手腕定位框内肤色区域面积的比例低于50％，判断双向树结构模型定位的结果错误，则把上一帧中已定位的手腕位置取作预测的手腕位置。
2.根据权利要求1所述的方法，其特征在于步骤(2)所述的利用光流和粒子追踪相结合的方法初步预测手腕的位置，按如下步骤进行：
2a)建立外观模型：
采用光流法fast flow处理原始的视频帧，得到一系列的光流图像，并采用主成分分析PCA方法对光流图像中的特定关节点手腕进行外观建模，其表示如下：
Figure FDA0002358004070000011
Figure FDA0002358004070000021
其中，i表示第i个关节点，It表示t时刻的观察图像序列，
Figure FDA0002358004070000022
表示在It中第i个关节点的图像块，Ui表示部件i张成的子空间，dt表示图像块到子空间的距离，dw表示图像块在子空间内的距离，
Figure FDA0002358004070000023
表示图像块由子空间生成的概率，
Figure FDA0002358004070000024
表示图像块到子空间Ui距离为dt的概率，
Figure FDA0002358004070000025
表示图像块在子空间Ui内距离为dw的概率，
Figure FDA0002358004070000026
表示独立的高斯分布，μi表示均值，E表示单位矩阵，εE表示高斯噪声，
Figure FDA0002358004070000027
表示由Ui的特征值所构成的矩阵；
2b)根据外观模型，计算出每个图像块可能是手腕的概率
Figure FDA0002358004070000028
得到一系列候选的手腕位置；
2c)建立动态模型：
采用布朗运动对手腕的粒子追踪过程进行动态建模，其表示如下：
Figure FDA0002358004070000029
其中，θi表示对应仿射参数的方差，Pt i表示在It中第i个关节点的状态变量，
Figure FDA00023580040700000210
表示当t-1时刻手腕的状态变量为
Figure FDA00023580040700000211
时t时刻手腕状态变量为Pt i的概率；
2d)在外观模型和动态模型共同引导下，判断手腕在视频中的运动轨迹，再根据得到的运动轨迹从候选的手腕位置中确定最优的手腕位置。
3.根据权利要求1所述的方法，其特征在于步骤(1)中利用双向树结构模型对手腕以外的各关节点定位，按如下步骤进行：
1a)提取原始视频帧的方向梯度直方图HOG特征，利用双向树结构外观模型Φ(Pi,I)作为匹配模板，计算图像I中各个像素点和手腕以外各关节点的图像似然度，初步得到一系列候选的手腕以外各关节点位置，其中，i表示人体的第i个关节点，Pi表示观察图像序列I中第i个关节点的状态变量，I表示给定的一帧图像；
1b)根据双向树结构的几何约束模型
Figure FDA00023580040700000212
在候选的手腕以外各关节点位置中抑制不满足模型的预测结果，以保留更优的手腕以外各关节点位置，其中，i、j分别表示人体的第i个关节点和第j个关节点，Pi和Pj分别表示观察图像序列I中第i个关节点和第j个关节点的状态变量；
1c)运用和积算法从1b)候选的手腕以外各关节点位置中确定最优的手腕以外各关节点位置：
1c1)通过下式计算由关节点i传递到它的父关节点j的信息，
ai(Pi)∝Φ(Pi,I)∏m′k(Pi)
Figure FDA0002358004070000031
其中，I表示给定的一帧图像，k表示第k个关节点，ai(Pi)表示手腕以外第i个关节点的状态变量为Pi时的几何约束模型连接系数，m′i(Pj)表示手腕以外第j个关节点的状态变量为Pj时手腕以外第i个关节点的后验边缘分布，m′k(Pi)表示手腕以外第i个关节点的状态变量为Pi时手腕以外第k个关节点的后验边缘分布；
1c2)由手腕以外第j个关节点的状态变量为Pj时手腕以外第i个关节点的后验边缘分布mi′(Pj)，得到手腕以外第j个关节点的状态变量为Pj时，手腕以外所有关节点的后验边缘分布：m′(Pj)＝{m′1(Pj)…m′i(Pj)…m′N(Pj)}，其中，i,j∈{1…N}分别表示手腕以外的第i个关节点和第j个关节点，N表示手腕以外人体各关节点的总数；
1c3)从1b)候选的手腕以外第i个关节点位置中选取m′i(Pj)最大的位置，即为手腕以外第i个关节点的最优位置；
1c4)以此类推，最终确定手腕以外所有各关节点的最优位置。
4.根据权利要求2所述的方法，其特征在于步骤(4)所述的利用双向树结构模型重新预测手腕的位置，按如下步骤进行：
4a)将2b)得到的结果作为候选的手腕位置；
4b)根据双向树结构的几何约束模型
Figure FDA0002358004070000032
在候选的手腕位置中抑制不满足模型的预测结果，以保留更优的候选手腕位置，其中，i、j分别表示人体的第i个关节点和第j个关节点,Pi和Pj分别表示观察图像序列I中第i个关节点和第j个关节点的状态变量；
4c)运用和积算法从4b)候选的手腕位置中确定最优的手腕位置：
通过下式计算由关节点i传递到它的父关节点j的信息，得到第j个关节点的状态变量为Pj时手腕的后验边缘分布m′i(Pj)，从4b)候选的手腕位置中选取m′i(Pj)最大的位置，即最优的手腕位置：
ai(Pi)∝Φ(Pi,I)∏mk(Pi)
Figure FDA0002358004070000033
其中，I表示给定的一帧图像，k表示人体的第k个关节点，ai(Pi)表示手腕的状态变量为Pi时的几何约束模型连接系数，mk(Pi)表示手腕的状态变量为Pi时第k个关节点的后验边缘分布，Φ(Pi,I)表示在图像I中手腕的状态变量为Pi时双向树结构的外观模型。
CN201710328383.9A 2017-05-11 2017-05-11 基于级联纠错机制的人体姿态估计方法 Active CN107220596B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710328383.9A CN107220596B (zh) 2017-05-11 2017-05-11 基于级联纠错机制的人体姿态估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710328383.9A CN107220596B (zh) 2017-05-11 2017-05-11 基于级联纠错机制的人体姿态估计方法

Publications (2)

Publication Number Publication Date
CN107220596A CN107220596A (zh) 2017-09-29
CN107220596B true CN107220596B (zh) 2020-04-21

Family

ID=59943834

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710328383.9A Active CN107220596B (zh) 2017-05-11 2017-05-11 基于级联纠错机制的人体姿态估计方法

Country Status (1)

Country Link
CN (1) CN107220596B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10586350B2 (en) * 2017-12-03 2020-03-10 Facebook, Inc. Optimizations for dynamic object instance detection, segmentation, and structure mapping
CN108229332B (zh) 2017-12-08 2020-02-14 华为技术有限公司 骨骼姿态确定方法、装置及计算机可读存储介质
CN109960962B (zh) * 2017-12-14 2022-10-21 腾讯科技（深圳）有限公司 图像识别方法、装置、电子设备以及可读存储介质
CN108052987B (zh) * 2017-12-29 2020-11-13 苏州体素信息科技有限公司 图像分类输出结果的检测方法
CN108647663B (zh) * 2018-05-17 2021-08-06 西安电子科技大学 基于深度学习和多层次图结构模型的人体姿态估计方法
CN109376571B (zh) * 2018-08-03 2022-04-08 西安电子科技大学 基于变形卷积的人体姿态估计方法
CN109331455A (zh) * 2018-11-19 2019-02-15 Oppo广东移动通信有限公司 人体姿态的动作纠错方法、装置、存储介质及终端
CN110598569B (zh) * 2019-08-20 2022-03-08 江西憶源多媒体科技有限公司 一种基于人体姿态数据的动作识别方法
CN111160466B (zh) * 2019-12-30 2022-02-22 深圳纹通科技有限公司 一种基于直方图统计的特征匹配算法
CN112465872B (zh) * 2020-12-10 2022-08-26 南昌航空大学 一种基于可学习遮挡掩模与二次变形优化的图像序列光流估计方法
CN118469521B (zh) * 2024-07-10 2024-10-18 中川建投集团有限公司 一种建筑施工工程安全管控系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007102537A1 (ja) * 2006-03-07 2007-09-13 Osaka University 姿勢推定装置および方法
CN101051344A (zh) * 2006-04-04 2007-10-10 上海阿帝凡思信息技术有限公司 基于光流方向直方图和肤色流形变分的敏感视频识别方法
KR100787565B1 (ko) * 2006-09-04 2007-12-21 한국외국어대학교 산학협력단 정다각형 형태로 배치된 광 플로우 센서를 이용한 이동체의 자기 위치 추정 장치 및 그 방법
CN101246602A (zh) * 2008-02-04 2008-08-20 东华大学 基于几何骨架的人体姿态重建方法
CN101789125A (zh) * 2010-01-26 2010-07-28 北京航空航天大学 一种无标记单目视频人体骨架运动跟踪方法
CN101923719A (zh) * 2009-06-12 2010-12-22 新奥特（北京）视频技术有限公司 一种基于粒子滤波和光流矢量的视频目标跟踪方法
JP4709723B2 (ja) * 2006-10-27 2011-06-22 株式会社東芝 姿勢推定装置及びその方法
CN102682452A (zh) * 2012-04-12 2012-09-19 西安电子科技大学 基于产生式和判别式结合的人体运动跟踪方法
CN104460967A (zh) * 2013-11-25 2015-03-25 安徽寰智信息科技股份有限公司 一种人体上肢骨骼手势识别方法
CN104700433A (zh) * 2015-03-24 2015-06-10 中国人民解放军国防科学技术大学 一种基于视觉的实时人体全身体运动捕捉方法及其系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007102537A1 (ja) * 2006-03-07 2007-09-13 Osaka University 姿勢推定装置および方法
CN101051344A (zh) * 2006-04-04 2007-10-10 上海阿帝凡思信息技术有限公司 基于光流方向直方图和肤色流形变分的敏感视频识别方法
KR100787565B1 (ko) * 2006-09-04 2007-12-21 한국외국어대학교 산학협력단 정다각형 형태로 배치된 광 플로우 센서를 이용한 이동체의 자기 위치 추정 장치 및 그 방법
JP4709723B2 (ja) * 2006-10-27 2011-06-22 株式会社東芝 姿勢推定装置及びその方法
CN101246602A (zh) * 2008-02-04 2008-08-20 东华大学 基于几何骨架的人体姿态重建方法
CN101923719A (zh) * 2009-06-12 2010-12-22 新奥特（北京）视频技术有限公司 一种基于粒子滤波和光流矢量的视频目标跟踪方法
CN101789125A (zh) * 2010-01-26 2010-07-28 北京航空航天大学 一种无标记单目视频人体骨架运动跟踪方法
CN102682452A (zh) * 2012-04-12 2012-09-19 西安电子科技大学 基于产生式和判别式结合的人体运动跟踪方法
CN104460967A (zh) * 2013-11-25 2015-03-25 安徽寰智信息科技股份有限公司 一种人体上肢骨骼手势识别方法
CN104700433A (zh) * 2015-03-24 2015-06-10 中国人民解放军国防科学技术大学 一种基于视觉的实时人体全身体运动捕捉方法及其系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Leap Motion关键点模型手姿态估计方法;胡弘等;《计算机辅助设计与图形学学报》;20150731;第27卷(第7期);第1211-1216页 *
Pictorial Structures for Object Recognition;Pedro F. Felzenszwalb et al;《International Journal of Computer Vision volume》;20050131;第61卷(第1期);第55-79页 *
Robust head pose estimation using Dirichlet-tree distribution enhanced random forests;Yuanyuan Liu et al;《Neurocomputing》;20160115;第173卷;第42-53页 *
基于多级动态模型的2维人体姿态估计;马淼等;《机器人》;20160930;第38卷(第5期);第578-587页 *

Also Published As

Publication number Publication date
CN107220596A (zh) 2017-09-29

Similar Documents

Publication Publication Date Title
CN107220596B (zh) 基于级联纠错机制的人体姿态估计方法
CN109871750B (zh) 一种基于骨架图序列异常关节修复的步态识别方法
CN108647663B (zh) 基于深度学习和多层次图结构模型的人体姿态估计方法
Soomro et al. Predicting the where and what of actors and actions through online action localization
Zhang et al. Predicting failures of vision systems
Jiang Human pose estimation using consistent max covering
CN107516316B (zh) 一种在fcn中引入聚焦机制对静态人体图像进行分割的方法
CN109558810B (zh) 基于部位分割与融合目标人物识别方法
CN107292252B (zh) 一种自主学习的身份识别方法
Kishore et al. Estimation of yoga postures using machine learning techniques
WO2016110005A1 (zh) 基于灰度和深度信息的多层融合的多模态人脸识别装置及方法
Yu et al. An object-based visual attention model for robotic applications
Zhou et al. Optic disc and cup segmentation in retinal images for glaucoma diagnosis by locally statistical active contour model with structure prior
CN105243667A (zh) 基于局部特征融合的目标再识别方法
Huang et al. Building a self-learning eye gaze model from user interaction data
Muthu et al. Motion segmentation of rgb-d sequences: Combining semantic and motion information using statistical inference
Liu et al. Gait recognition using deep learning
Li et al. A new fingertip detection and tracking algorithm and its application on writing-in-the-air system
CN113470073A (zh) 一种基于深度学习的动物中心追踪方法
Charles et al. Upper body pose estimation with temporal sequential forests
Jessika et al. A study on part affinity fields implementation for human pose estimation with deep neural network
Ma et al. A local-global coupled-layer puppet model for robust online human pose tracking
Liu et al. A Multi-Feature Motion Posture Recognition Model Based on Genetic Algorithm.
Chen et al. Illumination processing in face recognition
Dodds et al. Benchmarks for robotic soccer vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant