CN107220596A - 基于级联纠错机制的人体姿态估计方法 - Google Patents
基于级联纠错机制的人体姿态估计方法 Download PDFInfo
- Publication number
- CN107220596A CN107220596A CN201710328383.9A CN201710328383A CN107220596A CN 107220596 A CN107220596 A CN 107220596A CN 201710328383 A CN201710328383 A CN 201710328383A CN 107220596 A CN107220596 A CN 107220596A
- Authority
- CN
- China
- Prior art keywords
- wrist
- artis
- msub
- mrow
- represent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于级联纠错机制的人体姿态追踪方法，主要解决现有技术对人体姿态估计中手腕定位不准确的问题。其包括：1)利用双向树结构模型定位手腕以外的身体各关节点；2)利用光流和粒子滤波初步预测手腕的位置；3)通过光流响应判断初步检测的结果是否可靠，若不可靠，则利用双向图结构模型来定位手腕的位置；4)利用肤色模型来判断双向图结构模型的定位结果是否可靠；5)若双向树结构模型的定位结果不正确，则再利用上一帧的手腕位置估计当前帧的手腕位置。实验结果表明，本发明能更精确地定位手腕的位置，从而取得更好的人体姿态估计效果，可用于视频监控、人机交互、数字娱乐、医学成像和运动场景下对人体姿态的识别。
Description
技术领域
本发明属于图像识别技术领域，特别是一种人体姿态估计方法，可用于在视频监控、人机交互、数字娱乐、医学成像和运动场景下对人体姿态的识别。
背景技术
人体姿态估计是指在2D或3D的静态图像或视频中检测出人体各部位的位置，根据人体各部位的连接关系，估计出人体姿态的过程。人体姿态估计是计算机视觉研究范畴内的一个重要问题,在许多实际应用中,如视频监控、人机交互、数字娱乐、医学成像和运动场景等领域都具有广泛的应用前景。但同时，对人体姿态的准确估计也是一个非常具有挑战性的问题。在现实生活中，人体姿势的变化、复杂的场景、严重的部位遮挡、明暗不一的光照条件、不同的人体服饰等都会对人体姿态的估计结果造成干扰。值得一提的是，在人体姿态估计中，因为手关节灵活，运动形式多样，因此手腕的定位成为人体姿态估计过程中最具挑战的任务之一。
为了克服在人体姿态估计中可能会出现的不利因素，人们长期致力于研究改进人体姿态估计的方法。现有的人体姿态估计方法一般是基于图结构模型来设计的，该模型将人体表示成各个部位以及任意两个部位之间的连接关系。
Yang和Ramanan等人提出了一种混合模型来表示人体部位以及各个部位的连接关系。在该混合模型中，各个部位被拆分成多个无向混合部分，从而使模型能够更加灵活地近似模拟人体部位的形变程度。Sapp和Taskar等人提出了一种MODEC模型，该模型采用二次变形成本作为几何特征，重新定义图结构模型中描述相邻部件连接关系的二元项。Kiefel和Gehler等人用二元随机变量代替图结构模型中的各个部件，将原始的图结构模型变得更加灵活。Pishchulin等人提出用poselet假说代替图结构模型中的一元和二元多项式。一般的图结构模型一般只考虑相邻部件之间的连接关系，但poselet假说还描述了不相邻身体部件之间的依赖关系，使得图结构模型表达人体姿态的效果更佳。
尽管相对原始的图结构模型，这些改进的模型已经具备较强的人体姿态表达能力，但也只能准确表示相对简单的人体姿态，对于复杂的人体姿态不能完全准确定位，不能满足实际生活中的应用要求。尤其是对手腕的正确定位，明显劣于其他身体关节点。但是，手腕的位置在整个人体姿态发挥重要的作用，手腕的错误定位会极大地影响对整个人体姿态的正确判断。
发明内容
本发明的目的在于针对人体姿态估计中对于手腕定位不准确的问题，利用视频图像序列特有的时间信息和自适应的肤色模型，提出一种基于级联纠错机制的人体姿态估计方法，以提高对手腕的正确检测率，得到更加准确的人体姿态估计效果。
实现本发明目的的技术方案是：基于手腕是最难估计的人体关节点的事实，将人体姿态估计分为两部分进行：第一部分对手腕以外的身体关节点进行定位；第二部分，对手腕的位置进行定位，具体实现步骤包括如下：
(1)利用双向树结构模型对手腕以外的身体关节点进行定位；
(2)利用光流和粒子追踪相结合的方法初步预测手腕的位置；
(3)根据光流响应矩阵B的列数和设定的两个列光流阈值对预测的结果进行判断：
若光流响应矩阵B的第1列B(1)大于第1列的光流阈值1.5，且第1列到第200列的光流阈值B(1)…B(200)的值下降缓慢，使得第200列的光流响应B(200)大于第200列的光流阈值1，则判断定位的结果是手腕，即定位成功；
若光流响应矩阵B的第1列B(1)大于第1列的光流阈值1.5，且第1列到第200列的光流阈值B(1)…B(200)的值下降迅速，使得第200列的光流响应B(200)小于第200列的光流阈值1，则判断定位的结果是手肘，即定位失败，执行(4)；
若光流响应矩阵B的第1列B(1)小于第1列的光流阈值1.5，则判定定位的结果是手肘，即定位失败，执行(4)；
(4)利用双向树结构模型重新预测手腕的位置；
(5)对(4)预测的结果进行判断：
基于同一个人脸部和手部的肤色具有相似性的特性，用人脸区域的肤色直方图近似代替手腕区域的肤色直方图，即先使用脸部检测器准确定位人脸，再统计人脸区域的色度、亮度、饱和度HSV肤色直方图，即手腕区域的HSV肤色直方图，最后根据HSV肤色直方图计算手腕定位框内肤色区域面积的比例：
若手腕定位框内肤色区域面积的比例高于50％，则判断双向树结构模型定位的结果准确；若手腕定位框内肤色区域面积的比例低于50％，判断双向树结构模型定位的结果错误，则把上一帧中已定位的手腕位置取作预测的手腕位置。
本发明具有如下优点:
1)本发明解决了人体姿态估计过程中由手肘引起的对手腕错误定位的问题。
现有技术在手腕的定位过程中，利用主成分分析PCA方法难以区分手腕和手肘，本发明利用光流响应矩阵B的列数和设定的两个列光流阈值，可以很好地区分手腕和手肘，很大程度上避免了由手肘引起的对手腕错误定位的情况。
2)增强了定位的鲁棒性。
本发明采用自适应肤色模型充分地利用了同一个人脸部和手部颜色特征的相似性，能有效地适应不同光照条件、不同年龄、不同人种等因素造成的手腕颜色特征的变化，增强了定位的鲁棒性。
3)提升手腕的定位效果。
现有的方法直接使用肤色特征来定位手腕，当背景中出现与肤色相近的物体时，就会产生错误的手腕定位结果；本发明间接使用肤色特征来定位手腕，将肤色特征作为一种判断手腕定位结果准确性的标准，既利用了手腕的肤色特征，又减小了对手腕的错误定位，较大地提升了手腕的定位准确率。
附图说明
图1是本发明的实现流程图；
图2是传统的图结构模型图；
图3是现有的双向树结构模型图；
图4是使用光流法处理原图像后得到的光流图；
图5是本发明实验中使用的客观评价标准PCP示意图；
图6是本发明对人体姿态估计的实验结果图。
具体实施方式
参照图1，本发明中基于级联纠错机制的人体姿态估计方法，包括如下步骤：
步骤1.利用双向树结构模型对手腕以外的身体关节点进行定位。
传统的人体姿态估计方法一般都是基于图结构模型进行。
参照图2，图结构模型一般分为纸盒结构模型、单向树结构模型和双向树结构模型，每一种模型都是由外观模型和几何约束模型两大部分组成，其中，外观模型对关节点的外观进行建模，用于度量每个关节点的图像似然度；几何约束模型表示两个关节点间的连接关系。
本发明选用双向树结构模型，如图3所示，该模型相比其他两种模型，其能双向地传递相邻关节点间的几何约束信息，且能更好地模拟人体复杂的姿态。本发明只研究人体上半身的姿态，其中包括头、脖子、左/右肩膀、左/右手肘、左/右手腕这8个关节点。
本步骤利用双向树结构模型对手腕以外的身体关节点进行定位，按如下步骤进行：
1a)提取原始视频帧的方向梯度直方图HOG特征，利用双向树结构外观模Φ(Pi,I)作为匹配模板，计算图像I中各个像素点和手腕以外各关节点的图像似然度，初步得到一系列候选的手腕以外各关节点位置，其中，i表示人体的第i个关节点，Pi表示观察图像序列I中第i个关节点的状态变量，I表示给定的一帧图像；
1b)根据双向树结构的几何约束模型在候选的手腕以外各关节点位置中抑制不满足模型的预测结果，以保留更优的手腕以外各关节点位置，其中，i、j分别表示人体的第i个关节点和第j个关节点，Pi和Pj分别表示观察图像序列I中第i个关节点和第j个关节点的状态变量；
1c)运用和积算法从1b)候选的手腕以外各关节点位置中确定最优的手腕以外各关节点位置：
1c1)通过下式计算由关节点i传递到它的父关节点j的信息，
其中，I表示给定的一帧图像，k表示第k个关节点，ai(Pi)表示手腕以外第i个关节点的状态变量为Pi时的几何约束模型连接系数，m′i(Pj)表示手腕以外第j个关节点的状态变量为Pj时手腕以外第i个关节点的后验边缘分布，m′k(Pi)表示手腕以外第i个关节点的状态变量为Pi时手腕以外第k个关节点的后验边缘分布；
1c2)由手腕以外第j个关节点的状态变量为Pj时手腕以外第i个关节点的后验边缘分布m′i(Pj)，得到手腕以外第j个关节点的状态变量为Pj时，手腕以外所有关节点的后验边缘分布：m′(Pj)＝{m′1(Pj)…m′i(Pj)…m′N(Pj)}，其中，i,j∈{1…N}分别表示手腕以外的第i个关节点和第j个关节点，N表示手腕以外人体各关节点的总数；
1c3)从1b)候选的手腕以外第i个关节点位置中选取m′i(Pj)最大的位置，即为手腕以外第i个关节点的最优位置；
1c4)以此类推，最终确定手腕以外所有各关节点的最优位置。
步骤2.利用光流和粒子追踪相结合的方法初步预测手腕的位置。
与静止图像相比，由于视频图像还包含了人体运动过程中的时间信息，因而可以利用视频中的时间信息更好地对人体姿态进行估计。光流法是处理视频中时间信息最常见的方法之一，但单一使用光流法对手腕进行定位，只能预测手腕位置所在的区域范围而不能预测手腕的具体位置。
本发明利用光流和粒子追踪相结合的方法，可以初步预测手腕的具体位置，其如下步骤如下：
2a)建立外观模型：
采用光流法fast flow处理原始的视频帧，得到一系列的光流图像，如图4，并采用主成分分析PCA方法对光流图像中的特定关节点手腕进行外观建模，其表示如下：
其中，i表示第i个关节点，It表示t时刻的观察图像序列，表示在It中第i个关节点的图像块，Ui表示部件i张成的子空间，dt表示图像块到子空间的距离，dw表示图像块在子空间内的距离，表示图像块由子空间生成的概率，表示图像块到子空间Ui距离为dt的概率，表示图像块在子空间Ui内距离为dw的概率，表示独立的高斯分布，μi表示均值，E表示单位矩阵，εE表示高斯噪声，表示由Ui的特征值所构成的矩阵；
2b)根据外观模型，计算出每个图像块可能是手腕的概率得到一系列候选的手腕位置；
2c)建立动态模型：
采用布朗运动对手腕的粒子追踪过程进行动态建模，其表示如下：
其中，θi表示对应仿射参数的方差，Pt i表示在It中第i个关节点的状态变量，表示当t-1时刻手腕的状态变量为的t时刻手腕状态变量为的概率；
2d)在外观模型和动态模型共同引导下，判断手腕在视频中的运动轨迹，再根据得到的运动轨迹从候选的手腕位置中确定最优的手腕位置。
步骤3.根据光流响应矩阵B的列数和设定的两个列光流阈值对预测的结果进行判断。
通过实验观察，在手腕的定位过程中，利用主成分分析PCA方法难以区分手腕和手肘，但利用光流响应矩阵B的列数和设定的两个列光流阈值可以很好地区分手腕和手肘，本实例根据实验确定两个设置的列光流阈值分别为1.5和1。
将光流响应矩阵B的第1列B(1)、第200列B(200)分别与设置的列光流阈值进行比较：
若光流响应矩阵B的第1列B(1)大于第1列的光流阈值1.5，且第1列到第200列的光流阈值B(1)…B(200)的值下降缓慢，使得第200列的光流响应B(200)大于第200列的光流阈值1，则判断定位的结果是手腕，即定位成功；
若光流响应矩阵B的第1列B(1)大于第1列的光流阈值1.5，且第1列到第200列的光流阈值B(1)…B(200)的值下降迅速，使得第200列的光流响应B(200)小于第200列的光流阈值1，则判断定位的结果是手肘，即定位失败，执行步骤4；
若光流响应矩阵B的第1列B(1)小于第1列的光流阈值1.5，则判定定位的结果是手肘，即定位失败，执行步骤4。
步骤4.利用双向树结构模型重新预测手腕的位置。
4a)将2b)得到的结果作为候选的手腕位置；
4b)根据双向树结构的几何约束模型在候选的手腕位置中抑制不满足模型的预测结果，以保留更优的候选手腕位置，其中，i、j分别表示人体的第i个关节点和第j个关节点,Pi和Pj分别表示观察图像序列I中第i个关节点和第j个关节点的状态变量；
4c)运用和积算法从4b)候选的手腕位置中确定最优的手腕位置：
通过下式计算由关节点i传递到它的父关节点j的信息，得到第j个关节点的状态变量为Pj时手腕的后验边缘分布m′i(Pj)，从4b)候选的手腕位置中选取m′i(Pj)最大的位置，即最优的手腕位置：
ai(Pi)∝Φ(Pi,I)Πmk(Pi)
其中，I表示给定的一帧图像，k表示人体的第k个关节点，ai(Pi)表示手腕的状态变量为Pi时的几何约束模型连接系数，mk(Pi)表示手腕的状态变量为Pi时第k个关节点的后验边缘分布，Φ(Pi,I)表示在图像I中手腕的状态变量为Pi时双向树结构的外观模型。
步骤5.对步骤4预测的结果进行判断。
因为实验的训练数据有限，训练得到的双向树结构模型只能估计特定的人体姿态，对手腕的定位结果不一定准确。因此，需要设计一个标准判断双向树结构模型对手腕的定位结果是否准确。在本发明中，基于同一个人脸部和手部的肤色具有相似性的特性，用人脸区域的肤色直方图近似代替手腕区域的肤色直方图，设计一个自适应的肤色检测模型，来判断双向树结构模型对手腕定位结果的准确性，其判断步骤如下：
5a)先使用脸部检测器准确定位人脸，再统计人脸区域的色度、亮度、饱和度HSV肤色直方图，即手腕区域的HSV肤色直方图；
5b)根据HSV肤色直方图计算手腕定位框内肤色区域面积的比例：
若手腕定位框内肤色区域面积的比例高于50％，则判断双向树结构模型定位的结果准确；
若手腕定位框内肤色区域面积的比例低于50％，判断双向树结构模型定位的结果错误，则把上一帧中已定位的手腕位置取作预测的手腕位置。
本发明的效果可通过以下实验进一步说明：
一、实验数据
数据库采用VdieoPose2.0，此数据库是目前被广泛用于人体姿态估计的主流数据库之一，其包括44个来自于电视节目Friends and Lost的视频剪辑片段，共有1286帧，这些视频序列图像十分接近现实的自然生活场景，因此在数据库VdieoPose2.0上测试本发明的有效性是可行且有效的，有利于本发明投入到实际的应用生产中。
从44个来自于电视节目Friends and Lost的视频剪辑片段中随机地选择26个视频片段作为训练数据，18个视频片段作为测试数据。
二、实验内容
本实验只定位人体上半身的8个关节点，其中包括头顶、脖子、左/右肩膀、左/右手肘、左/右手腕，通过这8个关节点的位置估计人体的上半身姿态，可以得到一系列对人体上半身姿态进行估计的实验结果图，如图5所示。
本实验采用MATLAB与C++语言两种语言进行编程实现。实验过程涉及到相当多的参数，其设置方式如下：双向树结构模型中的参数都是由训练集自动学习得到的；第1列的光流响应阈值设置为1.5，第200列的光流响应阈值设置为1；粒子滤波的粒子个数统一设置为1200个；其他参数根据Ross等人的工作设置。
三、评价标准
本实验采用正确定位的人体部件比率PCP作为客观评价标准，证明本发明在人体姿态估计领域的有效性，其实验是针对人体的上半身各部件进行。其中：
头、左/右上臂、左/右下臂6个部件分别通过不同的两个关节点确定，头由头顶和脖子这两个关节点共同确定，左上臂由左肩膀和左手肘这两个关节点共同确定，左下臂由左手肘和左手腕这两个关节点共同确定，右上臂由右肩膀和右手肘这两个关节点共同确定，右下臂由右手肘和右手腕这两个关节点共同确定。
关节点的预测位置可由实验结果得到，关节点的人工标定位置可由数据库VdieoPose2.0中的各关节点标定文件得到。
对每一个部件，当对应的两个关节点预测的位置与人工标定的位置之间的欧式距离都小于30个像素时，则该部件被正确定位，如图6所示，比如，对图6中的左手肘和左手腕这两个关节点，其由于预测的位置与人工标定的位置之间的欧式距离都小于30个像素，则判断图5中的左上臂部件被正确定位。
以此类推，分别统计每一个部件被正确定位的数目。
再统计每一个部件的总数目，最终得到人体上半身各部件的PCP值，如表1
表1人体上半身各部件的PCP值
| 部件名称 | 头 | 左上臂 | 右上臂 | 左下臂 | 右下臂 |
| PCP值 | 83.111 | 38.111 | 37.222 | 24.546 | 26.143 |
Claims (4)
1.一种基于级联纠错机制的人体姿态估计方法，其特征在于：包括如下步骤：
(1)利用双向树结构模型对手腕以外的身体关节点进行定位；
(2)利用光流和粒子追踪相结合的方法初步预测手腕的位置；
(3)根据光流响应矩阵B的列数和设定的两个列光流阈值对预测的结果进行判断：
若光流响应矩阵B的第1列B(1)大于第1列的光流阈值1.5，且第1列到第200列的光流阈值B(1)…B(200)的值下降缓慢，使得第200列的光流响应B(200)大于第200列的光流阈值1，则判断定位的结果是手腕，即定位成功；
若光流响应矩阵B的第1列B(1)大于第1列的光流阈值1.5，且第1列到第200列的光流阈值B(1)…B(200)的值下降迅速，使得第200列的光流响应B(200)小于第200列的光流阈值1，则判断定位的结果是手肘，即定位失败，执行(4)；
若光流响应矩阵B的第1列B(1)小于第1列的光流阈值1.5，则判定定位的结果是手肘，即定位失败，执行(4)；
(4)利用双向树结构模型重新预测手腕的位置；
(5)对(4)预测的结果进行判断：
基于同一个人脸部和手部的肤色具有相似性的特性，用人脸区域的肤色直方图近似代替手腕区域的肤色直方图，即先使用脸部检测器准确定位人脸，再统计人脸区域的色度、亮度、饱和度HSV肤色直方图，即手腕区域的HSV肤色直方图，最后根据HSV肤色直方图计算手腕定位框内肤色区域面积的比例：
若手腕定位框内肤色区域面积的比例高于50％，则判断双向树结构模型定位的结果准确；
若手腕定位框内肤色区域面积的比例低于50％，判断双向树结构模型定位的结果错误，则把上一帧中已定位的手腕位置取作预测的手腕位置。
2.根据权利要求1所述的方法，其特征在于步骤(2)所述的利用光流和粒子追踪相结合的方法初步预测手腕的位置，按如下步骤进行：
2a)建立外观模型：
采用光流法fast flow处理原始的视频帧，得到一系列的光流图像，并采用主成分分析PCA方法对光流图像中的特定关节点手腕进行外观建模，其表示如下：
<mrow>
<mi>p</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>I</mi>
<mi>t</mi>
</msub>
<mo>|</mo>
<msubsup>
<mi>K</mi>
<mi>t</mi>
<mi>i</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msub>
<mi>p</mi>
<msub>
<mi>d</mi>
<mi>t</mi>
</msub>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>I</mi>
<mi>t</mi>
</msub>
<mo>|</mo>
<msubsup>
<mi>K</mi>
<mi>t</mi>
<mi>i</mi>
</msubsup>
<mo>)</mo>
</mrow>
<msub>
<mi>p</mi>
<msub>
<mi>d</mi>
<mi>w</mi>
</msub>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>I</mi>
<mi>t</mi>
</msub>
<mo>|</mo>
<msubsup>
<mi>K</mi>
<mi>t</mi>
<mi>i</mi>
</msubsup>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mo>=</mo>
<mi>N</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>I</mi>
<mi>t</mi>
</msub>
<mo>;</mo>
<msub>
<mi>&mu;</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>U</mi>
<mi>i</mi>
</msub>
<msubsup>
<mi>U</mi>
<mi>i</mi>
<mi>T</mi>
</msubsup>
<mo>+</mo>
<mi>&epsiv;</mi>
<mi>E</mi>
<mo>)</mo>
</mrow>
<mi>N</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>I</mi>
<mi>t</mi>
</msub>
<mo>;</mo>
<msub>
<mi>&mu;</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>U</mi>
<mi>i</mi>
</msub>
<msubsup>
<mi>&Sigma;</mi>
<mi>i</mi>
<mrow>
<mo>-</mo>
<mn>2</mn>
</mrow>
</msubsup>
<msubsup>
<mi>U</mi>
<mi>i</mi>
<mi>T</mi>
</msubsup>
<mo>)</mo>
</mrow>
</mrow>
其中，i表示第i个关节点，It表示t时刻的观察图像序列，表示在It中第i个关节点的图像块，Ui表示部件i张成的子空间，dt表示图像块到子空间的距离，dw表示图像块在子空间内的距离，表示图像块由子空间生成的概率，表示图像块到子空间Ui距离为dt的概率，表示图像块在子空间Ui内距离为dw的概率，N(·)表示独立的高斯分布，μi表示均值，E表示单位矩阵，εE表示高斯噪声，表示由Ui的特征值所构成的矩阵；
2b)根据外观模型，计算出每个图像块可能是手腕的概率得到一系列候选的手腕位置；
2c)建立动态模型：
采用布朗运动对手腕的粒子追踪过程进行动态建模，其表示如下：
<mrow>
<mi>p</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>P</mi>
<mi>t</mi>
<mi>i</mi>
</msubsup>
<mo>|</mo>
<msubsup>
<mi>P</mi>
<mrow>
<mi>t</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
<mi>i</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>N</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>P</mi>
<mi>t</mi>
<mi>i</mi>
</msubsup>
<mo>;</mo>
<msubsup>
<mi>P</mi>
<mrow>
<mi>t</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
<mi>i</mi>
</msubsup>
<mo>,</mo>
<msub>
<mi>&theta;</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
其中，θi表示对应仿射参数的方差，Pt i表示在It中第i个关节点的状态变量，表示当t-1时刻手腕的状态变量为的t时刻手腕状态变量为Pt i的概率；
2d)在外观模型和动态模型共同引导下，判断手腕在视频中的运动轨迹，再根据得到的运动轨迹从候选的手腕位置中确定最优的手腕位置。
3.根据权利要求1所述的方法，其特征在于步骤(1)中利用双向树结构模型对手腕以外的各关节点定位，按如下步骤进行：
1a)提取原始视频帧的方向梯度直方图HOG特征，利用双向树结构外观模Φ(Pi,I)作为匹配模板，计算图像I中各个像素点和手腕以外各关节点的图像似然度，初步得到一系列候选的手腕以外各关节点位置，其中，i表示人体的第i个关节点，Pi表示观察图像序列I中第i个关节点的状态变量，I表示给定的一帧图像；
1b)根据双向树结构的几何约束模型在候选的手腕以外各关节点位置中抑制不满足模型的预测结果，以保留更优的手腕以外各关节点位置，其中，i、j分别表示人体的第i个关节点和第j个关节点，Pi和Pj分别表示观察图像序列I中第i个关节点和第j个关节点的状态变量；
1c)运用和积算法从1b)候选的手腕以外各关节点位置中确定最优的手腕以外各关节点位置：
1c1)通过下式计算由关节点i传递到它的父关节点j的信息，
ai(Pi)∝Φ(Pi,I)Πm′k(Pi)
其中，I表示给定的一帧图像，k表示第k个关节点，ai(Pi)表示手腕以外第i个关节点的状态变量为Pi时的几何约束模型连接系数，m′i(Pj)表示手腕以外第j个关节点的状态变量为Pj时手腕以外第i个关节点的后验边缘分布，m′k(Pi)表示手腕以外第i个关节点的状态变量为Pi时手腕以外第k个关节点的后验边缘分布；
1c2)由手腕以外第j个关节点的状态变量为Pj时手腕以外第i个关节点的后验边缘分布m′i(Pj)，得到手腕以外第j个关节点的状态变量为Pj时，手腕以外所有关节点的后验边缘分布：m′(Pj)＝{m′1(Pj)…m′i(Pj)…m′N(Pj)}，其中，i,j∈{1…N}分别表示手腕以外的第i个关节点和第j个关节点，N表示手腕以外人体各关节点的总数；
1c3)从1b)候选的手腕以外第i个关节点位置中选取m′i(Pj)最大的位置，即为手腕以外第i个关节点的最优位置；
1c4)以此类推，最终确定手腕以外所有各关节点的最优位置。
4.根据权利要求1或2所述的方法，其特征在于步骤(4)所述的利用双向树结构模型重新预测手腕的位置，按如下步骤进行：
4a)将2b)得到的结果作为候选的手腕位置；
4b)根据双向树结构的几何约束模型在候选的手腕位置中抑制不满足模型的预测结果，以保留更优的候选手腕位置，其中，i、j分别表示人体的第i个关节点和第j个关节点,Pi和Pj分别表示观察图像序列I中第i个关节点和第j个关节点的状态变量；
4c)运用和积算法从4b)候选的手腕位置中确定最优的手腕位置：
通过下式计算由关节点i传递到它的父关节点j的信息，得到第j个关节点的状态变量为Pj时手腕的后验边缘分布m′i(Pj)，从4b)候选的手腕位置中选取m′i(Pj)最大的位置，即最优的手腕位置：
ai(Pi)∝Φ(Pi,I)Πmk(Pi)
其中，I表示给定的一帧图像，k表示人体的第k个关节点，ai(Pi)表示手腕的状态变量为Pi时的几何约束模型连接系数，mk(Pi)表示手腕的状态变量为Pi时第k个关节点的后验边缘分布，Φ(Pi,I)表示在图像I中手腕的状态变量为Pi时双向树结构的外观模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710328383.9A CN107220596B (zh) | 2017-05-11 | 2017-05-11 | 基于级联纠错机制的人体姿态估计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710328383.9A CN107220596B (zh) | 2017-05-11 | 2017-05-11 | 基于级联纠错机制的人体姿态估计方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107220596A true CN107220596A (zh) | 2017-09-29 |
| CN107220596B CN107220596B (zh) | 2020-04-21 |
Family
ID=59943834
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710328383.9A Active CN107220596B (zh) | 2017-05-11 | 2017-05-11 | 基于级联纠错机制的人体姿态估计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107220596B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108052987A (zh) * | 2017-12-29 | 2018-05-18 | 苏州体素信息科技有限公司 | 图像分类输出结果的检测方法 |
| CN108647663A (zh) * | 2018-05-17 | 2018-10-12 | 西安电子科技大学 | 基于深度学习和多层次图结构模型的人体姿态估计方法 |
| CN109331455A (zh) * | 2018-11-19 | 2019-02-15 | Oppo广东移动通信有限公司 | 人体姿态的动作纠错方法、装置、存储介质及终端 |
| CN109376571A (zh) * | 2018-08-03 | 2019-02-22 | 西安电子科技大学 | 基于变形卷积的人体姿态估计方法 |
| CN109960962A (zh) * | 2017-12-14 | 2019-07-02 | 腾讯科技（深圳）有限公司 | 图像识别方法、装置、电子设备以及可读存储介质 |
| CN110598569A (zh) * | 2019-08-20 | 2019-12-20 | 江西憶源多媒体科技有限公司 | 一种基于人体姿态数据的动作识别方法 |
| CN111160466A (zh) * | 2019-12-30 | 2020-05-15 | 深圳纹通科技有限公司 | 一种基于直方图统计的特征匹配算法 |
| CN111684490A (zh) * | 2017-12-03 | 2020-09-18 | 脸谱公司 | 动态对象实例检测、分割和结构映射的优化 |
| CN112465872A (zh) * | 2020-12-10 | 2021-03-09 | 南昌航空大学 | 一种基于可学习遮挡掩模与二次变形优化的图像序列光流估计方法 |
| US10963682B2 (en) | 2017-12-08 | 2021-03-30 | Huawei Technologies Co., Ltd. | Skeleton posture determining method and apparatus, and computer readable storage medium |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007102537A1 (ja) * | 2006-03-07 | 2007-09-13 | Osaka University | 姿勢推定装置および方法 |
| CN101051344A (zh) * | 2006-04-04 | 2007-10-10 | 上海阿帝凡思信息技术有限公司 | 基于光流方向直方图和肤色流形变分的敏感视频识别方法 |
| KR100787565B1 (ko) * | 2006-09-04 | 2007-12-21 | 한국외국어대학교 산학협력단 | 정다각형 형태로 배치된 광 플로우 센서를 이용한 이동체의 자기 위치 추정 장치 및 그 방법 |
| CN101246602A (zh) * | 2008-02-04 | 2008-08-20 | 东华大学 | 基于几何骨架的人体姿态重建方法 |
| CN101789125A (zh) * | 2010-01-26 | 2010-07-28 | 北京航空航天大学 | 一种无标记单目视频人体骨架运动跟踪方法 |
| CN101923719A (zh) * | 2009-06-12 | 2010-12-22 | 新奥特（北京）视频技术有限公司 | 一种基于粒子滤波和光流矢量的视频目标跟踪方法 |
| JP4709723B2 (ja) * | 2006-10-27 | 2011-06-22 | 株式会社東芝 | 姿勢推定装置及びその方法 |
| CN102682452A (zh) * | 2012-04-12 | 2012-09-19 | 西安电子科技大学 | 基于产生式和判别式结合的人体运动跟踪方法 |
| CN104460967A (zh) * | 2013-11-25 | 2015-03-25 | 安徽寰智信息科技股份有限公司 | 一种人体上肢骨骼手势识别方法 |
| CN104700433A (zh) * | 2015-03-24 | 2015-06-10 | 中国人民解放军国防科学技术大学 | 一种基于视觉的实时人体全身体运动捕捉方法及其系统 |
-
2017
- 2017-05-11 CN CN201710328383.9A patent/CN107220596B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007102537A1 (ja) * | 2006-03-07 | 2007-09-13 | Osaka University | 姿勢推定装置および方法 |
| CN101051344A (zh) * | 2006-04-04 | 2007-10-10 | 上海阿帝凡思信息技术有限公司 | 基于光流方向直方图和肤色流形变分的敏感视频识别方法 |
| KR100787565B1 (ko) * | 2006-09-04 | 2007-12-21 | 한국외국어대학교 산학협력단 | 정다각형 형태로 배치된 광 플로우 센서를 이용한 이동체의 자기 위치 추정 장치 및 그 방법 |
| JP4709723B2 (ja) * | 2006-10-27 | 2011-06-22 | 株式会社東芝 | 姿勢推定装置及びその方法 |
| CN101246602A (zh) * | 2008-02-04 | 2008-08-20 | 东华大学 | 基于几何骨架的人体姿态重建方法 |
| CN101923719A (zh) * | 2009-06-12 | 2010-12-22 | 新奥特（北京）视频技术有限公司 | 一种基于粒子滤波和光流矢量的视频目标跟踪方法 |
| CN101789125A (zh) * | 2010-01-26 | 2010-07-28 | 北京航空航天大学 | 一种无标记单目视频人体骨架运动跟踪方法 |
| CN102682452A (zh) * | 2012-04-12 | 2012-09-19 | 西安电子科技大学 | 基于产生式和判别式结合的人体运动跟踪方法 |
| CN104460967A (zh) * | 2013-11-25 | 2015-03-25 | 安徽寰智信息科技股份有限公司 | 一种人体上肢骨骼手势识别方法 |
| CN104700433A (zh) * | 2015-03-24 | 2015-06-10 | 中国人民解放军国防科学技术大学 | 一种基于视觉的实时人体全身体运动捕捉方法及其系统 |
Non-Patent Citations (4)
| Title |
|---|
| PEDRO F. FELZENSZWALB ET AL: "Pictorial Structures for Object Recognition", 《INTERNATIONAL JOURNAL OF COMPUTER VISION VOLUME》 * |
| YUANYUAN LIU ET AL: "Robust head pose estimation using Dirichlet-tree distribution enhanced random forests", 《NEUROCOMPUTING》 * |
| 胡弘等: "Leap Motion关键点模型手姿态估计方法", 《计算机辅助设计与图形学学报》 * |
| 马淼等: "基于多级动态模型的2维人体姿态估计", 《机器人》 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111684490A (zh) * | 2017-12-03 | 2020-09-18 | 脸谱公司 | 动态对象实例检测、分割和结构映射的优化 |
| US10963682B2 (en) | 2017-12-08 | 2021-03-30 | Huawei Technologies Co., Ltd. | Skeleton posture determining method and apparatus, and computer readable storage medium |
| CN109960962A (zh) * | 2017-12-14 | 2019-07-02 | 腾讯科技（深圳）有限公司 | 图像识别方法、装置、电子设备以及可读存储介质 |
| CN108052987A (zh) * | 2017-12-29 | 2018-05-18 | 苏州体素信息科技有限公司 | 图像分类输出结果的检测方法 |
| CN108647663A (zh) * | 2018-05-17 | 2018-10-12 | 西安电子科技大学 | 基于深度学习和多层次图结构模型的人体姿态估计方法 |
| CN108647663B (zh) * | 2018-05-17 | 2021-08-06 | 西安电子科技大学 | 基于深度学习和多层次图结构模型的人体姿态估计方法 |
| CN109376571A (zh) * | 2018-08-03 | 2019-02-22 | 西安电子科技大学 | 基于变形卷积的人体姿态估计方法 |
| CN109331455A (zh) * | 2018-11-19 | 2019-02-15 | Oppo广东移动通信有限公司 | 人体姿态的动作纠错方法、装置、存储介质及终端 |
| CN110598569A (zh) * | 2019-08-20 | 2019-12-20 | 江西憶源多媒体科技有限公司 | 一种基于人体姿态数据的动作识别方法 |
| CN110598569B (zh) * | 2019-08-20 | 2022-03-08 | 江西憶源多媒体科技有限公司 | 一种基于人体姿态数据的动作识别方法 |
| CN111160466A (zh) * | 2019-12-30 | 2020-05-15 | 深圳纹通科技有限公司 | 一种基于直方图统计的特征匹配算法 |
| CN111160466B (zh) * | 2019-12-30 | 2022-02-22 | 深圳纹通科技有限公司 | 一种基于直方图统计的特征匹配算法 |
| CN112465872A (zh) * | 2020-12-10 | 2021-03-09 | 南昌航空大学 | 一种基于可学习遮挡掩模与二次变形优化的图像序列光流估计方法 |
| CN112465872B (zh) * | 2020-12-10 | 2022-08-26 | 南昌航空大学 | 一种基于可学习遮挡掩模与二次变形优化的图像序列光流估计方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107220596B (zh) | 2020-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107220596A (zh) | 基于级联纠错机制的人体姿态估计方法 | |
| CN105404847B (zh) | 一种遗留物实时检测方法 | |
| CN103413120B (zh) | 基于物体整体性和局部性识别的跟踪方法 | |
| Ponce et al. | Automatic counting and individual size and mass estimation of olive-fruits through computer vision techniques | |
| CN108647663B (zh) | 基于深度学习和多层次图结构模型的人体姿态估计方法 | |
| CN109840565A (zh) | 一种基于眼部轮廓特征点纵横比的眨眼检测方法 | |
| CN104036236B (zh) | 一种基于多参数指数加权的人脸性别识别方法 | |
| CN103035013A (zh) | 一种基于多特征融合的精确运动阴影检测方法 | |
| CN105320917B (zh) | 一种基于头肩轮廓及bp神经网络的行人检测及跟踪方法 | |
| CN104715238A (zh) | 一种基于多特征融合的行人检测方法 | |
| CN105205437B (zh) | 基于头部轮廓验证的侧脸检测方法及装置 | |
| CN105046219A (zh) | 一种人脸识别系统 | |
| Gao et al. | Accurate and efficient segmentation of optic disc and optic cup in retinal images integrating multi-view information | |
| CN108629336A (zh) | 基于人脸特征点识别的颜值计算方法 | |
| CN105513053A (zh) | 一种用于视频分析中背景建模方法 | |
| CN109685045A (zh) | 一种运动目标视频跟踪方法及系统 | |
| CN109271918B (zh) | 基于重心偏移模型区分平衡能力障碍人群的方法 | |
| CN110827304B (zh) | 一种基于深度卷积网络与水平集方法的中医舌像定位方法和系统 | |
| CN110348364A (zh) | 一种无监督聚类与时空域深度网络相结合的篮球视频群体行为识别方法 | |
| CN106599785A (zh) | 人体3d特征身份信息库的建立方法及设备 | |
| CN107358163A (zh) | 基于人脸识别的游客线路跟踪统计方法、电子设备及存储介质 | |
| CN108734277A (zh) | 一种基于卷积神经网络的靶向药物喷洒方法 | |
| CN110032932A (zh) | 一种基于视频处理和决策树设定阈值的人体姿态识别方法 | |
| CN105427345A (zh) | 基于相机投影矩阵的三维人流运动分析方法 | |
| CN109711267A (zh) | 一种行人重识别、行人运动轨迹生成方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |