CN110210331A - 一种结合树模型与星型模型的人体姿态估计方法 - Google Patents

Abstract

本发明公开了一种结合树模型与星型模型的人体姿态估计方法，该方法首先基于树结构构建人体模型，将人体划分为多个相互之间独立的局部块，并对人体局部块构建星型模型；然后基于HOG特征构建人体混合部件外观模模型与混合块外观模型，并分别基于树模型与星型模型结构构建部件的形变模型；然后结合模型的外观与形变得分求出得分最高候选姿态，从而得到最优的人体姿态结果。本发明提升了人体姿态的检测准确率，具有较好的鲁棒性。

Description

一种结合树模型与星型模型的人体姿态估计方法

技术领域

本发明涉及计算机视觉与模式识别领域，更具体地说是一种结合树模型与星型模型的人体姿态估计方法。

背景技术

人体姿态估计是对图像中的人体各个肢体位置及他们之间相连接关系的检测。在得到姿态信息后计算机就能够对人体的动作及行为进行分析。人体的姿态是计算机理解人类行为的一个重要途径。同时在人类的生活中，人类的动作及行为往往包含着重要的信息，因此人体姿态估计逐渐成为热门的课题。随着相关技术与硬件设备的不断进步，人体姿态估计越来越多的应用到现实生活中，如高级人机交互、智能监控、运动分析、图片标注等领域。人体姿态估计方法主要可以分为两种：基于无模型的方法和基于模型的方法。

基于无模型的方法，也称为基于图像特征的方法。此类方法不需要对人体进行建模，实现直接从图像特征到人体姿态的推理，其主要的优点在于计算简单、速度快、不需要进行初始化等方面，该方法应用面较窄，对于姿态的描述不够全面。

目前人体姿态估计的研究绝大多数都是基于模型的方法，相比于基于无模型方法，基于模型方法不需要大量的数据进行学习，可以减少训练成本，并且可以较为全面地描述不同姿态的人体。基于模型的方法主要思路是把人体分为若干部件并根据它们之间的约束关系对人体进行建模，并构建人体姿态能量函数，通过使能量函数的得分最大化来确定人体姿态。

基于模型的方法通常使用由Felzenszwalb等人提出的图结构(PictorialStructure)模型，使用树结构来表示人体。这主要因为树形结构能够简单且直观地表示人体的结构特征，并且能够对模型进行高效地推导。由于简单且单一的树形结构能够利用的约束信息较少，因此对于灵活多变的人体，模型并不能描述不同人体姿态间的差异性。Wang等人提出构建提出了构建多个树模型的方法，并将不同的树模型组合起来，模型通过利用更多语义上的约束来提高稳定性，但该模型仅增强人体部件之间的约束，并未对不同姿态的人体进行建模。Yang等人提出的混合部件模型通过对于每个人体部件构建多个基于不同方向的部件检测器，并通过树形结构将部件相连接。该模型虽然能够通过不同方向的部件组合来描述任意姿态的人体，但是，该模型与传统树模型一样在部件检测时仅利用了来自其子部件的约束信息，并且忽略了人体某一区域的全局信息。基于图模型的方法对于较为灵活人体姿态检测效果往往不理想，特别是人体较为灵活四肢的检测。

发明内容

本发明的目的在于：为解决现有技术的不足，提供一种结合星型模型与树模型的人体姿态估计的方法，其能够捕捉人体局部区域的全局信息，增强人体部件感知能力，从而提升模型鲁棒性及人体姿态估计准确率。

为解决上述技术问题，本发明采用如下技术方案：

步骤(1)、构建人体树模型，并依据人体局部块类型建立人体局部块的星型模型；

步骤(2)、基于人体部件类型，使用HOG特征构建混合部件的外观模型，使用部件间相对位置构建建立混合部件的形变模型；

步骤(3)、结合步骤(1)中的树模型与星型模型，通过部件外观模型与形变模型构建人体姿态能量函数，求出输入图像最高的候选姿态得分，进而进行人体姿态估计。

与现有技术相比，本发明有益效果体现在：

1、本发明将人体看成由多个相互独立的局部块组成，然后基于星型模型对各个局部块进行建模，并通过局部块与部件之间的全局约束来提升部件检测结果，从而解决树模型仅能够利用少量连接信息的不足，提升检测准确率及稳定性。

2、本发明针对不同类型的局部块，对局部块与部件之间使用不同的全局约束，能够更好地描述局部块与部件之间的位置关系。

3、本发明通过引入对应父部件的虚拟部件，使部件能够同时利用来自其父部件与子部件的约束信息，改善树模型的抗噪声干扰能力。

4、本发明针对人体中较难检测的手部与脚部，通过虚拟部件构建肩部到手部与臀部到脚部的信息传递路径，提升手部与脚部的检测准确率，降低树模型中误差信息传递的影响。

附图说明

图1为本发明方法流程图；

图2为本发明人体树模型结构；

图3为本发明人体各局部块；

图4动态规划推理流程图。

具体实施方式

本实施例中，一种结合星型模型与树模型的人体姿态估计的方法分别基于全局信息与局部信息来进行人体姿态估计。如图1所示，具体地说是按如下步骤进行：

步骤(1)、构建人体树模型，并依据人体局部块类型建立人体局部块的星型模型；

步骤(1.1)、构建人体树模型：

设人体结构模型由K个部件组成，即i∈{1,...,K}；人体部件i的位置用l_i＝(xi,yi)表示，且l_i∈{1,...,L}；部件i的类型为t_i，t_i表示部件i方向，且t_i∈{1,...,T}，T＝6；人体姿态的整体配置表示为(l,t)，其中l＝{l₁,...,l_K}，t＝{t₁,...,t_K}。人体模型用无向图G＝(V,E)来表示，其中V表示人体模型中人体部件的集合，E表示人体模型相邻部件之间的边，用来描述人体部件间的空间约束关系。

如图2所示，人体部件有26个实部件与37个虚拟部件，包括：

头部、颈部、左肩、左上臂中、左肘、左下臂中、左手、左肋上、左肋下、左臀部、左大腿中、左膝、左小腿中、左脚、右肩、右肋上、右肋下、右臀部、右大腿中、右膝、右小腿中、右脚、右上臂中、右肘、右下臂中、右手；虚拟头部、虚拟颈部、虚拟左肩、虚拟左上臂中、虚拟左肘、虚拟左下臂中、虚拟左肋上、虚拟左肋下、虚拟左臀部、虚拟左大腿中、虚拟左膝、虚拟左小腿中、虚拟右肩、虚拟右肋上、右肋下、虚拟右臀部、虚拟右大腿中、虚拟右膝、虚拟右小腿中、虚拟右上臂中、虚拟右肘、虚拟右下臂中。

其中每个具有父部件的部件都对应一个虚拟父部件，如人体颈部对应了一个虚拟头部，并使用图2中的虚线连接；人体的左、右脚与手则对应其向上四层的虚拟父部件并依次连接。

步骤(1.2)、如图3，将人体分为6个局部块，分别为头颈肩部、左手臂、右手臂、躯干、左腿、右腿，P_i表示第i个局部块，P＝{P₁,...,P₇}，局部块P_i的类型为且T＝6；其中P₁包含头部、颈部、左肩、右件；P₂包含颈部、左肩、左肋上、左肋下、左臀部、右肩、右肋上、右肋下、右臀部；P₃包含左肩、左上臂中、左肘、左下臂中、左手；P₄包含右肩、右上臂中、右肘、右下臂中、右手；P₅包含左臀部、左大腿中、左膝、左小腿中、左脚；P₆包含右臀部、右大腿中、右膝、右小腿中、右脚。

步骤(2)、基于人体部件类型，使用HOG特征构建混合部件的外观模型，基于部件间相对位置关系构建建立混合部件的形变模型；

步骤(2.1)、基于HOG特征与部件类型构建人体部件外观模型；

外观模型得分表示为：

其中，φ(I,l_i)是图像I在位置l_i处的HOG描述子，使用4×4像素的细胞单元尺寸，表示在部件类型为t_i时部件i的模板，表示部件i的部件类型为t_i时的偏移量；

步骤(2.2)、基于树结构与部件类型构建人体部件间的形变模型；

形变得分表示为：

其中，为形变特征，dx＝x_i-x_j，表示部件i与部件j的类型分别为t_i与t_j时两部件的相对空间位置模板，表示部件i与j部件类型分别为t_i与t_j时的偏移量。

步骤(2.3)、基于HOG特征与人体局部块类型构建局部块外观模型；

外观得分表示为：

其中，是图像I中局部块P_i在位置处的HOG描述子，使用8×8像素的细胞单元尺寸，表示在块类型为时局部块P_i的模板，表示局部块P_i的部件类型为时的偏移量；

步骤(2.4)、基于块类型构建块与部件间的形变模型；

形变得分为：

其中局部块P_i中包含部件j，表示局部块P_i类型为时部件j与局部块P_i间的相对空间位置模板。

步骤(2.5)构造人体姿态能量函数；

人体姿态能量函数表示如下：

其中V与E表示树模型中节点与边的结合，N人体局部块的个数，n表示P_i块中人体

部件个数。

步骤(2.6)、训练学习外观模型与形变模型参数；

对于带有位置与类型标签的正样例训练集和负样例{In}，令表示人体姿态的配置，因此人体姿态得分可以看成是人体姿态配置的线性函数，即S(I,z)＝β·Φ(I,z)，β为对应配置z的人体部件外观参数形变参数局部块外观参数形变参数偏移量b所组成的参数集。因此参数的学习可以从下式得到：

其中y_n∈{-1,1}，正样本y_n取值为1，负样本取值为-1，这是一个Structural SVM学习问题，并使用对偶坐标下降的方法进行参数求解。

步骤(3)、结合步骤(1)中的树模型与星型模型，通过动态规划方法求出输入图像最高的候选姿态得分，进而进行人体姿态估计；使用动态规划的方法对人体树模型进行有效地推理。推理优化过程可用下式表示：

公式(7)计算在树形图中部件i的局部分数，其中r(i)表示所有包含部件i的局部块的集合，kids(i)表示部件i的所有子部件的集合，公式(8)计算在位置l_j且类型为t_j的部件j获取从子部件i传递来信息量。当信息传递到根节点时，score₁(l₁,t₁)表示根部件的每个位置及类型下对应的最优的人体姿态得分，最大化score₁(l₁,t₁)即可得到最终的人体姿态，通过回溯的方法可以得到相应每个部件的配置信息，图4为动态规划进行姿态推理的流程图。

Claims (6)

1.一种结合树模型与星型模型的人体姿态估计方法，其特征在于：包括如下步骤：

步骤(1)、构建人体树模型，并依据人体局部块类型建立人体局部块的星型模型；

步骤(2)、基于人体部件类型，使用HOG特征构建混合部件的外观模型与混合块外观模型，基于部件间相对位置关系构建混合部件的形变模型；

步骤(3)、结合步骤(1)中的树模型与星型模型，通过动态规划方法求出输入图像最高的候选姿态得分，进而进行人体姿态估计；

所述步骤(2)中构建外观模型与形变模型的过程分为以下几步：

步骤(2.1)、基于HOG特征与部件类型构建人体部件外观模型；

步骤(2.2)、基于树结构与部件类型构建人体部件间的形变模型；

步骤(2.3)、基于HOG特征与人体局部块类型构建局部块外观模型；‘

步骤(2.4)、基于块类型构建块与部件间的形变模型；

步骤(2.5)、构造人体姿态能量函数；

步骤(2.6)、训练学习外观模型与形变模型参数。

2.根据权力要求1所述的一种结合树模型与星型模型的人体姿态估计方法，其特征在于：所述步骤(1)中人体树模型表示为G＝(V,E)，由26个实部件与37个虚拟部件组成，包括：

头部、颈部、左肩、左上臂中、左肘、左下臂中、左手、左肋上、左肋下、左臀部、左大腿中、左膝、左小腿中、左脚、右肩、右肋上、右肋下、右臀部、右大腿中、右膝、右小腿中、右脚、右上臂中、右肘、右下臂中、右手；虚拟头部、虚拟颈部、虚拟左肩、虚拟左上臂中、虚拟左肘、虚拟左下臂中、虚拟左肋上、虚拟左肋下、虚拟左臀部、虚拟左大腿中、虚拟左膝、虚拟左小腿中、虚拟右肩、虚拟右肋上、右肋下、虚拟右臀部、虚拟右大腿中、虚拟右膝、虚拟右小腿中、虚拟右上臂中、虚拟右肘、虚拟右下臂中。

3.根据权力要求1所述一种结合树模型与星型模型的人体姿态估计方法，其特征在于：所述步骤(1)中人体局部块分为头颈肩部、左手臂、右手臂、躯干、左腿、右腿，并基于星型模型结构对各个局部块进行建模。P_i表示第i个局部块，，P＝{P₁,...,P₇}，其中P₁包含头部、颈部、左肩、右件；P₂包含颈部、左肩、左肋上、左肋下、左臀部、右肩、右肋上、右肋下、右臀部；P₃包含左肩、左上臂中、左肘、左下臂中、左手；P₄包含右肩、右上臂中、右肘、右下臂中、右手；P₅包含左臀部、左大腿中、左膝、左小腿中、左脚；P₆包含右臀部、右大腿中、右膝、右小腿中、右脚。

4.根据权利要求2所述的一种结合树模型与星型模型的人体姿态估计方法，其特征在于：所述步骤(2.1)与步骤(2.2)中部件外观模型与形变模型分别由公式(1)与公式(2)表示：

外观模型得分表示为：

其中，φ(I,l_i)是图像I在位置l_i处的HOG描述子，使用4×4像素的细胞单元尺寸，表示在部件类型为t_i时部件i的模板，表示部件i的部件类型为t_i时的偏移量；

形变得分表示为：

其中，为形变特征，dx＝x_i-x_j，dy＝y_i-y_j,表示部件i与部件j的类型分别为t_i与t_j时两部件的相对空间位置模板，表示部件i与j部件类型分别为t_i与t_j时的偏移量。

5.根据权力要求3所述的一种结合树模型与星型模型的人体姿态估计方法，其特征在于：所述步骤(2.3)与步骤(2.4)中局部块外观模型与形变模型分别由公式(3)与公式(4)表示：

外观得分表示为：

其中，是图像I中局部块P_i在位置处的HOG描述子，使用8×8像素的细胞单元尺寸，表示在块类型为时局部块P_i的模板，表示局部块P_i的部件类型为时的偏移量；

形变得分为：

其中局部块P_i中包含部件j，表示局部块P_i类型为时部件j与局部块P_i间的相对空间位置模板。

6.根据权力要求1所述的一种结合树模型与星型模型的人体姿态估计方法，其特征在于：所述步骤(2.5)人体姿态能量函数表示如下：

其中V与E表示树模型中节点与边的结合，N人体局部块的个数，n表示P_i块中人体部件个数。