CN101350064A - 二维人体姿态估计方法及装置 - Google Patents

Abstract

本发明公开了一种二维人体姿态估计方法、以及一种二维人体姿态估计装置。本发明首先检测出二维图像中的人体区域并确定出各人体部位在二维图像中的搜索范围，然后根据各人体部位的搜索范围内各位置与该人体部位模板的相似程度、以及预设相邻人体部位之间的约束关系，分别在各人体部位的搜索范围内搜索各人体部位的最优位置。相比于现有技术，本发明无需利用预先训练得到的大量参数、且无需在整幅二维图像中搜索每一人体部位的位置，因而提高了二维人体姿态估计的效率。

Description

二维人体姿态估计方法及装置

技术领域

本发明涉及人体姿态估计技术，特别涉及一种二维人体姿态估计方法、以及一种二维人体姿态估计装置。

背景技术

二维人体姿态估计(Human Pose Estimation)的主要目的是估算二维图像中人体的各个部位的位置，确定头部、四肢的姿态，是计算机视觉中的一个重要研究领域，可应用于视频监控、人机交互、虚拟现实等各种应用场景。

其中，二维人体姿态利用二维图像中包围各人体部位的矩形来表示各个人体部位，如图1所示。每个矩形用一个五维向量来表示l＝(x，y，w，h，θ)，x和y表示矩形中心的二维坐标、w和h分别为矩形的宽度和高度、θ为矩形相对于水平或垂直方向的角度。本文中将表示上述矩形的该五维向量称之为位置。

然而，现有技术进行二维人体姿态估计时，需要在搜索时需要利用预先训练得到的大量参数、且对于每一人体部位的位置均需要在整幅二维图像中进行搜索，因而使得处理效率较低。

发明内容

有鉴于此，本发明提供了一种二维人体姿态估计方法、以及一种二维人体姿态估计装置，能够提高二维人体姿态估计的效率。

本发明提供的一种二维人体姿态估计方法，预先设置各人体部位的模板、以及相邻人体部位之间的约束关系，该方法包括：

检测二维图像中的人体区域；

确定人体区域中各人体部位的搜索范围；

确定各人体部位的搜索范围内各位置与该人体部位模板的相似程度；

根据各人体部位的搜索范围内各位置与该人体部位模板的相似程度、以及预设相邻人体部位之间的约束关系，分别在各人体部位的搜索范围内搜索各人体部位的最优位置，得到二维人体的姿态。

所述各人体部位包括：躯干、头部、臂部、手部、腿部、脚部；

所述分别确定人体区域中对应各人体部位的搜索范围包括：

搜索得到人体区域中面积最大的矩形，在预设的旋转角度范围内将该矩形进行扰动，得到躯干的搜索范围；

在人体区域中进行人脸检测，将检测得到的人脸所在位置作为头部的搜索范围；

利用检测得到的人脸的肤色确定手部的搜索范围，并将人体区域中位于躯干搜索范围与手部搜索范围之间的部分，确定为臂部的搜索范围；

将人体区域中的剩余部分确定为腿部和脚部的搜索范围。

所述确定各人体部位的搜索范围内各位置与该人体部位模板的相似程度包括：

对检测出人体区域的二维图像进行距离变换，得到该二维图像的距离图；

分别在距离图中各人体部位的搜索范围内，利用该人体部位模板计算该人体部位出现在各位置的图像似然，作为各人体部位的搜索范围内各位置与该人体部位模板的相似程度。

所述各人体部位的最优位置满足如下公式的极值：

$\underset{(i,j)\∈E}{\mathrm{\Π}}P\left(l_i\right|l_j)\underset{i=1}{\overset{10}{\mathrm{\Π}}}P(l_i,I);$

或 $\underset{(i,j)\∈E}{\mathrm{\Σ}}P\left(l_i\right|l_j)+\underset{i=1}{\overset{10}{\mathrm{\Σ}}}P(l_i,I);$

其中，l_i表示确定为第i个人体部位的位置，l_j表示确定为第j个人体部位的位置，P(l_i|l_j)表示l_i和l_j之间的二维坐标距离和相对角度与预设第i个人体部位和第j个人体部位之间约束关系的相似程度，E表示相邻人体部位的集合，(i，j)∈E表示只有当第i个人体部位和第j个人体部位为相邻人体部位时才计算P(l_i|l_j)；P(l_i，I)表示第i个人体部位出现在位置l_i的图像似然，I为二维图像。

该方法进一步按照各人体部位之间的关系建立树结构；

所述分别在各人体部位的搜索范围内搜索各人体部位的最优位置包括：从所述树结构根节点所表示的人体部位的搜索范围开始并按照所述树结构的遍历顺序，依次在各人体部位的搜索范围内搜索各人体部位的最优位置。

本发明提供的一种二维人体姿态估计装置，包括：

模型存储模块，用于存储预先设置的各人体部位的模板、以及相邻人体部位之间的约束关系；

背景差分模块，用于检测二维图像中的人体区域；

范围划分模块，确定人体区域中各人体部位的搜索范围；

相似判断模块，用于确定各人体部位的搜索范围内各位置与该人体部位模板的相似程度；

位置搜索模块，用于根据各人体部位的搜索范围内各位置与该人体部位模板的相似程度、以及相邻人体部位之间的约束关系，分别在各人体部位的搜索范围内搜索各人体部位的最优位置，得到二维人体的姿态。

所述各人体部位包括：躯干、头部、臂部、手部、腿部、脚部；

所述区域确定模块包括：

躯干范围子模块，用于搜索得到人体区域中面积最大的矩形，在预设的旋转角度范围内将该矩形进行扰动，得到躯干的搜索范围；

头部范围子模块，用于在人体区域中进行人脸检测，将检测得到的人脸所在位置作为头部的搜索范围；

手臂范围子模块，用于利用检测得到的人脸的肤色确定手部的搜索范围，并将人体区域中位于躯干搜索范围与手部搜索范围之间的部分，确定为臂部的搜索范围；

腿脚范围子模块，用于将人体区域中的剩余部分确定为腿部和脚部的搜索范围。

所述相似判断模块包括：

距离变换子模块，用于对检测出人体区域的二维图像进行距离变换，得到该二维图像的距离图；

图像似然子模块，用于分别在距离图中各人体部位的搜索范围内，利用该人体部位模板计算该人体部位出现在各位置的图像似然，作为各人体部位的搜索范围内各位置与该人体部位模板的相似程度。

所述各人体部位的最优位置满足如下公式的极值：

$\underset{(i,j)\∈E}{\mathrm{\Π}}P\left(l_i\right|l_j)\underset{i=1}{\overset{10}{\mathrm{\Π}}}P(l_i,I);$

或 $\underset{(i,j)\∈E}{\mathrm{\Σ}}P\left(l_i\right|l_j)+\underset{i=1}{\overset{10}{\mathrm{\Σ}}}P(l_i,I);$

其中，l_i表示确定为第i个人体部位的位置，l_j表示确定为第j个人体部位的位置，P(l_i|l_j)表示l_i和l_j之间的二维坐标距离和相对角度与预设第i个人体部位和第j个人体部位之间约束关系的相似程度，E表示相邻人体部位的集合，(i，j)∈E表示只有当第i个人体部位和第j个人体部位为相邻人体部位时才计算P(l_i|l_j)；P(l_i，I)表示第i个人体部位出现在位置l_i的图像似然，I为二维图像。

所述模型存储模块中进一步存储按照各人体部位之间的关系所建立的树结构；

所述位置搜索模块进一步从所述树结构根节点所表示的人体部位的搜索范围开始并按照所述树结构的遍历顺序，依次在各人体部位的搜索范围内搜索各人体部位的最优位置。

由上述技术方案可见，本发明首先检测出二维图像中的人体区域并确定出各人体部位在二维图像中的搜索范围，然后根据各人体部位的搜索范围内各位置与该人体部位的相似程度、以及预设相邻人体部位之间的约束关系，分别在各人体部位的搜索范围内搜索各人体部位的最优位置。相比于现有技术，本发明无需利用预先训练得到的大量参数、且无需在整幅二维图像中搜索每一人体部位的位置，因而提高了二维人体姿态估计的效率。

附图说明

图1为现有二维人体姿态的各人体部位示意图。

图2a为本发明实施例中各人体部位模板示意图。

图2b为本发明实施例中相邻人体部位之间的约束关系示意图。

图3为本发明实施例中二维人体姿态估计方法的流程示意图。

图4为本发明实施例中各人体部位的树结构示意图。

图5为本发明实施例中二维人体姿态估计装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明进一步详细说明。

在本实施例中，将人体划分为躯干、头部、左臂、左手、右臂、右手、左腿、左脚、右腿、右脚共10个人体部位。这样，预先设置具有固定形状和大小的上述各人体部位的模板，构成如图2a所示的人体模型。在图2a中，各人体部位的模板形状均为矩形、其大小则为该人体部位的宽度和高度。

且本实施例还需要建立相邻人体部位之间的约束关系，如图2b所示，这里所述的约束关系是指：相邻人体部位邻边之间的二维坐标距离Δx和Δy、以及相对角度Δθ所允许的范围。

下面，首先对本实施例中的二维人体姿态估计方法进行说明。

如图3所示，对于连续多幅二维图像中的每一幅，本实施例中的二维人体姿态估计方法包括如下步骤：

步骤301，利用现有的流光法、帧间差分法、背景相减法等已有方法，检测二维图像中的人体区域。

经本步骤之后，二维图像变为二值化图像，其中，运动的人体区域通常表示为白色像素点，而背景区域则表示为黑色像素点。

在本步骤之后，还可以利用膨胀运算、腐蚀运算、开运算、关运算等数学形态学方法，对检测出人体区域的二维图像进行滤波，以填充人体区域中的空洞、并去除人体区域中面积较小的孤立区域、非连通区域，只保留面积大于预设连通面积阈值的连通区域，以提高图像质量。

步骤302，确定人体区域中各人体部位的搜索范围。

在本实施例中，本步骤中的具体处理过程可以包括：

a1、搜索得到人体区域中面积最大的矩形，在预设的旋转角度范围内将该矩形进行扰动，得到躯干的搜索范围；

a2、在人体区域中进行人脸检测，将检测得到的人脸所在位置作为头部的搜索范围；

a3、利用检测得到的人脸的肤色检测并确定右手和左手的搜索范围，并将人体区域中位于躯干搜索范围与右手、左手搜索范围之间的部分，分别确定为右臂和左臂的搜索范围；

a4、将人体区域中的剩余部分确定为右腿、右脚、左腿、左脚的搜索范围。

步骤303，确定各人体部位的搜索范围内各位置与该人体部位模板的相似程度。

本步骤的具体处理过程可以包括：

b1、采用现有的距离变换方法，对检测出人体区域的二维图像进行距离变换，得到该二维图像的距离图，距离图中各像素点的值为该像素点在二维图像中二位坐标值(x，y)的距离变换函数值DT(x，y)；其中，现有技术中的距离变换是指：在由黑白像素点构成的二值化图像中，为每一像素找到距离其最近的黑色像素点，并计算该像素点与距离其最近的黑色像素点之间的距离，得到该像素点的距离变换函数值DT(x，y)；

b2、按照现有方式，分别在距离图中各人体部位的搜索范围内，利用该人体部位模板计算该人体部位出现在各位置的图像似然，作为各人体部位的搜索范围内各位置与该人体部位模板的相似程度，即利用与第i个人体部位模板形状和大小相同的矩形搜索框i，在距离图中的第i个人体部位的搜索范围内进行搜索，并在搜索过程中计算矩形搜索框i所在位置l_i，m的所有边缘像素点、即位置l_i，m在二维图像中所体现的矩形的所有边缘像素点(x_i，mb，y_i，mb)的距离变换函数值DT(x_i，mb，y_i，mb)的平均值，该平均值即为第i个人体部位出现在位置l_i，m的图像似然P(l_i，m，I)，可表示为如下公式：

$P(l_{i,m},I)=\frac{1}{M_{i,m}}\underset{(x_{i,\mathrm{mb}},y_{i,\mathrm{mb}})\∈\mathrm{bound}}{\mathrm{\Σ}}\mathrm{DT}(x_{i,\mathrm{mb}},y_{i,\mathrm{mb}});$

其中，位置l_i，m为第i个人体部位的搜索范围内的第m个位置，l_i，m＝(x_i，m，y_i，m，w_i，m，h_i，m，θ_i，m)，x_i，m和y_i，m为位置l_i，m在二维图像中所体现的矩形的中心二维坐标、w_i，m和h_i，m以及θ_i，m分别为该矩形的宽度和高度以及角度；I表示二维图像；M_i，m为位置l_i，m在二维图像中所体现的矩形的周长。

上述处理过程得到的图像似然P(l_i，m，I)即表示第i个人体部位的搜索范围内的第m个位置与第i个人体部位的相似程度。

步骤304，根据各人体部位的搜索范围内各位置与该人体部位模板的相似程度、以及预设相邻人体部位之间的约束关系，分别在各人体部位的搜索范围内搜索各人体部位的最优位置，得到二维人体的姿态。

也就是说，本步骤中在保证相邻人体部位的搜索范围内搜索到的位置与相邻人体部位之间约束条件尽可能匹配的前提下，在各人体部位的搜索范围内分别搜索与该人体部位模板具有尽可能高的相似程度的位置，从而得到各人体部位的搜索范围内表示该人体部位的位置，进而得到二维人体的姿态。

本步骤中所述的各人体部位的最优位置满足如下公式的极值：

$\underset{(i,j)\∈E}{\mathrm{\Π}}P\left(l_i\right|l_j)\underset{i=1}{\overset{10}{\mathrm{\Π}}}P(l_i,I);$

或， $\underset{(i,j)\∈E}{\mathrm{\Σ}}P\left(l_i\right|l_j)+\underset{i=1}{\overset{10}{\mathrm{\Σ}}}P(l_i,I);$

其中，l_i表示确定为第i个人体部位的位置，l_i＝(x_i，y_i，w_i，h_i，θ_i)，x_i和y_i表示位置l_i的中心二维坐标、w_i和h_i表示位置l_i的宽度和高度、θ_i表示位置l_i相对于水平或垂直方向的角度；l_j表示确定为第j个人体部位的位置，l_j＝(x_j，y_j，w_j，h_j，θ_j)，x_j和y_j表示位置l_j在二维图像中所体现的矩形的中心二维坐标、w_j和h_j以及θ_j分别表示该矩形的宽度和高度以及角度；P(l_i|l_j)表示l_i和l_j之间的二维坐标距离和相对角度与预设第i个人体部位和第j个人体部位之间约束关系的相似程度，E表示相邻人体部位的集合，(i，j)∈E表示只有当第i个人体部位和第j个人体部位为相邻人体部位时才计算P(l_i|l_j)；P(l_i，I)表示第i个人体部位出现在位置l_i的图像似然，I为二维图像。

需要说明的是，对于一种情况：

P(l_i|l_j)可以定义为l_i和l_j之间的二维坐标距离和相对角度与预设第i个人体部位和第j个人体部位之间约束关系的差值，该差值越小表示相似程度越高，本领域技术人员可利用任意方法实现该定义方式；相应地，图像似然P(l_i，m，I)也定义为取值越小表示相似程度越高，本领域技术人员可利用任意一种现有距离变换方法实现该定义方式。这样，如上所述的极值就是表示上述两个相似程度同时递增方向上的极小值。

对于另一种情况：

P(l_i|l_j)可以定义为l_i和l_j之间的二维坐标距离和相对角度与预设第i个人体部位和第j个人体部位之间约束关系的匹配度，该匹配越大表示相似程度越高，本领域技术人员可利用任意方法实现该定义方式；相应地，图像似然P(l_i，I)也定义为取值越大表示相似程度越高，本领域技术人员也可利用任意一种现有距离变换方法实现该定义方式。这样，如上所述的极值就是表示上述两个相似程度同时递增方向上的极大值。

对于上述两种情况，实际应用中可任意设定。

此外，本实施例中还可以按照如图2a所示的各人体部位的关系，以躯干为根节点、以头部、臂部、手部、腿部、脚部为叶子节点建立如图4所示的树结构。这种情况下，本步骤可以利用维特比(Viterbi)等各种现有计算方法从树结构根节点所表示的人体部位的搜索范围开始、并按照树结构的遍历顺序，依次在各人体部位的搜索范围内搜索各人体部位的最优位置。

至此，本流程结束。

由上述流程可见，本实施例中的二维人体姿态估计方法首先检测出二维图像中的人体区域并确定出各人体部位在二维图像中的搜索范围，然后根据各人体部位的搜索范围内各位置与该人体部位的相似程度、以及预设相邻人体部位之间的约束关系，分别在各人体部位的搜索范围内搜索各人体部位的最优位置。相比于现有技术，该方法无需利用预先训练得到的大量参数、且无需在整幅二维图像中搜索每一人体部位的位置，因而提高了二维人体姿态估计的效率，并降低了二维人体姿态估计的实现难度。

以上是对本实施例中二维人体姿态估计方法的详细说明，下面，再对本实施例中的二维人体姿态估计装置进行说明。

如图5所示，本实施例中的二维人体姿态估计装置包括：模型存储模块、背景差分模块、范围划分模块、相似判断模块、位置搜索模块。

模型存储模块，用于存储预先设置的各人体部位的模板、以及相邻人体部位之间的约束关系。

背景差分模块，用于利用现有的流光法、帧间差分法、背景相减法等已有方法，检测二维图像中的人体区域。其中，经背景差分模块处理之后，二维图像变为二值化图像，其中，运动的人体区域通常表示为白色像素点，而背景区域则表示为黑色像素点。

范围划分模块，确定人体区域中各人体部位的搜索范围。具体来说，范围划分模块可以包括：躯干范围子模块，用于搜索得到人体区域中面积最大的矩形，在预设的旋转角度范围内将该矩形进行扰动，得到躯干的搜索范围；头部范围子模块，用于在人体区域中进行人脸检测，将检测得到的人脸所在位置作为头部的搜索范围；手臂范围子模块，用于利用检测得到的人脸的肤色检测并确定手部的搜索范围，并将人体区域中位于躯干搜索范围与手部搜索范围之间的部分，确定为臂部的搜索范围；腿脚范围子模块，用于将人体区域中的剩余部分确定为腿部和脚部的搜索范围。

相似判断模块，用于确定各人体部位的搜索范围内各位置与该人体部位模板的相似程度。具体来说，相似判断模块包括：距离变换子模块，用于采用现有的距离变换方法，对检测出人体区域的二维图像进行距离变换，得到该二维图像的距离图；图像似然子模块，用于按照现有方式分别在距离图中各人体部位的搜索范围内，利用该人体部位模板计算该人体部位出现在各位置的图像似然，作为各人体部位的搜索范围内各位置与该人体部位模板的相似程度。

其中，第i个人体部位出现在该人体区域搜索范围内的位置l_i，m的图像似然P(l_i，m，I)可表示为如下公式：

$P(l_{i,m},I)=\frac{1}{M}\underset{(x_{i,\mathrm{mb}},y_{i,\mathrm{mb}})\∈\mathrm{bound}}{\mathrm{\Σ}}\mathrm{DT}(x_{i,\mathrm{mb}},y_{i,\mathrm{mb}});$

其中，位置l_i，m为第i个人体部位的搜索范围内的第m个位置，l_i，m＝(x_i，m，y_i，m，w_i，m，h_i，m，θ_i，m)，x_i，m和y_i，m为位置l_i，m在二维图像中所体现的矩形的中心二维坐标、w_i，m和h_i，m以及θ_i，m分别为该矩形的宽度和高度以及角度；I表示二维图像；M_i，m为位置l_i，m在二维图像中所体现的矩形的周长；(x_i，mb，y_i，mb)为位置l_i，m在二维图像中所体现的矩形的所有边缘像素点的二维坐标值。

位置搜索模块，用于根据各人体部位的搜索范围内各位置与该人体部位模板的相似程度、以及相邻人体部位之间的约束关系，分别在各人体部位的搜索范围内搜索各人体部位的最优位置，得到二维人体的姿态。

也就是说，位置搜索模块在保证相邻人体部位的搜索范围内搜索到的位置与相邻人体部位之间约束条件尽可能匹配的前提下，在各人体部位的搜索范围内分别搜索与该人体部位模版具有尽可能高的相似程度的位置，从而得到各人体部位的搜索范围内表示该人体部位的位置，进而得到二维人体的姿态。位置搜索模块搜索得到的各人体部位的最优位置满足如下公式的极值：

$\underset{(i,j)\∈E}{\mathrm{\Π}}P\left(l_i\right|l_j)\underset{i=1}{\overset{10}{\mathrm{\Π}}}P(l_i,I);$

或， $\underset{(i,j)\∈E}{\mathrm{\Σ}}P\left(l_i\right|l_j)+\underset{i=1}{\overset{10}{\mathrm{\Σ}}}P(l_i,I);$

其中，l_i表示确定为第i个人体部位的位置，l_i＝(x_i，y_i，w_i，h_i，θ_i)，x_i和y_i表示位置l_i的中心二维坐标、w_i和h_i表示位置l_i的宽度和高度、θ_i表示位置l_i相对于水平或垂直方向的角度；l_j表示确定为第j个人体部位的位置，l_j＝(x_j，y_j，w_j，h_j，θ_j)，x_j和y_j表示位置l_j在二维图像中所体现的矩形的中心二维坐标、w_j和h_j以及θ_j分别表示该矩形的宽度和高度以及角度；P(l_i|l_j)表示l_i和l_j之间的二维坐标距离和相对角度与预设第i个人体部位和第j个人体部位之间约束关系的相似程度，E表示相邻人体部位的集合，(i，j)∈E表示只有当第i个人体部位和第j个人体部位为相邻人体部位时才计算P(l_i|l_j)；P(l_i，I)表示第i个人体部位出现在位置l_i的图像似然，I为二维图像。

实际应用中，如上所述的极值就是表示上述两个相似程度同时递增方向上的极大值或极小值。

此外，模型存储模块中可以进一步存储按照各人体部位之间的关系所建立的树结构。这种情况下，位置搜索模块进一步从所述树结构根节点所表示的人体部位的搜索范围开始并按照所述树结构的遍历顺序，依次在各人体部位的搜索范围内搜索各人体部位的最优位置。

需要说明的是，对于连续多幅二维图像中的每一幅，本实施例中的二维人体姿态估计装置均按照上述原理进行处理。

可见，本实施例中的二维人体姿态估计装置首先检测出二维图像中的人体区域并确定出各人体部位在二维图像中的搜索范围，然后根据各人体部位的搜索范围内各位置与该人体部位的相似程度、以及预设相邻人体部位之间的约束关系，分别在各人体部位的搜索范围内搜索各人体部位的最优位置。相比于现有技术，该装置无需利用预先训练得到的大量参数、且无需在整幅二维图像中搜索每一人体部位的位置，因而提高了二维人体姿态估计的效率，并降低了二维人体姿态估计的实现难度。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换以及改进等，均应包含在本发明的保护范围之内。

Claims (10)

1、一种二维人体姿态估计方法，其特征在于，预先设置各人体部位的模板、以及相邻人体部位之间的约束关系，该方法包括：

检测二维图像中的人体区域；

确定人体区域中各人体部位的搜索范围；

确定各人体部位的搜索范围内各位置与该人体部位模板的相似程度；

根据各人体部位的搜索范围内各位置与该人体部位模板的相似程度、以及预设相邻人体部位之间的约束关系，分别在各人体部位的搜索范围内搜索各人体部位的最优位置，得到二维人体的姿态。

2、如权利要求1所述的方法，其特征在于，所述各人体部位包括：躯干、头部、臂部、手部、腿部、脚部；

所述分别确定人体区域中对应各人体部位的搜索范围包括：

搜索得到人体区域中面积最大的矩形，在预设的旋转角度范围内将该矩形进行扰动，得到躯干的搜索范围；

在人体区域中进行人脸检测，将检测得到的人脸所在位置作为头部的搜索范围；

利用检测得到的人脸的肤色确定手部的搜索范围，并将人体区域中位于躯干搜索范围与手部搜索范围之间的部分，确定为臂部的搜索范围；

将人体区域中的剩余部分确定为腿部和脚部的搜索范围。

3、如权利要求1或2所述的方法，其特征在于，所述确定各人体部位的搜索范围内各位置与该人体部位模板的相似程度包括：

对检测出人体区域的二维图像进行距离变换，得到该二维图像的距离图；

分别在距离图中各人体部位的搜索范围内，利用该人体部位模板计算该人体部位出现在各位置的图像似然，作为各人体部位的搜索范围内各位置与该人体部位模板的相似程度。

4、如权利要求3所述的方法，其特征在于，所述各人体部位的最优位置满足如下公式的极值：

$\underset{(i,j)\∈E}{\mathrm{\Π}}P\left(l_i\right|l_j)\underset{i=1}{\overset{10}{\mathrm{\Π}}}P(l_i,I);$

或 $\underset{(i,j)\∈E}{\mathrm{\Σ}}P\left(l_i\right|l_j)\underset{i=1}{\overset{10}{\mathrm{\Σ}}}P(l_i,I);$

其中，l_i表示确定为第i个人体部位的位置，l_j表示确定为第j个人体部位的位置，P(l_i|l_j)表示l_i和l_j之间的二维坐标距离和相对角度与预设第i个人体部位和第j个人体部位之间约束关系的相似程度，E表示相邻人体部位的集合，(i，j)∈E表示只有当第i个人体部位和第j个人体部位为相邻人体部位时才计算P(l_i|l_j)；P(l_i，I)表示第i个人体部位出现在位置l_i的图像似然，I为二维图像。

5、如权利要求4所述的方法，其特征在于，该方法进一步按照各人体部位之间的关系建立树结构；

所述分别在各人体部位的搜索范围内搜索各人体部位的最优位置包括：从所述树结构根节点所表示的人体部位的搜索范围开始并按照所述树结构的遍历顺序，依次在各人体部位的搜索范围内搜索各人体部位的最优位置。

6、一种二维人体姿态估计装置，其特征在于，包括：

模型存储模块，用于存储预先设置的各人体部位的模板、以及相邻人体部位之间的约束关系；

背景差分模块，用于检测二维图像中的人体区域；

范围划分模块，确定人体区域中各人体部位的搜索范围；

相似判断模块，用于确定各人体部位的搜索范围内各位置与该人体部位模板的相似程度；

位置搜索模块，用于根据各人体部位的搜索范围内各位置与该人体部位模板的相似程度、以及相邻人体部位之间的约束关系，分别在各人体部位的搜索范围内搜索各人体部位的最优位置，得到二维人体的姿态。

7、如权利要求6所述的装置，其特征在于，所述各人体部位包括：躯干、头部、臂部、手部、腿部、脚部；

所述区域确定模块包括：

躯干范围子模块，用于搜索得到人体区域中面积最大的矩形，在预设的旋转角度范围内将该矩形进行扰动，得到躯干的搜索范围；

头部范围子模块，用于在人体区域中进行人脸检测，将检测得到的人脸所在位置作为头部的搜索范围；

手臂范围子模块，用于利用检测得到的人脸的肤色确定手部的搜索范围，并将人体区域中位于躯干搜索范围与手部搜索范围之间的部分，确定为臂部的搜索范围；

腿脚范围子模块，用于将人体区域中的剩余部分确定为腿部和脚部的搜索范围。

8、如权利要求6或7所述的装置，其特征在于，所述相似判断模块包括：

距离变换子模块，用于对检测出人体区域的二维图像进行距离变换，得到该二维图像的距离图；

图像似然子模块，用于分别在距离图中各人体部位的搜索范围内，利用该人体部位模板计算该人体部位出现在各位置的图像似然，作为各人体部位的搜索范围内各位置与该人体部位模板的相似程度。

9、如权利要求7或8所述的装置，其特征在于，所述各人体部位的最优位置满足如下公式的极值：

$\underset{(i,j)\∈E}{\mathrm{\Π}}P\left(l_i\right|l_j)\underset{i=1}{\overset{10}{\mathrm{\Π}}}P(l_i,I);$

或 $\underset{(i,j)\∈E}{\mathrm{\Σ}}P\left(l_i\right|l_j)\underset{i=1}{\overset{10}{\mathrm{\Σ}}}P(l_i,I);$

其中，l_i表示确定为第i个人体部位的位置，l_j表示确定为第j个人体部位的位置，P(l_i|l_j)表示l_i和l_j之间的二维坐标距离和相对角度与预设第i个人体部位和第j个人体部位之间约束关系的相似程度，E表示相邻人体部位的集合，(i，j)∈E表示只有当第i个人体部位和第j个人体部位为相邻人体部位时才计算P(l_i|l_j)；P(l_i，I)表示第i个人体部位出现在位置l_i的图像似然，I为二维图像。

10、如权利要求9所述的装置，其特征在于，所述模型存储模块中进一步存储按照各人体部位之间的关系所建立的树结构；

所述位置搜索模块进一步从所述树结构根节点所表示的人体部位的搜索范围开始并按照所述树结构的遍历顺序，依次在各人体部位的搜索范围内搜索各人体部位的最优位置。

Images