CN102609684B - 人体姿势检测方法及装置 - Google Patents

Abstract

一种人体姿势检测方法及装置，其中人体姿势检测方法包括：获取训练图像，训练图像中标定出人手、人脸和人眼的位置；基于人脸和人眼的位置确定人脸特征参数，人脸特征参数包括两眼间的距离、人脸宽度和人脸倾斜角度；建立人体躯干模型，人体躯干模型具有躯干特征参数；结合人体躯干对应的前景颜色、人体躯干以外的背景颜色和躯干特征参数检测训练图像中的人体躯干；建立人体上半身模型，人体上半身模型具有关节特征参数；结合人体上半身对应的前景颜色、人体上半身以外的背景颜色和所述关节特征参数检测人体上半身姿势。本技术方案能够有效检测到在各种图像背景下的多种人体姿势，并对不同的着装以及光照具有很好的鲁棒性。

Description

人体姿势检测方法及装置

技术领域

本发明涉及图像处理领域，特别涉及人体姿势检测方法及装置。

背景技术

人体姿势检测在计算机视觉技术领域中有许多重要的作用，例如驾驶辅助系统、视频监控系统、图像检索、人机交互等。在智能视频监控中，自动在场景中搜索人体通常被视为首要的预处理步骤。但现有技术中，人体的自动搜索问题仍然没有得到令人满意的结果，主要因为人体自身体型的多元性、人体姿势变化多端，衣着具有多样性以及背景、光照条件的复杂性等。尤其是，当监控视野中的人体的一部分被遮挡，无法拍摄到人体整体特征时，进行准确的人体姿势检测就更具有挑战性了。

现有技术中，已有的静态图像中的人体姿势检测方法主要分为三大类：分别是基于匹配的方法，基于部件的方法以及基于人体模型的方法。

其中，基于匹配的方法通过把测试图像和人工标定的图像样本进行比较从而得到测试图像的姿势。该方法的缺点在于，所能检测的姿势种类局限于样本集数目，同时要求图像背景单一。基于部件检测的方法先检测得到人体部件(比如胳膊、躯干、头等)，然后通过部件组合得到人体姿势。该方法的不足在于很多人体部件(比如胳膊等)缺少稳定特征、不易检测。基于人体模型的方法则是通过改变人体模型的参数得到大量候选姿势，然后从众多候选中找到与图像最匹配的人体姿势。然而现有的基于人体模型的方法中，只能解决部分简单背景、手没被遮挡的情况下的近似站立的人体姿势。

更多关于人体姿势检测的技术方案可以参考公开号为CN1578414A的发明名称为“位置姿势测量方法及装置”的中国专利申请文件，但仍没有解决上述问题。

发明内容

本发明解决的问题是针对现有的静态图像中的人体姿势检测方法的缺陷，提供一种能够有效检测到在各种图像背景下的多种人体姿势，并对不同的着装以及光照具有很好的鲁棒性。

为解决上述问题，本发明实施例提供一种人体姿势检测方法，包括：获取训练图像，所述训练图像中标定出人手、人脸和人眼的位置；基于所述人脸和人眼的位置确定人脸特征参数，所述人脸特征参数包括两眼间的距离、人脸宽度和人脸倾斜角度；建立人体躯干模型，所述人体躯干模型具有躯干特征参数，所述躯干特征参数的初始值关联于所述人脸特征参数；结合人体躯干对应的前景颜色、人体躯干以外的背景颜色和所述躯干特征参数检测所述训练图像中的人体躯干；建立人体上半身模型，所述人体上半身模型具有关节特征参数，所述关节特征参数的初始值关联于所述人手的位置、所述人脸特征参数和所检测到的人体躯干；结合人体上半身躯干对应的前景颜色、人体上半身以外的背景颜色和所述关节特征参数检测人体上半身姿势。

可选地，所述人手的位置包括左手的中心位置和右手的中心位置；所述人脸的位置包括人脸的中心位置(F_x，F_y)；所述人眼的位置包括左眼的中心位置(LE_x，LE_y)和右眼的中心位置(RE_x，RE_y)；所述两眼间的距离 $D_{\mathrm{eye}}=\sqrt{{({\mathrm{RE}}_x-{\mathrm{LE}}_y)}^2+{({\mathrm{RE}}_y-{\mathrm{LE}}_y)}^2};$ 所述人脸宽度facewidth＝2*D_eye；所述人脸倾斜角度θ_f＝arctan((RE_y-LE_y)/(RE_x-LE_y))。

可选地，所述躯干特征参数包括躯干的宽度w、躯干的长宽比r、躯干的倾斜度θ以及脖子的位置为(n_x，n_y)；所述躯干特征参数的初始值分别为：

躯干的宽度初始值w₀＝a*facewidth，其中，a的取值范围为(2.2，2.6)；

躯干的长宽比初始值r₀，取值范围为(1.3，1.38)；

躯干的倾斜度初始值θ₀，取值范围为(1.5弧度，1.63弧度)；

脖子的位置初始值(n_x0，n_y0)，其中，n_x0＝F_x-b*D_eye*sin(θ_f)、n_y0＝F_y+b*D_eye*sin(θ_f)，b的取值范围为(1.1，1.3)。

可选地，所述结合人体躯干对应的前景颜色、人体躯干以外的背景颜色和所述躯干特征参数检测所述训练图像中的人体躯干包括：利用Metropolis-Hastings算法以及随机游动采样技术对所述躯干特征参数进行第一预设次数的迭代；基于各次迭代的躯干特征参数和所述人体躯干对应的前景颜色、人体躯干以外的背景颜色确定所述躯干特征参数的极大后验假设；以所述躯干特征参数的极大后验假设确定所述人体躯干的位置。

可选地，所述躯干特征参数的极大后验假设为： $T_{\mathrm{MAP}}=\arg \underset{t}{\max }p\left(t\right|Y)=\arg \underset{t}{\max }\left(p\left(Y\right|t)p\left(t\right)\right);$ 其中，t为所述躯干特征参数，p(t|Y)为第一后验概率、p(Y|t)表示人体躯干对应的前景和人体躯干以外的背景之间的颜色差异的第一颜色似然函数、p(t)为第一先验概率，p(t)＝P_d(s(t))P_s(s(t))，P_s(s(t))为关联于人体躯干面积和宽度的形状先验概率，P_d(s(t))为关联于人体躯干中心和人脸中心之间的距离的位置先验概率。

可选地，所述第一颜色似然函数

其中，λ_color是常数，取值范围为(0.5，5)，B_f，b是人体躯干对应的前景和人体躯干以外的背景之间的颜色直方图距离。

可选地，所述第一预设次数大于或等于20次。

可选地，所述关节特征参数u包括：头顶的位置(H_x，H_y)、脖子的位置(n_x，n_y)、肩关节的位置、肘关节的位置、腕关节的位置、人手的位置以及臀部中心点的位置；所述关节特征参数的初始值分别为：头顶的位置初始值(H_x0，H_y0)，其中H_x0＝F_x+c*D_eye*sinθ_f，H_y0＝F_y-c*D_eye*sinθ_f，其中，c的取值范围为(1.1，1.3)；脖子的位置初始值、肩关节的位置初始值和臀部中心点的位置初始值与所检测到的人体躯干关联；肘关节的位置初始值与所述人手的位置和肩关节的位置初始值关联；腕关节的位置初始值与所述人手的位置和肘关节的位置初始值关联。

可选地，所述肘关节的位置初始值根据下述步骤确定：基于人脸部的肤色概率分布和人体躯干的衣服颜色概率分布得到人体上半身对应的前景颜色概率；

计算人体上半身以外的背景颜色概率；

根据肩关节、人体躯干、人手以及肘部的相对位置约束，确定所述肘关节的搜索空间；

在所述肘关节的搜索空间中通过全搜索获得最佳位置，以确定肘关节的位置初始值，其中，所述最佳位置是指所述的前景颜色概率加上肤色概率分布减去背景颜色概率所得到的数值最高的位置。

可选地，所述上半身模型包括骨架模型、部件形状模型以及人体上半身形状模型；所述结合人体上半身对应的前景颜色、人体上半身以外的背景颜色和所述关节特征参数检测人体上半身姿势包括：利用Metropolis-Hastings算法以及随机游动采样技术对所述关节特征参数进行第二预设次数的迭代；基于各次迭代的躯干特征参数和所述人体上半身对应的前景颜色、人体上半身以外的背景颜色确定所述关节特征参数的极大后验假设；以所述关节特征参数的极大后验假设确定人体上半身姿势。

可选地，所述关节特征参数的极大后验假设为： $U_{\mathrm{MAP}}=\arg \underset{t}{\max }p\left(u\right|Y)=\arg \underset{u}{\max }\left(p\left(Y\right|u)p\left(u\right)\right);$ 其中，p(u|Y)为第二后验概率，p(Y|u)为表示人体上半身姿势在所述训练图像中的可能性的似然函数，p(Y|u)＝L_region×L_color×L_skin×L_fb，其中，L_region为区域似然函数、L_color为第二颜色似然函数、L_skin为肤色似然函数、L_fb为前背景似然函数，p(u)为第二先验概率，p(u)＝p(j)p(l)，p(j)为相邻的人体关节的连线之间的相对角度的先验概率分布，p(l)为人体上半身的各个部件长度的先验概率分布。

可选地，所述区域似然函数L_region＝exp(-λ_regionN_incoherent)，其中，N_incoherent为训练图像的噪声像素点数，λ_region是常数，取值范围为(0.001，0.15)；

所述第二颜色似然函数

其中，λ_color是常数，取值范围为(0.5，5)，B_1f，b是人体上半身对应的前景区域和人体上半身以外的背景区域之间的颜色直方图距离；

所述肤色似然函数

其中：S为头部、左边的上、下胳膊、右边的上、下胳膊共5个部件所在的训练图像区域的像素集合，z_ns是S中的一个像素，P_skin为人脸部的肤色概率分布，α_s的取值范围为(0.001，0.1)；

所述前背景似然函数 $L_{\mathrm{fb}}=\exp ({\mathrm{\α}}_f\underset{z_n\∈F}{\mathrm{\Σ}}{P}_{\mathrm{upper}}\left(z_n\right)+{\mathrm{\α}}_b(\underset{z_m\∈B}{\mathrm{\Σ}}{P}_b\left(z_m\right)-\underset{z_n\∈F}{\mathrm{\Σ}}{P}_b\left(z_n\right))),$ 其中，P_upper为人体上半身对应的前景颜色概率，P_b为人体上半身以外的背景颜色概率；F为人体上半身对应的前景的像素集合，z_n是F中的一个像素；B为人体上半身以外的背景中的像素集合，z_m是B中的一个像素；α_b的取值范围为(0.0001，0.01)，α_f的取值范围为(0.001，0.1)。

可选地，所述人体上半身的各个部件长度包括：左腕到左肘的距离长度、右腕到右肘的距离长度、左肘到左肩的距离长度、右肘到右肩的距离长度、头顶到脖子的距离长度、躯干的高度以及躯干的宽度。

可选地，所述第二预设次数大于或等于25次。

本发明实施例还提供了一种人体姿势检测装置，包括：获取单元，用于获取训练图像，所述训练图像中标定出人手、人脸和人眼的位置；脸部特征确定单元，用于根据所述获取单元所获取的训练图像中的所述人脸和人眼的位置确定人脸特征参数，所述人脸特征参数包括两眼间的距离、人脸宽度和人脸倾斜角度；躯干建模单元，用于建立人体躯干模型，所述人体躯干模型具有躯干特征参数，所述躯干特征参数的初始值关联于所述脸部特征确定单元确定的人脸特征参数；躯干检测单元，用于结合人体躯干对应的前景颜色、人体躯干以外的背景颜色和所述躯干建模单元建立的人体躯干模型的躯干特征参数检测所述训练图像中的人体躯干；上半身建模单元，用于建立人体上半身模型，所述人体上半身模型具有关节特征参数，所述关节特征参数的初始值关联于所述获取单元获取的训练图像中标定的人手的位置、所述脸部特征确定单元确定的人脸特征参数和所述躯干检测单元检测到的人体躯干；姿势检测单元，用于结合人体上半身对应的前景颜色、人体上半身以外的背景颜色和所述上半身建模单元建立的人体上半身模型的关节特征参数检测人体上半身姿势。

与现有技术相比，本发明技术方案具有以下有益效果：

本技术方案在确定训练图像中的人体躯干时，结合考虑了人体躯干模型中的躯干特征参数和人体躯干对应的前景颜色、人体躯干以外的背景颜色，并且在基于检测到的人体躯干确定训练图像中的人体上半身姿势时，结合考虑了人体上半身模型中的关节特征参数和人体上半身对应的前景颜色、人体上半身以外的背景颜色，因此能够有效检测到在各种图像背景下的多种人体姿势，并对不同的着装以及光照具有很好的鲁棒性。

附图说明

图1是本发明的一种人体姿势检测方法的具体实施方式的流程示意图；

图2是本发明的一种人体躯干模型的具体实施例的示意图；

图3是本发明的一种肘关节初始化的姿势约束的示例图；

图4a是本发明的一种骨架模型的具体实施例的结构示意图；

图4b是本发明的一种人体部件形状模型的具体实施例的结构示意图；

图4c是本发明的一种上半身形状模型的具体实施例的结构示意图；

图5是本发明的一种人体姿势检测装置的具体实施例的结构示意图。

具体实施方式

针对现有技术的问题，发明人经过研究，提供了一种结合人体躯干对应的前景颜色、人体躯干以外的背景颜色的人体姿势检测方法，如图1所示的是本发明的一种人体姿势检测方法的具体实施方式的流程示意图。参考图1，所述人体姿势检测方法包括：

步骤S1：获取训练图像，所述训练图像中标定出人手、人脸和人眼的位置；

步骤S2：基于所述人脸和人眼的位置确定人脸特征参数，所述人脸特征参数包括两眼间的距离、人脸宽度和人脸倾斜角度；

步骤S3：建立人体躯干模型，所述人体躯干模型具有躯干特征参数，所述躯干特征参数的初始值关联于所述人脸特征参数；

步骤S4：结合人体躯干对应的前景颜色、人体躯干以外的背景颜色和所述躯干特征参数检测所述训练图像中的人体躯干；

步骤S5：建立人体上半身模型，所述人体上半身模型具有关节特征参数，所述关节特征参数的初始值关联于所述人手的位置、所述人脸特征参数和所检测到的人体躯干；

步骤S6：结合人体上半身对应的前景颜色、人体上半身以外的背景颜色和所述关节特征参数检测人体上半身姿势。

在本实施例中，所述人体躯干对应的前景为所述训练图像中所述人体躯干模型所在的区域，所述人体躯干以外的背景为所述训练图像中所述人体躯干模型所在的区域以外的区域。所述人体上半身对应的前景为所述训练图像中人体上半身形状模型所在的区域，所述人体上半身以外的背景为所述训练图像中人体上半身形状模型所在的区域以外的区域。

其中，所述人体躯干模型将在图2所示的一种人体躯干模型的具体实施例的示意图中详细描述；所述人体上半身形状模型将在图4c所示的一种上半身形状模型的具体实施例的结构示意图中详细描述。

具体地，本技术方案是对具有各种背景的静态图像中的人体上半身姿势进行检测。首先，需要通过图像摄取装置获取设定数量的静态图像，所述静态图像作为训练图像，本领域技术人员知晓，所述训练图像是指在图像上抽取已知地物属性或物体特征的区域或少量像元，通过对这些像元图像特征的分析和统计，建立分类模型的过程。

在本实施例中，步骤S1：在所述训练图像上标定出人手、人脸和人眼的位置。这里对所述训练图像需要一定的像素数要求，通常如果图像的像素数太低的话，很难分辨出图像中的各个物体的特征，因此所述训练图像中人脸的像素数需要大于50*50。可以通过人工(即手工)在训练图像上标定出人手、人脸和人眼的位置，然后扫描到计算机中；也可以通过其他方式(例如计算机绘图工具等)在所述训练图像上标定出人手、人脸和人眼的位置，这并不影响本发明的实质。

在所述训练图像中建立坐标系，所述人脸的位置通过人脸的中心位置来表示，记为(F_x，F_y)；所述人手的位置包括左手的中心位置和右手的中心位置；所述人眼的位置包括左眼的中心位置(LE_x，LE_y)和右眼的中心位置(RE_x，RE_y)。

步骤S2：基于所述人脸和人眼的位置确定人脸特征参数，所述人脸特征参数包括两眼间的距离、人脸宽度和人脸倾斜角度；

具体地，根据上述步骤S1标定的人脸和人眼的位置还可以确定如下人脸特征参数，包括：两眼间的距离 $D_{\mathrm{eye}}=\sqrt{{({\mathrm{RE}}_x-{\mathrm{LE}}_y)}^2+{({\mathrm{RE}}_y-{\mathrm{LE}}_y)}^2};$ 人脸宽度facewidth＝2*D_eye；人脸倾斜角度θ_f＝arctan((RE_y-LE_y)/(RE_x-LE_y))，所述人脸倾斜度是指人脸相对于人体的垂直中心线的倾斜角度。

步骤S3：建立人体躯干模型，所述人体躯干模型具有躯干特征参数，所述躯干特征参数的初始值关联于所述人脸特征参数。

具体地，如图2所示的是所述人体躯干模型的具体实施例的示意图。参考图2，所述人体躯干模型可以通过如下方式形成：在所述训练图像上设置一个矩形，并且在所述矩形上边(图2中A、B、C点所在的边)的中间1/2处开一个半圆形小槽，并在所述矩形上面的两个顶点处各去除一个腰长为1/4矩形宽度的等腰三角形所形成。

本实施例中，所述人体躯干模型所在的区域为所述图2所示的矩形，即所述人体躯干对应的前景为所述训练图像中所述人体躯干模型所在的矩形区域。在其他实施例中，所述人体躯干模型所在的区域也可以确定为其他形状，只要包含所述人体躯干即可。

继续参考图2，基于所述人体模型，设置相应的躯干特征参数，具体包括：躯干的宽度w、躯干的长宽比r、躯干的倾斜度θ以及脖子的位置为(n_x，n_y)。其中，所述躯干的长宽比r＝h/w，其中h表示躯干的纵向高度。

进一步地，在本实施例中，所述躯干特征参数的初始值关联于所述人脸特征参数。具体地，其中所述躯干的宽度初始值w₀＝a*facewidth，其中，a的取值范围为(2.2，2.6)，本实施例a＝2.4；躯干的长宽比初始值r₀，取值范围为(1.3，1.38)，本实施例r₀＝1.34；躯干的倾斜度初始值θ₀，取值范围为(1.5弧度，1.63弧度)，本实施例θ₀＝1.57弧度；脖子的位置初始值(n_x0，n_y0)，其中，n_x0＝F_x-b*D_eye*sin(θ_f)、n_y0＝F_y+b*D_eye*sin(θ_f)，b的取值范围为(1.1，1.3)，本实施例b＝1.2。

步骤S4：结合人体躯干对应的前背景颜色和所述躯干特征参数检测所述训练图像中的人体躯干。

在本实施例中是利用MCMC方法(马尔科夫蒙卡罗方法)确定所述训练图像中的人体躯干的位置，本步骤具体包括：(1)利用Metropolis-Hastings算法以及随机游动采样技术对所述躯干特征参数进行第一预设次数的迭代；(2)基于各次迭代的躯干特征参数和所述人体躯干对应的前景颜色、人体躯干以外的背景颜色确定所述躯干特征参数的极大后验假设；(3)以所述躯干特征参数的极大后验假设确定所述人体躯干的位置。

具体地，首先，建立所述躯干特征参数的极大后验假设：

$T_{\mathrm{MAP}}=\arg \underset{t}{\max }p\left(t\right|Y)=\arg \underset{t}{\max }\left(p\left(Y\right|t)p\left(t\right)\right).$

其中，p(t|Y)为第一后验概率。t为各个所述躯干特征参数，t属于所述躯干特征参数的集合T，根据上述步骤S3可知，所有所述躯干特征参数的集合T包括：躯干的宽度w、躯干的长宽比r、躯干的倾斜角度θ、脖子的位置(n_x，n_y)。Y为所述训练图像。本领域技术人员知晓，所述第一后验概率p(t|Y)是指在所述训练图像Y中存在所述躯干特征参数t的可能性。

基于第一后验概率，根据贝叶斯公式可以得到，所述躯干特征参数的极大后验假设为： $T_{\mathrm{MAP}}=\arg \underset{t}{\max }p\left(t\right|Y)=\arg \underset{t}{\max }\left(p\left(Y\right|t)p\left(t\right)\right)/p\left(Y\right)=\arg \underset{t}{\max }\left(p\left(Y\right|t)p\left(t\right)\right),$ 之所以舍去了分母p(Y)是因为p(Y)是不依赖于所述躯干特征参数t的常量。

p(t)为先验概率，由两部分组成：

一个是基于躯干面积area和躯干宽度w的形状先验概率P_s(s(t))，用高斯分布N(·)表示：P_s(s(t))＝N(s(t)，s₀，∑_s)，其中，s(t)＝(area，w)，其中，area为人体躯干的面积，w为人体躯干的宽度，s是人体躯干的形状，即基于area和w确定人体躯干的形状，其中所述人体躯干的面积area和人体躯干的宽度w可以根据图2中人体躯干的模型来确定。本实施例中，人体躯干的形状s的初始形状可设定为长方形；s₀和∑_s是形状先验概率的均值和协方差矩阵，在本实施例中，s₀和∑_s为设定值，其中s₀和∑_s是形状先验概率的均值和协方差矩阵，分别为训练图像中的所标定的人体躯干所对应的均值和协方差。

另一个是基于躯干中心和人脸中心之间的距离d(t)的位置先验概率P_d(s(t))，用高斯分布N(·)表示：P_d(d(t))＝N(d(t)，d₀，∑_d)，其中，d₀和∑_d是位置先验概率的均值和方差，在本实施例中，d₀和∑_d为设定值，分别为训练图像中所对应的均值和和方差。最后得到：p(t)＝P_d(s(t))P_s(s(t))。

p(Y|t)表示人体躯干对应的前景和人体躯干以外的背景之间的颜色差异的第一颜色似然函数，在本实施例中，根据步骤S1中所获取的训练图像中的人体躯干对应的前景和人体躯干以外的背景之间的颜色差异进行定义，也称为颜色似然函数p(Y|t)。

具体地，其中，λ_color是常数，取值范围为(0.5，5)，B_f，b是人体躯干对应的前景和人体躯干以外的背景之间的颜色直方图距离，本领域技术人员知晓，根据前景和背景之间的颜色直方图距离可以量化确定所述前景和背景之间的颜色差异，具体如下： $B_{f,b}=\underset{i=1}{\overset{N_{\mathrm{histgram}}}{\mathrm{\Σ}}}\sqrt{f_{r,i}{b}_{r,i}+f_{g,i}{b}_{g,i}{+f}_{b,i}{b}_{b,i}};$

直方图是一个归一化的直方图，是所选前景和背景在R、G、B颜色通道上的直方图，直方图中心点的个数为N_histgram个，在10～30之间任意取值，各直方图中心点为0～255之间等间隔；

f_r，i、f_g，i、f_b，i为前景分别在R、G、B颜色通道上的归一化统计直方图中的中心点i的个数，i＝1，...，N_histgram；

b_r，i、b_g，i、b_b，i为背景分别在R、G、B颜色通道上的归一化统计直方图中的中心点i的个数，i＝1，...，N_histgram。

其中，所述人体躯干对应的前景是指：所述训练图像中所述人体躯干模型所在的矩形，即所选躯干特征参数t在所述训练图像中所对应的区域；此外，为了减小计算量，本实施例中，所述人体躯干以外的背景设定为所述训练图像中所述人体躯干模型所在的矩形和背景边界矩形之间的区域，所述背景边界矩形具体包括：根据人脸的宽度facewidth以及人脸中心点(F_x，F_y)得到背景的矩形边界，位于所述人体躯干模型所在的矩形之外，上边界为F_y，下边界为F_y+6.5*facewidth，左边界为F_x-3*facewidth，右边界为F_x+3*facewidth。

然后，利用Metropolis-Hastings算法以及随机游动采样技术对所述躯干特征参数进行第一预设次数的迭代。

具体地，将上述确定的所述躯干特征参数的初始值代入所述躯干特征参数的极大后验假设中，并依照第一预设次数进行迭代，这里用q(t|t_p-1)表示迭代过程，其中q(t|t_p-1)＝N(t，t_p-1，∑)，∑为训练图像中的所标定的躯干所对应的参数的协方差，t代表当前所述人体躯干特征参数的值、t_p-1代表前一次所述人体躯干参数的值。本实施例中，所述第一预设次数大于或等于20次。

由于在所述躯干特征参数的极大后验假设中包含人体躯干对应的前景区域和背景区域之间的颜色差异的所述第一颜色似然函数p(Y|t)，所以，上述迭代过程是基于各次迭代的躯干特征参数和所述人体躯干对应的前景颜色、人体躯干以外的背景颜色确定所述躯干特征参数的极大后验假设。最后，以所述躯干特征参数的极大后验假设确定所述人体躯干的位置，也就是第一后验概率为最大值时对应的躯干特征参数所确定的人体躯干的位置。

因此，根据本步骤提供的躯干检测的方法，可以实现在各种图像背景下对所述训练图像进行人体躯干检测，从而确定人体躯干。

步骤S5：建立人体上半身模型，所述人体上半身模型具有关节特征参数，所述关节特征参数的初始值关联于所述人手的位置、所述人脸特征参数和所检测到的人体躯干。人体上半身的关节包括：头顶、脖子、左右肩关节、左右肘关节、左右腕关节、左右手以及臀部中心点，共11个关节。

具体地，所述人体上半身模型包括骨架模型、人体部件形状模型以及人体上半身形状模型。如图4a所示的是骨架模型、图4b所示的是人体部件形状模型以及图4c所示的是上半身形状模型。

参考图4a，所述骨架模型通过连接训练图像中人体上半身中各个关节点得到，即所述骨架模型连接头顶1、脖子2、左右肩关节3和4、左右肘关节5和6、左右腕关节7和8、左右手9和10以及臀部中心点11。

参考图4b，所述人体部件形状模型中包括人体上半身的8个部件，分别为：头、躯干、左/右上胳膊、左/右下胳膊以及左/右手，每个部件用一个梯形表示，上下两条平行边的中心点分别为该部件所连接的两个关节点，梯形的高为这两个关节点的距离，上下边的宽度按照固定比例得到。

参考图4c，所述上半身形状模型由上述部件模型中的8个部件形状组合而成。其中，人体躯干形状简化为矩形，同时把矩形的上边变成弧形曲线，该弧形曲线的圆心为人体躯干的中心点O，半径r为人体躯干的中心点O到肩关节的距离，各个部件之间的宽度以人体躯干的宽度为基准，比例关系为：

肩关节所在的胳膊边的宽度∶肘关节所在胳膊边的宽度∶腕关节所在胳膊边的宽度∶人手中心点所在的手的宽度∶人体躯干的宽度＝0.3025∶0.2435∶0.1690∶0.1690∶1。

进一步地，所述人体上半身模型具有关节特征参数，所述关节特征参数的初始值关联于所述人手的位置、所述人脸特征参数和所检测到的人体躯干。

具体地，所述关节特征参数u包括：头顶的位置(H_x，H_y)、脖子的位置(n_x，n_y)、肩关节的位置、肘关节的位置、腕关节的位置、人手的位置以及臀部中心点的位置。

其中，头顶的位置初始值(H_x0，H_y0)，其中H_x0＝F_x+c*D_eye*sinθ_f，H_y0＝F_y-c*D_eye*sinθ_f，其中，c的取值范围为(1.1，1.3)，本实施例中，c＝1.2；

脖子的位置初始值、肩关节的位置初始值和臀部中心点的位置初始值与所检测到的人体躯干关联。具体地，继续参考图2，所述左右肩关节的初始位置分别为所述训练图像中位于所述人体躯干模型中上边的两个顶点A和B、脖子的初始位置为所述训练图像中位于所述人体躯干模型上边的中心点C(n_x，n_y)、臀部中心点为所述训练图像中位于所述人体躯干模型下边的中心点D。

肘关节的位置初始值与所述人手的位置和肩关节的位置初始值关联。具体通过如下步骤确定：

(1)基于人脸部的肤色概率分布和人体躯干的衣服颜色概率分布得到人体上半身对应的前景颜色概率。其中，所述人体上半身对应的前景是指：在所述训练图像中所述人体上半身形状模型(如图4c所示)所在的区域。在所述人体上半身对应的前景中，基于人脸部的肤色概率分布和人体躯干中的衣服颜色概率分布得到前景颜色概率P_upper(z_n)，本实施例中，P_upper(z_n)＝max(P_c(z_n)，P_skin(z_n))。

其中，P_skin为人脸部的肤色像素的肤色概率分布，按照下式用单高斯表示N()，P_skin(z_n)＝N(z_n，μ_skin，∑_skin，其中，μ_skin和∑_skin是人脸部肤色像素颜色的均值和方差；

P_c为根据躯干部分的像素得到的衣服颜色的概率分布，按照下式用多高斯混合模型拟和求得， $P_c\left(z_n\right)=\underset{k=1}{\overset{K_c}{\mathrm{\Σ}}}{\mathrm{\π}}_k^{c}N(z_n,{\mathrm{\μ}}_k^c,{\mathrm{\Σ}}_k^c),$ 其中，K_c是衣服混合高斯模型中高斯的个数，这里取值为3；和

分别是第k个高斯的均值和方差，

是权重，取值为每个高斯中的像素个数占所有像素的比例。

(2)计算人体上半身以外的背景颜色概率，其中，人体上半身以外的背景是指：在所述训练图像中所述人体上半身形状模型(如图4c所示)所在的区域以外的区域。

具体地，本实施例中，所述背景颜色概率 $P_b\left(z_n\right)=\underset{k=1}{\overset{K_b}{\mathrm{\Σ}}}{\mathrm{\π}}_k^{b}N(z_n,{\mathrm{\μ}}_k^b,{\mathrm{\Σ}}_k^b),$ 其中K_b是背景混合高斯模型中高斯的个数，这里取值为3；和

分别是第k个高斯的均值和方差；

是权重，取值为每个高斯中的像素个数占所有像素的比例。

(3)根据所述肩关节、人体躯干、人手以及肘部的相对位置约束，确定所述肘关节的搜索空间。

具体地，在本实施例中，所述肩关节、人体躯干、人手以及肘部的相对位置约束可以参考图3所示的一种肘关节初始化的姿势约束的示例图。

如图3所示，这里以左臂为例，其中矩形表示人体躯干，原点O’为左肩膀中心点，a和b表示人手的位置，A’、B’、C’、D’限定肘的位置的可能范围，θ_t为肩膀相对于人体在对应训练图像中的垂直中心线(即图3中的x轴所在直线)的倾斜角度，θ_h为手中心点和肩关节的连线(即线段aO，)相对于人体在对应训练图像中的垂直中心线的倾斜角度，w_t表示肩膀的宽度，D_sh(即图3中线段bO’的长度)表示手到肩膀的距离，T(即图3中折线段bC’O’的长度)表示D_sh的最大值。

进一步地，在所述姿势约束示例图中设定：对于肩关节和人手的连线，靠近人体躯干的一侧为内侧，远离人体躯干的一侧为外侧，基于如图3所示的姿势约束的示例图，可以得到肘关节点的搜索空间如下：

当θ_h-θ_t＜θ_min，肘关节在肩关节和人手的连线的外侧；

当θ_h-θ_t＞θ_max，肘关节在肩关节和人手的连线的内侧；

当θ_min＜θ_h-θ_t＜θ_max，肘关节在肩关节和手的连线的两侧。

其中，θ_t为肩膀相对于人体在训练图像中的垂直中心线的倾斜角度，θ_h为手中心点和肩关节的连线相对于人体在训练图像中的垂直中心线的倾斜角度，θ_min和θ_max分别为45度和60度。

(4)在所述肘关节的搜索空间中通过全搜索获得最佳位置，以确定肘关节的位置初始值，其中所述最佳位置是指所述前景颜色概率P_upper(z_n)加上肤色概率分布P_skin减去背景颜色概率P_b所得到的数值最高的位置。

然后，所述腕关节的位置初始值与所述人手的位置和肘关节的位置初始值关联。具体地，其中人手的位置是人工标定的，并结合上述确定的所述肘关节的位置初始值可以推出所述腕关节的位置初始值，结合人手的位置和肘关节的位置初始值推出的腕关节位置初始值通常为经验值，可以结合实际情况而定。

步骤S6：结合人体上半身对应的前景颜色、人体上半身以外的背景颜色和所述关节特征参数检测人体上半身姿势。

在本实施例中是利用MCMC方法(马尔科夫蒙卡罗方法)确定所述训练图像中的人体上半身姿势，本步骤具体包括：(1)利用Metropolis-Hastings算法以及随机游动采样技术对所述关节特征参数进行第二预设次数的迭代；(2)基于各次迭代的关节特征参数和所述人体上半身对应的前景颜色、人体上半身以外的背景颜色确定所述关节特征参数的极大后验假设；(3)以所述关节特征参数的极大后验假设确定人体上半身姿势。

具体地，首先，建立所述关节特征参数的极大后验假设： $U_{\mathrm{MAP}}=\arg \underset{u}{\max }p\left(u\right|Y)=\arg \underset{u}{\max }\left(p\left(Y\right|u)p\left(u\right)\right).$

其中，p(u|Y)为第二后验概率，u为各个所述关节特征参数，u属于所述关节特征参数的集合U，根据上述步骤S5可知，所有所述关节特征参数的集合U包括：头顶的位置(H_x，H_y)、脖子的位置(n_x，n_y)、肩关节的位置、肘关节的位置、腕关节的位置、人手的位置以及臀部中心点的位置。Y为所述训练图像。本领域技术人员知晓，所述第二后验概率p(u|Y)是指在所述训练图像Y中存在所述关节特征参数u的可能性。

基于第二后验概率，根据贝叶斯公式可以得到，关节特征参数的极大后验假设为： $U_{\mathrm{MAP}}=\arg \underset{u}{\max }p\left(u\right|Y)=\arg \underset{u}{\max }\left(p\left(Y\right|u)p\left(u\right)\right)/p\left(Y\right)=\arg \underset{u}{\max }\left(p\left(Y\right|u)p\left(u\right)\right),$ 之所以舍去了分母p(Y)是因为p(Y)是不依赖于所述关节特征参数u的常量。

p(Y|u)为表示人体上半身姿势在所述训练图像中的可能性的似然函数，p(Y|u)＝L_region×L_color×L_skin×L_fb，其中，L_region为区域似然函数、L_color为第二颜色似然函数、L_skin为肤色似然函数、L_fb为前背景似然函数，p(u)为第二先验概率，p(u)＝p(j)p(l)，p(j)为相邻的人体关节的连线之间的相对角度的先验概率分布，p(l)为人体上半身的各个部件长度的先验概率分布。

所述区域似然函数L_region＝exp(-λ_regionN_incoherent)，其中，N_incoherent为训练图像的噪声像素点数，λ_region是常数，取值范围为(0.001，0.15)。具体地，将所述训练图像任意分割后可以得到N_human块图像块，N_incoherent是由各图像块中前景像素点和背景像素点的最小值累加得到的。

所述第二颜色似然函数

其中，λ_color是常数，取值范围为(0.5，5)，B_1f，b是人体上半身对应的前景和人体上半身以外的背景之间的颜色直方图距离， $B_{\mathrm{1f},b}=\underset{j=1}{\overset{N_{\mathrm{histgram}1}}{\mathrm{\Σ}}}\sqrt{f_{r,j}{b}_{r,j}+f_{g,j}{b}_{g,j}{+f}_{b,j}{b}_{b,j}},$ 直方图是一个归一化的直方图，是所选前景和背景在R、G、B颜色通道上的直方图，直方图中心点的个数为N_histgraml个，f_r，j、f_g，j、f_b，j为前景分别在R、G、B颜色通道上的归一化统计直方图中的中心点j的个数，j＝1，...，N_histgraml；b_r，j、b_g，j、b_b，j为背景分别在R、G、B颜色通道上的归一化统计直方图中的中心点j的个数，j＝1，...，N_histgraml。

所述肤色似然函数 $L_f=\exp \left({\mathrm{\α}}_s\underset{z_{\mathrm{ns}}\∈S}{\mathrm{\Σ}}{P}_{\mathrm{skin}}\left(z_{\mathrm{ns}}\right)\right),$ 其中：S为头部、左边的上、下胳膊、右边的上、下胳膊共5个部件所在的训练图像区域的像素集合，z_ns是S中的一个像素，P_skin为人脸部的肤色概率分布，α_s的取值范围为(0.001，0.1)。

所述前背景似然函数 $L_{\mathrm{fb}}=\exp ({\mathrm{\α}}_f\underset{z_n\∈F}{\mathrm{\Σ}}{P}_{\mathrm{upper}}\left(z_n\right)+{\mathrm{\α}}_b(\underset{z_m\∈B}{\mathrm{\Σ}}{P}_b\left(z_m\right)-\underset{z_n\∈F}{\mathrm{\Σ}}{P}_b\left(z_n\right))),$ 其中，P_upper为人体上半身对应的前景颜色概率，P_b为人体上半身以外的背景颜色概率；F为人体上半身对应的前景的像素集合，z_n是F中的一个像素；B为人体上半身以外的背景中的像素集合，z_m是B中的一个像素；α_b的取值范围为(0.0001，0.01)，α_f的取值范围为(0.001，0.1)。

p(u)是第二先验概率，本实施例中，p(u)＝p(j)p(l)。

其中，p(j)表示7组相邻的人体关节点的连线之间的相对角度的先验分布，每组的相对角度的先验分布用一个均匀分布U()来表示，得到：

$p\left(j\right)\≈\underset{i=1}{\overset{7}{\mathrm{\Π}}}U(j_{\mathrm{parent}\left(i\right)},j_i,j_{\mathrm{son}\left(i\right)})$

其中，7组相邻的人体关节点以及先验分布的角度范围如下：

7组关节点	分布范围(单位：弧度)
		{左肩关节点，左肘关节点，左腕关节点}	(-3.14～3.14)
{右肩关节点，右肘关节点，右腕关节点}	(-3.14～3.14)
		{左肘关节点，左腕关节点，左手中心点}	(-1.57～1.57)
{右肘关节点，右腕关节点，右手中心点}	(-1.57～1.57)
		{左臀，左肩关节点，左肘关节点}	(-3.14～3.14)
{右臀，右肩关节点，右肘关节点}	(-3.14～3.14)
		{头顶、脖子中心点、臀部中心}	(-1.57～1.57)

其中，j_i为每组关节点中的位于中间的关节点，j_parent(i)为左边的那个关节点，j_son(i)为右边的关节点，从而j＝{j_i，i＝脖子中心点、左右肩关节、左右肘关节、左右腕关节}，左臀位置为人体躯干的左下顶点，右臀位置为人体躯干的右下顶点，臀部中心为左、右臀位置的中心点，头顶位置为头部在所述训练图像中的最高点；

p(l)为人体上半身各部件的长度的先验概率分布，用单高斯分布表示，p(l)＝N(l，μ_l，∑_l)，其中，上半身各部件长度l包括7个参数：l_LWE、l_RWE、l_LES、l_RES、l_HS、h和w，具体如下：

其中，μ_l和∑_l是对应参数在所述训练图像的样本中的均值和方差。

然后，利用Metropolis-Hastings算法以及随机游动采样技术对所述关节特征参数进行第二预设次数的迭代。

具体地，将上述确定的所述关节特征参数的初始值代入所述关节特征参数的极大后验假设中，并依照第二预设次数进行迭代。所述迭代过程包括：

步骤1.进行初始化，设定预设次数p＝1，部件i＝1，

步骤2.在p-1次迭代中，对于每一个部件u._i，从建议分布q_i(u′_.i|u_p-1.i，u_p-1.-i)采样得到一个获选状态u′_.i，

q_i(u′_.i|u_p-1.i，u_p-1.-i)＝N(u′_.i，u_p-1.i，∑_i)，u＝1，2，...，9，

其中，u’_t-1·-i表示完成第p次第i-1步迭代后的u·_-i的值。u·_-i包括除了u·_i以外的所有其它部件，∑_i通过训练样本中的所标定的关节点的位置的协方差。

计算u′_.i被接受成为下一个状态u_p.i的概率a(u_p-1，i→u′_i)，若为1，则接受，若不为1，则u_p.i＝u_p-1.i。

其中， $a(u_{p-1,i}\→u_i^{\′})=\min (1,\frac{p\left(u_i^{\′}\right|Y)}{p\left(u_{p-1,i}\right|Y)});$

步骤3.若p小于所述第二预设次数，且i＜9，则i＝i+1，重新回到步骤2，

若p小于所述第二预设次数，且i＝9，则i＝0，t＝t+1，重新回到步骤2，

若p等于最大预设次数，则结束。

本实施例中，所述第二预设次数为25次。

由于在所述关节特征参数的极大后验假设中包含人体上半身姿势在所述训练图像中的可能性的似然函数p(Y|u)，所述p(Y|u)包括：L_region区域似然函数、L_color为第二颜色似然函数、L_skin为肤色似然函数、L_fb为前背景似然函数这四个似然函数，所以上述迭代过程是基于各次迭代的关节特征参数和所述人体上半身对应的前景颜色、人体上半身以外的背景颜色确定所述关节特征参数的极大后验假设。最后，以所述关节特征参数的极大后验假设确定人体上半身姿势。

因此，根据本步骤提供的人体上半身姿势检测的方法，可以实现在各种图像背景下对所述训练图像进行人体上半身姿势检测，从而确定人体上半身姿势。

根据上述人体姿势的检测方法，本发明实施例还提供了一种人体姿势检测装置，如图5所示的本发明的一种人体姿势检测装置的具体实施例的结构示意图。参考图5，所述人体姿势检测装置1包括：获取单元11、脸部特征确定单元12、躯干建模单元13、躯干检测单元14、上半身建模单元15以及姿势检测单元16。

具体地，所述获取单元11用于获取训练图像，所述训练图像中标定出人手、人脸和人眼的位置；所述脸部特征确定单元12用于根据所述获取单元11所获取的训练图像中的所述人脸和人眼的位置确定人脸特征参数，所述人脸特征参数包括两眼间的距离、人脸宽度和人脸倾斜角度；所述躯干建模单元13用于建立人体躯干模型，所述人体躯干模型具有躯干特征参数，所述躯干特征参数的初始值关联于所述脸部特征确定单元确定的人脸特征参数；所述躯干检测单元14用于结合人体躯干对应的前景颜色、人体躯干以外的背景颜色和所述躯干建模单元13建立的人体躯干模型的躯干特征参数检测所述训练图像中的人体躯干；所述上半身建模单元15用于建立人体上半身模型，所述人体上半身模型具有关节特征参数，所述关节特征参数的初始值关联于所述获取单元11获取的训练图像中标定的人手的位置、所述脸部特征确定单元12确定的人脸特征参数和所述躯干检测单元14检测到的人体躯干；所述姿势检测单元16用于结合人体上半身对应的前景颜色、人体上半身以外的背景颜色和所述上半身建模单元15建立的人体上半身模型的关节特征参数检测人体上半身姿势。

在具体实施例中，所述获取单元11获取训练图像，所述训练图像中标定出人手、人脸和人眼的位置。其中，所述人手的位置包括左手的中心位置和右手的中心位置；所述人脸的位置包括人脸的中心位置(F_x，F_y)；所述人眼的位置包括左眼的中心位置(LE_x，LE_y)和右眼的中心位置(RE_x，RE_y)。所述脸部特征确定单元12根据所述获取单元11所获取的训练图像中的所述人脸和人眼的位置确定人脸特征参数，所述人脸特征参数包括两眼间的距离、人脸宽度和人脸倾斜角度。其中，所述两眼间的距离 $D_{\mathrm{eye}}=\sqrt{{({\mathrm{RE}}_x-{\mathrm{LE}}_y)}^2+{({\mathrm{RE}}_y-{\mathrm{LE}}_y)}^2};$ 所述人脸宽度facewidth＝2*D_eye；所述人脸倾斜角度θ_f＝ac tan((RE_y-LE_y)/(RE_x-LE_y))。

所述躯干检测单元14包括：第一迭代单元，用于利用Metropolis-Hastings算法以及随机游动采样技术对所述躯干特征参数进行第一预设次数的迭代；第一确定单元，用于基于各次迭代的躯干特征参数和所述人体躯干对应的前景颜色、人体躯干以外的背景颜色确定所述躯干特征参数的极大后验假设；躯干确定单元，用于以所述躯干特征参数的极大后验假设确定所述人体躯干的位置。其中，所述第一预设次数大于等于20次。

在本实施例中，所述躯干特征参数的极大后验假设为： $T_{\mathrm{MAP}}=\arg \underset{t}{\max }p\left(t\right|Y)=\arg \underset{t}{\max }\left(p\left(Y\right|t)p\left(t\right)\right);$ 其中，p(t|Y)为第一后验概率、p(Y|t)表示人体躯干对应的前景和人体躯干以外的背景之间的颜色差异的第一颜色似然函数、p(t)为第一先验概率，p(t)＝P_d(s(t))P_s(s(t))，P_s(s(t))为关联于人体躯干面积和宽度的形状先验概率，P_d(s(t))为关联于人体躯干中心和人脸中心之间的距离的位置先验概率。

其中，所述人体躯干对应的前景为所述训练图像中所述人体躯干模型所在的矩形，即所选躯干特征参数t在所述训练图像中所对应的区域；此外，为了减小计算量，本实施例中，所述人体躯干以外的背景设定为所述训练图像中所述人体躯干模型所在的矩形和背景边界矩形之间的区域；所述第一颜色似然函数

其中，λ_color是常数，取值范围为(0.5～5)，B_f，b是人体躯干对应的前景和人体躯干以外的背景之间的颜色直方图距离。

所述躯干特征参数包括躯干的宽度w、躯干的长宽比r、躯干的倾斜度θ以及脖子的位置为(n_x，n_y)。其中，所述躯干特征参数的初始值分别为：躯干的宽度初始值w0＝a*facewidth，其中，a的取值范围为(2.2，2.6)，本实施例a＝2.4；躯干的长宽比初始值r0，取值范围为(1.3，1.38)，本实施例r₀＝1.34；躯干的倾斜度初始值，取值范围为(1.5弧度，1.63弧度)，本实施例θ₀＝1.57弧度；脖子的位置初始值(n_x0，n_y0)，其中，n_x0＝F_x-b*D_eye*sin(θ_f)、n_y0＝F_y+b*D_eye*sin(θ_f)，b的取值范围为(1.1，1.3)，本实施例b＝1.2。

所述上半身建模单元15用于建立人体上半身模型，所述人体上半身模型具有关节特征参数，所述关节特征参数的初始值关联于所述获取单元11获取的训练图像中标定的人手的位置、所述脸部特征确定单元12确定的人脸特征参数和所述躯干检测单元14检测到的人体躯干。

其中，所述关节特征参数u包括：头顶的位置(H_x，H_y)、脖子的位置(n_x，n_y)、肩关节的位置、肘关节的位置、腕关节的位置、人手的位置以及臀部中心点的位置；所述关节特征参数的初始值分别为：头顶的位置初始值(H_x0，H_y0)，其中H_x0＝F_x+c*D_eye*sinθ_f，H_y0＝F_y-c*D_eye*sinθ_f，其中，c的取值范围为(1.1，1.3)；脖子的位置初始值、肩关节的位置初始值和臀部中心点的位置初始值与所检测到的人体躯干关联；肘关节的位置初始值与所述人手的位置和肩关节的位置初始值关联；腕关节的位置初始值与所述人手的位置和肩关节的位置初始值关联。

进一步，其中所述肘关节的位置初始值根据下述步骤确定：

(1)基于人脸部的肤色概率分布和人体躯干的衣服颜色概率分布得到人体上半身对应的前景颜色概率。其中，所述人体上半身对应的前景是指：在所述训练图像中所述人体上半身形状模型(如图4c所示)所在的区域；(2)计算人体上半身以外的背景颜色概率，其中，人体上半身以外的背景是指：在所述训练图像中所述人体上半身形状模型(如图4c所示)所在的区域以外的区域；(3)根据肩关节、人体躯干、人手以及肘部的相对位置约束，确定所述肘关节的搜索空间；(4)在所述肘关节的搜索空间中通过全搜索获得最佳位置，以确定肘关节的位置初始值，其中所述最佳位置是指所述前景颜色概率加上肤色像素分布概率减去背景颜色概率所得到的数值最高的位置。

所述上半身模型包括骨架模型、部件形状模型以及人体上半身形状模型。所述姿势检测单元16包括：第二迭代单元，用于利用Metropolis-Hastings算法以及随机游动采样技术对所述人体关节的特征参数进行第二预设次数的迭代；第二确定单元，用于基于各次迭代的躯干特征参数和所述人体上半身对应的前景颜色、人体上半身以外的背景颜色确定所述关节特征参数的极大后验假设；姿势确定单元，用于以所述关节特征参数的极大后验假设确定人体上半身姿势。本实施例中，所述第二预设次数大于或等于25次。

在具体实施例中，所述关节特征参数的极大后验假设为： $U_{\mathrm{MAP}}=\arg \underset{t}{\max }p\left(u\right|Y)=\arg \underset{u}{\max }\left(p\left(Y\right|u)p\left(u\right)\right);$ 其中，p(u|Y)为第二后验概率，p(Y|u)为表示人体上半身姿势在所述训练图像中的可能性的似然函数，p(Y|u)＝L_region×L_color×L_skin×L_fb，其中，L_region为区域似然函数、L_color为第二颜色似然函数、L_skin为肤色似然函数、L_fb为前背景似然函数，p(u)为第二先验概率，p(u)＝p(j)p(l)，p(j)为相邻的人体关节的连线之间的相对角度的先验概率分布，p(l)为人体上半身的各个部件长度的先验概率分布。其中，所述人体上半身的各个部件长度包括：左腕到左肘的距离长度、右腕到右肘的距离长度、左肘到左肩的距离长度、右肘到右肩的距离长度、头顶到脖子的距离长度、躯干的高度以及躯干的宽度。

进一步，所述区域似然函数L_region＝exp(-λ_regionN_incoherent)，其中，N_incoherent为训练图像的噪声像素点数，λ_region是常数，取值范围为(0.001，0.15)；所述第二颜色似然函数

其中，λ_color是常数，取值范围为(0.5，5)，B_f，b是人体上半身对应的前景和人体上半身以外的背景之间的颜色直方图距离；所述肤色似然函数

其中：S为头部、左边的上、下胳膊、右边的上、下胳膊共5个部件所在的训练图像区域的像素集合，z_n是S中的一个像素，P_skin为人脸部的肤色概率分布，α_s的取值范围为(0.001，0.1)；所述前背景似然函数 $L_{\mathrm{fb}}=\exp ({\mathrm{\α}}_f\underset{z_n\∈F}{\mathrm{\Σ}}{P}_{\mathrm{upper}}\left(z_n\right)+{\mathrm{\α}}_b(\underset{z_m\∈B}{\mathrm{\Σ}}{P}_b\left(z_m\right)-\underset{z_n\∈F}{\mathrm{\Σ}}{P}_b\left(z_n\right))),$ 其中，P_upper为人体上半身对应的前景颜色概率，P_b为人体上半身以外的背景颜色概率；F为人体上半身对应的前景的像素集合；B为人体上半身以外的背景中的像素集合，z_m为其中的一个像素；α_b的取值范围为(0.0001，0.01)，α_f的取值范围为(0.001，0.1)。

所述人体上半身的各个部件长度包括：左腕到左肘的距离长度、右腕到右肘的距离长度、左肘到左肩的距离长度、右肘到右肩的距离长度、头顶到脖子的距离长度、躯干的高度以及躯干的宽度。

本实施例提供的人体姿势检测装置1的具体检测过程可以参考上述关于人体姿势检测的具体实施方式的描述，在此不再赘述。

综上所述，本技术方案在确定训练图像中的人体躯干时，结合考虑了人体躯干模型中的躯干特征参数和人体躯干对应的前景颜色、人体躯干以外的背景颜色，并且在基于所检测到的人体躯干确定训练图像中的人体姿势时，结合考虑了人体上半身模型中的关节特征参数和人体上半身对应的前景颜色、人体上半身以外的背景颜色，因此能够有效检测到在各种图像背景下的多种人体姿势，并对不同的着装以及光照具有很好的鲁棒性。

本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。

Claims (24)

1.一种人体姿势检测方法，其特征在于，包括：

获取训练图像，所述训练图像中标定出人手、人脸和人眼的位置；

基于所述人脸和人眼的位置确定人脸特征参数，所述人脸特征参数包括两眼间的距离、人脸宽度和人脸倾斜角度；

建立人体躯干模型，所述人体躯干模型具有躯干特征参数，所述躯干特征参数的初始值关联于所述人脸特征参数；

结合人体躯干对应的前景颜色、人体躯干以外的背景颜色和所述躯干特征参数检测所述训练图像中的人体躯干；所述结合人体躯干对应的前景颜色、人体躯干以外的背景颜色和所述躯干特征参数检测所述训练图像中的人体躯干包括：利用Metropolis-Hastings算法以及随机游动采样技术对所述躯干特征参数进行第一预设次数的迭代；基于各次迭代的躯干特征参数和所述人体躯干对应的前景颜色、人体躯干以外的背景颜色确定所述躯干特征参数的极大后验假设；以所述躯干特征参数的极大后验假设确定所述人体躯干的位置；

建立人体上半身模型，所述人体上半身模型具有关节特征参数，所述关节特征参数的初始值关联于所述人手的位置、所述人脸特征参数和所检测到的人体躯干；

结合人体上半身对应的前景颜色、人体上半身以外的背景颜色和所述关节特征参数检测人体上半身姿势；所述结合人体上半身对应的前景颜色、人体上半身以外的背景颜色和所述关节特征参数检测人体上半身姿势包括：利用Metropolis-Hastings算法以及随机游动采样技术对所述关节特征参数进行第二预设次数的迭代；基于各次迭代的关节特征参数和所述人体上半身对应的前景颜色、人体上半身以外的背景颜色确定所述关节特征参数的极大后验假设；以所述关节特征参数的极大后验假设确定人体上半身姿势。

2.根据权利要求1所述的人体姿势检测方法，其特征在于，

所述人手的位置包括左手的中心位置和右手的中心位置；

所述人脸的位置包括人脸的中心位置（F_x，F_y）；

所述人眼的位置包括左眼的中心位置（LE_x，LE_y）和右眼的中心位置（RE_x，RE_y）；

所述两眼间的距离 $D_{\mathrm{eye}}=\sqrt{{({\mathrm{RE}}_x-{\mathrm{LE}}_y)}^2+{({\mathrm{RE}}_y-{\mathrm{LE}}_y)}^2};$

所述人脸宽度facewidth=2*D_eye；

所述人脸倾斜角度θ_f=arctan((RE_y-LE_y)/(RE_x-LE_y))。

3.根据权利要求2所述的人体姿势检测方法，其特征在于，所述躯干特征参数t包括：躯干的宽度w、躯干的长宽比r、躯干的倾斜度θ以及脖子的位置（n_x，n_y）；

所述躯干特征参数的初始值分别为：

躯干的宽度初始值w₀=a*facewidth，其中，a的取值范围为（2.2，2.6）；

躯干的长宽比初始值r₀，取值范围为（1.3，1.38）；

躯干的倾斜度初始值θ₀，取值范围为（1.5弧度，1.63弧度）；

脖子的位置初始值（n_x0，n_y0），其中，n_x0=F_x-b*D_eye*sin（θ_f）、n_y0=F_y+b*D_eye*sin（θ_f），b的取值范围为（1.1，1.3）。

4.根据权利要求1所述的人体姿势检测方法，其特征在于，所述躯干特征参数的极大后验假设为： $T_{\mathrm{MAP}}=\arg \underset{t}{\max }p\left(t\right|Y)=\arg \underset{t}{\max }\left(p\left(Y\right|t)p\left(t\right)\right);$ 其中，t为所述躯干特征参数，p(t|Y)为第一后验概率、p(Y|t)表示人体躯干对应的前景和人体躯干以外的背景之间的颜色差异的第一颜色似然函数、p(t)为第一先验概率，p(t)=P_d(s(t))P_s(s(t))，P_s(s(t))为关联于人体躯干面积和宽度的形状先验概率，P_d(s(t))为关联于人体躯干中心和人脸中心之间的距离的位置先验概率。

5.根据权利要求4所述的人体姿势检测方法，其特征在于，

所述第一颜色似然函数

其中，λ_color是常数，取值范围为（0.5，5），B_f,b是人体躯干对应的前景和人体躯干以外的背景之间的颜色直方图距离。

6.根据权利要求1所述的人体姿势检测方法，其特征在于，所述第一预设次数大于或等于20次。

7.根据权利要求2所述的人体姿势检测方法，其特征在于，所述关节特征参数u包括：头顶的位置（H_x，H_y）、脖子的位置（n_x，n_y）、肩关节的位置、肘关节的位置、腕关节的位置、人手的位置以及臀部中心点的位置；

所述关节特征参数的初始值分别为：

头顶的位置初始值（H_x0，H_y0），其中H_x0=F_x+c*D_eye*sinθ_f，H_y0=F_y-c*D_eye*sinθ_f，其中，c的取值范围为（1.1,1.3）；

脖子的位置初始值、肩关节的位置初始值和臀部中心点的位置初始值与所检测到的人体躯干关联；

肘关节的位置初始值与所述人手的位置和肩关节的位置初始值关联；

腕关节的位置初始值与所述人手的位置和肘关节的位置初始值关联。

8.根据权利要求7所述的人体姿势检测方法，其特征在于，所述肘关节的位置初始值根据下述步骤确定：

基于人脸部的肤色概率分布和人体躯干的衣服颜色概率分布得到人体上半身对应的前景颜色概率；

计算人体上半身以外的背景颜色概率；

根据肩关节、人体躯干、人手以及肘部的相对位置约束，确定所述肘关节的搜索空间；

在所述肘关节的搜索空间中通过全搜索获得最佳位置，以确定肘关节的位置初始值，其中，所述最佳位置是指所述前景颜色概率加上肤色概率分布减去背景颜色概率所得到的数值最高的位置。

9.根据权利要求8所述的人体姿势检测方法，其特征在于，所述关节特征参数的极大后验假设为： $U_{\mathrm{MAP}}=\arg \underset{u}{\max }p\left(u\right|Y)=\arg \underset{u}{\max }\left(p\left(Y\right|u)p\left(u\right)\right);$ 其中，u为所述关节特征参数，p(u|Y)为第二后验概率，p(Y|u)为表示人体上半身姿势在所述训练图像中的可能性的似然函数，p(Y|u)=L_region×L_color×L_skin×L_fb，其中，L_region为区域似然函数、L_color为第二颜色似然函数、L_skin为肤色似然函数、L_fb为前背景似然函数，p(u)为第二先验概率，p(u)=p(j)p(l)，p(j)为相邻的人体关节的连线之间的相对角度的先验概率分布，p(l)为人体上半身的各个部件长度的先验概率分布。

10.根据权利要求9所述的人体姿势检测方法，其特征在于，

所述区域似然函数L_region=exp(-λ_regionN_incoherent)，其中，N_incoherent为训练图像的噪声像素点数，λ_region是常数，取值范围为（0.001，0.15）；

所述第二颜色似然函数

其中，λ_color是常数，取值范围为（0.5，5），B_1f,b是人体上半身对应的前景和人体上半身以外的背景之间的颜色直方图距离；

所述肤色似然函数

其中：S为头部、左边的上、下胳膊、右边的上、下胳膊共5个部件所在的训练图像区域的像素集合，z_ns是S中的一个像素，P_skin为人脸部的肤色概率分布，α_s的取值范围为（0.001，0.1）；

所述前背景似然函数 $L_{\mathrm{fb}}=\exp ({\mathrm{\α}}_f\underset{z_n\∈F}{\mathrm{\Σ}}{P}_{\mathrm{upper}}\left(z_n\right)+{\mathrm{\α}}_b(\underset{z_m\∈B}{\mathrm{\Σ}}{P}_b\left(z_m\right)-\underset{z_n\∈F}{\mathrm{\Σ}}{P}_b\left(z_n\right))),$ 其中，P_upper为人体上半身对应的前景颜色概率，P_b为人体上半身以外的背景颜色概率；F为人体上半身对应的前景的像素集合，z_n是F中的一个像素；B为人体上半身以外的背景的像素集合，z_m是B中的一个像素；α_b的取值范围为（0.0001，0.01），α_f的取值范围为（0.001，0.1）。

11.根据权利要求10所述的人体姿势检测方法，其特征在于，所述人体上半身的各个部件长度包括：左腕到左肘的距离长度、右腕到右肘的距离长度、左肘到左肩的距离长度、右肘到右肩的距离长度、头顶到脖子的距离长度、躯干的高度以及躯干的宽度。

12.根据权利要求1所述的人体姿势检测方法，其特征在于，所述第二预设次数大于或等于25次。

13.一种人体姿势检测装置，其特征在于，包括：

获取单元，用于获取训练图像，所述训练图像中标定出人手、人脸和人眼的位置；

脸部特征确定单元，用于根据所述获取单元所获取的训练图像中的标定的所述人脸和人眼的位置确定人脸特征参数，所述人脸特征参数包括两眼间的距离、人脸宽度和人脸倾斜角度；

躯干建模单元，用于建立人体躯干模型，所述人体躯干模型具有躯干特征参数，所述躯干特征参数的初始值关联于所述脸部特征确定单元确定的人脸特征参数；

躯干检测单元，用于结合人体躯干对应的前景颜色、人体躯干以外的背景颜色和所述躯干建模单元建立的人体躯干模型的躯干特征参数检测所述训练图像中的人体躯干；所述躯干检测单元包括：第一迭代单元，用于利用Metropolis-Hastings算法以及随机游动采样技术对所述躯干特征参数进行第一预设次数的迭代；第一确定单元，用于基于各次迭代的躯干特征参数和所述人体躯干对应的前景颜色、人体躯干以外的背景颜色确定所述躯干特征参数的极大后验假设；躯干确定单元，用于以所述躯干特征参数的极大后验假设确定所述人体躯干的位置；

上半身建模单元，用于建立人体上半身模型，所述人体上半身模型具有关节特征参数，所述关节特征参数的初始值关联于所述获取单元获取的训练图像中标定的人手的位置、所述脸部特征确定单元确定的人脸特征参数和所述躯干检测单元检测到的人体躯干；

姿势检测单元，用于结合人体上半身对应的前景颜色、人体上半身对应的背景颜色和所述上半身建模单元建立的人体上半身模型的关节特征参数检测人体上半身姿势；所述姿势检测单元包括：第二迭代单元，用于利用Metropolis-Hastings算法以及随机游动采样技术对所述人体关节的特征参数进行第二预设次数的迭代；第二确定单元，用于基于各次迭代的躯干特征参数和所述人体上半身对应的前景颜色、人体上半身以外的背景颜色确定所述关节特征参数的极大后验假设；姿势确定单元，用于以所述关节特征参数的极大后验假设确定人体上半身姿势。

14.根据权利要求13所述的人体姿势检测装置，其特征在于，

所述人手的位置包括左手的中心位置和右手的中心位置；

所述人脸的位置包括人脸的中心位置（F_x，F_y）；

所述人眼的位置包括左眼的中心位置（LE_x，LE_y）和右眼的中心位置（RE_x，RE_y）；

所述两眼间的距离 $D_{\mathrm{eye}}=\sqrt{{({\mathrm{RE}}_x-{\mathrm{LE}}_y)}^2+{({\mathrm{RE}}_y-{\mathrm{LE}}_y)}^2};$

所述人脸宽度facewidth=2*D_eye；

所述人脸倾斜角度θ_f=arctan((RE_y-LE_y)/(RE_x-LE_y))。

15.根据权利要求14所述的人体姿势检测装置，其特征在于，所述躯干特征参数包括：躯干的宽度w、躯干的长宽比r、躯干的倾斜度θ以及脖子的位置为（n_x，n_y）；

所述躯干特征参数的初始值分别为：

躯干的宽度初始值w₀=a*facewidth，其中，a的取值范围为（2.2，2.6）；

躯干的长宽比初始值r₀，取值范围为（1.3，1.38）；

躯干的倾斜度初始值θ₀，取值范围为（1.5弧度，1.63弧度）；

脖子的位置初始值（n_x0，n_y0），其中，n_x0=F_x-b*D_eye*sin（θ_f）、n_y0=F_y+b*D_eye*sin（θ_f），b的取值范围为（1.1，1.3）。

16.根据权利要求13所述的人体姿势检测装置，其特征在于，所述躯干特征参数的极大后验假设为： $T_{\mathrm{MAP}}=\arg \underset{t}{\max }p\left(t\right|Y)=\arg \underset{t}{\max }\left(p\left(Y\right|t)p\left(t\right)\right);$ 其中，p(t|Y)为第一后验概率、p(Y|t)表示人体躯干对应的前景和人体躯干以外的背景之间的颜色差异的第一颜色似然函数、p(t)为第一先验概率，p(t)=P_d(s(t))P_s(s(t))，P_s(s(t))为关联于人体躯干面积和宽度的形状先验概率，P_d(s(t))为关联于人体躯干中心和人脸中心之间的距离的位置先验概率。

17.根据权利要求16所述的人体姿势检测装置，其特征在于，

所述第一颜色似然函数

其中，λ_color是常数，取值范围为（0.5，5），B_f,b是人体躯干对应的前景和人体躯干以外的背景之间的颜色直方图距离。

18.根据权利要求13所述的人体姿势检测装置，其特征在于，所述第一预设次数大于或等于20次。

19.根据权利要求14所述的人体姿势检测装置，其特征在于，所述关节特征参数u包括：头顶的位置（H_x，H_y）、脖子的位置（n_x，n_y）、肩关节的位置、肘关节的位置、腕关节的位置、人手的位置以及臀部中心点的位置；

所述关节特征参数的初始值分别为：

头顶的位置初始值（H_x0，H_y0），其中H_x0=F_x+c*D_eye*sinθ_f，H_y0=F_y-c*D_eye*sinθ_f，其中，c的取值范围为（1.1,1.3）；

脖子的位置初始值、肩关节的位置初始值和臀部中心点的位置初始值与所检测到的人体躯干关联；

肘关节的位置初始值与所述人手的位置和肩关节的位置初始值关联；

腕关节的位置初始值与所述人手的位置和肩关节的位置初始值关联。

20.根据权利要求19所述的人体姿势检测装置，其特征在于，所述肘关节的位置初始值根据下述步骤确定：

基于人脸部的肤色概率分布P_skin和人体躯干的衣服颜色概率分布得到人体上半身对应的前景颜色概率；

计算人体上半身以外的背景颜色概率；

根据肩关节、人体躯干、人手以及肘部的相对位置约束，确定所述肘关节的搜索空间；

在所述肘关节的搜索空间中通过全搜索获得最佳位置，以确定肘关节的位置初始值，其中，所述最佳位置是指所述前景颜色概率加上肤色概率分布减去背景颜色概率所得到的数值最高的位置。

21.根据权利要求13所述的人体姿势检测装置，其特征在于，所述关节特征参数的极大后验假设为： $U_{\mathrm{MAP}}=\arg \underset{\text{t}}{\max }p\left(u\right|Y)=\arg \underset{u}{\max }\left(p\left(Y\right|u)p\left(u\right)\right);$ 其中，p(u|Y)为第二后验概率，p(Y|u)为表示人体上半身姿势在所述训练图像中的可能性的似然函数，p(Y|u)=L_region×L_color×L_skin×L_fb，其中，L_region为区域似然函数、L_color为第二颜色似然函数、L_skin为肤色似然函数、L_fb为前背景似然函数，p(u)为第二先验概率，p(u)=p(j)p(l)，p(j)为相邻的人体关节的连线之间的相对角度的先验概率分布，p(l)为人体上半身的各个部件长度的先验概率分布。

22.根据权利要求21所述的人体姿势检测装置，其特征在于，

所述区域似然函数L_region=exp(-λ_regionN_incoherent)，其中，N_incoherent为训练图像的噪声像素点数，λ_region是常数，取值范围为（0.001，0.15）；

所述第二颜色似然函数

其中，λ_color是常数，取值范围为（0.5，5），B_1f,b是人体上半身对应的前景区域和人体上半身以外的背景之间的颜色直方图距离；

所述肤色似然函数

其中：S为头部、左边的上、下胳膊、右边的上、下胳膊共5个部件所在的训练图像区域的像素集合，z_n是S中的一个像素，P_skin为人脸部的肤色概率分布，α_s的取值范围为（0.001，0.1）；

所述前背景似然函数 $L_{\mathrm{fb}}=\exp ({\mathrm{\α}}_f\underset{z_n\∈F}{\mathrm{\Σ}}{P}_{\mathrm{upper}}\left(z_n\right)+{\mathrm{\α}}_b(\underset{z_m\∈B}{\mathrm{\Σ}}{P}_b\left(z_m\right)-\underset{z_n\∈F}{\mathrm{\Σ}}{P}_b\left(z_n\right))),$ 其中，P_upper为人体上半身对应的前景颜色概率，P_b为人体上半身以外的背景颜色概率；F为人体上半身对应的前景的像素集合；B为人体上半身以外的背景中的像素集合，z_m为其中的一个像素；α_b的取值范围为（0.0001，0.01），α_f的取值范围为（0.001，0.1）。

23.根据权利要求21所述的人体姿势检测装置，其特征在于，所述人体上半身的各个部件长度包括：左腕到左肘的距离长度、右腕到右肘的距离长度、左肘到左肩的距离长度、右肘到右肩的距离长度、头顶到脖子的距离长度、躯干的高度以及躯干的宽度。

24.根据权利要求13所述的人体姿势检测装置，其特征在于，所述第二预设次数大于等于25次。

Images