CN101388114A - 一种人体姿态估计的方法和系统 - Google Patents

Abstract

本发明公开了一种人体姿态估计的方法：通过光源打光，将光栅上刻录的结构光编码信息投影到人体表面，根据人体表面的反射光得到包含结构光编码信息的人体图像；对所述人体图像中的结构光编码进行解码得出人体图像上各像素点的深度信息；对所述人体图像进行二维人体姿态估计，确定出人体各部分在所述图像中所处的位置；根据所述深度信息和二维人体姿态估计得到的人体各部分在图像中所处的位置，确定出人体各部分的三维空间位置，完成三维人体姿态估计。本发明还同时公开了一种人体姿态估计的系统。本发明实施例的这种人体姿态估计的方法和系统，成本较低且实现方便。

Description

一种人体姿态估计的方法和系统

技术领域

本发明涉及图像处理技术，尤其涉及一种人体姿态估计的方法和系统。

背景技术

当前，随着计算机技术的快速发展，各种周边应用也得到了迅速的丰富。其中，人机交互始终处于计算机应用发展的前沿地带。在人机交互领域，目前主要存在着两种类型的实现方式，一种以计算机领域的人机交互为代表，主要是通过常用的计算机外设如鼠标、键盘等进行实现；另一种是在电玩领域，主要是通过各种特定用途的设备诸如游戏主机的手柄、摇杆等进行操作。

随着计算机技术的快速发展，这两种原本泾渭分明的领域开始逐渐交叉和混合，由于电玩主机的硬件与计算机硬件上的差异性越来越小，以及计算机上游戏软件的日益丰富，无论是在电玩领域还是计算机领域都出现了大量的新的游戏类型，其中尤其以3D游戏和虚拟现实类型的游戏最为丰富。

尽管出现了许多新的游戏类型，但目前进行人机交互的方式并没有相应的进行更新。比如许多动作类的3D游戏，操作者主要通过控制游戏角色的动作来完成游戏体验，然而无论是使用键盘鼠标还是游戏手柄，操作者都需要先了解各键位与角色动作的对应关系，造成了操作者的使用体验不够直接和丰满。此外，不同厂商开发的游戏软件中，还可能对于键位与角色动作对应关系的设置不同，操作者要进行游戏必须要记住各种游戏中不同的对应关系。可见，传统的人机交互方式已经无法很好的满足新出现的游戏类型的使用要求。

因此，目前越来越多的厂商开始开发新的人机交互的实现方式，其中人体姿态估计为被广泛看好具有发展潜力的一项应用。所谓人体姿态估计，就是通过综合包括人体检测、人脸检测，以及运动匹配等多种图像处理技术，实时实现对于三维空间中的人体姿态的检测识别。通过采用这种技术，计算机可以识别出玩家的肢体动作，然后利用游戏中的游戏角色对玩家的动作进行复现，就可以实现玩家对于游戏角色的直接控制，且玩家再也不必记忆各种游戏中繁杂且各不相同的对应关系，因此能够极大地提升玩家得到的游戏体验的质量。由于这种技术具有巨大的应用价值和商业价值，从而成为各厂商争相发展的目标。

然而，尽管目前业界已经提出了众多进行三维人体姿态估计的系统，但这些系统大都处于实验室阶段：即，通常需要三台或三台以上的摄像设备，同时对于各摄像设备的位置必须预先严格标定，不仅设置过程复杂无法应用于日常场景，而且由于设备较多、系统结构复杂，使得这种系统适用性差且成本较高，因此这些系统完全无法大规模普及推广。

发明内容

本发明提供一种人体姿态估计的方法和系统，能够以较低成本实现对三维人体姿态的实时检测，且实现简单易于应用。

为达到上述目的，本发明的技术方案具体是这样实现的：

一种人体姿态估计的方法，该方法包括：

通过光源打光，将光栅上刻录的结构光编码信息投影到人体表面，根据人体表面的反射光得到包含结构光编码信息的人体图像；

对所述人体图像中的结构光编码进行解码得出人体图像上各像素点的深度信息；对所述人体图像进行二维人体姿态估计，确定出人体各部分在所述图像中所处的位置；

根据所述深度信息和二维人体姿态估计得到的人体各部分在图像中所处的位置，确定出人体各部分的三维空间位置，完成三维人体姿态估计。

对所述人体图像中的结构光编码进行解码得出人体图像上各像素点的深度信息的方法包括：

利用公式 $\left\{\begin{array}{c}u=\left[K\right|0]X\\ u\′=[K\′R|-K\′\mathrm{Rt}]X\end{array}\right.$ 计算人体图像上各像素点的深度信息，其中，u’为光栅上包含结构光编码信息的位置，X为人体表面对应该结构光编码信息的位置，u为摄像机成像平面中X所对应的位置，K’为投影仪的光学特征矩阵，K为摄像机的光学特征矩阵，R为从投影仪镜头所在平面到摄像机镜头所在平面的旋转矩阵，t为从投影仪镜头所在平面到摄像机镜头所在平面的平移矩阵。

对所述图像进行二维人体姿态估计，确定出人体各部分在所述图像中所处的位置的方法包括：

使用人体检测算法从人体图像中识别出躯干所在区域；

在与躯干所在区域相邻的各位置上，采用人脸检测算法确定人脸区域，并从人脸区域中提取人体肤色模型；

根据所述人体肤色模型，在与躯干所在区域相邻的各位置中检测上肢所在区域；

在与躯干所在区域相邻的各位置中检测下肢所在区域。

所述根据所述深度信息和二维人体姿态估计得到的人体各部分在图像中所处的位置，确定出人体各部分的三维空间位置的方法包括：

对任意人体部分，获取该人体部分所在平面上的任意n个点的坐标(x_i，y_i，z_i)，i＝1，2...n，n为自然数，得到其三维坐标系下所在平面的方程的矩阵形式为 $\left(\begin{array}{ccc}{x}_1& y_1& z_1\\ \·& \·& \·\\ \·& \·& \·\\ \·& \·& \·\\ x_n& y_n& z_n\end{array}\right)\left(\begin{array}{c}A\\ B\\ C\end{array}\right)=\left(\begin{array}{c}D\\ \·\\ \·\\ \·\\ D\end{array}\right);$

令 $M=\left(\begin{array}{ccc}{x}_1& y_1& z_1\\ \·& \·& \·\\ \·& \·& \·\\ \·& \·& \·\\ x_n& y_n& z_n\end{array}\right),$ 则根据公式 $\left(\begin{array}{c}A\\ B\\ C\end{array}\right)={\left(M^{T}M\right)}^{-1}M\left(\begin{array}{c}D\\ \·\\ \·\\ \·\\ D\end{array}\right)$ 即可求出系数A、B、C，再利用公式 $\cos \mathrm{\θ}=\frac{C}{\sqrt{A^2+B^2+C^2}},$ 求出该人体部分所在平面相对于Z轴的旋转角度。

一种人体姿态估计的系统，该系统包括：

入射光路装置，用于利用光源打光，将光栅上刻录的结构光编码信息投影到人体表面；

反射光路装置，用于根据人体表面的反射光得到包含结构光编码信息的人体图像；

深度重构装置，用于对所述人体图像中的结构光编码进行解码得出人体图像上各像素点的深度信息；

二维姿态估计装置，用于对所述人体图像进行二维人体姿态估计，确定出人体各部分在所述图像中所处的位置；

三维姿态估计装置，用于根据所述深度信息和二维人体姿态估计得到的人体各部分在图像中所处的位置，确定出人体各部分的三维空间位置，完成三维人体姿态估计。

所述深度重构装置包括：

参数存储模块，用于保存投影仪的光学特征矩阵K’，摄像机的光学特征矩阵K，从投影仪镜头所在平面到摄像机镜头所在平面的旋转矩阵R以及从投影仪镜头所在平面到摄像机镜头所在平面的平移矩阵t；

深度计算模块，用于根据参数存储模块中保存的信息，利用公式 $\left\{\begin{array}{c}u=\left[K\right|0]X\\ u\′=[K\′R|-K\′\mathrm{Rt}]X\end{array}\right.$ 计算人体图像上各像素点的深度信息，其中，u’为光栅上包含结构光编码信息的位置，X为人体表面对应该结构光编码信息的位置，u为摄像机成像平面中X所对应的位置。

所述二维姿态估计装置包括：

躯干检测模块，用于使用人体检测算法从人体图像中识别出躯干所在区域；

人脸检测模块，用于在与躯干所在区域相邻的各位置上，采用人脸检测算法确定人脸区域，并从人脸区域中提取人体肤色模型；

上肢检测模块，用于根据所述人体肤色模型，在与躯干所在区域相邻的各位置中检测上肢所在区域；

下肢检测模块，用于在与躯干所在区域相邻的各位置中检测下肢所在区域。

所述三维姿态估计装置包括：

平面方程系数确定模块，用于对任意人体部分，获取该人体部分所在平面上的任意n个点的坐标(x_i，y_i，z_i)，i＝1，2...n，n为自然数，得到其三维坐标系下所在平面的方程的矩阵形式为 $\left(\begin{array}{ccc}{x}_1& y_1& z_1\\ \·& \·& \·\\ \·& \·& \·\\ \·& \·& \·\\ x_n& y_n& z_n\end{array}\right)\left(\begin{array}{c}A\\ B\\ C\end{array}\right)=\left(\begin{array}{c}D\\ \·\\ \·\\ \·\\ D\end{array}\right);$ 令 $M=\left(\begin{array}{ccc}{x}_1& y_1& z_1\\ \·& \·& \·\\ \·& \·& \·\\ \·& \·& \·\\ x_n& y_n& z_n\end{array}\right),$ 则根据公式 $\left(\begin{array}{c}A\\ B\\ C\end{array}\right)={\left(M^{T}M\right)}^{-1}M\left(\begin{array}{c}D\\ \·\\ \·\\ \·\\ D\end{array}\right)$ 即可求出系数A、B、C；

角度计算模块，用于根据确定的系数A、B、C，利用公式 $\cos \mathrm{\θ}=\frac{C}{\sqrt{A^2+B^2+C^2}},$ 求出该人体部分所在平面相对于Z轴的旋转角度。

由上述的技术方案可见，本发明实施例的这种人体姿态估计的方法和系统，将光栅上刻录的结构光编码信息投影到人体表面并对所述人体图像进行成像，建立了光栅、人体和人体图像上的点在三维空间位置上的对应关系，从而可以利用摄影几何学知识建立方程并求解得到人体图像上各像素点的深度信息，再结合二维人体姿态估计的结果并利用解析几何的方法得到人体各部分所在平面与成像平面的夹角，从而实现了三维人体姿态估计；同时，该方案仅需要利用简单的光源、光栅以及一台摄像机，因此成本较低，实现方便。

附图说明

图1为本发明实施例中人体姿态估计的方法的流程示意图。

图2为本发明实施例中人体姿态估计的系统的组成结构示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明进一步详细说明。

本发明实施例提供一种人体姿态估计的方法，其流程如图1所示，其中包括：

步骤101：通过光源打光，将光栅上刻录的结构光编码信息投影到人体表面；

为了能够将结构光编码信息准确的投影到人体表面，通常需要先对光源进行光束聚拢和定向，之后再集中投射到光栅上，最后再通过投影物镜将光栅上的结构光编码投影到人体表面，所述结构光编码为预先刻录在光栅上的特定形状的图像。通过这种方法，能够在人体表面的各点与光栅上各位置之间建立明确的对应关系(即，对于人体表面的任意位置X，在光栅上都有某个确定位置u’与其唯一对应)。在实际应用中，该步骤通常利用投影仪实现，具体实现方法为本领域技术人员熟知的现有技术，不再详述。

步骤102：根据人体表面的反射光得到包含结构光编码信息的人体图像；

其中，根据反射光得到人体图像时可以采用摄像机或摄像头进行成像；步骤102得到人体图像后，在执行步骤103之前，还可以先对该图像进行必要的预处理，例如：降低或消除图像中的噪点、必要时进行灰度变换以及进行亮度均衡的调整，对动态图像消除图像抖动等。预处理的方法与现有技术相同且为图像处理领域中的常用技术手段，故不再展开介绍。

步骤103：对所述人体图像中的结构光编码进行解码得出人体图像上各像素点的深度信息；

根据步骤101中的说明，可知对于人体表面的任意一点X，光栅上都有确定的位置u’与其对应，而当步骤102中得到人体图像后，人体表面所述X点在人体图像所在平面中的位置u也就相应的确定。由于所述u’、X和u三个点分别位于入射光路、反射点和反射光路，根据摄影几何学，这三个点之间满足如下的方程组：

$\left\{\begin{array}{c}u=\left[K\right|0]X\\ u\′=[K\′R|-K\′\mathrm{Rt}]X\end{array}\right.$

其中，K’为投影仪的光学特征矩阵，K为摄像机的光学特征矩阵，[K|0]表示K矩阵和0矩阵组合后得到的新矩阵，同理，[K’R|-K’Rt]表示K’R和-K’Rt组合后得到的新矩阵，R为从投影仪镜头所在平面到摄像机镜头所在平面的旋转矩阵，t为从投影仪镜头所在平面到摄像机镜头所在平面的的平移矩阵；所述各参数中，一旦选定摄像机及投影仪，K和K’即为由厂商直接提供的设备参数，而R和t，一旦确定了摄像机及投影仪的相对位置，也可以直接计算得到，R和t的计算推导过程较为复杂但均为现有技术，且该计算方法与本发明并无直接关系，使用者可以参阅相关资料，限于篇幅不在本文中具体说明。实际计算时，通常采集多对u’和u代入上述方程组进行求解，然后对计算结果进行拟合以减少误差。

步骤104：对所述人体图像进行二维人体姿态估计，确定出人体各部分在所述图像中所处的位置；

本发明实施例中采用的人体模型包括：头部，躯干，手臂和腿部，其中每只手臂包括小臂和大臂两部分，每条腿包括大腿和小腿两部分，从而所述人体模型共包括10个部分，每部分的形状为一个矩形，假设定义摄像头镜头所在平面(也可称为成像平面)为三维空间中的X-Y平面，同时设各部分的位置为1_i，其中第i部分的位置为l_i＝(x_i，y_i，w_i，h_i，θ_i)，i＝1，2...10；x_i和y_i分别表示该部分的中心位置处的横坐标和纵坐标，w_i，h_i和θ_i表示该部分的长度、宽度和角度(视定义的角度含义不同，可以表示该部分的轴线与X轴或Y轴的夹角)。其中，对于头部的检测可以使用已有各种人脸检测的算法，躯干部分的检测则可以使用已有各种人体检测的算法，而四肢的检测则可以通过预先采集上下肢的样本进行训练，分别得到上肢和下肢的分类器判决模型后进行检测来实现。但是，由于现有技术中的各种检测算法相互独立，因此需要分别进行人脸检测、人体检测以及上、下肢的检测识别，并将各检测结果汇总后实现二维人体姿态估计，显然，完成上述各种检测所需要的时间较长；同时，由于人体本身是一个有机的整体，因此分别采用上述的检测算法时，需要进行许多不必要的计算，在降低检测速度的同时，还浪费了系统的大量资源，因此本发明实施例还对二维人体姿态估计的方法进行了流程上的重新设计，使之更符合人体姿态估计的需要：

步骤104a：使用人体检测算法从人体图像中识别出躯干所在区域；

由于人体躯干通常为整个人体中面积最大的区域，且人体模型中的所有其他部分都与躯干相连，因此本发明实施例中首先确定出躯干所在区域。

步骤104b：在与躯干所在区域相邻的各位置上，采用人脸检测算法确定人脸区域，并从人脸区域中提取人体肤色模型；

容易理解，在整幅人体图像中搜索人脸区域的速度，无疑会慢于在躯干所在区域周边搜索人脸区域的速度；且对于上、下肢的搜索同样也是如此，因此，根据识别出的躯干所在区域，可以大大减少后续进行人脸检测和上、下肢检测时需要搜索的图像范围，从而可以大大提高整个二维人体姿态估计的速度；

确定出人脸所在位置后，所述提取人体肤色模型的方法既可以采取随机采样的方法(即在人脸区域中任选一个像素点，将该像素点作为人体肤色模型)，也可以选取人脸区域中的部分或全部像素点训练得到一个人体肤色模型(即计算选取的像素点的平均值，求出该样本集合的数学期望值及各像素点的样本方差，将得到的数学期望值作为人体肤色，以减小随机采样方法可能带来的误差)，具体提取人体肤色的方法可以根据实际应用环境自主选择，本发明实施例中不做限定。

步骤104c：根据所述人体肤色模型，在与躯干所在区域相邻的各位置中检测上肢所在区域；

其中，检测上肢所在区域的方法又进一步分为确定小臂所在区域和确定大臂所在区域两部分，由于上大臂通过肘关节相连且形状十分类似，直接通过分类器检测较易出现误检，因此本发明实施例首先通过人体肤色模型检测出手的位置进而确定出小臂所在区域；之后，由于大臂一端与小臂相连，另一端与躯干相连，因此可以根据小臂所在区域和躯干所在区域确定出大臂所在区域。

步骤104d：在与躯干所在区域相邻的各位置中检测下肢所在区域；

根据人体结构可知，此时与躯干所在区域相邻的各位置中，除去已经确定出的头部及上肢所在区域，在余下的位置中利用预先训练好的下肢的分类器判决模型进行检测，即可确定出下肢所在区域(分别包括小腿和大腿所在区域)。

需要说明的是，上述步骤104a～104d只是对进行二维人体姿态估计的流程进行的设定，具体每个步骤中进行相关检测的方法仍然采用现有技术进行，本文中使用的检测方法的技术细节可以参阅文献《Shape context andchamfer matching in cluttered scenes In CVPR》，2003，作者A.Thayananthan，B.Stenger，P.Torr和R.Cipolla；同时，步骤103与步骤104之间的顺序也并无严格的先后顺序，任意一个在前均可，当然也可以并发执行，无论何种情况，当步骤103和步骤104均完成，才继续执行步骤105。

步骤105：根据所述深度信息和二维人体姿态估计得到的人体各部分在图像中所处的位置，确定出人体各部分的三维空间位置，完成三维人体姿态估计。

根据前文定义的X-Y平面，步骤104完成二维人体姿态估计后，得到的人体各部分在所述图像中所处的位置即为人体各部分在X-Y平面内的位置；同时步骤103中得到的人体图像上各像素点的深度信息即为人体各部分在Z轴的坐标值(所述Z轴定义为与X-Y平面垂直，正方向的设定则可以任意)；而在进行三维人体姿态估计时，还需要进一步得到所述各部分所在平面相对于Z轴的旋转角度(根据解析几何的知识可得，该角度同时也等于人体各部分所在平面与成像平面的夹角)，才能够最终完成三维人体姿态估计。因此，根据所述深度信息和二维人体姿态估计得到的人体各部分在图像中所处的位置，确定出人体各部分的三维空间位置的方法为：

根据解析几何中的平面方程，对某人体部分，设其三维坐标系下所在平面的方程为Ax+By+Cz＝D，使用最小二乘的方法估计其中的参数A、B、C，具体方法为：

获取该人体部分所在平面上的任意n个点的坐标(x_i，y_i，z_i)，i＝1，2...n，n为自然数，得到 $\left(\begin{array}{ccc}{x}_1& y_1& z_1\\ \·& \·& \·\\ \·& \·& \·\\ \·& \·& \·\\ x_n& y_n& z_n\end{array}\right)\left(\begin{array}{c}A\\ B\\ C\end{array}\right)=\left(\begin{array}{c}D\\ \·\\ \·\\ \·\\ D\end{array}\right);$

令 $M=\left(\begin{array}{ccc}{x}_1& y_1& z_1\\ \·& \·& \·\\ \·& \·& \·\\ \·& \·& \·\\ x_n& y_n& z_n\end{array}\right),$ 则根据公式 $\left(\begin{array}{c}A\\ B\\ C\end{array}\right)={\left(M^{T}M\right)}^{-1}M\left(\begin{array}{c}D\\ \·\\ \·\\ \·\\ D\end{array}\right)$ 即可求出A，B，C；得到平面方程Ax+By+Cz＝D后，再利用公式 $\cos \mathrm{\θ}=\frac{C}{\sqrt{A^2+B^2+C^2}},$ 即可求出该人体部分所在平面相对于Z轴的旋转角度θ。

所述各人体部分所在平面相对于Z轴的旋转角度，连同各人体部分所在平面的方程，即为三维人体姿态估计所需要的全部信息。

由上述可见，本发明实施例所采用的人体姿态估计的方法，将光栅上刻录的结构光编码信息投影到人体表面并对所述人体图像进行成像，建立了光栅、人体和人体图像上的点在三维空间位置上的对应关系，从而可以利用摄影几何学建立方程并求解得到人体图像上各像素点的深度信息，然后再结合二维人体姿态估计的结果并利用解析几何的方法得到人体各部分所在平面与成像平面的夹角，从而实现了三维人体姿态估计；同时，该方法仅需要利用简单的光源、光栅以及一台摄像机，避免了使用多台摄像机以及繁杂的设备标定操作，因此不仅能够以较低成本实现了三维人体姿态估计，且该方法流程简单、易于应用。

本发明实施例还同时提供一种人体姿态估计的系统，该系统组成结构如图2所示，其中包括：入射光路装置210，反射光路装置220，深度重构装置230，二维姿态估计装置240和三维姿态估计装置250；

所述入射光路装置210，用于利用光源打光，将光栅上刻录的结构光编码信息投影到人体表面；在实际应用中，所述入射光路装置通常利用投影仪实现，能够在人体表面的各点与光栅上各位置之间建立明确的对应关系(即，对于人体表面的任意位置X，在光栅上都有某个确定位置u’与其唯一对应)。

所述反射光路装置220，用于根据人体表面的反射光得到包含结构光编码信息的人体图像；

所述深度重构装置230，用于对所述人体图像中的结构光编码进行解码得出人体图像上各像素点的深度信息；

所述二维姿态估计装置240，用于对所述图像进行二维人体姿态估计，确定出人体各部分在所述图像中所处的位置；

所述三维姿态估计装置250，用于根据所述深度信息和二维人体姿态估计得到的人体各部分在图像中所处的位置，确定出人体各部分的三维空间位置，完成三维人体姿态估计。

其中，所述深度重构装置230包括：

参数存储模块231，用于保存投影仪的光学特征矩阵K’，摄像机的光学特征矩阵K，从投影仪镜头所在平面到摄像机镜头所在平面的旋转矩阵R以及从投影仪镜头所在平面到摄像机镜头所在平面的平移矩阵t；其中，K’和K为系统中使用的投影仪和摄像机的固有参数，而所述R及t可以根据投影仪和摄像机的相对位置，通过计算得到；当然，也可以由系统供应商设定摄像机及投影仪使用时的安装位置，标定此时对应的R和t并将其提供给使用者；

深度计算模块232，用于根据参数存储模块231中保存的信息，利用公式 $\left\{\begin{array}{c}u=\left[K\right|0]X\\ u\′=[K\′R|-K\′\mathrm{Rt}]X\end{array}\right.$ 计算人体图像上各像素点的深度信息，其中，u’为光栅上包含结构光编码信息的位置，X为人体表面对应该结构光编码信息的位置，u为摄像机成像平面中X所对应的位置。

所述二维姿态估计装置240包括：

躯干检测模块241，用于使用人体检测算法从人体图像中识别出躯干所在区域；

人脸检测模块242，用于在与躯干所在区域相邻的各位置上，采用人脸检测算法确定人脸区域，并从人脸区域中提取人体肤色模型；

上肢检测模块243，用于根据所述人体肤色模型，在与躯干所在区域相邻的各位置中检测上肢所在区域；

下肢检测模块244，用于在与躯干所在区域相邻的各位置中检测下肢所在区域。

所述三维姿态估计装置250包括：

平面方程系数确定模块251，用于对任意人体部分，设其三维坐标系下所在平面的方程为Ax+By+Cz＝D，使用最小二乘的方法估计其中的参数A，B，C，具体方法为：

获取该人体部分所在平面上的任意n个点的坐标(x_i，y_i，z_i)，i＝1，2...n，n为自然数，可以得到 $\left(\begin{array}{ccc}{x}_1& y_1& z_1\\ \·& \·& \·\\ \·& \·& \·\\ \·& \·& \·\\ x_n& y_n& z_n\end{array}\right)\left(\begin{array}{c}A\\ B\\ C\end{array}\right)=\left(\begin{array}{c}D\\ \·\\ \·\\ \·\\ D\end{array}\right);$

令 $M=\left(\begin{array}{ccc}{x}_1& y_1& z_1\\ \·& \·& \·\\ \·& \·& \·\\ \·& \·& \·\\ x_n& y_n& z_n\end{array}\right),$ 则根据公式 $\left(\begin{array}{c}A\\ B\\ C\end{array}\right)={\left(M^{T}M\right)}^{-1}M\left(\begin{array}{c}D\\ \·\\ \·\\ \·\\ D\end{array}\right)$ 即可求出A、B、C；角度计算模块252，用于根据确定的系数A、B、C，利用公式 $\cos \mathrm{\θ}=\frac{C}{\sqrt{A^2+B^2+C^2}}$ 求出该人体部分所在平面相对于Z轴的旋转角度。

所述各人体部分所在平面相对于Z轴的旋转角度，连同各人体部分所在平面的方程，即为三维人体姿态估计所需要的全部信息。

由上述可见，本发明实施例所采用的人体姿态估计的系统，将光栅上刻录的结构光编码信息投影到人体表面并对所述人体图像进行成像，建立了光栅、人体和人体图像上的点在三维空间位置上的对应关系，从而可以利用摄影几何学建立方程并求解得到人体图像上各像素点的深度信息，然后再结合二维人体姿态估计的结果并利用解析几何的方法得到人体各部分所在平面与成像平面的夹角，从而实现了三维人体姿态估计；同时，该系统仅需要使用简单的光源、光栅以及一台摄像机，避免了使用多台摄像机以及繁杂的设备标定操作，因此不仅能够以较低成本实现了三维人体姿态估计，且该系统使用简单。

最后需要说明的是，以上所述仅为本发明的较佳实施例，并非用于限定本发明的精神和保护范围，任何熟悉本领域的技术人员所做出的等同变化或替换，都应视为涵盖在本发明的保护范围之内。

Claims (8)

1、一种人体姿态估计的方法，其特征在于，该方法包括：

通过光源打光，将光栅上刻录的结构光编码信息投影到人体表面，根据人体表面的反射光得到包含结构光编码信息的人体图像；

对所述人体图像中的结构光编码进行解码得出人体图像上各像素点的深度信息；对所述人体图像进行二维人体姿态估计，确定出人体各部分在所述图像中所处的位置；

根据所述深度信息和二维人体姿态估计得到的人体各部分在图像中所处的位置，确定出人体各部分的三维空间位置，完成三维人体姿态估计。

2、根据权利要求1所述的方法，其特征在于，对所述人体图像中的结构光编码进行解码得出人体图像上各像素点的深度信息的方法包括：

利用公式 $\left\{\begin{array}{c}u=\left[K\right|0]X\\ u\′=[K\′R|-K\′\mathrm{Rt}]X\end{array}\right.$ 计算人体图像上各像素点的深度信息，其中，u’为光栅上包含结构光编码信息的位置，X为人体表面对应该结构光编码信息的位置，u为摄像机成像平面中X所对应的位置，K’为投影仪的光学特征矩阵，K为摄像机的光学特征矩阵，R为从投影仪镜头所在平面到摄像机镜头所在平面的旋转矩阵，t为从投影仪镜头所在平面到摄像机镜头所在平面的平移矩阵。

3、根据权利要求1所述的方法，其特征在于，对所述图像进行二维人体姿态估计，确定出人体各部分在所述图像中所处的位置的方法包括：

使用人体检测算法从人体图像中识别出躯干所在区域；

在与躯干所在区域相邻的各位置上，采用人脸检测算法确定人脸区域，并从人脸区域中提取人体肤色模型；

根据所述人体肤色模型，在与躯干所在区域相邻的各位置中检测上肢所在区域；

在与躯干所在区域相邻的各位置中检测下肢所在区域。

4、根据权利要求1、2或3所述的方法，其特征在于，所述根据所述深度信息和二维人体姿态估计得到的人体各部分在图像中所处的位置，确定出人体各部分的三维空间位置的方法包括：

对任意人体部分，获取该人体部分所在平面上的任意n个点的坐标(x_i，y_i，z_i)，i＝1，2...n，n为自然数，得到其三维坐标系下所在平面的方程的矩阵形式为 $\left(\begin{array}{ccc}{x}_1& y_1& z_1\\ \·& \·& \·\\ \·& \·& \·\\ \·& \·& \·\\ x_n& y_n& z_n\end{array}\right)\left(\begin{array}{c}A\\ B\\ C\end{array}\right)=\left(\begin{array}{c}D\\ \·\\ \·\\ \·\\ D\end{array}\right);$

令 $M=\left(\begin{array}{ccc}{x}_1& y_1& z_1\\ \·& \·& \·\\ \·& \·& \·\\ \·& \·& \·\\ x_n& y_n& z_n\end{array}\right),$ 则根据公式 $\left(\begin{array}{c}A\\ B\\ C\end{array}\right)={\left(M^{T}M\right)}^{-1}M\left(\begin{array}{c}D\\ \·\\ \·\\ \·\\ D\end{array}\right)$ 即可求出系数A、B、C，再利用公式 $\cos \mathrm{\θ}=\frac{C}{\sqrt{A^2+B^2+C^2}},$ 求出该人体部分所在平面相对于Z轴的旋转角度。

5、一种人体姿态估计的系统，其特征在于，该系统包括：

入射光路装置，用于利用光源打光，将光栅上刻录的结构光编码信息投影到人体表面；

反射光路装置，用于根据人体表面的反射光得到包含结构光编码信息的人体图像；

深度重构装置，用于对所述人体图像中的结构光编码进行解码得出人体图像上各像素点的深度信息；

二维姿态估计装置，用于对所述人体图像进行二维人体姿态估计，确定出人体各部分在所述图像中所处的位置；

三维姿态估计装置，用于根据所述深度信息和二维人体姿态估计得到的人体各部分在图像中所处的位置，确定出人体各部分的三维空间位置，完成三维人体姿态估计。

6、根据权利要求5所述的系统，其特征在于，所述深度重构装置包括：

参数存储模块，用于保存投影仪的光学特征矩阵K’，摄像机的光学特征矩阵K，从投影仪镜头所在平面到摄像机镜头所在平面的旋转矩阵R以及从投影仪镜头所在平面到摄像机镜头所在平面的平移矩阵t；

深度计算模块，用于根据参数存储模块中保存的信息，利用公式 $\left\{\begin{array}{c}u=\left[K\right|0]X\\ u\′=[K\′R|-K\′\mathrm{Rt}]X\end{array}\right.$ 计算人体图像上各像素点的深度信息，其中，u’为光栅上包含结构光编码信息的位置，X为人体表面对应该结构光编码信息的位置，u为摄像机成像平面中X所对应的位置。

7、根据权利要求5所述的系统，其特征在于，所述二维姿态估计装置包括：

躯干检测模块，用于使用人体检测算法从人体图像中识别出躯干所在区域；

人脸检测模块，用于在与躯干所在区域相邻的各位置上，采用人脸检测算法确定人脸区域，并从人脸区域中提取人体肤色模型；

上肢检测模块，用于根据所述人体肤色模型，在与躯干所在区域相邻的各位置中检测上肢所在区域；

下肢检测模块，用于在与躯干所在区域相邻的各位置中检测下肢所在区域。

8、根据权利要求5至7中任一项所述的系统，其特征在于，所述三维姿态估计装置包括：

平面方程系数确定模块，用于对任意人体部分，获取该人体部分所在平面上的任意n个点的坐标(x_i，y_i，z_i)，i＝1，2...n，n为自然数，得到其三维坐标系下所在平面的方程的矩阵形式为 $\left(\begin{array}{ccc}{x}_1& y_1& z_1\\ \·& \·& \·\\ \·& \·& \·\\ \·& \·& \·\\ x_n& y_n& z_n\end{array}\right)\left(\begin{array}{c}A\\ B\\ C\end{array}\right)=\left(\begin{array}{c}D\\ \·\\ \·\\ \·\\ D\end{array}\right);$ 令 $M=\left(\begin{array}{ccc}{x}_1& y_1& z_1\\ \·& \·& \·\\ \·& \·& \·\\ \·& \·& \·\\ x_n& y_n& z_n\end{array}\right),$ 则根据公式 $\left(\begin{array}{c}A\\ B\\ C\end{array}\right)={\left(M^{T}M\right)}^{-1}M\left(\begin{array}{c}D\\ \·\\ \·\\ \·\\ D\end{array}\right)$ 即可求出系数A、B、C；

角度计算模块，用于根据确定的系数A、B、C，利用公式 $\cos \mathrm{\θ}=\frac{C}{\sqrt{A^2+B^2+C^2}}$ 求出该人体部分所在平面相对于Z轴的旋转角度。

Images