CN104036488A - 一种基于双目视觉的人体姿态动作研究方法 - Google Patents

Abstract

本发明公开了一种基于双目视觉的人体姿态动作研究方法，该方法首先通过双目标定获取相机的内外参数，接着从相机拍摄的图像中提取出各肤色区域的质心点的坐标，并对质心点进行匹配判断，然后以世界坐标系为基准求出匹配的质心点在世界坐标系中的坐标，最后根据质心点在世界坐标系中坐标判断人体的姿态及动作。本发明不需要拍摄大量图像，能够通过实时采集视频帧对人脸和双手等人体关键部位的质心点进行立体匹配，以获取人体关键部位之间的位置关系，运行成本较低。

Description

一种基于双目视觉的人体姿态动作研究方法

技术领域

本发明涉及一种人体姿态动作研究方法，具体而言，涉及一种基于双目视觉的人体姿态动作研究方法。

背景技术

随着计算机技术的发展，人们可以使用计算机完成很多高难度的工作。通过计算机对人体动作进行准确识别的技术可广泛应用于智能人机交互，虚拟现实，视频监控和数字娱乐领域，是目前计算机视觉与模式识别领域的研究热点。在某些虚拟现实的领域中，如数字娱乐，通常需要计算机一方面向人的感官传递刺激信号，另一方面也需要接收操作者的反应，如体态姿势的变动等，然后根据这些人体本身位置和状态的变换来调整刺激信号。因此，需要准确地的对人体动作或姿态进行识别。

目前一些利用动作进行识别控制的方法都是基于传统的图像识别方法，通过摄像头拍摄人体的行为姿态或动作，对拍摄的图像进行分析处理，提取图像的数据特征信息，利用相应的识别算法进行识别，判断出人体的行为姿态或动作。此种方法一方面需要相当大的存储空间以存放拍摄的图像，另一方面也需要非常优化的算法来精确识别人体姿态或动作，并且这些方法都是利用图像中的二维数据信息，不能精确确定人体关键部位之间的位置关系。

目前获取三维数据的方法主要可分为两类：主动测距和被动测距。主动测距技术主要包括结构光法和飞行时间法(TOF)。结构光法是一种既利用图像又利用可控制辐射源的测距方法，其基本思想是利用照明中的几何信息帮助提取景物中的几何信息。结构光法对设备和外界光线要求较高，造价昂贵。飞行时间法直接利用光和声波的传播特性，不需要进行灰度图像的获取与分析，因此距离的获取不受物体表面性质的影响，但是需要较复杂的光电设备，造价昂贵，且测量精度与设备的灵敏度有很大关系。被动测距技术主要包括双目或者多目视觉测距，它不需要人为设置辐射源，只利用场景在自然光照下的二维图像来重建景物的三维信息。立体视觉的研究工作从20世纪60年代中期开始的，当时，麻省理工学院的Robert完成了三维景物分析工作，把二维图像分析推广到了三维景物，这标志着立体视觉技术的诞生，并在随后的20年中迅速发展成为一门新兴学科。

立体视觉的基本原理是从两个试点观察同一景物，以获取在不同视角下的感知图像，通过三角测量原理计算图像像素间的位置偏差，即视差，来获取景物的三维信息，这一过程是与人类视觉的立体感知过程类似的。双目立体视觉对设备的要求不高，但需要在测量之前能够准确的标定，获取相机的内外参数，来重建三维信息。

发明内容

本发明提供了一种基于双目视觉的人体姿态动作研究方法，用以利用双目立体视觉原理研究人体的姿态动作。

为达到上述目的，本发明提供了一种基于双目视觉的人体姿态动作研究方法，包括以下步骤：

S1：将左相机和右相机分别置于与地面平行的同一水平线上，其中，两部相机为同一型号，两部相机之间的距离为设定值，且两部相机均能拍摄到完整的人体上半身；

S2：对左相机和右相机进行双目标定，首先准备一块带有多个圆形特征点的矩形标定板，其中，多个圆形特征点排列成多行和多列的阵列，位于同一行的圆形特征点的圆心在同一直线上，位于同一列的圆形特征点的圆心在同一直线上；

S3：将标定板置于相机拍摄区域内的至少5个不同方位，并分别使用左相机和右相机对标定板进行拍摄，得到多张对应左相机的左标定板图像和多张对应右相机的右标定板图像；

S4：计算左标定板图像中的多个圆形特征点在左图像坐标系中的坐标，以及右标定板图像中的多个圆形特征点在右图像坐标系中的坐标，其中，左图像坐标系的原点为左相机的成像面与其光轴的交点，右图像坐标系的原点为右相机的成像面与其光轴的交点；

S5：利用极线约束规则分别匹配同一方位下的左标定板图像和右标定板图像，得到每个方位下多个圆形特征点在左图像坐标系和右图像坐标系中的特征圆心；

S6：根据每个方位下多个圆形特征点在左图像坐标系和右图像坐标系中的特征圆心，利用Levenberg-Marquardt算法计算左相机的内参数，以及左相机和右相机组成的相机系统的外参数，其中，内参数至少包括左图像坐标系中u轴的有效焦距f_x、v轴的有效焦距f_y以及左图像坐标系的中心坐标(c_x,c_y)，外参数至少包括旋转向量R和平移向量t；

S7：构建人体肤色模型，首先使用手工标注方法统计大量RGB格式人体图像中的肤色区域的RGB值，得到人体肤色在RGB空间的分布情况；

S8：将RGB空间转化到YCrCb空间，得到人体肤色在YCrCb空间的分布情况；

S9：根据人体肤色在YCrCb空间的分布情况构建人体肤色模型；

S10：被采集者站立在左相机和右相机的图像采集范围内，在t0时刻，使用左相机和右相机分别采集一帧左相机图像和一帧右相机图像；

S11：根据人体肤色模型，分别对左相机图像和右相机图像进行预处理滤波去噪及肤色检测，得到左相机图像中的多个连通的肤色区域和右相机图像中的多个连通的肤色区域；

S12：分别对左相机图像中的多个连通的肤色区域和右相机图像中的多个连通的肤色区域进行二值化处理及滤波，获取左相机图像中的多个肤色区域和右相机图像中的多个肤色区域，其中，多个肤色区域至少包括被采集者的脸部；

S13：分别计算左相机图像和右相机图像中的多个肤色区域的质心点的坐标，首先从左相机图像中的多个肤色区域和右相机图像中的多个肤色区域中取一个肤色区域；

S14：取该肤色区域的最小外接矩形，得到大小为m*n的子图像，其中m为最小外接矩形的宽度，n为最小外接矩形的长度；

S15：假设(i,j)为子图像中以对应的图像坐标系为基准的像素点的坐标，f(i,j)为子图像在该像素点的灰度值，则子图像的矩为：

$M_{\mathrm{pq}}={\mathrm{\Σ}}_{i=1}^n{\mathrm{\Σ}}_{j=1}^m{i}^p{j}^{q}f(i,j);$

S16：分别计算子图像的0阶矩M₀₀和1阶矩M₁₀及M₀₁；

S17：设子图像的质心点的坐标为P(x_c,y_c)，按照下式计算子图像的质心点的坐标：

$x_c=\frac{M_{10}}{M_{00}},y_c=\frac{M_{01}}{M_{00}};$

S18：重复上述步骤S14～S17直至左相机图像中的多个肤色区域和右相机图像中的多个肤色区域全部计算完成；

S19：判断左相机图像中的多个肤色区域分别对应的质心点与右相机图像中的多个肤色区域分别对应的质心点之间的匹配关系，首先设定一灰度相关值阈值T；

S20：从右相机图像中的多个肤色区域中取一个肤色区域，并从左相机图像中取出与该右相机图像的肤色区域对应的肤色区域；

S21：以该右相机图像的肤色区域的质心点的坐标p₁(x₁,y₁)为中心，选定一个大小为(2m′+1)*(2n′+1)的窗口，其中m′，n′为设定值的自然数；

S22：以左相机图像中对应肤色区域的质心点的坐标p₂(x₂,y₂)为中心，也选定一个大小为(2m′+1)*(2n′+1)的窗口；

S23：假设I₁(x₁+i,y₁+j)为右相机图像中该肤色区域的质心点周围的像素点的灰度值，为右相机图像中该肤色区域的最小外接矩形包围的区域范围内所有像素点的灰度均值，I₂(x₂+i,y₂+j)为左相机图像中对应肤色区域的质心点周围的像素点的灰度值，为左相机图像中对应肤色区域的最小外接矩形包围的区域范围内所有像素点的灰度均值，σ(I_k)为标准差，通过以下两式计算该右相机图像的肤色区域与该左相机图像的肤色区域的灰度相关值R(p₁,p₂)：

$\mathrm{\σ}\left(I_k\right)=\sqrt{\frac{\underset{i=-n^{\′}}{\overset{n^{\′}}{\mathrm{\Σ}}}\underset{j=-m^{\′}}{\overset{m^{\′}}{\mathrm{\Σ}}}{I_k}^2(x_k+i,y_k+j)}{({2m}^{\′}+1)({2n}^{\′}+1)}-{\stackrel{\‾}{\left(I_k(x_k,y_k)\right)}}^2},$ k＝1或2，

$R(p_1,p_2)=\frac{\underset{i=-n^{\′}}{\overset{n^{\′}}{\mathrm{\Σ}}}\underset{j=-m^{\′}}{\overset{m^{\′}}{\mathrm{\Σ}}}[I_1(x_1+i,y_1+j)-\stackrel{\‾}{I_1(x_1,y_1)}][I_2(x_2+i,y_2+j)-\stackrel{\‾}{I_2(x_2,y_2)}]}{({2m}^{\′}+1)({2n}^{\′}+1)\sqrt{{\mathrm{\σ}}^2\left(I_1\right)\×{\mathrm{\σ}}^2\left(I_2\right)}};$

S24：比较灰度相关值R(p₁,p₂)与灰度相关值阈值T的大小，当R(p₁,p₂)>T时，说明该左图像中肤色区域的质心点与该右图像中肤色区域的质心点不匹配，并舍弃该左图像中肤色区域的质心点和该右图像中肤色区域的质心点；

S25：重复上述步骤S20～S24直至对右相机图像中的多个肤色区域全部完成匹配关系判断；

S26：根据S6中得到的内参数和外参数，计算相匹配的质心点在世界坐标系中的坐标，首先，假设u_l、u_r分别为某对相匹配的质心点在左图像坐标系中的横坐标和在右图像坐标系中的横坐标，按下式计算左相机和右相机的视差D：

D＝u_l-u_r；

S27：假设左相机的焦距为f_c，左相机的光心和右相机的光心之间的距离为b，以左相机的光心为原点建立世界坐标系，其中，该世界坐标系为左手坐标系，按下式计算左相机在世界坐标系中的坐标z_c：

$z_c=b\frac{f_c}{d};$

S28：假设该对相匹配的质心点在左图像坐标系中的纵坐标为v_l，该对相匹配的质心点在左图像坐标系中的坐标对应世界坐标系中坐标为(x_w，y_w，z_w)的点，则按下式计算x_w，y_w，z_w的值，其中s为倾斜因子：

$z_c\left[\begin{array}{c}{u}_l\\ v_l\\ 1\end{array}\right]=\left[\begin{array}{cccc}{f}_x& s& c_x& 0\\ 0& f_y& c_y& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 0\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right];$

S29：经过一设定时间间隔后，在t1时刻，重复上述步骤S10～S28；

S30：判断被采集者的脸部的质心点是否被舍弃，如果未被舍弃，则进行步骤S31；

S31：假设t0时刻采集到的图像计算出的脸部的质心点的坐标在世界坐标系中的坐标为P_t0(x0,y0,z0)，t1时刻采集到的图像计算出的脸部的质心点的坐标在世界坐标系中的坐标为P_t1(x′,y′,z′)，设定一左右平移阈值ε和一前后平移阈值δ，并进行以下判断：

①若y′-y0<0，则判定被采集者发生了下蹲的动作，

②若x′-x0<ε，则判定被采集者向左发生了平移，

③若x′-x0>ε，则判定被采集者向右发生了平移，

④若z′-z0<δ，则判定被采集者向前发生了平移，

⑤若z′-z0>δ，则判定被采集者向后发生了平移。

可选的，S12中的多个肤色区域还包括被采集者的左手和右手，当S30中未舍弃被采集者左手和右手的质心点时，相应的，上述基于双目视觉的人体姿态动作研究方法还包括一判断手臂姿势的步骤：

被采集者保持双臂伸直，使双臂在同一平面内且双臂所在平面与竖直面呈90度夹角，使用上述步骤S10～S28分别计算出被采集者的脸部、左手和右手的质心点在世界坐标系中的坐标，再分别计算左手与脸部之间的距离和右手与脸部之间的距离，并计算左手与脸部之间的距离和右手与脸部之间的距离的平均值S；

假设t1时刻采集到的图像计算出的左手质心点的坐标在世界坐标系中的坐标为L(x_l,y_l,z_l)，右手质心点的坐标在世界坐标系中的坐标为R(x_r,y_r,z_r)，

则左手质心点与脸部质心点之间的空间向量为该向量的模为 $\left|\stackrel{\&RightArrow;}{P_{t1}L}\right|=\sqrt{{(x_l-x^{\&prime;})}^2+{(y_l-y^{\&prime;})}^2+{(z_l-z^{\&prime;})}^2},$

右手质心点与脸部质心点之间的空间向量为该向量的模为 $\left|\stackrel{\&RightArrow;}{P_{t1}R}\right|=\sqrt{{(x_r-x^{\&prime;})}^2+{(y_r-y^{\&prime;})}^2+{(z_r-z^{\&prime;})}^2},$

计算与之间的夹角θ即为被采集者的双臂张开的角度，

判断与S的关系：当时，左手臂发生弯曲，且越小，左手臂弯曲程度越大，

判断与S的关系：当时，右手臂发生弯曲，且越小，右手臂弯曲程度越大。

可选的，上述基于双目视觉的人体姿态动作研究方法还包括一判断被采集者是否发生快速移动的步骤：

设定一速度阈值V_T,

计算脸部的质心点在t0～t1时间内的移动距离d:

$d=\left|\stackrel{\&RightArrow;}{P_{t0}{P}_{t1}}\right|=\sqrt{{(x^{\&prime;}-x0)}^2+{(y^{\&prime;}-y0)}^2+{(z^{\&prime;}-z0)}^2},$

计算脸部质心在t0～t1时间内的平均速度：

v＝d/(t1-t0),

当v>V_T时，判定被采集者发生了快速移动。

可选的，上述基于双目视觉的人体姿态动作研究方法中的S4包括以下步骤：

对标定板图像进行canny边缘检测和滤波去噪；

利用最小二乘法拟合标定板上最外层的圆形特征点；

根据上述两步骤的结果计算多个圆形特征点在对应的图像坐标系中的坐标。

本发明还提供了一种实施上述基于双目视觉的人体姿态动作研究方法的系统，该系统包括：双目标定模块，质心提取模块，质心匹配模块，三维坐标获取模块，姿态识别模块，其中，

双目标定模块用于对左相机和右相机进行双目标定；

质心提取模块用于提取左相机图像和右相机图像中的肤色区域的质心点的坐标；

质心匹配模块用于判断左相机图像中的肤色区域与对应的右相机图像中的肤色区域是否匹配；

三维坐标获取模块用于计算相匹配的肤色区域的质心点在世界坐标系中的坐标；

姿态识别模块用于识别被采集者的姿态。

本发明利用了双目立体视觉原理，通过获取左右相机的视频帧中相应人体部位的三维坐标点信息，能够较准确的判断人体上半身的姿态动作。本发明不需要拍摄大量图像，能够通过实时采集视频帧对人脸和双手等人体关键部位的质心点进行立体匹配，以获取人体关键部位之间的位置关系，运行成本较低。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为双目视觉原理图；

图2为人体肤色在RGB空间的分布图；

图3为人体肤色在YCrCb空间的分布图；

图4为本发明一实施例的左相机图像和右相机图像；

图5为本发明一实施例的左相机图像与经过预处理滤波去噪、肤色检测、二值化处理及滤波后的左相机图像的对比图；

图6为质心点匹配示意图；

图7为本发明提供的用于实施基于双目视觉的人体姿态动作研究方法的系统的结构示意图。

附图标记说明：1-用于实施基于双目视觉的人体姿态动作研究方法的系统；10-双目标定模块；11-质心提取模块；12-质心匹配模块；13-三维坐标获取模块；14-姿态识别模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示为双目视觉原理图，如图所示，p(x_c,y_c,z_c)为左相机和右相机采集区域内的一点，o_lu_lv_l为左图像坐标系，o_ru_rv_r为右图像坐标系，其中，左图像坐标系o_lu_lv_l位于左相机的成像面内，其原点为左相机的成像面与其光轴的交点，右图像坐标系o_ru_rv_r位于右相机的成像面内，其原点为右相机的成像面与其光轴的交点，o_lu_lv_l和o_ru_rv_r的u轴均为沿水平方向向右，v轴方向均为竖直向下。点p(x_c,y_c,z_c)在左相机坐标系中的成像点为p_l(u_l,v_l)，在右相机坐标系中的成像点为p_r(u_r,v_r)，根据极线的定义：空间物点、空间物点在左相机中的成像点和空间物点在右相机中的成像点组成的平面分别与左相机的成像平面和右相机的成像平面相交的直线，由图1可知，左相机成像平面内的极线为p_l，右相机成像平面内的极线为p_r。图1中，o_lx_ly_lz_l为左相机坐标系，其原点为左相机的光心，o_rx_ry_rz_r为右相机坐标系，其原点为右相机的光心，o_lx_ly_lz_l和o_rx_ry_rz_r的x轴方向与图像坐标系中u轴的方向相同，y轴方向与图像坐标系中v轴的方向相同。图1中的连接左相机的光心和右相机的光心的线段为基线，基线的长度为b。

下面通过具体实施例说明本发明提供的基于双目视觉的人体姿态动作研究方法。

第一实施例：

本发明的第一实施例用于判断被采集者是否发生了下蹲及左右方向和前后方向的平移，通过以下步骤实现：

S1：将左相机和右相机分别置于与地面平行的同一水平线上，其中，两部相机为同一型号，两部相机之间的距离为设定值，且两部相机均能拍摄到完整的人体上半身，

其中，两部相机均为MV-VS078FC相机，两部相机分别通过三脚架固定于同一水平高度；

S2：对左相机和右相机进行双目标定，首先准备一块带有多个圆形特征点的矩形标定板，其中，多个圆形特征点排列成多行和多列的阵列，位于同一行的圆形特征点的圆心在同一直线上，位于同一列的圆形特征点的圆心在同一直线上，

其中，标定板为一平整的板面，背景为黑色，特征点为白色实心圆，特征点的个数为99个，也可按实际需求设定为其他个数，特征点的大小以人眼能辨识为准，不宜太小或太大；

S3：将标定板置于相机拍摄区域内的至少5个不同方位，并分别使用左相机和右相机对标定板进行拍摄，得到多张对应左相机的左标定板图像和多张对应右相机的右标定板图像；

S4：计算左标定板图像中的多个圆形特征点在左图像坐标系中的坐标，以及右标定板图像中的多个圆形特征点在右图像坐标系中的坐标，其中，左图像坐标系的原点为左相机的成像面与其光轴的交点，右图像坐标系的原点为右相机的成像面与其光轴的交点，其中，S4具体包括以下步骤：

对标定板图像进行canny边缘检测和滤波去噪，

利用最小二乘法拟合所述标定板上最外层的圆形特征点，

根据上述两步骤的结果计算多个所述圆形特征点在对应的图像坐标系中的坐标；

S5：利用极线约束规则分别匹配同一方位下的左标定板图像和右标定板图像，得到每个方位下多个圆形特征点在左图像坐标系和右图像坐标系中的特征圆心；

S6：根据每个方位下多个圆形特征点在左图像坐标系和右图像坐标系中的特征圆心，利用Levenberg-Marquardt算法(L-M优化算法)计算左相机的内参数，以及左相机和右相机组成的相机系统的外参数，其中，内参数至少包括左图像坐标系中u轴的有效焦距f_x、v轴的有效焦距f_y以及左图像坐标系的中心坐标(c_x,c_y)，外参数至少包括旋转向量R和平移向量t；

S7：构建人体肤色模型，首先使用手工标注方法统计大量RGB格式人体图像中的肤色区域的RGB值，得到人体肤色在RGB空间的分布情况；

S8：将RGB空间转化到YCrCb空间，得到人体肤色在YCrCb空间的分布情况；

S9：根据人体肤色在YCrCb空间的分布情况构建人体肤色模型；

如图2所示为人体肤色在RGB空间的分布图，如图3所示为人体肤色在YCrCb空间的分布图；人体肤色模型是描述使用一组值(通常三个值、四个值或者颜色成分)标示颜色方法的抽象数学模型，例如三原色(RGB)模型。

S10：被采集者站立在左相机和右相机的图像采集范围内，在t0时刻，使用左相机和右相机分别采集一帧左相机图像和一帧右相机图像，如图4所示为本发明一实施例的左相机图像和右相机图像；S11：根据人体肤色模型，分别对左相机图像和右相机图像进行预处理滤波去噪及肤色检测，得到左相机图像中的多个连通的肤色区域和右相机图像中的多个连通的肤色区域；

S12：分别对左相机图像中的多个连通的肤色区域和右相机图像中的多个连通的肤色区域进行二值化处理及滤波，获取左相机图像中的多个肤色区域和右相机图像中的多个肤色区域，其中，多个肤色区域至少包括被采集者的脸部；

如图5所示为本发明一实施例的左相机图像与经过预处理滤波去噪、肤色检测、二值化处理及滤波后的左相机图像的对比图，其中左图为左相机拍摄的左相机图像，右图为经过预处理滤波去噪、肤色检测、二值化处理及滤波后的左相机图像，可以看出，经二值化处理和滤波后，原左相机图像中拍摄到的人脸和人手部位被保留，其余部分均被忽略。

S13：分别计算左相机图像和右相机图像中的多个肤色区域的质心点的坐标，首先从左相机图像中的多个肤色区域和右相机图像中的多个肤色区域中取一个肤色区域；

S14：取该肤色区域的最小外接矩形，得到大小为m*n的子图像，其中m为最小外接矩形的宽度，n为最小外接矩形的长度；

S15：假设(i,j)为子图像中以对应的图像坐标系为基准的像素点的坐标，f(i,j)为子图像在该像素点的灰度值，则子图像的矩为：

$M_{\mathrm{pq}}={\mathrm{\&Sigma;}}_{i=1}^n{\mathrm{\&Sigma;}}_{j=1}^m{i}^p{j}^{q}f(i,j);$

S16：分别计算子图像的0阶矩M₀₀和1阶矩M₁₀及M₀₁；

S17：设子图像的质心点的坐标为P(x_c,y_c)，按照下式计算子图像的质心点的坐标：

$x_c=\frac{M_{10}}{M_{00}},y_c=\frac{M_{01}}{M_{00}};$

S18：重复上述步骤S14～S17直至左相机图像中的多个肤色区域和右相机图像中的多个肤色区域全部计算完成；

S19：判断左相机图像中的多个肤色区域分别对应的质心点与右相机图像中的多个肤色区域分别对应的质心点之间的匹配关系，首先设定一灰度相关值阈值T；

S20：从右相机图像中的多个肤色区域中取一个肤色区域，并从左相机图像中取出与该右相机图像的肤色区域对应的肤色区域；

S21：以该右相机图像的肤色区域的质心点的坐标p₁(x₁,y₁)为中心，选定一个大小为(2m′+1)*(2n′+1)的窗口，其中m′，n′为设定值的自然数；

S22：以左相机图像中对应肤色区域的质心点的坐标p₂(x₂,y₂)为中心，也选定一个大小为(2m′+1)*(2n′+1)的窗口，

如图6所示为质心点匹配示意图，其中右相机图像为基准图，左相机图像为配准图，也即左相机图像以右相机图像为基准进行配准，其中区域A为在右相机图像中，以某一肤色区域的质心点为中心选定的大小为(2m′+1)*(2n′+1)的窗口，区域B为右相机图像中的该肤色区域的最小外接矩形，区域A′为以左相机图像中对应肤色区域的质心点为中心选定的大小为(2m′+1)*(2n′+1)的窗口，区域B′为左相机图像中的对应肤色区域的最小外接矩形；

S23：假设I₁(x₁+i,y₁+j)为右相机图像中该肤色区域的质心点周围的像素点的灰度值，为右相机图像中该肤色区域的最小外接矩形包围的区域范围内所有像素点的灰度均值，也即B区域内所有像素点的灰度均值，I₂(x₂+i,y₂+j)为左相机图像中对应肤色区域的质心点周围的像素点的灰度值，为左相机图像中对应肤色区域的最小外接矩形包围的区域范围内所有像素点的灰度均值，也即B′区域内所有像素点的灰度均值，σ(I_k)为标准差，通过以下两式计算该右相机图像的肤色区域与该左相机图像的肤色区域的灰度相关值R(p₁,p₂)：

$\mathrm{\&sigma;}\left(I_k\right)=\sqrt{\frac{\underset{i=-n^{\&prime;}}{\overset{n^{\&prime;}}{\mathrm{\&Sigma;}}}\underset{j=-m^{\&prime;}}{\overset{m^{\&prime;}}{\mathrm{\&Sigma;}}}{I_k}^2(x_k+i,y_k+j)}{({2m}^{\&prime;}+1)({2n}^{\&prime;}+1)}-{\stackrel{\&OverBar;}{\left(I_k(x_k,y_k)\right)}}^2},$ k＝1或2，

$R(p_1,p_2)=\frac{\underset{i=-n^{\&prime;}}{\overset{n^{\&prime;}}{\mathrm{\&Sigma;}}}\underset{j=-m^{\&prime;}}{\overset{m^{\&prime;}}{\mathrm{\&Sigma;}}}[I_1(x_1+i,y_1+j)-\stackrel{\&OverBar;}{I_1(x_1,y_1)}][I_2(x_2+i,y_2+j)-\stackrel{\&OverBar;}{I_2(x_2,y_2)}]}{({2m}^{\&prime;}+1)({2n}^{\&prime;}+1)\sqrt{{\mathrm{\&sigma;}}^2\left(I_1\right)\&times;{\mathrm{\&sigma;}}^2\left(I_2\right)}};$

S24：比较灰度相关值R(p₁,p₂)与灰度相关值阈值T的大小，当R(p₁,p₂)>T时，说明该左图像中肤色区域的质心点与该右图像中肤色区域的质心点不匹配，并舍弃该左图像中肤色区域的质心点和该右图像中肤色区域的质心点，

其中，R(p₁,p₂)的范围为[-1,1]，质心点不匹配的实际意义为该两个质心点不对应同一肤色区域，故需将其舍弃，否则会导致下面步骤中计算出的三维坐标信息不准确；

例如，若设定的灰度相关阈值为0.95，而通过计算得出某一右相机图像中的肤色区域与左相机图像中对应肤色区域的灰度相关值为0.9，则可认定此对质心点是不能匹配的，需将其舍弃。

S25：重复上述步骤S20～S24直至对右相机图像中的多个肤色区域全部完成匹配关系判断；

S26：根据S6中得到的内参数和外参数，计算相匹配的质心点在世界坐标系中的坐标，首先，假设u_l、u_r分别为某对相匹配的质心点在左图像坐标系中的横坐标和在右图像坐标系中的横坐标，按下式计算左相机和右相机的视差D：

D＝u_l-u_r；

S27：假设左相机的焦距为f_c，左相机的光心和右相机的光心之间的距离为b，以左相机的光心为原点建立世界坐标系，其中，该世界坐标系为左手坐标系，按下式计算左相机在世界坐标系中的坐标z_c：

$z_c=b\frac{f_c}{d};$

S28：假设该对相匹配的质心点在左图像坐标系中的纵坐标为v_l，该对相匹配的质心点在左图像坐标系中的坐标对应世界坐标系中坐标为(x_w，y_w，z_w)的点，则按下式计算x_w，y_w，z_w的值，其中s为倾斜因子：

$z_c\left[\begin{array}{c}{u}_l\\ v_l\\ 1\end{array}\right]=\left[\begin{array}{cccc}{f}_x& s& c_x& 0\\ 0& f_y& c_y& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 0\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right];$

S29：经过一设定时间间隔后，在t1时刻，重复上述步骤S10～S28；

S30：判断被采集者的脸部的质心点是否被舍弃，如果未被舍弃，则进行步骤S31；

S31：假设t0时刻采集到的图像计算出的脸部的质心点的坐标在世界坐标系中的坐标为P_t0(x0,y0,z0)，t1时刻采集到的图像计算出的脸部的质心点的坐标在世界坐标系中的坐标为P_t1(x′,y′,z′)，设定一左右平移阈值ε和一前后平移阈值δ，并进行以下判断：

①若y′-y0<0，则判定被采集者发生了下蹲的动作，

②若x′-x0<ε，则判定被采集者向左发生了平移，

③若x′-x0>ε，则判定被采集者向右发生了平移，

④若z′-z0<δ，则判定被采集者向前发生了平移，

⑤若z′-z0>δ，则判定被采集者向后发生了平移。

第二实施例：

本发明的第二实施例用于判断被采集者的手臂姿势，具体的，可判断被采集者的双臂张开的角度以及双臂分别弯曲的程度，S1～S29步骤与第一实施例相同，故不再赘述，假设S12中的多个肤色区域还包括被采集者的左手和右手，且S30中未舍弃被采集者左手和右手的质心点，通过以下步骤判断被采集者的手臂姿势：

被采集者保持双臂伸直，使双臂在同一平面内且双臂所在平面与竖直面呈90度夹角，使用上述步骤S10～S28分别计算出被采集者的脸部、左手和右手的质心点在世界坐标系中的坐标，再分别计算左手与脸部之间的距离和右手与脸部之间的距离，并计算左手与脸部之间的距离和右手与脸部之间的距离的平均值S；

假设t1时刻采集到的图像计算出的左手质心点的坐标在世界坐标系中的坐标为L(x_l,y_l,z_l)，右手质心点的坐标在世界坐标系中的坐标为R(x_r,_yr,z_r)，

则左手质心点与脸部质心点之间的空间向量为该向量的模为 $\left|\stackrel{\&RightArrow;}{P_{t1}L}\right|=\sqrt{{(x_l-x^{\&prime;})}^2+{(y_l-y^{\&prime;})}^2+{(z_l-z^{\&prime;})}^2},$

右手质心点与脸部质心点之间的空间向量为该向量的模为 $\left|\stackrel{\&RightArrow;}{P_{t1}R}\right|=\sqrt{{(x_r-x^{\&prime;})}^2+{(y_r-y^{\&prime;})}^2+{(z_r-z^{\&prime;})}^2},$

计算与之间的夹角θ即为被采集者的双臂张开的角度；

判断与S的关系：当时，左手臂发生弯曲，且越小，左手臂弯曲程度越大，

判断与S的关系：当时，右手臂发生弯曲，且越小，右手臂弯曲程度越大。

第三实施例：

本发明的第三实施例用于判断被采集者在一段时间内是否发生了快速移动，S1～S30步骤与第一实施例相同，故不再赘述，通过以下步骤判断被采集者在一段时间内是否发生了快速移动：

设定一速度阈值V_T；

计算脸部的质心点在t0～t1时间内的移动距离d，

$d=\left|\stackrel{\&RightArrow;}{P_{t0}{P}_{t1}}\right|=\sqrt{{(x^{\&prime;}-x0)}^2+{(y^{\&prime;}-y0)}^2+{(z^{\&prime;}-z0)}^2}$

由于人体运动状态的突变往往在很短时间内完成，故，t0和t1之间的时间间隔不宜过大，这里，t0和t1分别对应的视频帧之间相差五帧图像(可根据实际需要设定t0和t1之间相差的图像帧数)，也即，假设左相机和右相机采集视频的帧率均为f，则t1-t0＝5/f；

计算脸部质心在t0～t1时间内的平均速度：

v＝d/(t1-t0)；

当v>V_T时，判定被采集者发生了快速移动。

本发明还提供了一种用于实施上述基于双目视觉的人体姿态动作研究方法的系统，如图7所示为该系统的结构示意图，该系统包括双目标定模块10，质心提取模块11，质心匹配模块12，三维坐标获取模块13，姿态识别模块14，其中，

双目标定模块10用于对左相机和右相机进行双目标定；

质心提取模块11用于提取左相机图像和右相机图像中的肤色区域的质心点的坐标；

质心匹配模块12用于判断左相机图像中的肤色区域与对应的右相机图像中的肤色区域是否匹配；

三维坐标获取模块13用于计算相匹配的肤色区域的质心点在世界坐标系中的坐标；

姿态识别模块14用于识别被采集者的姿态。

本发明利用了双目立体视觉原理，通过获取左右相机的视频帧中相应人体部位的三维坐标点信息，能够较准确的判断人体上半身的姿态动作。本发明不需要拍摄大量图像，能够通过实时采集视频帧对人脸和双手等人体关键部位的质心点进行立体匹配，以获取人体关键部位之间的位置关系，运行成本较低。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (5)

1.一种基于双目视觉的人体姿态动作研究方法，其特征在于，包括以下步骤：

S1：将左相机和右相机分别置于与地面平行的同一水平线上，其中，两部相机为同一型号，两部相机之间的距离为设定值，且两部相机均能拍摄到完整的人体上半身；

S2：对所述左相机和所述右相机进行双目标定，首先准备一块带有多个圆形特征点的矩形标定板，其中，多个所述圆形特征点排列成多行和多列的阵列，位于同一行的圆形特征点的圆心在同一直线上，位于同一列的圆形特征点的圆心在同一直线上；

S3：将所述标定板置于相机拍摄区域内的至少5个不同方位，并分别使用左相机和右相机对所述标定板进行拍摄，得到多张对应左相机的左标定板图像和多张对应右相机的右标定板图像；

S4：计算所述左标定板图像中的多个所述圆形特征点在左图像坐标系中的坐标，以及所述右标定板图像中的多个所述圆形特征点在右图像坐标系中的坐标，其中，所述左图像坐标系的原点为所述左相机的成像面与其光轴的交点，所述右图像坐标系的原点为所述右相机的成像面与其光轴的交点；

S5：利用极线约束规则分别匹配同一方位下的所述左标定板图像和所述右标定板图像，得到每个方位下多个所述圆形特征点在所述左图像坐标系和所述右图像坐标系中的特征圆心；

S6：根据每个方位下多个所述圆形特征点在所述左图像坐标系和所述右图像坐标系中的特征圆心，利用Levenberg-Marquardt算法计算所述左相机的内参数，以及所述左相机和所述右相机组成的相机系统的外参数，其中，所述内参数至少包括左图像坐标系中u轴的有效焦距f_x、v轴的有效焦距f_y以及左图像坐标系的中心坐标(c_x,c_y)，所述外参数至少包括旋转向量R和平移向量t；

S7：构建人体肤色模型，首先使用手工标注方法统计大量RGB格式人体图像中的肤色区域的RGB值，得到人体肤色在RGB空间的分布情况；

S8：将RGB空间转化到YCrCb空间，得到人体肤色在YCrCb空间的分布情况；

S9：根据人体肤色在YCrCb空间的分布情况构建人体肤色模型；

S10：被采集者站立在所述左相机和所述右相机的图像采集范围内，在t0时刻，使用所述左相机和所述右相机分别采集一帧左相机图像和一帧右相机图像；

S11：根据所述人体肤色模型，分别对所述左相机图像和所述右相机图像进行预处理滤波去噪及肤色检测，得到所述左相机图像中的多个连通的肤色区域和所述右相机图像中的多个连通的肤色区域；

S12：分别对所述左相机图像中的多个连通的肤色区域和所述右相机图像中的多个连通的肤色区域进行二值化处理及滤波，获取所述左相机图像中的多个肤色区域和所述右相机图像中的多个肤色区域，其中，所述多个肤色区域至少包括被采集者的脸部；

S13：分别计算所述左相机图像和所述右相机图像中的多个肤色区域的质心点的坐标，首先从所述左相机图像中的多个肤色区域和所述右相机图像中的多个肤色区域中取一个肤色区域；

S14：取该肤色区域的最小外接矩形，得到大小为m*n的子图像，其中m为所述最小外接矩形的宽度，n为所述最小外接矩形的长度；

S15：假设(i,j)为所述子图像中以对应的图像坐标系为基准的像素点的坐标，f(i,j)为所述子图像在该像素点的灰度值，则所述子图像的矩为：

$M_{\mathrm{pq}}={\mathrm{\&Sigma;}}_{i=1}^n{\mathrm{\&Sigma;}}_{j=1}^m{i}^p{j}^{q}f(i,j);$

S16：分别计算所述子图像的0阶矩M₀₀和1阶矩M₁₀及M₀₁；

S17：设所述子图像的质心点的坐标为P(x_c,y_c)，按照下式计算所述子图像的质心点的坐标：

$x_c=\frac{M_{10}}{M_{00}},y_c=\frac{M_{01}}{M_{00}};$

S18：重复上述步骤S14～S17直至所述左相机图像中的多个肤色区域和所述右相机图像中的多个肤色区域全部计算完成；

S19：判断所述左相机图像中的多个肤色区域分别对应的质心点与所述右相机图像中的多个肤色区域分别对应的质心点之间的匹配关系，首先设定一灰度相关值阈值T；

S20：从所述右相机图像中的多个肤色区域中取一个肤色区域，并从所述左相机图像中取出与该右相机图像的肤色区域对应的肤色区域；

S21：以该右相机图像的肤色区域的质心点的坐标p₁(x₁,y₁)为中心，选定一个大小为(2m′+1)*(2n′+1)的窗口，其中m′，n′为设定值的自然数；

S22：以左相机图像中对应肤色区域的质心点的坐标p₂(x₂,y₂)为中心，也选定一个大小为(2m′+1)*(2n′+1)的窗口；

S23：假设I₁(x₁+i,y₁+j)为右相机图像中该肤色区域的质心点周围的像素点的灰度值，为右相机图像中该肤色区域的最小外接矩形包围的区域范围内所有像素点的灰度均值，I₂(x₂+i,y₂+j)为左相机图像中对应肤色区域的质心点周围的像素点的灰度值，为左相机图像中对应肤色区域的最小外接矩形包围的区域范围内所有像素点的灰度均值，σ(I_k)为标准差，通过以下两式计算该右相机图像的肤色区域与该左相机图像的肤色区域的灰度相关值R(p₁,p₂)：

$\mathrm{\&sigma;}\left(I_k\right)=\sqrt{\frac{\underset{i=-n^{\&prime;}}{\overset{n^{\&prime;}}{\mathrm{\&Sigma;}}}\underset{j=-m^{\&prime;}}{\overset{m^{\&prime;}}{\mathrm{\&Sigma;}}}{I_k}^2(x_k+i,y_k+j)}{({2m}^{\&prime;}+1)({2n}^{\&prime;}+1)}-{\stackrel{\&OverBar;}{\left(I_k(x_k,y_k)\right)}}^2},$ k＝1或2，

$R(p_1,p_2)=\frac{\underset{i=-n^{\&prime;}}{\overset{n^{\&prime;}}{\mathrm{\&Sigma;}}}\underset{j=-m^{\&prime;}}{\overset{m^{\&prime;}}{\mathrm{\&Sigma;}}}[I_1(x_1+i,y_1+j)-\stackrel{\&OverBar;}{I_1(x_1,y_1)}][I_2(x_2+i,y_2+j)-\stackrel{\&OverBar;}{I_2(x_2,y_2)}]}{({2m}^{\&prime;}+1)({2n}^{\&prime;}+1)\sqrt{{\mathrm{\&sigma;}}^2\left(I_1\right)\&times;{\mathrm{\&sigma;}}^2\left(I_2\right)}};$

S24：比较灰度相关值R(p₁,p₂)与灰度相关值阈值T的大小，当R(p₁,p₂)>T时，说明该左图像中肤色区域的质心点与该右图像中肤色区域的质心点不匹配，并舍弃该左图像中肤色区域的质心点和该右图像中肤色区域的质心点；

S25：重复上述步骤S20～S24直至对所述右相机图像中的多个肤色区域全部完成匹配关系判断；

S26：根据S6中得到的内参数和外参数，计算相匹配的质心点在世界坐标系中的坐标，首先，假设u_l、u_r分别为某对相匹配的质心点在左图像坐标系中的横坐标和在右图像坐标系中的横坐标，按下式计算所述左相机和所述右相机的视差D：

D＝u_l-u_r；

S27：假设所述左相机的焦距为f_c，所述左相机的光心和所述右相机的光心之间的距离为b，以所述左相机的光心为原点建立世界坐标系，其中，该世界坐标系为左手坐标系，按下式计算所述左相机在世界坐标系中的坐标z_c：

$z_c=b\frac{f_c}{d};$

S28：假设该对相匹配的质心点在左图像坐标系中的纵坐标为v_l，该对相匹配的质心点在左图像坐标系中的坐标对应世界坐标系中坐标为(x_w，y_w，z_w)的点，则按下式计算x_w，y_w，z_w的值，其中s为倾斜因子：

$z_c\left[\begin{array}{c}{u}_l\\ v_l\\ 1\end{array}\right]=\left[\begin{array}{cccc}{f}_x& s& c_x& 0\\ 0& f_y& c_y& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 0\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right];$

S29：经过一设定时间间隔后，在t1时刻，重复上述步骤S10～S28；

S30：判断被采集者的脸部的质心点是否被舍弃，如果未被舍弃，则进行步骤S31；

S31：假设t0时刻采集到的图像计算出的脸部的质心点的坐标在世界坐标系中的坐标为P_t0(x0,y0,z0)，t1时刻采集到的图像计算出的脸部的质心点的坐标在世界坐标系中的坐标为P_t1(x′,y′,z′)，设定一左右平移阈值ε和一前后平移阈值δ，并进行以下判断：

①若y′-y0<0，则判定被采集者发生了下蹲的动作，

②若x′-x0<ε，则判定被采集者向左发生了平移，

③若x′-x0>ε，则判定被采集者向右发生了平移，

④若z′-z0<δ，则判定被采集者向前发生了平移，

⑤若z′-z0>δ，则判定被采集者向后发生了平移。

2.根据权利要求1所述的基于双目视觉的人体姿态动作研究方法，其特征在于，S12中所述的多个肤色区域还包括被采集者的左手和右手，且S30中未舍弃被采集者左手和右手的质心点，相应的，进一步包括一判断手臂姿势的步骤：

被采集者保持双臂伸直，使双臂在同一平面内且双臂所在平面与竖直面呈90度夹角，使用上述步骤S10～S28分别计算出被采集者的脸部、左手和右手的质心点在世界坐标系中的坐标，再分别计算左手与脸部之间的距离和右手与脸部之间的距离，并计算左手与脸部之间的距离和右手与脸部之间的距离的平均值S；

假设t1时刻采集到的图像计算出的左手质心点的坐标在世界坐标系中的坐标为L(x_l,y_l,z_l)，右手质心点的坐标在世界坐标系中的坐标为R(x_r,y_r,z_r)，

则左手质心点与脸部质心点之间的空间向量为该向量的模为 $\left|\stackrel{\&RightArrow;}{P_{t1}L}\right|=\sqrt{{(x_l-x^{\&prime;})}^2+{(y_l-y^{\&prime;})}^2+{(z_l-z^{\&prime;})}^2},$

右手质心点与脸部质心点之间的空间向量为该向量的模为 $\left|\stackrel{\&RightArrow;}{P_{t1}R}\right|=\sqrt{{(x_r-x^{\&prime;})}^2+{(y_r-y^{\&prime;})}^2+{(z_r-z^{\&prime;})}^2},$

计算与之间的夹角θ即为被采集者的双臂张开的角度，

判断与S的关系：当时，左手臂发生弯曲，且越小，左手臂弯曲程度越大，

判断与S的关系：当时，右手臂发生弯曲，且越小，右手臂弯曲程度越大。

3.根据权利要求1所述的基于双目视觉的人体姿态动作研究方法，其特征在于，进一步包括一判断被采集者是否发生快速移动的步骤：

设定一速度阈值V_T,

计算脸部的质心点在t0～t1时间内的移动距离d:

$d=\left|\stackrel{\&RightArrow;}{P_{t0}{P}_{t1}}\right|=\sqrt{{(x^{\&prime;}-x0)}^2+{(y^{\&prime;}-y0)}^2+{(z^{\&prime;}-z0)}^2},$

计算脸部质心在t0～t1时间内的平均速度：

v＝d/(t1-t0),

当v>V_T时，判定被采集者发生了快速移动。

4.根据权利要求1所述的基于双目视觉的人体姿态动作研究方法，其特征在于，S4包括以下步骤：

对标定板图像进行canny边缘检测和滤波去噪；

利用最小二乘法拟合所述标定板上最外层的圆形特征点；

根据上述两步骤的结果计算多个所述圆形特征点在对应的图像坐标系中的坐标。

5.一种实施权利要求1所述的基于双目视觉的人体姿态动作研究方法的系统，其特征在于，包括：双目标定模块，质心提取模块，质心匹配模块，三维坐标获取模块，姿态识别模块，其中，

所述双目标定模块用于对左相机和右相机进行双目标定；

所述质心提取模块用于提取所述左相机图像和所述右相机图像中的肤色区域的质心点的坐标；

所述质心匹配模块用于判断所述左相机图像中的肤色区域与对应的右相机图像中的肤色区域是否匹配；

所述三维坐标获取模块用于计算相匹配的肤色区域的质心点在世界坐标系中的坐标；

所述姿态识别模块用于识别被采集者的姿态。