CN101630410B - 一种基于单摄像机的人体坐姿判定方法 - Google Patents

Abstract

本发明利用由单个摄像机实时采集人体及其附近区域的视频信息，基于运动对象检测技术检出活动的人体区域，通过特征分析得到人体上半身轮廓，通过脸部特征检测到脸、眼和嘴所在矩形区域，在此基础上，定位上半身中轴线、脸部中轴线和眼嘴三角形，并通过分析多类不良坐姿与上半身中轴线、脸部中轴线和眼嘴三角形的关系，确定人体坐姿。

Description

一种基于单摄像机的人体坐姿判定方法

技术领域

本发明涉及一种利用摄像机获取的视频图像进行人体坐姿判定的方法。目的是通过摄像头实时采集人的坐姿，并运用目标分割、轮廓提取、面部特征定位等技术，再通过匹配姿势特征得出对坐姿的评价，属于计算机视觉技术领域。

背景技术

现今，通过计算机提高工作效率广泛地应用于各行各业中，越来越多的人只要坐在电脑前便可完成所有的工作。但是，在计算机日益普及的同时，一种以往常见于中老年人群的疾病——腰颈椎病，近年来发病年龄明显趋向年轻化。腰颈椎病是一种很难根治的慢性病，其发病率连年上涨，已严重地影响到人们的健康。

医学专家们在对腰颈椎病进行了长期的临床研究后发现，腰颈椎病年轻患者大部分都从事计算机工作，每天使用计算机时间超过6小时，这一结果表明腰颈椎病与长期保持不正确坐姿有着很大的关系。人们在长期保持坐姿时，会根据身体需要不自觉地经常调整着力点或改变各种姿势，从而达到舒适的感觉，但是，舒适的坐姿并不一定是正确的坐姿，当人们在专注于工作时很难时刻提醒自己保持正确坐姿，又不可能专门雇用医生在办公室纠正坐姿，因此，有必要通过某种方法帮助那些长期伏案工作的人纠正不正确的坐姿。

现有的能够实现上述功能的方法有两类：

■第一类是使用特制的座椅，这类方法通过在座椅的座位、椅背等处安装多个感受压力的传感器，然后通过分析各压力传感器的压力差来确定使用者的坐姿是否正确，如果不正确则报警。

■第二类是使用多个摄像头，这类方法在使用者周围固定的方位和高度安装多个摄像头，然后通过分析多个摄像头在同一时刻采集的图像来确定使用者的坐姿是否正确，如果不正确则报警。

上述两类方法的成本都比较高，需要购买特制的座椅或者安装多个摄像头，如果其中的某个传感器或摄像头出现了故障，则整个系统将无法正常工作。基于以上原因，我们发明了一种可以借助单个摄像头获取的视频图像自动帮助人们纠正坐姿方法，不仅可以大大的减少长期使用计算机者的腰颈椎发病率，而且成本低廉。

发明内容

本发明的目的是提供一种对人体坐姿的判定方法。该方法利用单摄像机实时获取当前人体坐姿，以视频分析技术为基础，通过与预定义的一系列不正确坐姿进行比较来判定人体坐姿是否合理。

为实现上述目的，本发明采用下述技术方案。其特征在于包括以下步骤：

步骤一：由单个摄像机实时采集人体及其周边区域的视频信息，基于运动对象检测方法检出人体区域，在检出的人体区域中，通过特征分析得到人体上半身轮廓；

步骤二：通过脸部特征检测方法提取所述视频信息中脸所在的矩形区域、双眼所在的两个矩形区域以及嘴所在的矩形区域；

步骤三：基于所述人体上半身轮廓拟合出人体上半身中轴线，基于所述脸所在的矩形区域定位脸部中轴线，并通过由双眼所在的两个矩形区域以及嘴所在的矩形区域计算出的三个几何中点得到眼嘴三角形；

步骤四：根据所述上半身中轴线的方向、脸部中轴线的方向，以及眼嘴三角形的形状参数，这三者中的一个或多个来确定被检测对象的坐姿。

所述步骤一中的运动对象检测方法为背景减方法、光流法、像素递归法中的一个或多个。

所述步骤一中的特征分析方法为边缘特征分析法或连通区域分析法。

所述步骤一中，通过特征分析得到人体上半身轮廓时，首先利用融合变化检测和形态学方法进行视频分割，然后采用Canny算子提取前景图像的边缘以确定人体的上半身轮廓。

所述步骤三中的上半身中轴线是通过在人体上半身轮廓区域内画出多条水平线，进而将每一条水平线与所述上半身轮廓区域相交得到的两个交点的中点进行拟合获得的。

所述步骤三中的脸部中轴线是所述脸部所在的矩形区域的垂直中轴线，眼嘴三角形是通过连接双眼和嘴所在的矩形区域的中心点得到的。

一种基于单摄像机的人体坐姿判定装置，其特征在于包括以下部分：

躯体特征分析单元，用于接受由单个摄像机实时采集的人体及其周边区域的视频信息，并基于运动对象检测方法检出人体区域，在检出的人体区域中，通过特征分析得到人体上半身轮廓；

头部特征分析单元，用于通过脸部特征检测方法提取所述视频信息中脸所在的矩形区域，并在所述脸所在的矩形区域中检测出双眼所在的两个矩形区域以及嘴所在的矩形区域；

特征计算单元，用于根据所述人体上半身轮廓拟合出人体上半身中轴线，基于所述脸所在的矩形区域定位脸部中轴线，并通过由双眼所在的两个矩形区域以及嘴所在的矩形区域计算出的三个几何中点得到眼嘴三角形；

坐姿判定单元，用于根据所述上半身中轴线的方向、脸部中轴线的方向，以及眼嘴三角形的形状参数，这三者中的一个或多个来确定被检测对象的坐姿。

所述躯体特征分析单元中采用的特征分析方法为边缘特征分析法或连通区域分析法。

所述躯体特征分析单元中在通过特征分析得到人体上半身轮廓时，首先利用融合变化检测和形态学方法进行视频分割，然后采用Canny算子提取前景图像的边缘以确定人体的上半身轮廓。

所述特征计算单元中上半身中轴线是通过在人体上半身轮廓区域内画出多条水平线，进而将每一条水平线与所述上半身轮廓区域相交得到的两个交点的中点进行拟合获得的。

所述坐姿判定单元中的脸部中轴线是所述脸部所在的矩形区域的垂直中轴线，眼嘴三角形是通过连接双眼和嘴所在的矩形区域的中心点得到的。

本发明所提供的基于单摄像机获取的视频流进行人体坐姿判定的方法可以有效判定伏案工作者坐姿的合理性并提出相应的警告，从而减少腰颈椎病的发病率。有关的测试结果表明，本方法能正确判定预定义的各类不合理坐姿且取得了较好的使用效果。

附图说明

图1是本发明实现流程图。

图2是本发明实现中运动对象检测功能模块图。

具体实施方式

前已述及，本发明利用单摄像机获取被监测对象的实时视频信息，用运动对象检测方法提取被监测对象上半身区域，再使用特征分析方法得到上半身轮廓，脸部特征检测方法得到脸部、双眼和嘴所在的区域，在这些检测出的特征区域的基础上，通过比较上半身中轴线方向、脸部中轴线方向以及眼嘴三角形的比例变化确定被监测对象的坐姿，实现了对人体坐姿的判定。

下面结合附图说明本发明的实现方式，图1中明确表示了本发明的过程。第一步，由单个摄像机实时采集人体及其周边区域的视频信息，基于运动对象检测技术检测出活动的人体区域，在检出的人体区域中，通过特征分析(例如边缘特征、连通区域等)得到人体上半身轮廓；第二步，通过脸部特征检测方法得到到脸、眼和嘴所在的矩形区域；第三步，基于上半身轮廓拟合出上半身中轴线，基于脸所在的矩形区域定位脸部中轴线，基于眼和嘴所在矩形区域的几何中心得到眼嘴三角形；第四步，预定义人体的多类不良坐姿，例如身体歪斜、身体旋转、身体前倾、头部歪斜、头部旋转、头部前倾等，然后，通过比较多类不良坐姿与上半身中轴线方向、脸部中轴线方向和眼嘴三角形的比例关系，判定人体坐姿是否正确。

步骤一：在实时采集的视频帧中，采用运动对象检测方法检出人体所在区域，并通过特征分析方法得到人体上半身轮廓。

由于摄像头所获取的信息既包括本发明所需要的前景(被监测对象)信息，而且包括背景信息，因此，首先需要对背景进行清除，然后再对前景进行增强。

步骤一的具体实施步骤如下：

11)运动对象检测

本发明中，运动对象检测的功能模块如附图2所示，输入的信息是一系列实时采集的视频帧，经过背景消除、高斯/形态滤波和对象提取等功能模块，输出检测到的运动对象，其中的反馈环节是背景更新模块，背景更新既可以采用简单的固定帧(定时更新)模型，也可以采用多帧加权平均等模型。

通过运动对象检测，可以将办公桌、座椅等静止的背景消除，留下人体上半身的二值图像。

12)运动对象边缘提取

边缘提取是对运动对象检测得到的前景图像进一步处理，从而得到完整的边缘线。用于边缘提取的典型一阶微分算子有Roberts算子、Prewitt算子、Sobel算子，二阶算子有Laplace算子、LOG算子等，这些算子虽然简单并易于实现，但是它们对图像中的噪声非常敏感，实际应用中效果并不理想。相比之下，基于最优化算法的Canuny算子具有信噪比大和检测精度高的优点，故本发明采用Canny算子进行上半身轮廓提取。经过反复实验，我们发现对于一般的室内场景，Canny算子低阈值在10时高阈值在40-60间较为准确。

13)上半身轮廓确定

Canny算子边缘提取之后，得到一幅前景图像的边缘图。该图中消除了背景信息，不再有背景像素的干扰，图中仅存在所需要的前景图像。并且，在图中简单的前景图像也被Canny算子具体化，得到一系列不规则的曲线。但这些曲线杂乱无章，既包括人上半身的轮廓，也包括人衣服的褶皱、图案和脸部器官。因此还需要有准确地找出那些边缘构成人体上半身轮廓。

本发明中，总结了人体上半身轮廓所具有的3个特点，根据这些特点设计出一种简便、速度快、准确率高的上半身轮廓提取算法。

■上半身轮廓从最下方处向上延伸，两点间距离变化较小

■上半身轮廓为身体区域最“外侧”的曲线

■身体区域自下向上，每条水平线上两个轮廓点之间的差值逐渐减少

步骤二：通过脸部特征分析提取脸、双眼和嘴所在的矩形区域

头部姿态很好地反映了人体颈椎受力的状况，本发明通过分析脸部的多个特征判定头部姿态，因此，需要得到人脸和眼睛、嘴的具体位置。

步骤二的具体实施步骤如下：

21)人脸定位

本发明采用Haar分类器实现人脸的定位，在人脸定位时的输入图像既可以选择原始图像，也可以选择运动对象检测或者对象边缘提取后的图像。经过分析和实验后发现，对于原始图像，其中包括人或物等许多背景干扰因素，不但会降低人脸定位的准确率，同时还会增大系统运行时间；而对于对象边缘提取后的图像，前景人物被表示为若干条无规律的曲线，也不能很好的提取人脸特征，此外，在采用Canny算子提取对象边缘时，为达到理想的提取效果，其阈值设置要求非常高。所以，在本发明中，人脸定位的输入图像选定为运动对象检测后的图像。

由于Haar分类器的运算过程比较复杂，对一帧分辨率800×600的图像来说，一般检测时间为400ms左右，不能满足实时需求，因此，本发明中，在采用Haar分类器定位人脸之前，首先对图像进行下采样，然后规定人脸的最小检测尺寸。这样，不仅提高了检测速度而且精度可达到预期目标，例如，将分辨率800×600的图像下采样为200×150的图像，并且规定人脸的最小尺寸为40×40之后，人脸定位的速度提高到30ms/帧。

22)双眼和嘴的定位

在人脸定位的基础上，本发明仍采用Haar分类器实现双眼和嘴的定位，在定位过程中，由于分类器判定的不确定性，定位结果可能会出现不合逻辑的错位现象，例如嘴在双眼上方、双眼重叠等现象。为了解决这些问题，本发明在双眼和嘴的定位过程中定义了一些约束条件，例如，嘴应在脸部的中部偏下位置，双眼在嘴的上方，左眼和右眼的位置关系等，根据这些约束条件，可以对分类器得出的结果进行分析，排除不正确的定位。

步骤三：基于人体上半身轮廓拟合人体上半身中轴线，基于脸所在的矩形区域定位脸部中轴线，并通过由双眼所在的两个矩形区域以及嘴所在的矩形区域计算出的三个几何中点得到眼嘴三角形

步骤三的具体实施步骤如下：

31)拟合人体上半身中轴线

人体上半身的中点线可以表示上半身的基本状态，是人体重心轴的一种体现，可据此判断人体上半身的基本姿态。本发明中，在人体上半身轮廓区域内画出多条水平线，每一条水平线都会与人体上半身轮廓有两个交点，构成人体上半身区域内的多条水平线段，然后计算出这些水平线段的中点，并对所有计算出来的中点进行线性回归，从而将散乱的点归整为一条直线，这条直线给出了人上半身的姿态，是姿态判定的依据，我们称之为人体上半身中轴线。

32)取得人脸矩形的中线

人脸区域的中轴线可以表示脸部的位置，可据此判断头部的基本姿态。因为人脸的矩形区域已经得到，所以，人脸区域中轴线与人体上半身中轴线的获取方法不同，可直接通过人脸矩形区域得到。

33)计算出眼嘴三角形

人类的双眼和嘴具有确定的位置关系，这一关系也可以被用于头部姿态判定。因为在本发明的步骤二中已经得到了双眼和嘴部的矩形区域，所以也能够容易地计算出这些矩形区域的几何中心，将这三个几何中心连接后，就得到了眼嘴三角形。

步骤四：根据所述上半身中轴线和脸部中轴线的方向，以及眼嘴三角形的比例变化确定被检测对象的坐姿

步骤四的具体实施步骤如下：

41)定义人体的多类不良坐姿

根据人体工学的研究，对人体有危害的不良坐姿可分为6种，它们分别是身体歪斜、身体旋转、身体前倾、头部歪斜、头部旋转、头部前倾。故本发明中预定义的不良坐姿为：身体歪斜、身体旋转、身体前倾、头部歪斜、头部旋转、头部前倾。

■身体歪斜：是指在正确姿势下，身体沿垂直平面发生旋转导致的不良坐姿；

■身体旋转：是指在正确姿势下，身体沿水平平面发生旋转导致的不良坐姿；

■身体前倾：是指在正确姿势下，身体减小腰椎的前向角度而导致的不良坐姿

■头部歪斜：是指在正确姿势下，头部沿垂直平面发生旋转导致的不良坐姿；

■头部旋转：是指在正确姿势下，头部沿水平平面发生旋转导致的不良坐姿；

■头部前倾：是指在正确姿势下，头部减小颈椎的前向角度而导致的不良坐姿

42)人体坐姿合理性的判定

对于步骤四在(1)中预定义的6种不良坐姿可以通过步骤三得到的两条中轴线和一个三角形的特征参数进行判断，根据每种坐姿的普遍特性，特征参数将会呈现不同状态，特征参数间的关系也不相同。具体判定方法如下：

■身体歪斜不良坐姿：身体歪斜会导致边缘不对称，上半身中轴线的方向可以体现出这种不对称关系，本发明中，通过判定上半身中轴线的斜率是否满足阈值范围确定身体歪斜坐姿。

■身体旋转不良坐姿：身体旋转会使身体与头部的相对位置发生变化，本发明中，通过判定上半身中轴线与脸部中轴线的距离变化确定身体旋转坐姿。

■身体前倾不良坐姿：身体前倾会使人脸与摄像头的距离缩短，同时人脸在图像中所占比例增大，本发明中，通过判定人脸中轴线在整个图像中所占比例的变化确定身体前倾坐姿。

■头部歪斜不良坐姿：头部歪斜时，双眼的高度会发生变化，其连线将与水平线形成一定角度，本发明中，通过判定眼嘴三角形底边的斜率是否满足阈值范围确定头部歪斜坐姿。

■头部旋转不良坐姿：头部旋转过程中，双眼会同时向旋转方向移动，造成双眼与脸部中轴线的位置关系发生变化，旋转角度较大时，甚至会出现双眼在脸部中轴线同侧的情况，本发明中，通过判定人脸中轴线与眼嘴三角形底边中点的距离确定头部旋转坐姿。

■头部前倾不良坐姿：头部前倾会导致双眼与嘴的距离发生变化，而在此过程中，双眼的距离不会发生变化，本发明中，通过判定眼嘴三角形底边和高的比例确定头部前倾坐姿。

如果不属于这6种不良坐姿，则认为是合理坐姿。各种不良坐姿及其所利用的步骤三中得到的特征参数之间的关系如表1所示。

表1.特征参数与不良姿态的关系

以上公开的仅为本发明的具体实例，根据本发明提供的思想，本领域的技术人员能思及的变化，都应落入本发明的保护范围内。

Claims (10)

1.一种基于单摄像机的人体坐姿判定方法，其特征在于包括以下步骤：

步骤一：由单个摄像机实时采集人体及其周边区域的视频信息，基于运动对象检测方法检出人体区域，在检出的人体区域中，通过特征分析得到人体上半身轮廓；

步骤二：通过脸部特征检测方法提取所述视频信息中脸所在的矩形区域，并在所述脸所在的矩形区域中检测出双眼所在的两个矩形区域以及嘴所在的矩形区域；

步骤三：基于所述人体上半身轮廓拟合出人体上半身中轴线，基于所述脸所在的矩形区域定位脸部中轴线，并通过由双眼所在的两个矩形区域以及嘴所在的矩形区域计算出的三个几何中点得到眼嘴三角形；

步骤四：根据所述上半身中轴线的方向、脸部中轴线的方向，以及眼嘴三角形的形状参数，这三者中的一个或多个来确定被检测对象的坐姿。

2.如权利要求1所述的方法，其特征在于：所述步骤一中的特征分析方法为边缘特征分析法或连通区域分析法。

3.如权利要求1所述的方法，其特征在于：所述步骤一中，通过特征分析得到人体上半身轮廓时，首先利用融合变化检测和形态学方法进行视频分割，然后采用Canny算子提取前景图像的边缘以确定人体的上半身轮廓。

4.如权利要求1所述的方法，其特征在于：所述步骤三中的上半身中轴线是通过在人体上半身轮廓区域内画出多条水平线，进而将每一条水平线与所述上半身轮廓区域相交得到的两个交点的中点进行拟合获得的。

5.如权利要求1所述的方法，其特征在于：所述步骤三中的脸部中轴线是所述脸部所在的矩形区域的垂直中轴线，眼嘴三角形是通过连接双眼和嘴所在的矩形区域的中心点得到的。

6.一种基于单摄像机的人体坐姿判定装置，其特征在于包括以下部分：

躯体特征分析单元，用于接受由单个摄像机实时采集的人体及其周边区域的视频信息，并基于运动对象检测方法检出人体区域，在检出的人体区域中，通过特征分析得到人体上半身轮廓；

头部特征分析单元，用于通过脸部特征检测方法提取所述视频信息中脸所在的矩形区域，并在所述脸所在的矩形区域中检测出双眼所在的两个矩形区域以及嘴所在的矩形区域；

特征计算单元，用于根据所述人体上半身轮廓拟合出人体上半身中轴线，基于所述脸所在的矩形区域定位脸部中轴线，并通过由双眼所在的两个矩形区域以及嘴所在的矩形区域计算出的三个几何中点得到眼嘴三角形；

坐姿判定单元，用于根据所述上半身中轴线的方向、脸部中轴线的方向，以及眼嘴三角形的形状参数，这三者中的一个或多个来确定被检测对象的坐姿。

7.如权利要求6所述的装置，其特征在于：所述躯体特征分析单元中采用的特征分析方法为边缘特征分析法或连通区域分析法。

8.如权利要求6所述的装置，其特征在于：所述躯体特征分析单元中在通过特征分析得到人体上半身轮廓时，首先利用融合变化检测和形态学方法进行视频分割，然后采用Canny算子提取前景图像的边缘以确定人体的上半身轮廓。

9.如权利要求6所述的装置，其特征在于：所述特征计算单元中上半身中轴线是通过在人体上半身轮廓区域内画出多条水平线，进而将每一条水平线与所述上半身轮廓区域相交得到的两个交点的中点进行拟合获得的。

10.如权利要求6所述的装置，其特征在于：所述坐姿判定单元中的脸部中轴线是所述脸部所在的矩形区域的垂直中轴线，眼嘴三角形是通过连接双眼和嘴所在的矩形区域的中心点得到的。

Images