CN103559491A - 人体动作捕获及姿态分析系统 - Google Patents

Abstract

本发明请求保护一种人体动作捕获及姿态分析系统，以及运用该系统进行前景检测和关节点自动提取的方法。此系统通过摄像头捕获人体运动图像，从中提取人体前景以及人体关节点，然后通过跟踪和识别算法来分析人体动作。本发明采用背景差分法和帧间差分法相结合的算法提取视频中的人体目标，克服了基于背景差分法的前景检测易存在背景噪声干扰的缺陷。并采用多算法融合的方法，实现自动初始化人体关节点，克服了传统的关节点提取方法需要光学标记或人工标注的缺陷，以及现有的自动提取方法计算量大、准确度低的缺陷。此系统复杂度低、准确度高，提高了系统的智能化和效率。

Description

人体动作捕获及姿态分析系统

技术领域

本发明涉及一种人体动作捕获及姿态分析系统，尤其是能应用于计算机视觉领域的系统。 

背景技术

目前，公知的人体动作捕获及姿态分析系统，前景检测通常采用背景差分法，背景建模常使用高斯模型，这种方法计算量大、速度慢，易受阴影影响，检测到的目标图像存在噪音，并且暂停运动的目标会被吸收为背景的一部分，导致目标内部存在空洞。并且，关节点提取通常采用光学标记或人工标定，人为误差较大，自动化程度低，并且目前的自动提取方法通常采用曲线拟合的方法，计算量较大、精确度低，不具有普遍适用性。 

发明内容

为了克服现有的人体动作捕获及姿态分析系统的前景检测结果精度低、关节点提取过程自动化程度低的缺陷，本发明提供一种人体动作捕获及姿态分析系统，能够改善前景检测效果，并且自动初始化人体关节点。 

本发明解决其技术问题所采用的技术方案是：前景检测采用背景差分和帧间差分相结合的方法，关节点提取采用多算法融合，即垂直积分投影、索引查找表、水平线扫描和长度比例约束相融合的方法。 

本发明的有益效果是，可以对人体目标进行完整的检测以及实现关节点的自动定位。 

附图说明

下面结合附图和实施例对本发明进一步说明。 

图1是系统流程图。 

图2是前景检测流程图。 

图3是关节点提取流程图。 

图4是动作识别流程图。 

具体实施方式

在图1中，将摄像头与计算机相连接，打开摄像头开始捕获视频，将捕获到的视频流送入系统的软件部分，软件部分分为四个模块，分别为人体检测模块、特征提取模块、目标跟踪模块、动作识别分析模块。 

在图2中，为人体检测模块，目的是从视频序列中提取出人体目标。首先利用摄像头捕获连续的背景场景，然后将前十帧背景图像进行累加，取平均值后得到平均累积背景图像I_avg。同时对前十帧图像的相邻两帧图像求差值，然后将这些差值的绝对值累加为累积帧差图像，再取平均得到平均累积帧差图像I_diff。选取阈值MIN和MAX，这里的阈值是通过实验得到的经验值，最后根据公式I_avg-MIN·I_diff＜I_back＜I_avg+MAX·I_diff，得到I_back则为背景模型。得到背景模型后，令目标人体进入摄像头捕获范围，保持双臂在两侧水平举起，两腿自然分开一定距离，挺直站立姿态。利用摄像头拍摄一段包含目标人体的视频序列，对每一帧进行背景差分，也就是将当前帧与背景模型做差，于是得到前景图像。由于此时的背景图像存在噪音，因此对图像进行连通域分析，并利用先腐蚀后膨胀的形态学操作得到人体剪影图像。 

在图3中，为特征提取模块，目的是从视频序列中提取人体的16个关节点。首先利用八邻域骨骼化算法对人体剪影图像进行细化，得到人体骨骼图像。八邻域算法是对于图像中的某一像素点p₁，以其上方的相邻像素为起点，按顺时针方向对p₁邻域内的八个像素进行标号，分别为p₂、p₃…p₉。当p₁的八邻域像 素同时满足下面四个条件时，则将其像素值置为0。四个条件如下： 

(1)2≤N(p₁)≤6 

(2)Z(p₁)＝1 

(3)p₂·p₄·p₈＝0或Z(p₂)≠1 

(4)p₂·p₄·p₆＝0或Z(p₄)≠1 

其中N(p₁)表示p₁的八邻域像素中黑色像素点（值为0）的个数，Z(p₁)表示从p₁上方像素点p₂开始按顺时针方向，像素值从0到1的变化次数，到p₂结束。采用上述方法，遍历图像中的每一个像素点，检验以其为中心的八邻域像素是否同时满足以上四个条件，若至少有一个条件不满足，则将其像素值置为1，判断为骨骼点。如此反复操作，最终得到一幅二值化骨骼图像。 

然后采用垂直积分投影算法提取人体的肩、颈关节点，也就是将人体剪影图像向图像x轴投影，得到垂直积分投影图像，以x=minx，x=maxx作两条垂线，从上到下进行扫描，两垂线分别与人体边缘轮廓的第一个交点即为肩关节点，两肩关节点的连线与人体骨骼的交点即为颈部关节点。 

接着采用索引查找表算法提取人体的头、手、脚关节点，也就是将图像中某一像素的八邻域3×3矩阵与矩阵 $\left(\begin{array}{ccc}1& 8& 64\\ 2& 16& 128\\ 4& 32& 256\end{array}\right)$ 的对应元素相乘后求和，得到的就是当前像素的索引值。 

通过计算可知，人体骨骼端点像素对应的索引查找表为： 

{17,80,20,272,24,18,48,144,25,88,89,19,22,23,52,304,308,208,400,464} 

对于骨骼图像，先计算每一个像素点的八邻域形状的索引值，再按照从左到右、从上到下的顺序对像素进行扫描，逐个与索引查找表进行匹配，若在表 中存在，则判断该点为人体端部关节点。最后根据x坐标的大小来区分左、右手和左、右脚，可以得到人体的五个端部关节点。 

再采用水平线扫描算法提取人体的腹、胸、髋关节点，在骨骼图像中，从脚部作一水平线，并使其逐行上移，由于骨骼图像为单像素宽，当水平线与骨骼图像仅有一个交点时，则为腹部关节点。然后从腹部作一水平线，并使其逐行上移，当水平线与骨骼图像交点个数不为1时，则为胸部关节点。在轮廓图像中，从腹部作一水平线，得到水平线与人体边缘轮廓图像的两个交点，分别求两交点与腹部坐标的中点，则为髋部关节点。 

最后采用长度比例约束算法提取人体的肘、膝关节点，假设人体身高为L，取0.2L和0.243L分别作为上臂和下臂的长度，取0.271L和0.286L分别作为大腿和小腿的长度，从而得到人体的肘部、膝部关节点。最终获得人体16个关节点。 

在图4中，为目标跟踪和动作识别分析模块。目标人体的关节点初始化完毕后，目标人体可以开始做任意动作，利用Lucas-Kanade光流跟踪算法对16个关节点进行跟踪，得到每一帧中16个关节点在二维图像中的坐标。 

在识别过程中，选取人体起始姿态的腹部关节点作为中心位置，右侧为正，左侧为负，将双肩、双肘、双髋、双膝这八个关节点的横坐标依次减去中心横坐标，得到8个距离特征，将这8个距离特征标准化后组成一个特征向量，用于分类。利用K近邻分类器对测试样本进行识别，在标准视频中搜索出与其最匹配的一帧作为识别结果。计算测试帧与匹配帧的欧氏距离，作为评价动作相似度的指标。 

Claims (4)

1.一种人体动作捕获及姿态分析系统，利用摄像头捕获人体动作，并对视频进行处理和分析，其特征在于，该系统包括摄像头、前景检测模块、关节点提取模块、光流跟踪器、K近邻分类器、姿态分析模块。

2.依据权利要求1所述的人体动作捕获及姿态分析系统，其特征在于，前景检测采用背景差分和帧间差分相结合的方法，利用帧间差控制背景差分的阈值，提取前景目标。

3.依据权利要求1所述的人体动作捕获及姿态分析系统，其特征在于，关节点提取采用多算法融合的方法，利用垂直积分投影、索引查找表、水平线扫描和长度比例约束相融合的方法，提取人体的16个关节点。

4.依据权利要求1所述的人体动作捕获及姿态分析系统，其特征在于，关节点提取过程规定目标人体保持预定的初始姿态，即双臂在两侧水平举起，两腿自然分开一定距离，挺直站立。

Images