CN102609683A - 一种基于单目视频的人体关节自动标注方法 - Google Patents

Abstract

本发明提出了一种单目视频中的人体关节自动标注方法。实现步骤为前景检测并将前景作为感兴趣区域进行保存，人体区域确定、部分分割以及剪影外轮廓获取，人体骨架获取及骨架关键点获取，利用脸部与手部的相对位置进行人体姿态粗略估计，人体关节点自动标注。在自动标注过程中，综合利用人体剪影轮廓信息、肤色信息以及由剪影获得的骨架信息，能够保证关节点提取的准确性。本发明能够进行准确有效的人体部分分割，并能得到各个肢体部分的姿态信息，对下一步人体特征向量的获取与处理工作提供有利条件。

Description

一种基于单目视频的人体关节自动标注方法

技术领域

本发明属于计算机视觉领域，涉及运动捕捉中的一种自动初始化方法，可用于人体的姿态估计和动作识别。 

背景技术

基于视觉的无标记运动捕捉技术的研究始于20世纪80年代。无标记的运动捕捉技术融合了计算机视觉、计算机图形学、图像处理、人体运动学和人工智能等学科的研究内容，是多学科交叉的一个热门领域，极具挑战性。人体运动捕捉技术具有很强的实用价值，可以广泛应用于各个领域，主要有智能监控系统、新型人机交互、医学诊断分析、电影和动画制作、游戏制作、虚拟现实、基于内容的视频序列索引和检索、运动员辅助训练等。例如，在当前的人机交互系统中，交互方式是非自然的，人需要适应不同机器的不同操作方式。当前使用较多的交互方式主要为键盘、鼠标、触屏等。而随着技术的进步，人们提出了更高的需求，那就是通过人的自然表达，包括语音、动作、表情等，就能与机器进行交流。如果人的这些表达方式能够被机器所理解，那人机交互将会变得更加自然、更加符合人与人之间的交流模式。 

由于运动捕捉的重要应用价值吸引着越来越多研究人员的目光。一些商家已经开始推出商用的运动捕捉系统。目前市场上比较成熟的运动捕捉系统主要有机械电动式、电磁式、声学式和光学式四类接触式运动捕捉系统。但这几种运动捕捉系统要使用价格昂贵、专门的信号发生设备，并且被捕捉对象身上佩戴的特殊的标记会干扰到被捕捉对象的行动，从而影响运动分析的价值，同时对应用场合也有很多的限制。如果能够找到一种解决方案可以克服上 述缺点，则会使这项技术产生广阔的应用前景，如自动智能监控、新型人机交互等。基于以上原因，人们将目光逐渐投向低成本、非接触式的无标记运动捕捉技术。 

从国内外的研究情况来看，运动捕捉技术具有强大的生命力和广阔的应用前景。目前商用的接触式运动捕获系统已被开发出来，在动画电影制作方面取得了一定成果。与商业化的接触式运动捕捉系统相比，基于无标记的运动捕捉领域的研究仍然处于发展初级阶段，在实时性、准确性和鲁棒性方面还不尽如人意。目前，基于视觉的运动捕捉系统中很多方法还处于实验阶段。虽然目前对于运动捕捉的研究存在诸多的难题，但广阔的应用场景与深远的研究意义正不断激励着研究人员进行更为深入的研究。相信这项技术的突破性进展会对人的生活方式产生革命性的影响。 

Aggarwal和Cai将运动捕捉分为身体结构分析、跟踪和识别三个阶段。其中身体结构分析分为基于模型和无模型的方法，跟踪阶段按照使用摄像机的数量划分为单摄像机和多摄像机的方法(单目和多目)，识别阶段则分为基于状态空间和基于模板匹配的方法。基于模型的方法使用先验人体模型作为输入，将姿态估计的阶段分为建模和估算阶段。建模阶段相当于一个创建似然函数的初始化过程，包括人体模型重建、摄像机参数求解、图像特征提取和基于人体生理结构进行的关节运动限制。估算阶段是搜索人体运动姿态的解空间，以寻找使似然函数和目标图像匹配误差最小的解。 

由于目前大多数方法的初始化过程采用人工手动标注关节点，严重影响了系统的实用性要求，故而需要一种自动标注方法来提高系统实用性。这种方法还要具有较高的准确性以及对不同捕捉对象的适应性。 

发明内容

本发明解决的关键问题是人体各部分分割和人体骨架重建。由于不同人的形体大小、衣着以及动作的具体幅度与方式都存在很大差异，能够进行有效的人体各肢体部分分割和人体 骨架模型重建就具有很大的难度，同时也具有很大的价值。如果能够进行准确有效的人体各部分分割，就能够比较容易的获得各个肢体部分的姿态信息，将对下一步人体特征向量的获取与处理工作提供有利条件。而人体骨架重建则面临状态空间过大，数据处理困难的问题。本发明建立了比较简单的人体骨架模型，在不丢失有效信息的情况下，可以尽量减少运算的复杂度。 

为达到上述目的，本发明按以下步骤实现： 

1.前景检测：使用摄像机获取人体运动视频，进行防抖去噪处理。通过背景建模，获取前景区域。为减少后续步骤的运算量，将原彩色图像帧中的前景区域作为感兴趣区域进行保存，在后续的处理步骤中就可以只对此感兴趣区域进行处理，从而提高系统的运算速度； 

2.人体区域确定与分割： 

(1)人体剪影获取：对步骤1中的前景图像进行二值化处理，并使用形态学方法来获取更为完整的剪影图像。计算剪影的面积，去除小的噪点及干扰目标； 

(2)获得剪影的外轮廓：使用边缘检测的方法对剪影图像进行处理，获得剪影的外轮廓。以采样点在图像中的像素位置对轮廓信息进行保存，同时计算轮廓重心所在位置，测量并保存轮廓的宽、高信息。使用轮廓的高度信息对轮廓进行大小归一化，使以后的数据处理及保存更为统一； 

3.人体骨架获取与处理： 

(1)对步骤2中的人体剪影进行细化处理，得到细化骨架； 

(2)骨架特征点提取：首先检测细化骨架中的交点、分叉点作为候选关键点，然后对细化骨架图像进行霍夫直线检测，通过设定霍夫变换的阈值，能够获得最为有效线段信息； 

4.根据脸和手的相对位置进行人体姿态的粗略估计： 

(1)在原图像中分割出人体运动区域进行保存，并将之转换到HSV空间，利用已经训练 好的肤色模型进行肤色检测； 

(2)对肤色提取区域进行二值化处理，并进行形态学操作，获取较为完整的肤色区域； 

(3)利用肤色区域中心位置，进行人体姿态的粗略预估计。具体方法为：计算脸与两手所形成的三角形的顶角角度，由于人体脸部位置相对固定，可以根据此数据判断人体双手的位置与运动信息，此步骤对于人体的关节点位置判定重要意义。 

5.人体关节点自动标注： 

(1)将人体轮廓重心位置作为腹部节点，通过重心点作水平线，记录水平线与人体轮廓的交点，将两交点之间的距离作为人体躯干宽度； 

(2)计算重心点与轮廓采样点的欧氏距离，通过计算相邻点欧氏距离的差值，寻找差值极值点作为人体头部、手脚关节点的候选位置。根据候选点与中心点的相对位置将候选点分为头部节点、手部节点和脚部节点三部分。并在此时利用步骤4中的手部及脸部的检测结果将此三类候选点分开； 

(3)将步骤3中的超过三条线段的交点作为人体胸部节点。利用人体高度信息及人体测量学先验知识，将人体分为上半身与下半身两部分。在上半身分割中，利用人体比例信息，找到颈部关节中心。将颈部关节与胸部关节连线中点作为锁骨近端节点： 

(4)将锁骨近端节点作为中心点，向左右分别延伸1/2的躯干宽度，作为人体肩部关节点； 

(5)肘关节确定：首先，根据肩关节到手关节的距离信息来判断人的胳膊是否处于伸直状态。若判定为伸直状态，则将肩关节与手关节的连线中点作为肘部关节点；若判定为弯曲状态，则对步骤3中的霍夫线段检测得到的关于手部的线段进行分析，将线段非手部关节点的另一个端点作为肘部关节点； 

(6)髋关节及膝关节的确定：首先在轮廓图像中找到双腿分叉点，然后通过此点作水平线，各取距离分叉点为肢体宽度的1/4的点作为髋骨的左右端点。膝关节点确定，将髋 骨左右端点分别与左右脚部节点连线。根据人体解剖信息，大小腿长度近似相等，故将连线中点分别作为左右膝关节点： 

(7)相应关节点连线，形成二维骨架图像。 

附图说明

为了更清楚地说明本发明实施例，下面将对本发明实施例描述中所需要使用的附图作简单的介绍，显然地，下面描述中的附图仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，可以根据这些附图获得的更多的附图。 

图1所示为本发明的整体实现流程图； 

图2所示为人体关节点标注顺序图。 

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述。显然，所描述的实例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护范围。 

图1为本发明一个实施例提供的人体关节自动标注方法的流程图，该方法的步骤包括： 

S101、前景检测； 

使用摄像机获取人体运动的视频，进行防抖去噪处理。背景建模，获取前景区域。为减少后续步骤的运算量，将原彩色图像帧中的前景区域作为感兴趣区域进行保存，在后续的处理步骤中就可以只对此感兴趣区域进行处理，从而提高系统的运算速度。本发明中所述的感兴趣区域是指原图像帧中的前景掩模图像。在本实施例中，将前景图的最大外接矩形作为感兴趣区域进行保存并进行后续处理。 

S102、人体区域确定与分割； 

对S101中的前景图像进行二值化处理，通过腐蚀和膨胀的方法分别去除小噪点和空洞以获取更为完整的剪影图像。计算剪影的面积，设定面积阈值以去除小的噪点及干扰目标，进而获取人体区域。 

S103、人体骨架获取与处理； 

(1)对S102中的人体剪影进行距离变换处理，得到人体骨架： 

本实施例使用距离变换的方法提取二值剪影图像的骨架信息。骨架化就是将图像区域结构形状简化为图形，既保持了原区域的拓扑结构，又减少了运算量，使提取的特征更为简化。而距离变换把任意图形转换成线划图，具体就是求二值图像中各个1像素到0像素的最短距离。对二值图像，图像中两个像素m和n间的距离可以用适当的距离函数来测量。设M为像素值为1的区域，N为像素值为0区域，求从M中任意像素到N的最小距离叫做二值图像的距离变换。在经过距离变换得到的图像中，距离最大值点的集合就形成骨架。 

(2)细化骨架特征点提取； 

首先检测细化骨架中的交点、分叉点作为候选关键点；然后对细化骨架图像进行霍夫直线检测，通过设定霍夫变换的阈值，获得最为有效的线段信息。 

为了将骨架图像进行正确的分割以查找不同的骨骼部分，需要对骨架图像进行Hough变换。Hough变换是寻找一种从区域边界到参数空间的变换，用大多数边界点满足的对应的参数来描述这个区域的边界。在预先知道区域形状的条件下，利用Hough变换可以方便地得到边界曲线并将不连续的边缘像素点连接起来。Hough变换的基本思想是点线的对偶性。使用Hough变换查找图中直线的方法如下： 

在直角坐标系中的一条直线，原点到该直线的垂直距离为ρ，垂线与x轴的夹角为θ，则这条直线方程为： 

ρ＝xcosθ+ysinθ 

这条直线用极坐标表示则为点(ρ，θ)。直角坐标系中的一条直线对应极坐标系中的一点，这 种线到点的变换就是Hough变换。在直角坐标系中过任一点的直线系满足： 

ρ＝x₀cosθ+y₀sinθ＝(x₀ ²+y₀ ²)^3/2sin(θ+Φ) 

其中：Φ＝tan^-1(y₀/x₀) 

这些直线在极坐标系中所对应的点(ρ，θ)构成一条正弦曲线。反之，在极坐标系中位于这条正弦曲线上的点，对应直角坐标系中过点(x₀，y₀)的一条直线。设平面上若干点，过每点的直线系分别对应于极坐标上的一条正弦曲线。若这些正弦曲线有共同的交点(ρ′、θ′)，则这些点共线，且对应的直线方程为： 

ρ′＝xcosθ′+ysinθ′ 

图像空间中共线的点对应于参数空间中相交的线。反过来，在参数空间中相交于同一点的所有直线在图像空间中都有共线的点与之对应。当给定图像空间中的一些边缘点时，就可以通过Hough变换确定连接这些点的直线方程。把在图像空间中的直线检测问题转换到参数空间中对点的检测问题。这样，就可以找到骨架图像中的各个骨骼部分了。 

S104、获得剪影的外轮廓并计算重心、轮廓宽高及面积信息； 

A.使用边缘检测的方法对剪影图像进行处理，获得剪影的外轮廓。本实施例使用freeman链码对边缘信息进行保存。该方法采用曲线起始点的坐标和斜率来表示曲线。对于离散数字图像而言，区域的轮廓可理解为相邻边界像素间的单元连线逐段相连而成。对于图像某像素的8-邻域，把该像素和其8-邻域的各像素连线方向进行编码，用0，1，2，3，4，5，6，7，表示8个方向，这种代码称为方向码。其中偶数码为水平或垂直方向的链码，码长为1；奇数码为对角线方向的链码，码长为 

这种链码组合表示既能进行有关形状特征的计算，又节省了存储空间。 

B.计算轮廓重心所在位置，测量并保存轮廓的宽、高信息。使用轮廓的高度信息对轮廓进行大小归一化，使以后的数据处理及保存更为统一。 

区域边界的周长的计算：假设区域的边界链码为a₁，a₂...a_n，每个码段a_i所表示的线段长度 为Δl_t，则区域边界的周长为： 

$L=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\Δl}}_i=n_e+\sqrt{2}(n-n_e)$

式中n_e为链码序列中偶数码个数；n为链码序列中码的总个数。 

轮廓所围成区域面积的计算： 

$S=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{a}_{i0}(y_{i-1}+0.5a_{i2})$

式中y_i＝y_i-1+a_i2，y₀是初始点的纵坐标，a_i0和a_i2分别是链码第i环的长度在k＝0(水平)，k＝2(垂直)方向的分量。对于封闭链码(初始点坐标与终点坐标相同)，y₀能任意选择。按顺时针方向编码，根据面积计算公式得到链码所代表的包围区域的面积。 

S105、根据脸和手的相对位置进行人体姿态的粗略估计； 

(1)在原图像中分割出的人体运动区域进行保存，并将之转换到HSV空间，利用已经训练好的肤色模型进行肤色检测。肤色模型由以下方法得到：利用HSV空间中的H(色度)和S(饱和度)作为肤色区分信息，可以先构建出肤色模型作为先验参考。这里使用手工标注的方法对大量RGB人体图像中的肤色区域颜色信息进行统计，然后再将RGB空间转化到HSV空间，得到肤色在HSV空间的分布情况。本实施例将H(5-23)-S(75-200)和H(5-16)-S(20-90)两个区间作为HSV肤色区间阈值。在进行实际的肤色查找过程中，对查找的肤色区域进行形态学操作，得到连通的肤色区域； 

(2)对肤色提取区域进行二值化处理，并进行形态学操作，获取较为完整的肤色区域； 

(3)利用肤色区域位置，进行人体姿态的粗略预估计。方法为计算脸与两手所形成的三角形的顶角角度。由于人体脸部位置相对固定，可以根据此数据判断人体双手的位置与运动信息。对于人体的关节点位置判定重要意义。 

S106、人体关节点自动标注，具体查找顺序如图2所示。 

图2描述了人体关节自动标注过程中，各个关节的查找顺序及承接关系。具体过程如下： 

(1)将人体轮廓重心位置作为腹部节点。寻找重心的时候，采用矩的方法。具有两个变元的有界函数f(x，y)的p+q阶矩定义为： 

$m_{\mathrm{pq}}=\underset{-\∞}{\overset{+\∞}{\∫}}\underset{-\∞}{\overset{+\∞}{\∫}}{x}^p{y}^{q}f(x,y)\mathrm{dxdy}$ p，q∈N₀＝{0，1，2，Λ} 

这里p和q可取所有的非负整数值。参数称为p+q矩的阶。由于p和q可取所有的非负整数值，它们产生一个矩的无限集。而且，这个集合完全可以确定函数f(x，y)本身。换句话说，集合{mpq}对于函数是唯一的，也只有f(x，y)才具有该特定的矩集。对于大小为n×m的数字图像f(i，j)的矩为： 

$m_{\mathrm{pq}}={\mathrm{\Σ}}_{i=1}^n{\mathrm{\Σ}}_{j=1}^m{i}^p{j}^{q}f(i,j)$

区域形心位置的确定：0阶矩m₀₀是图像灰度f(i，j)的总和。二值图像的m₀₀则表示对象物的面积。如果用m₀₀来规格化1阶矩m₁₀及m₀₁，则得到一个物体的重心坐标(i_c，j_c)： 

$i_c=\frac{m_{10}}{m_{00}}={\mathrm{\Σ}}_{i=1}^n{\mathrm{\Σ}}_{j=1}^m\mathrm{if}(i,j)/{\mathrm{\Σ}}_{i=1}^n{\mathrm{\Σ}}_{j=1}^{m}f(i,j)$

$j_c=\frac{m_{01}}{m_{00}}={\mathrm{\Σ}}_{i=1}^n{\mathrm{\Σ}}_{j=1}^m\mathrm{jf}(i,j)/{\mathrm{\Σ}}_{i=1}^n{\mathrm{\Σ}}_{j=1}^{m}f(i,j)$

通过重心点作水平线，记录水平线与轮廓的交点，将两交点间的距离作为人体躯干宽度； 

(2)计算重心点与轮廓采样点的欧氏距离，通过计算相邻点欧氏距离的差值，寻找差值极值点作为人体头部、手脚关节点的候选位置。根据候选点与中心点的相对位置将候选点分为头部节点、手部节点和脚步节点三部分。并在此时利用S104中的手部及脸部的检测结果将此三类候选点分开； 

(3)将S103中的超过三条线段的交点作为人体胸部节点。利用人体高度信息与人体测量学先验知识，将人体分为上半身与下半身两部分。在上半身分割中，利用人体比例信息，找到颈部关节中心。将颈部关节与胸部关节连线中点作为锁骨近端节点； 

(4)将锁骨近端节点作为中心点，向左右分别延伸1/2的躯干宽度，作为人体肩部关节点。 

(5)肘关节确定。首先，根据肩关节到手关节的距离信息来判断人的胳膊是否处于伸直状 态。若判定为伸直状态，则将肩关节与手关节的连线中点作为肘部关节点；若判定为弯曲状态，则对步骤S103中的霍夫线段检测得到的关于手部的线段进行分析，将线段非手部关节点的另一个端点作为肘部关节点； 

(6)髋关节与膝关节的确定。首先在轮廓图像中找到双腿分叉点，然后通过此点作水平线，各取距离分叉点为肢体宽度的1/4的点作为髋骨的左右端点。膝关节点确定。将髋骨左右端点分别与左右脚部节点连线。根据人体解剖信息，大小腿长度近似相等，故将连线中点分别作为左右膝关节点； 

(7)相应关节点连线，形成二维骨架图像。 

以上所述，仅为本发明常见的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。 

Claims (8)

1.一种基于单目视频的人体关节自动标注方法，其特征在于包括以下步骤：

步骤1.前景检测：

使用摄像机获取人体运动的视频并进行预处理：背景建模，获取前景区域；为减少后续步骤的运算量，将原彩色图像帧中的前景区域作为感兴趣区域进行保存，在后续的处理步骤中就可以只对感兴趣区域进行处理，从而提高系统的运算速度；

步骤2.人体区域确定与分割：

(1)人体剪影获取；对步骤1中的前景图像进行二值化处理，并使用形态学方法来获取更为完整的剪影图像；计算剪影的面积，去除小的噪点及干扰目标；

(2)剪影外轮廓获取及归一化：使用边缘检测的方法对剪影图像进行处理，获得剪影的外轮廓；同时计算轮廓重心所在位置；使用轮廓的高度信息对轮廓进行大小归一化，使以后的数据处理及保存更为统一；

步骤3.人体骨架获取与处理：

(1)对步骤2中的人体剪影进行距离变换处理，得到细化骨架；

(2)骨架特征点提取：首先检测细化骨架中的交点、分叉点作为候选关键点，然后对细化骨架图像进行霍夫直线检测；

步骤4.根据脸部和手的相对位置进行人体姿态的粗略估计：

(1)在原图像中分割出人体运动区域进行保存，利用肤色模型进行肤色区域检测；

(2)对肤色提取区域进行二值化处理，并进行形态学操作，获取较为完整的肤色区域；

(3)利用肤色区域中心位置，进行人体姿态的粗略预估计；

步骤5.人体关节点自动标注：

(1)将人体轮廓重心位置作为腹部节点，通过重心点作水平线，记录水平线与人体轮廓的交点，将两交点之间的距离作为人体躯干宽度；

(2)计算重心点与轮廓采样点的欧氏距离，通过计算相邻点欧氏距离的差值，寻找差值极值点作为人体头部、手脚关节点的候选位置；根据候选点与中心点的相对位置将候选点分为头部节点、手部节点和脚步节点三部分，并在此时利用步骤4中的手部及脸部的检测结果将此三类候选点分开；

(3)将步骤3中的超过三条线段的交点作为人体胸部节点，利用人体高度信息及人体测量学先验知识，将人体分为上半身与下半身两部分；在上半身分割中，利用人体比例信息，找到颈部关节中心；将颈部关节与胸部关节连线中点作为锁骨近端节点；

(4)将锁骨近端节点作为中心点，向左右分别延伸1/2的躯干宽度，作为人体肩部关节点；

(5)肘关节确定：首先，根据肩关节到手关节的距离信息来判断人的胳膊是否处于伸直状态；若判定为伸直状态，则将肩关节与手关节的连线中点作为肘部关节点；若判定为弯曲状态，则对步骤3中的霍夫线段检测得到的关于手部的线段进行分析，将线段非手部关节点的另一个端点作为肘部关节点；

(6)髋关节及膝关节的确定：首先在轮廓图像中找到双腿分叉点，然后通过此点作水平线，各取距离分叉点为肢体宽度的1/4的点作为髋骨的左右端点；膝关节点确定，将髋骨左右端点分别与左右脚部节点连线，根据人体解剖信息，大小腿长度近似相等，故将连线中点分别作为左右膝关节点；

(7)相应关节点连线，形成二维骨架图像。

2.根据权利要求1所述的方法，其特征在于对骨架图像进行霍夫直线检测对细化骨架进行再分割，以查找人体各个骨骼部分，目的在于提高人体分割的准确性。

3.根据权利要求1所述的方法，其特征在于利用肤色区域的相对位置进行人体姿态的粗略判断，即根据寻找到的脸部和手部的相对位置来判断人体双臂是处于伸展还是弯曲状态。

4.根据权利要求1所述的方法，其特征在于人体躯干宽度的快速计算：通过人体重心点与轮廓边缘的水平交点确定的线段长度作为人体宽度的快速计算值。

5.根据权利要求1所述的方法，其特征在于头部和四肢关节点的快速判别：利用重心点与轮廓采样点的欧氏距离，通过计算相邻点欧氏距离的差值，寻找差值极值点作为人体头部、手脚关节点的候选位置。

6.根据权利要求1所述的方法，其特征在于利用霍夫变换检测出的线段辅助检测肘关节点。

7.根据权利要求1所述的方法，其特征在于髋关节的确定：首先在轮廓图像中找到双腿分叉点，然后通过此点作水平线，各取距离分叉点为肢体宽度的1/4的点作为髋骨的左右端点。

8.根据权利要求1所述的方法，其特征在于利用前景检测获取人体运动区域，并保存为感兴趣区域，在后续步骤中只对感兴趣区域进行操作，这样就使要计算的像素数量明显变少，大幅减小了计算量。