CN101332362A - 基于人体姿态识别的互动娱乐系统及其实现方法 - Google Patents

Abstract

本发明涉及一种基于人体姿态识别的互动娱乐系统及其实现方法，所述系统包括：视频采集模块，用于获取视频流图像；背景差分模块，用于从所述图像中分离出人体区域；人体姿态识别模块，用于根据所述人体区域得出人体各部分的姿态参数；以及娱乐平台，用于根据所述人体区域和所述姿态参数进行互动娱乐。本发明通过对场景内的人体姿态进行实时视频捕获，并通过智能视频分析技术实现人体姿态参数提取，从而完成后续的互动娱乐的应用。

Description

基于人体姿态识别的互动娱乐系统及其实现方法

技术领域

本发明涉及一种基于人体姿态识别的互动娱乐系统及其实现方法。

背景技术

基于人体姿态识别的互动娱乐系统是基于模式识别技术对场景内人的姿态进行识别分析，提取参与者所做的动作，通过前景提取、背景融合、3D动画模拟等，完成一系列的唱歌跳舞等游戏的互动娱乐。这种基于人体姿态识别的互动娱乐系统，在增加娱乐性、参与者的关注度等方面有着极其广泛的应用。

当前，基于人体姿态识别的互动娱乐系统基本都是接触式的，即通过感应器或遥控器与人体某部分的接触，从而对人体姿态进行简单的识别。一般来说，现有的这类技术都是对人体某部分的动作进行简单的捕捉识别，例如跳舞机。这类技术具有对人体姿态的识别不全面，易受到感应器、连线的限制、容易损坏，线路故障不便于维修等缺点。

发明内容

本发明提供了一种能解决以上问题的基于人体姿态识别的互动娱乐系统及其实现方法。

在第一方面，本发明提供了一种基于人体姿态识别的互动娱乐系统，包括：视频采集模块，用于获取视频流图像；背景差分模块，用于从所述图像中分离出人体区域；人体姿态识别模块，用于根据所述人体区域得出人体各部分的姿态参数；以及娱乐平台，用于根据所述人体区域和所述姿态参数进行互动娱乐。

在第二方面，本发明提供了一种基于人体姿态识别的互动娱乐方法，包括：获取视频流图像；分离所述图像的人体区域与背景图像；根据所述人体区域得出人体各部分的姿态参数；以及根据所述人体区域和所述姿态参数进行互动娱乐。

在本发明的一个实施例中，优选地，所述人体姿态识别模块包括：距离变换模块，用于计算人体各部分出现在人体模型对应位置的图像似然，其中，所述人体模型预先设定，所述人体各部分根据所述人体模型划分；树模型搜索模块，用于根据所述图像似然得出所述图像上人体各部分的姿态参数。

在本发明的另一个实施例中，优选地，所述距离变换模块包括：在计算图像似然之前，对人体轮廓进行距离变换以得到距离变换图像的模块，其中，所述人体轮廓从所述人体区域提取。

在本发明的又一个实施例中，优选地，所述树模型搜索模块包括：确定所述人体各部分的搜索范围的模块；根据所述搜索范围确定人体各部分的姿态参数的初始值的模块；基于所述搜索范围和所述初始值，采用树形结构推断人体各部分的姿态参数的模块。

在本发明的还一个实施例中，优选地，所述推断模块包括：推断所述图像上的人体各部分姿态参数的集合的最大后验分布的模块；根据所述最大后验分布得出人体各部分的姿态参数的模块。

在本发明的另一个实施例中，优选地，所述娱乐平台包括：背景融合平台，用于将所述人体区域与预定背景融合；和/或人体姿态模拟平台，用于根据所述姿态参数对人体姿态进行模拟。

本发明通过对场景内的人体姿态进行实时视频捕获，并通过智能视频分析技术实现人体姿态参数提取，从而完成后续的互动娱乐的应用。

附图说明

下面将参照附图对本发明的具体实施方案进行更详细的说明，在附图中：

图1是本发明的互动娱乐系统的框图；

图2是本发明的分离人体区域并进行人体姿态识别的流程图；

图3(a)是本发明使用的人体模型图；

图3(b)是图3(a)的人体模型的树模型图；

图3(c)是构成图3(b)中树模型一条边的2个节点的位置关系图；

图4是本发明的人体姿态识别中用到的并行掩码模板。

具体实施方式

图1是根据本发明的互动娱乐系统的框图。

如图1所示，根据本发明的互动娱乐系统包括视频采集模块、背景差分模块、人体姿态识别模块。

视频采集模块的主要功能是对监控场景进行拍摄并获取视频流图像，可以采用专用的监控摄像头或者传统摄像头进行拍摄并捕获视频流图像来实现该模块的功能。

背景差分模块的主要功能是分离图像的人体区域与背景图像。具体地说，这个过程可以首先使用各种常用方法，包括光流法，帧间差分法、背景减去法等方法检测出图像的运动区域。然后，使用数学形态学方法(比如膨胀运算、腐蚀运算、开运算、关运算等)对二值化的图像进行滤波处理，填充前景区域中的空洞，同时去除面积较小的孤立区域、非连通区域，只保留连通区域的面积大于给定阈值的连通区域。

人体姿态识别模块的主要功能是用于实现人体姿态估计，即识别人体的四肢在场景的运动。在本发明中，人体姿态识别模块的作用是根据背景差分模块分离出来的人体区域，得出人体各部分的姿态参数。人体姿态估计是计算机视觉的一个重要的研究领域，在智能视频监控、人机交互、虚拟现实等方面有着广泛的应用。

根据背景差分模块和人体姿态识别模块得出的人体区域和姿态参数，可以后续地进行一些互动娱乐。如图1所示，后续的娱乐平台包括智能练歌或卡拉ok、儿童唱歌平台、智能跳舞机、智能游戏机。

图2是本发明的分离人体区域并进行人体姿态识别的流程图。

在视频采集模块获取视频流图像之后，对于每幅输入图像，重复以下过程：

1)利用背景差分模块检测出人体区域。应当指出，背景差分模块是单独的模块，该模块将其所检测出的人体区域送入人体姿态识别模块(包括距离变化模块、树模型搜索模块)，以便进行人体姿态识别。

2)提取人体区域的轮廓，采用距离变换模块计算出轮廓的距离变换图像。

3)在距离变换图像中，利用树模型搜索模块估计出人体各个位置的最佳位置，然后输出。

图3(a)是本发明使用的人体模型图。

在人体姿态识别的过程中，必须用到人体模型，本发明提出了一种优选的人体模型。如图3(a)所示，本发明使用的人体模型包括10个部分，分别是躯干(Torso)、头部(Head)、左大臂(LUA)、左小臂(LLA)、右大臂(RUA)、右小臂(RLA)、左大腿(LUL)、左小腿(LLL)、右大腿(RUL)、右小腿(RLL)。

图3(b)是图3(a)的人体模型的树模型图。这个树模型图由图3(a)中所述的人体10个部分构成，以躯干为根，共有10节点。

图3(c)是构成图3(b)中数模型一条边的2个节点的关系图。

设人体各个部分的位置为 $L={\left\{l_i\right\}}_{i=1}^{10},$ 其中第i个部分的位置为l_i＝(x_i，y_i，w_i，h_i，θ_i)，其中，x_i，y_i表示该部分的中心坐标，w_i表示该部分的长度、h_i表示该部分的宽度，θ_i表示该部分的角度。

获得输入图像I后，我们的目的是计算出 $L={\left\{l_i\right\}}_{i=1}^{10}.$ 可以通过计算给定图像I上的L最大后验分布

来获得 $L={\left\{l_i\right\}}_{i=1}^{10},$ 根据贝叶斯理论：

$P\left(L\right|I)=\underset{(i,j)\∈E}{\mathrm{\Π}}P\left(l_i\right|l_j)\underset{i=1}{\overset{10}{\mathrm{\Π}}}P(l_i,I)---\left(1\right)$

其中，E表示图3(b)所示的树中的所有边的集合，P(l_i|l_j)表示构成一条边的两个节点l_i和l_j的相互约束关系，可以用l_i和l_j的位置来表示，本发明中定义为l_i和l_j所在矩形框的联结点的距离与l_i和l_j的角度差的绝对值，如图3(c)所示：

$P\left(l_i\right|l_j)=\sqrt{{(x_i-x_j)}^2+{(y_i-y_j)}^2+{({\mathrm{\θ}}_i-{\mathrm{\θ}}_j)}^2}$

P(l_i，I)表示第i个部分出现在l_i的图像似然，本发明中将其定义为l_i的边缘与给定的矩形边缘模板的chamfer距离，可以采用基于距离变换的快速算法实现(具体推导可以参考文献1：“A.Thayananthan，B.Stenger，P.Torr，andR.Cipolla.Shape context and chamfer matching in cluttered scenes.In CVPR，2003“)。

本发明的人体姿态识别模块包括距离变换模块和数模型搜索模块。下面将详细阐述这两个模块的主要功能。

a)距离变换模块

距离变换模块的主要功能是进行距离变换以便于计算似然函数。

首先，提取上述二值化的运动图像的连通区域的轮廓，然后进行距离变换，得到距离图，Chamfer距离取自木工艺中一个术语，即倒角或者斜切(Chamfer)，可以认为是欧氏距离的逼近。该类方法先后按相反两个方向进行两遍扫描过程，且每一步计算只使用了一小块图像邻域。其思路就是全局的距离由局部距离的传播来近似计算，这里Chamfer距离变换可以用一个大小可变的掩码模板表示。每个模板掩码对应的常数c是局部距离，在实际运算中要传播到整个图像空间。图4是本发明的人体姿态识别中用到的并行掩码模板。对于并行算法，模板的中心(如图4所示)置于图像每个像素上，然后将模板像素上的局部距离值c加到模板下方的对应像素的距离值上，并将中心像素的值更新为这些值中的最小值，直到所有像素的值不再改变为止，因此迭代次数与图像的最大距离成正比。

这样，第i个部分出现在l_i的图像似然P(l_i，I)就可表示为：

$P(l_i,I)=\frac{1}{M}\underset{(x,y)\∈\mathrm{bound}}{\mathrm{\Σ}}\mathrm{DT}(x,y)$

其中，bound表示l_i所在位置处的矩形框的边界，M表示模板的周长。

b)树模型搜索模块

树模型搜索模块的主要功能是计算最大后验主要包括两个步骤：

1)确定每个人体部分的搜索范围。

首先，在距离图像上搜索到面积最大的矩形的位置，在其中心位置附近稍作扰动，作为躯干的搜索范围。然后，使用人脸检测技术确定人脸的位置，利用检测到的人脸区域的人体皮肤图像训练一个人体肤色模型，在图像中检测到所有的肤色区域，这样可以帮助确定手的搜索范围，从而可以得到上肢的大概位置。通过上面的步骤，可以为公式(1)中{l_i，i＝1，....10}设定初始值；

2)采用树形结构推断每个部分的最佳位置。

根据上步得到的初始值和大致的搜索范围，使用Viterbi前向推进算法求出公式(1)的最大值，该最大值对应的人体位置 $L={\left\{l_i\right\}}_{i=1}^{10}$ 即为最佳人体的位置，最后将 $L={\left\{l_i\right\}}_{i=1}^{10}$ 输出。

实际计算时，可以使用文献2：“P.F.Felzenszwalb and D.P.Huttenlocher.Efficient matching of pictorial structures.In CVPR，2000”介绍的优化方法近似求解Viterbi前向推进的结果以提高运算速度。

本发明的最终目的是要实现一个互动娱乐平台。因此，通过背景差分模块分离图像的人体区域与背景图像，并且通过人体姿态识别模块实现人体姿态估计，可以将前述的工作结果应用到后续的娱乐平台，以实现本发明的娱乐功能。

下面，对这些可以实现的娱乐平台分别加以描述。

1)智能练歌或卡拉ok

根据背景建模技术得到实时更新的背景，将当前视频帧与背景帧差分，然后进行形态学滤波后，可以得到当前演唱者的图像区域，将其直接叠加入不同应用场景的视频帧，比如可以是海水潮起潮落的海滩，或者优美的白桦林，或者阳光喜气的场景，可以根据演唱的歌曲的类型进行选择。这样，演唱者可以实时地看到自己的影像和动作，配合着演唱的歌声，增加了娱乐的互动性和趣味性。

2)2D/3D参数模拟应用

这些应用平台主要根据人体姿态估计模块中得到的人体各部分的姿态参数，驱动二维或者三维动画模型，从而实现对人体姿态的实时模仿行为。

a)儿童唱歌平台

少年儿童在唱歌的时候，可以在画面上显示为一个卡通的小熊、兔子形象，姿态识别模块根据演唱者的动作，去改变画面上卡通小动物的动作，更好的启迪儿童的表演才能，有助于提高智商。

b)智能跳舞机

类似于传统的跳舞毯，当表演者模仿画面显示的动作，姿态识别模块根据摄像头采集的表演者图像判断是否模拟成功，对表演者进行打分。

c)智能游戏机

开发诸如拳击类的游戏，姿态识别模块根据摄像头采集的游戏者图像识别游戏者的动作，获取动作参数，来控制画面中两个参与者各自的动作，既可以增加娱乐性，又不容易使人受伤。

显而易见，在不偏离本发明的真实精神和范围的前提下，在此描述的本发明可以有许多变化。因此，所有对于本领域技术人员来说显而易见的改变，都应包括在本权利要求书所涵盖的范围之内。本发明所要求保护的范围仅由所述的权利要求书进行限定。

Claims (15)

1.一种基于人体姿态识别的互动娱乐系统，包括：

视频采集模块，用于获取视频流图像；

背景差分模块，用于从所述图像中分离出人体区域；

人体姿态识别模块，用于根据所述人体区域得出人体各部分的姿态参数；以及

娱乐平台，用于根据所述人体区域和所述姿态参数进行互动娱乐。

2.根据权利要求1的系统，其中，所述人体姿态识别模块包括：

距离变换模块，用于计算人体各部分出现在人体模型对应位置的图像似然，其中，所述人体模型预先设定，所述人体各部分根据所述人体模型划分；

树模型搜索模块，用于根据所述图像似然得出所述图像上人体各部分的姿态参数。

3.根据权利要求2的系统，其中，所述距离变换模块包括：

在计算图像似然之前，对人体轮廓进行距离变换以得到距离变换图像的模块，其中，所述人体轮廓从所述人体区域提取。

4.根据权利要求2的系统，其中，所述树模型搜索模块包括：

确定所述人体各部分的搜索范围的模块；

根据所述搜索范围确定人体各部分的姿态参数的初始值的模块；

基于所述搜索范围和所述初始值，采用树形结构推断人体各部分的姿态参数的模块。

5.根据权利要求4的系统，其中，所述推断模块包括：

推断所述图像上的人体各部分姿态参数的集合的最大后验分布的模块；

根据所述最大后验分布得出人体各部分的姿态参数的模块。

6.根据权利要求1的系统，其中，所述娱乐平台包括：

背景融合平台，用于将所述人体区域与预定背景融合；和/或

人体姿态模拟平台，用于根据所述姿态参数对人体姿态进行模拟。

7.一种基于人体姿态识别的互动娱乐方法，包括：

获取视频流图像；

从所述图像中分离出人体区域；

根据所述人体区域得出人体各部分的姿态参数；以及

根据所述人体区域和所述姿态参数进行互动娱乐。

8.根据权利要求7的方法，其中，所述得出姿态参数的步骤包括：

计算人体各部分出现在人体模型对应位置的图像似然，其中，所述人体模型预先设定；

根据所述图像似然得出所述图像上人体各部分的姿态参数。

9.根据权利要求8的方法，还包括：

在计算所述图像似然之前，对人体轮廓进行距离变换以得到距离变换图像，其中，所述人体轮廓从所述人体区域提取。

10.根据权利要求8的方法，其中，得出姿态参数的步骤包括：

确定所述人体各部分的搜索范围；

根据所述搜索范围确定人体各部分的姿态参数的初始值；

基于所述搜索范围和所述初始值，采用树形结构推断人体各部分的姿态参数。

11.根据权利要求10的方法，其中，所述推断步骤包括：

推断所述图像上的人体各部分姿态参数的集合的最大后验分布；

根据所述最大后验分布得出人体各部分的姿态参数。

12.根据权利要求8的方法，其中，所述人体模型包括10个部分，各部分构成一个10节点的树模型。

13.根据权利要求12的方法，其中，所述10个部分包括头、躯干、左右大小臂、左右大小腿，所述树模型以躯干为根。

14.根据权利要求12的方法，其中，人体各部分的姿态参数 $L={\left\{l_i\right\}}_{i=1}^{10},$ 其中第i个部分的位置为l_i＝(x_i，y_i，w_i，h_i，θ_i)，其中，x_i，y_i表示该部分的中心坐标，w_i表示该部分的长度、h_i表示该部分的宽度，θ_i表示该部分与相邻部分的夹角。

15.根据权利要求7的方法，其中，所述互动娱乐包括：

将所述人体区域与预定背景融合；和/或

根据所述姿态参数对人体姿态进行模拟。

Images