CN102184008A - 互动投影系统及方法 - Google Patents

Abstract

本发明提供了一种能够全面真实地实现三维互动投影的系统及方法。通过摄像头组在一定的投影区域内采集人体以及其他物体的各个可视轮廓面，然后通过图像处理单元对采集的图像进行分离、校正、及三维重构，再通过通信单元传递给三维互动单元，在投影区域内实现三维的互动。根据本发明，人体链状模型通过应用计算机视觉技术自动建立，人物手势以及动作能够自动识别并根据语义数据库解析后与三维互动单元进行实时交互。

Description

互动投影系统及方法

技术领域

本发明涉及人机互动领域，特别涉及一种互动投影系统及方法。

背景技术

随着微电子技术的不断发展，计算机被广泛地应用到了人类社会的各个领域，各种人机互动设备与方法应运而生，主要完成以下的功能：工业管理控制功能；辅助设计功能；显示输出功能；编辑文本数据、图像数据和流媒体数据的功能；影音、游戏等娱乐功能。按照人机交互设备可以分成以下几类：

1、通过传感器实现的交互：主要包括生产线产品生产流程管理、产品质量控制、反向工程。

2、通过特定工具实现的交互：主要包括通过手写笔和其他设备实现的计算机辅助设计。

3、通过鼠标和键盘实现的交互：主要包括文字录入与编辑、图像数据和流媒体数据的编辑、计算所程序的编写等等。

上述方法在其本身所处的范围中能够很好地发挥作用，但在互动投影方面无法达到理想的效果。传统的键盘鼠标和工业传感器都无法捕捉到完整的人体运动和姿态信息。而通过互动投影系统，可完全获取人体的运动和姿态信息，通过处理后的这些信息，控制投影系统做出不同的反应，表现出不同的影响效果。

随着近年来，计算机视觉技术的不断发展，我们可以通过图像处理的方法捕捉人体运动状态和当前姿态，该方法不仅具有实时高效的特点，兼具有非接触的特征，非常适合互动投影系统。

公开号为CN 101776952A的中国发明公开了一种互动投影系统，该系统实现了一种二维平面的人机交互投影。而二维投影往往只能涉及到物体的某个面，并不能把物体全面真实地展现在人们面前。理想的人机交互投影应当能够正确处理人体链状模型的姿态及其动作语义信息，并与三维虚拟世界物体进行实时交互.

而用于人体重构的人体链状模型以往的工作都是基于手工操作的，在得到特征点的运动序列之后，需要人工寻找运动序列中重构点数目满足要求的某一帧，然后手工标注出所有正确的特征点的名称。这样的操作方法，过程繁琐，效率低下；缺乏刚体间连线的提示信息，标注时很容易出现错误，同时由于重构时的错误发生并不能保证所有参与标注的特征点都是正确重构的特征点。所以，传统的人机交互投影无法实现人体动作导向的实时三维互动.

发明内容

为解决上述问题，本发明提供了一种三维的互动投影系统及方法，能够更全面真实的实现互动投影。通过图像处理技术，红外光投影技术，捕捉操作者的运动状态和当前姿态，将捕捉的运动状态进行图像处理，在图像处理中进行三维重构将其转换为控制信息，接着将控制信息传递给3D表现模块，最后表现模块根据控制信息展现出所对应的场景，从而提供一种互动投影系统，实现非接触方式的3D人机交互。

为了实现三维投影，本发明公开了一种互动投影系统，包括视频图像投影单元，图像采集单元，所述的互动投影系统还包括图像数据处理单元、通信单元及三维互动单元；

所述视频图像投影单元用于投影图像；

所述图像采集单元用于采集视频图像投影单元投影区域内的场景图像，并将采集到的场景图像传送给所述图像数据处理单元；

图像数据处理单元对接收到的场景图像进行背景和前景分离，标记运动物体轮廓在前景图像中的像素区域，对前景图像进行三维重构并对三维重构后的运动物体进行解析得到动作语义信息，将得到的图像三维坐标和动作语义信息传送给所述通信单元；

通信单元将接收到的图像三维坐标以及动作语义信息传送给所述三维互动单元；

三维互动单元自通信单元接收由图像数据处理单元捕捉到的图像三维坐标以及动作语义信息，根据所述图像三维坐标和语义信息输出相应的三维互动效果。

根据本发明提供的互动投影系统——优选技术方案是：所述图像采集单元包括用于发射红外光的红外LED灯具阵组及及用于采集多目视觉图像多目视觉摄像头组。

根据本发明提供的互动投影系统——优选技术方案是：所述图像采集单元还设有使摄像头自由旋转的旋转装置，同时设有过滤可见光的透红外亚克力薄板。

根据本发明提供的互动投影系统——优选技术方案是：所述红外LED灯矩阵组的LED灯向投影面倾斜一定角度；所述角度的范围为40至50度，最优角度为45度。

根据本发明提供的互动投影系统——优选技术方案是：所述摄像头的镜头前设有一层红外带通滤波片，并采用红外广角摄像头。

根据本发明提供的互动投影系统——优选技术方案是：所述图像数据处理单元包括：

背景分离模块，用于将图像数据中的背景图像和前景图像进行分离；

运动捕捉模块，用于对分离模块分离的运动前景图像分析并标记运动区域；

三维重构模块，用于对运动捕捉模块标记的运动前景图像区域进行空间重构；

语义识别模块，利用动作语义数据库，对三维重构模块得到的人体链状模型和运动序列进行快速查询，确定运动序列中刚体所表示的意义。

根据本发明提供的互动投影系统——优选技术方案是：所述背景分离模块包括：

图像平滑模块，用于对摄像机所获取的图像数据进行高斯卷积，得到一张平滑后的图像数据。

前景提取模块，建立一个混合高斯模型平滑后的图像背景和前景进行分离，对一个背景图像，特定像素亮度的分布满足高斯分布，即对背景图像B，(x，y)点的亮度满足：

IB(x，y)～N(u，d)

这样我们的背景模型的每个象素属性包括两个参数：平均值u和方差d。

对于一幅给定的图像G，如果Exp(-(IG(x，y)-u(x，y))^2/(2*d^2))＞T，认为(x，y)是背景点，反之是前景点。

同时，随着时间的变化，背景图像也会发生缓慢的变化，这时我们要不断更新每个象素点的参数

u(t+1，x，y)＝a*u(t，x，y)+(1-a)*I(x，y)

这里，a称为更新参数，表示背景变化的速度，一般情况下，我们不更新方差d(实验中发现更不更新d，效果变化不大)。

使用K(基本为3到5个)个高斯模型来表征图像中各个像素点的特征，在新一帧图像获得后更新混合高斯模型，用当前图像中的每个像素点与混合高斯模型匹配，如果成功则判定该点为背景点，否则为前景点。对高斯模型中方差和均值两个参数的学习，采取不同的学习机制，将直接影响到模型的稳定性、精确性和收敛性。在学习的过程中对这两个参数实时更新。为提高模型的学习能力，改进方法对均值和方差的更新采用不同的学习率；为提高在繁忙的场景下，大而慢的运动目标的检测效果，引入权值均值的概念，建立背景图像并实时更新，然后结合权值、权值均值和背景图像对像素点进行前景和背景的分类，最终实现背景和前景的分离。

根据本发明提供的互动投影系统——优选技术方案是：所述运动捕捉模块包括：

一轮廓标记模块，利用前景提取模块提取的前景图像，检索运动物体的轮廓，计算轮廓的数目并标记每个轮廓在前景图像中的像素区域。

一坐标计算模块，用于计算轮廓标记后的图像数据坐标，具体过程：首先将每个轮廓所处的像素区域转换为图像纹理坐标范围，然后对每个轮廓的坐标范围进行计算，得到每个轮廓的中心位置坐标，最后记录下每个坐标，剔除一部分冗余数据，得到最终有效的坐标位置。

根据本发明提供的互动投影系统——优选技术方案是：所述三维重构模块包括：

一多目视觉校准模块，利用运动捕捉模块提取的轮廓，以及预先用标准棋盘网格校准的摄像机的内外参数反求轮廓的空间位置，同时提取所有轮廓的拓扑特征点；

一拓扑计算模块，利用预先采集的T字型拓扑模型，以及拓扑模型提供的人体链状结构对前景图像中各个刚体所包含的特征点进行名称确定，进而建立人体链状模型。

根据本发明提供的互动投影系统——优选技术方案是：所述通信单元包括：

坐标传输模块，用于传输图像三维坐标；

语义传输模块，用于传输动作语义信息。

根据本发明提供的互动投影系统——优选技术方案是：所述三维互动单元包括：

三维互动模块通过对通信单元传送三维图像坐标和动作语义进行分析，利用三维引擎更新三维物体各项属性。并提供各项可调的参数对三维物体的属性修改阈值和幅度进行设定。

三维渲染模块根据三维互动模块的相应参数和三维物体属性对三维物体进行真实感渲染。

本发明还提供了一种实现互动投影的方法，主要包括以下步骤：

图像采集单元采集图像数据；

图像数据处理单元对所采集的图像数据进行背景和前景分离，标记运动运动物体轮廓在前景图像中的像素区域，对前景图像进行三维重构并对三维重构后的运动物体进行解析得到动作语义信息，得到图像的三维坐标数据和动作语义信息；

三维互动单元根据图像数据处理单元得到的三维坐标数据和动作语义信息进行三维渲染和三维互动。

根据本发明的优选实施例，所述三维重构进一步包括以下步骤：

设定人体链状拓扑结构；

利用红外采集设备采集背景无关的人体运动序列并得到运动三维特征点序列；

利用运动三维特征点序列，自动划分出运动序列中各个刚体及每个刚体所包含的特征点；

利用拓扑模型，按照拓扑模型提供的人体链状结构对运动序列中各个刚体所包含的特征点进行名称确定；

标明每个特征点的ID，构建图像三维坐标。

根据本发明的优选实施例，所述所述运动序列通过水平集方法提取人体轮廓并获得三维特征点。

根据本发明的优选实施例，所述自动划分运动序列中各个刚体及每个刚体所包含的特征点包括以下步骤：

构造运动序列中各三维特征点集之间距离变化的矩阵；

根据距离变化矩阵，采用谱聚类的方法得到运动序列中人体刚体的划分及各刚体所包含的特征点。

根据本发明的优选实施例，所述采用谱聚类的方法得到运动序列中人体刚体的划分及各刚体所包含的特征点包括以下步骤：

采用谱聚类的方法将运动序列中的特征点划分为两个集合分别表示人体结构的上半身和下半身；

对人体上半身特征点集合采用谱聚类的方法划分为指定数目的特征点集合，每个特征点集合表示一个人体刚体；

对人体下半身特征点集合采用谱聚类的方法划分为指定数目的特征点集合，每个特征点集合表示一个人体刚体。

根据本发明的优选实施例，所述按照拓扑模型提供的人体链状结构对运动序列中各个刚体所包含的特征点进行名称确定包括以下步骤：

根据拓扑模型的信息确定运动序列中该刚体所包含各个特征点的名称；

将已确定名称的特征点从特征点集合中去除；

根据拓扑模型提供的拓扑信息，寻找已确定名称的刚体与尚未确定名称的刚体之间所包含的公共点；

将公共点加入特征点集合中，利用谱聚类方法得到包含该公共点的刚体；

重复上述确定运动序列中该刚体所包含各个特征点的名称到上述将公共点加入特征集合的步骤，直到特征点集合为空。

根据本发明的优选实施例，所述根据拓扑模型的信息确定运动序列中该刚体所包含各个特征点的名称包括以下步骤：

对拓扑模型和人体运动序列中同一刚体所包含的特征点进行点集调整操作；

在拓扑模型上，对该刚体所包含的经过点集调整后的特征点构造局部K维轴向二叉树；

根据拓扑模型中该刚体的局部K维轴向二叉树结构，构造运动序列中该刚体所包含的经过点集调整后的特征点的局部K维轴向二叉树结构；

利用局部K维轴向二叉树结构确定运动序列中该刚体所包含各个特征点的名称。

根据本发明的优选实施例，所述对运动物体进行解析得到动作语义信息包括以下步骤：

对人体运动序列数据库进行基于层次化自组织映射的索引；

对上述三维重构得到的人体链状模型和运动序列，在数据库中基于索引进行快速查询；

将检索提取到的人体链状模型运动进行解析并将其动作语义信息发送到三维互动单元进行相应的渲染。

本发明的有益的技术效果是：视频图像投影单元、近红外光场投影单元、视频图像采集单元、图像数据处理单元、通信单元以及三维互动单元组成的互动投影系统，通过应用计算机视觉技术自动建立，人物手势以及动作能够自动识别并根据语义数据库解析后与三维互动单元进行实时交互，从而实现实时的3D人机互动。

附图说明

图1是互动投影系统连接示意图；

图2是互动投影系统的背景分离模块内部连接示意图；

图3是互动投影系统的运动捕捉模块内部连接示意图；

图4是互动投影系统的三维重构模块内部连接示意图；

图5是互动投影系统的三维互动模块内部连接示意图；

图6是按照本发明优选实施例三维重构的流程图；

图7-1是拓扑模型；

图7-2是建立的人体链状结构模型。

具体实施方式

下面结合附图说明本发明的具体实施方式。

视频图像投影单元1采用高流明、短焦投影仪。

为达精度与灵敏度的要求，视频图像投影单元1中的近红外光场投影采用主动轮廓技术，通过利用红外LED灯矩阵组建一个近红外光场的“墙”，感应红外光线的摄像机对着“墙”。

图像采集单元2对红外摄像机和“墙”之间的人体的运动和姿态信息进行采集。

图像采集单元2包含有以下设备，(1)带有旋转装置的摄像头，可使摄像头进行水平、垂直+/-90度角进行自由旋转；(2)与水平面成β角的红外LED灯矩阵组；(3)透红外亚克力簿板；(4)红外广角摄像头。

图像采集单元2中，红外LED灯矩阵组与水平面成β角，LED发出850nm波长的红外光。红外广角摄像头采用高分辨率高帧率摄像头处理芯片，并配上广角镜头，可视角度为120度，镜头前加一层850nm的透红外亚克力簿板(Infrared CutFilter)，过滤可见光，使摄像头的可视波段为850+/-20nm。图像采集系统的底部为一层具有漫反射功能的特殊材料。市面上常见的监控摄像头也带有红外LED，但是照射时会形成中心很亮，周围很暗的情况，即形成高亮光斑。而红外光照射不均匀，会影响摄像头采集数据的精确性。按照我们的布局架构图像采集单元，可使红外光均匀柔和的布满整个摄像头采集的区域，大幅度的提高摄像头采集的精确度。图像采集单元2的上部为旋转装置，可使摄像头进行自由旋转，这样就可以使图像采集单元2固定在任何表面，通过旋转来获取需要的采集区域。

摄像头采集的区域面积

红外LED灯矩阵组照射到的区域面积，由于

故，

S₂＞S₁，

即红外LED灯矩阵组照射到的区域面积大于摄像头采集到的区域面积，这样可以使摄像头的可视区域布满柔和均匀的850nm红外光。

其中a表示红外摄像头的可视角度，h表示红外摄像头到水平地面的高度，x表示图像采集系统的长度，y表示图像采集系统的高度。

图像数据处理单元3对采集的信息做以下的处理：

利用图像平滑模块311和前景提取模块312完成对场景中的人体运动和姿态的检测。

利用图像平滑模块311对摄像机所获取的图像数据进行高斯卷积，得到一张平滑后的图像数据。

利用前景提取模块312即建立一个混合高斯模型将背景和前景进行分离。

对于一张背景图像，特定像素的亮度的分布满足高斯分布，即对背景图像B，(x，y)点的亮度满足：

IB(x，y)～N(u，d)

这样我们的背景模型的每个象素属性包括两个参数：平均值u和方差d。

对于一幅给定的图像G，如果Exp(-(IG(x，y)-u(x，y))^2/(2*d^2))＞T，认为(x，y)是背景点，反之是前景点。

同时，随着时间的变化，背景图像也会发生缓慢的变化，这时我们要不断更新每个象素点的参数

u(t+1，x，y)＝a*u(t，x，y)+(1-a)*I(x，y)

这里，a称为更新参数，表示背景变化的速度，一般情况下，我们不更新d(实验中发现更不更新d，效果变化不大)。

使用K(基本为3到5)个高斯模型来表征图像中各个像素点的特征，在新一帧图像获得后更新混合高斯模型，用当前图像中的每个像素点与混合高斯模型匹配，如果成功则判定该点为背景点，否则为前景点。对高斯模型中方差和均值两个参数的学习，采取不同的学习机制，将直接影响到模型的稳定性、精确性和收敛性。在学习的过程中对这两个参数实时更新。为提高模型的学习能力，改进方法对均值和方差的更新采用不同的学习率；为提高在繁忙的场景下，大而慢的运动目标的检测效果，引入权值均值的概念，建立背景图像并实时更新，然后结合权值、权值均值和背景图像对像素点进行前景和背景的分类，最终实现背景和前景的分离。

通过上述方法获取运动人体图像后，对运动的人体图像数据进行处理，捕捉人体运动的位置坐标。

利用轮廓标记模块321检索运动物体的轮廓，计算轮廓的数目并标记每个轮廓在前景图像中的像素区域。

利用坐标计算模块322将每个轮廓所处的像素区域转换为图像纹理坐标范围，然后对每个轮廓的坐标范围进行计算，得到每个轮廓的中心位置坐标，最后记录下每个坐标，剔除一部分冗余数据，得到最终有效的坐标位置。

利用多目视觉校准模块331对运动捕捉模块32提取的轮廓以及预先用标准棋盘网格校准的摄像机的内外参数反求轮廓的空间位置，同时提取所有轮廓的拓扑特征点；

利用拓扑计算模块332对提取的轮廓点和人体链状模型库进行比对以确定各个刚体所包含的特征点的名称，进而建立图像三维坐标，其具体步骤如下：

(1)设定人体链状拓扑结构

本步骤中需要确定人体链状的拓扑结构，包括人体结构中刚体的数目，各个刚体中所包含的特征点的数目和名称。本发明引用人体全身作为例子，将人体划分为：头，躯干，左大臂，左小臂，左手，右大臂，右小臂，右手，腰部，左大腿，左小腿，左足，右大腿，右小腿，右足共15个刚体，每个刚体上分布的特征的名称和数目不一样，详细对应情况见表1。

刚体名称	包含的特征点
		头部	LFHD RFHD LBHD RBHD
躯干	C7CLAV RBAC T10STRN
		左大臂	LSHO LUPA LELB
左小臂	LELB LFRM LWRA LWRB
		右手	LWRA LWRB LFIN
右大臂	RSHO RUPA RELB
		右小臂	RELB RFRM RWRA RWRB
右手	RWRA RWRB RFIN
		腰部	LFWT RFWT LBWT RBWT
左大腿	LFWT LTHI LKNE
		左小腿	LKNE LSHN LANK
左脚	LANK LMT5LTOE LHEE

右大腿	RFWT RTHI RKNE
		右小腿	RKNE RSHN RAHK
右脚	RANK RMT5RTOE RHEE

表1

(2)利用红外采集设备采集背景无关的人体运动序列并得到其三维特征点序列

本步骤所涉及的运动捕获技术是基于计算机视觉的特征点匹配和重构技术并采用水平集方法提取人体轮廓获得三维特征点，要求得到的三维特征点序列中要尽可能完整，不含或者含有极少错误的点或者丢失的点。

具体水平集方法如下：

a)所谓水平集方法，其理论基础建立在任何N维曲面都可以表示为N+1维曲面与N维超平面的交集，这个N维超平面就是所谓的水平集。通过定义恰当的曲面运动方程以及水平集，可以将图像进行分割，该分割能够自动处理拓扑变形，并且对噪声不敏感。

b)理论公式如下：

给定水平集分割φ以及数据I，同时给定形状先验和数值先验

基于贝叶斯理论可以做出如下推导：

$\widehat{\mathrm{\φ}}=\arg \max p\left(\mathrm{\φ}\right|I,\widetilde{\mathrm{\φ}},\tilde{I})$

$\∝\arg \max p\left(\mathrm{\φ}\right|I,\widetilde{\mathrm{\φ}},\tilde{I})\·p\left(\mathrm{\φ}\right|\widetilde{\mathrm{\φ}},\tilde{I})$ 1)

$=\arg \min (-\log \left(p\left(\mathrm{\φ}\right|I,\widetilde{\mathrm{\φ}},\tilde{I})\right)-\log \left(\mathrm{\φ}\right|\widetilde{\mathrm{\φ}},\tilde{I}))$

$=\arg \min (E_{\mathrm{data}}+E_{\mathrm{shape}})$

同时，定义水平集内部、外部和整个区域的数值分布为h_in，h_out，h_all和

以及，通过简单推导可知：

$\widehat{\mathrm{\φ}}=\arg \min (E_a+E_{h_{\mathrm{in}}}+E_{h_{\mathrm{out}}}+E_{\mathrm{shape}})---2)$

定义形状的差异为：

$D_{\mathrm{\&phi;}}(\mathrm{\&phi;},\widetilde{{\mathrm{\&phi;}}_i})={\&Integral;}_{\mathrm{\&Omega;}}{(H\left(\mathrm{\&phi;}\left(x\right)\right)-H\left(\widetilde{{\mathrm{\&phi;}}_i}\right))}^2\mathrm{dx},H\left(x\right)=\left\{\begin{array}{c}1,x\&GreaterEqual;0\\ 0,x<0\end{array}\right.---3)$

通过假定其数据数值分布为高斯分布做变分推导可得偏微分方程：

$\frac{\&PartialD;\mathrm{\&phi;}}{\&PartialD;t}={\mathrm{\&Sigma;}}_k-\frac{E_k}{\&PartialD;\mathrm{\&phi;}}---4)$

$\frac{\&PartialD;E_k\left(\mathrm{\&phi;}\right)}{\&PartialD;\mathrm{\&phi;}}=\frac{{\mathrm{\&Sigma;}}_i{\mathrm{\&omega;}}_{i}D(f\left(\mathrm{\&phi;}\right),f_i\left(\widetilde{\mathrm{\&phi;}}\right))\frac{\&PartialD;D(f\left(\mathrm{\&phi;}\right),f_i\left(\widetilde{\mathrm{\&phi;}}\right))}{\&PartialD;\mathrm{\&phi;}}}{{\mathrm{\&sigma;}}^2{\mathrm{\&Sigma;}}_i{\mathrm{\&omega;}}_i}---5)$

通过求解以上偏微分方程求解可以得到用户指定形状先验和数值先验的分割结果并可支持用户交互调整形状和数值先验达到更新分割的目的。该分割得到的轮廓即是检测出来的目标轮廓。

(3)利用运动三维特征点序列，自动划分人体运动特征点序列中各个刚体及各刚体所包含特征点

(31)构造运动序列中各三维特征点集之间距离变化的矩阵。

由于点集的匹配标注是在每一个局部刚体上进行的，因此需要通过运动序列信息自动划分出人体的各个刚体及其所包含的特征点。位于同一个刚体上的各个特征点之间的距离在运动中近似保持不变，因此在整个运动序列中这些特征点之间距离的变化应该近似等于0；而不同刚体上的特征点之间距离的变化值则很大。利用这个性质，可以按照下面的规则构造出各三维特征点之间的距离变化矩阵。

$A_{\mathrm{ij}}=\left\{\begin{array}{c}\exp (-d_{\mathrm{ij}}^2/(2*{\&PartialD;}_i*{\&PartialD;}_j)),i\&NotEqual;j\\ 0,i=j\end{array}\right.$

其中，d_ij是第i个特征点和第j个特征点之间距离的标准差。δ_i和δ_j分别是第i个特征点和第j个特征点在标准差空间中的第k个近邻。由于人体拓扑结构中每个刚体最多包含5个特征点，所以设定k＝5。

(32)根据距离变化矩阵，采用谱聚类的方法得到运动序列中人体刚体的划分及各刚体包含的特征点。

(321)利用谱聚类算法将运动序列中的特征点划分为两个集合，分别表示人体上半身和下半身

为了得到正确的刚体划分，首先采用谱聚类的方法，在距离变化矩阵上进行聚类，得到的两个点集分别表示人体结构的上半身和下半身。

(322)对人体上半身特征点集合利用谱聚类的方法划分为指定数目的特征点集合，每个特征点集合表示一个人体刚体

根据已知的人体拓扑结构模型可以知道，人体结构中上半身特征点的数目要明显多于下半身特征点的数目。选择特征点数目较多的集合，该集合包含的特征点即为人体上半身的特征点集合。需要注意的是腰部的刚体，它既可以属于人体上半身的特征点集合也可以划分为人体下半身。如果获取的人体运动序列中各个关节都得到了充分的运动，腰部刚体往往属于上半身的刚体集合。这样人体的上半身应该包括头，躯干，左大臂，左小臂，左手，右大臂，右小臂，右手，腰部一共9个刚体。利用距离变化矩阵，采用谱聚类的方法，将上半身特征点集合划分为9个子集，每一个子集即代表一个特定的刚体。

(323)对人体下半身特征点集合利用谱聚类的方法划分为指定数目的特征点集合，每个特征点集合表示一个人体刚体

剩下的尚未处理的包含较少特征点的点集即为人体下半身特征点集合。从已知的人体拓扑结构模型可以知道，人体结构的下半身应该包括左大腿，左小腿，左足，右大腿，右小腿，右足共6个刚体。利用距离变化矩阵，采用谱聚类的方法，将下半身特征点集合划分为6个子集，每一个子集即代表一个特定的刚体。

(4)利用拓扑模型建立人体链状结构模型，按照拓扑模型提供的人体链状结构对运动序列中各个刚体所包含的特征点进行名称确定。由于腰刚体可以属于上半身集合也能够属于下半身集合。选择上半身集合中与下半身特征点集之间具有最小距离变化的点集，即为跟刚体。

(41)根据拓扑模型的信息确定运动序列中某一刚体所包含各个特征点的名称

(411)对拓扑模型和人体运动序列中属于同一刚体的特征点集合进行点集调整

由于拓扑模型和人体运动序列中属于同一刚体的特征点往往来源于不同的坐标系，在进行后续操作之前需要进行坐标系的统一，这个操作称为点集调整。

设该刚体在拓扑模型和人体运动序列中包含的点集分别为T和Q。则点集T和Q的质心可以通过下面的公式计算：

$c_T=\frac{\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}{t}_i}{M},$ $c_O=\frac{\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}{o}_i}{M},$

质心朝向为：

${\mathrm{CO}}_T=\frac{1}{M}\underset{i}{\mathrm{\&Sigma;}}(t_i-c_T)|t_i-c_T|,{\mathrm{CO}}_O=\frac{1}{M}\underset{i}{\mathrm{\&Sigma;}}(o_i-c_o)|o_i-c_o|$

其中，t_i∈T，o_i∈O，M为点集中所包含点的数目。

对于点集T和点集Q中的每一个点，进行如下的转换：

$\left[\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\\ z^{\&prime;}\end{array}\right]=R\left(\begin{array}{c}\left[\begin{array}{c}x\\ y\\ z\end{array}\right]+t\end{array}\right)$

其中R和t分别为合适的旋转矩阵与平移矩阵。

(412)在拓扑模型上，对该刚体所包含的经过点集调整的特征点构造局部K维轴向二叉树结构

拓扑模型上该刚体所包含的点集T经过点集调整之后可以得到新的点集T′。对T′中的各个标记点，构造出局部K维轴向二叉树结构。构造后的局部K维轴向二叉树中每一个叶子结点都包含了相应的特征点的名称信息。

(413)根据拓扑模型中该刚体的局部K维轴向二叉树结构，构造运动序列中该刚体所包含的经过点集调整后的特征点的局部K维轴向二叉树结构。

运动序列中同一刚体所包含的点集Q经过点集调整之后可以得到新的点集Q′。根据已经建立好的拓扑模型中T′的局部K维轴向二叉树结构，构造运动序列中该刚体的特征点的局部K维轴向二叉树结构。构造后的局部K维轴向二叉树中每一个叶子结点都包含了一个相应的特征点。

(414)利用局部K维轴向二叉树结构确定运动序列中该刚体所包含各个特征点的名称。

得到拓扑模型和运动序列中对于同一刚体的局部K维轴向二叉树结构之后，同时进行从左到右的树的遍历操作，拓扑模型和运动序列中位于同一位置的叶子结点就确定了一个点间的对应关系，根据点对的对应关系可以得到运动序列中该刚体所包含的特征点的名称。

(42)将已确定名称的特征点从特征点集合中去除。

(43)根据拓扑模型提供的拓扑信息，寻找已确定名称的刚体与尚未确定名称的刚体之间所包含的公共点。

由于人体是各个刚体之间通过公共点进行连接的链式结构。因此，利用这些公共点可以在未识别刚体中准确找到下一个将要识别的刚体点集。这个步骤可以准确的分辨出刚体的左右肢体。

(44)将公共点加入特征点集合中，利用谱聚类方法得到包含该公共点的刚体。

(45)重复步骤41到44，直到特征点集为空。

(5)标明每个特征点的ID，构建图像三维坐标。

所有的数据处理完成后，将每个特征点存入一个数据容器中，并标明每个特征点的ID，得到三维坐标并通过坐标传输模块41将一系列的三维图像坐标发送给三维互动单元51。

语义识别模块34对人体运动序列数据库进行基于层次化自组织映射的索引，并将上述三维重构得到的人体链状模型和运动序列，在数据库中基于索引进行快速查询，将检索提取到的人体链状模型运动动作解析并通过通信单元4的语义传输模块42发送给三维互动模块51。

三维互动单元5接收到这些坐标数据和具体动作语义信息，对我们的三维引擎的参数进行修改，三维引擎每一帧获取当前帧的参数设定，对相应的效果进行渲染，从而实现坐标信息对最终渲染效果的控制。

利用上述人机互动系统实现人机互动的方法如下：

第一步采集图像数据。

第二步对所采集的图像数据进行背景和前景分离，标记运动运动物体轮廓在前景图像中的像素区域，对前景图像进行三维重构并对三维重构后的运动物体进行解析得到动作语义信息，得到图像三维坐标数据和动作语义信息，其具体步骤如下：

1、设定人体链状拓扑结构。

2、利用红外采集设备通过水平集方法采集背景无关的人体运动序列并得到运动三维特征点序列。

3、利用运动三维特征点序列，自动划分出运动序列中各个刚体及每个刚体所包含的特征点。

(1)构造运动序列中各三维特征点集之间距离变化的矩阵；

(2)根据距离变化矩阵，采用谱聚类的方法得到运动序列中人体刚体的划分及各刚体所包含的特征点其步骤如下：

采用谱聚类的方法将运动序列中的特征点划分为两个集合分别表示人体结构的上半身和下半身；

对人体上半身特征点集合采用谱聚类的方法划分为指定数目的特征点集合，每个特征点集合表示一个人体刚体；

对人体下半身特征点集合采用谱聚类的方法划分为指定数目的特征点集合，每个特征点集合表示一个人体刚体。

4、利用拓扑模型，按照拓扑模型提供的人体链状结构对运动序列中各个刚体所包含的特征点进行名称确定其步骤如下：

(1)根据拓扑模型的信息确定运动序列中该刚体所包含各个特征点的名称日步骤如下：

对拓扑模型和人体运动序列中同一刚体所包含的特征点进行点集调整操作；

在拓扑模型上，对该刚体所包含的经过点集调整后的特征点构造局部K维轴向二叉树结构；

根据拓扑模型中该刚体的局部K维轴向二叉树结构，构造运动序列中该刚体所包含的经过点集调整后的特征点的局部K维轴向二叉树结构；

利用局部K维轴向二叉树结构确定运动序列中该刚体所包含各个特征点的名称。

(2)将已确定名称的特征点从特征点集合中去除；

(3)根据拓扑模型提供的拓扑信息，寻找已确定名称的刚体与尚未确定名称的刚体之间所包含的公共点；

(4)将公共点加入特征点集合中，利用谱聚类方法得到包含该公共点的刚体；

重复上述步骤(1)到步骤(4)直到特征点集合为空。

5、标明每个特征点的ID，构建图像三维坐标。

6、对三维重构模块重构后的图像进行解析的到动作语义信息其具体步骤如下：

对人体运动序列数据库进行基于层次化自组织映射的索引；

对上述三维重构得到的人体链状模型和运动序列，在数据库中基于索引进行快速查询；

将检索提取到的人体链状模型运动进行解析并将其动作语义信息发送到三维互动单元进行相应的渲染。

第三步根据图像数据处理单元得到的三维坐标数据和动作语义信息进行三维渲染和三维互动。

以上内容是结合优选技术方案对本发明所做的进一步详细说明，不能认定发明的具体实施仅限于这些说明。对本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出简单的推演及替换，都应该视为本发明的保护范围。

Claims (18)

1.一种互动投影系统，包括视频图像投影单元(1)，图像采集单元(2)，其特征在于，所述互动投影系统还包括图像数据处理单元(3)、通信单元(4)及三维互动单元(5)；

所述视频图像投影单元(1)用于投影图像；

所述图像采集单元(2)用于采集视频图像投影单元(1)投影区域内的场景图像，并将采集到的场景图像传送给所述图像数据处理单元(3)；

图像数据处理单元(3)对接收到的场景图像进行背景和前景分离，标记运动物体轮廓在前景图像中的像素区域，对前景图像进行三维重构并对三维重构后的运动物体进行解析得到动作语义信息，将得到的图像三维坐标和动作语义信息传送给所述通信单元(4)；

通信单元(4)将接收到的图像三维坐标以及动作语义信息传送给所述三维互动单元(5)；

三维互动单元(5)自通信单元(4)接收由图像数据处理单元(3)捕捉到的图像三维坐标以及动作语义信息，根据所述图像三维坐标和语义信息输出相应的三维互动效果。

2.根据权利要求1所述的互动投影系统，其特征在于，所述通信单元(4)包括：

坐标传输模块(41)，用于传输所述图像三维坐标；

语义传输模块(42)，用于传输所述动作语义信息。

3.根据权利要求1所述的互动投影系统，其特征在于，所述图像采集单元(2)包括：

用于发射红外光的红外LED灯具阵组；

及用于采集多目视觉图像的摄像头组。

4.根据权利要求1所述的互动投影系统，其特征在于，所述图像采集单元(2)包括：

使摄像头自由旋转的摄像头旋转装置；

以及过滤可见光的透红外亚克力薄板。

5.根据权利要求1所述的互动投影系统，其特征在于，所述图像数据处理单元(3)包括：

背景分离模块(31)，用于将图像数据中的背景图像和前景图像进行分离；

运动捕捉模块(32)，用于对分离模块(31)分离的运动前景图像分析并标记运动区域；

三维重构模块(33)，用于对运动捕捉模块(32)标记的运动前景图像区域进行空间重构；

语义识别模块(34)，利用动作语义数据库，对三维重构模块(33)得到的人体链状模型和运动序列进行快速查询，确定运动序列中刚体所表示的意义。

6.根据权利要求5所述的互动投影系统，其特征在于，所述背景分离模块(31)包括：

图像平滑模块(311)，用于对摄像机所获取的图像数据进行高斯卷积，得到一张平滑后的图像数据；

前景提取模块(312)，建立一个混合高斯模型对图像平滑模块(311)获得平滑图像的背景和前景进行分离，具体如下，对一个背景图像，特定像素亮度的分布满足高斯分布，即对背景图像B，(x，y)点的亮度满足：

IB(x，y)～N(u，d)

u为平均值，d为方差，

对于一幅给定的图像G，如果Exp(-(IG(x，y)-u(x，y))^2/(2*d^2))＞T，认为(x，y)是背景点，反之是前景点；

利用公式u(t+1，x，y)＝a*u(t，x，y)+(1-a)*I(x，y对变化的图像进行更新，这里a称为更新参数，表示背景变化的速度；

使用K个高斯模型来表征图像中各个像素点的特征，在新一帧图像获得后更新混合高斯模型，用当前图像中的每个像素点与混合高斯模型匹配，如果成功则判定该点为背景点，否则为前景点，采取不同的更新机制对高斯模型中方差和均值两个参数的更新，并引入权值均值的概念，建立背景图像并实时更新，然后结合权值、权值均值和背景图像对像素点进行前景和背景的分类，最终实现背景和前景的分离。

7.根据权利要求6所述的互动投影系统，其特征在于，所述背景分离模块中的K取值范围为3到5。

8.根据权利要求5所述的互动投影系统，其特征在于，所述运动捕捉模块(32)包括：

轮廓标记模块(321)，利用前景提取模块(312)提取的前景图像，检索运动物体的轮廓，计算轮廓的数目并标记每个轮廓在前景图像中的像素区域；

坐标计算模块(322)，用于计算轮廓标记后的图像数据坐标，具体过程：首先将每个轮廓所处的像素区域转换为图像纹理坐标范围，然后对每个轮廓的坐标范围进行计算，得到每个轮廓的中心位置坐标，最后记录下每个坐标，剔除一部分冗余数据，得到最终有效的坐标位置。

9.根据权利要求5所述的互动投影系统，其特征在于，所述三维重构模块(33)包括：

多目视觉校准模块(331)，利用运动捕捉模块(32)提取的轮廓，以及预先用标准棋盘网格校准的摄像机的内外参数反求轮廓的空间位置，同时提取所有轮廓的拓扑特征点；

拓扑计算模块(332)，利用预先采集的T字型拓扑模型，以及拓扑模型提供的人体链状结构对前景图像中各个刚体所包含的特征点进行名称确定，进而建立人体链状模型。

10.根据权利要求1所述的互动投影系统，其特征在于，所述三维互动单元(5)包括：

三维互动模块(51)通过对通信单元(4)传送的三维图像坐标和动作语义信息进行分析，利用三维引擎更新三维物体各项属性，并提供各项可调的参数对三维物体的属性修改阈值和幅度进行设定；

三维渲染模块(52)根据三维互动模块(51)的相应参数和三维物体属性对三维物体进行真实感渲染。

11.一种用于互动投影系统的互动投影方法，其特征在于，包括以下步骤：

采集图像数据；

对所采集的图像数据进行背景和前景分离，标记运动运动物体轮廓在前景图像中的像素区域，对前景图像进行三维重构并对三维重构后的运动物体进行解析得到动作语义信息，得到图像三维坐标数据和动作语义信息；

根据图像数据处理单元得到的三维坐标数据和动作语义信息进行三维渲染和三维互动。

12.一种用于权利要求11所述的互动投影方法，其特征在于上述三维重构包括以下步骤：

设定人体链状拓扑结构；

利用红外采集设备采集背景无关的人体运动序列并得到运动三维特征点序列；

利用运动三维特征点序列，自动划分出运动序列中各个刚体及每个刚体所包含的特征点；

利用拓扑模型，按照拓扑模型提供的人体链状结构对运动序列中各个刚体所包含的特征点进行名称确定；

标明每个特征点的ID，构建图像三维坐标。

13.一种用于权利要求12所述的互动投影方法，其特征在于所述运动序列通过水平集方法提取人体轮廓并获得三维特征点。

14.一种用于权利要求12所述的互动投影方法，其特征在于所述自动划分出运动序列中的各个刚体及每个刚体包括的特征点包括以下步骤：

构造运动序列中各三维特征点集之间距离变化的矩阵；

根据距离变化矩阵，采用谱聚类的方法得到运动序列中人体刚体的划分及各刚体所包含的特征点。

15.一种用于权利要求14所述的互动投影方法，其特征在于所述采用谱聚类的方法得到运动序列中人体的划分及各刚体所包含的特征点包括以下步骤：

采用谱聚类的方法将运动序列中的特征点划分为两个集合分别表示人体结构的上半身和下半身；

对人体上半身特征点集合采用谱聚类的方法划分为指定数目的特征点集合，每个特征点集合表示一个人体刚体；

对人体下半身特征点集合采用谱聚类的方法划分为指定数目的特征点集合，每个特征点集合表示一个人体刚体。

16.一种用于权利要求12所述的互动投影方法，其特征在于按照拓扑模型提供的人体链状结构对运动序列中各个刚体所包含的特征点进行名称确定包括以下步骤：

根据拓扑模型的信息确定运动序列中该刚体所包含各个特征点的名称；

将已确定名称的特征点从特征点集合中去除；

根据拓扑模型提供的拓扑信息，寻找已确定名称的刚体与尚未确定名称的刚体之间所包含的公共点；

将公共点加入特征点集合中，利用谱聚类方法得到包含该公共点的刚体；

重复上述确定运动序列中该刚体所包含各个特征点的名称到上述将公共点加入特征集合的步骤，直到特征点集合为空。

17.一种用于权利要求16所述的互动投影方法，其特征在于根据拓扑模型的信息确定运动序列中该刚体所包含各个特征点的名称包括以下步骤：

对拓扑模型和人体运动序列中同一刚体所包含的特征点进行点集调整操作；

在拓扑模型上，对该刚体所包含的经过点集调整后的特征点构造局部K维轴向二叉树结构；

根据拓扑模型中该刚体的局部K维轴向二叉树结构，构造运动序列中该刚体所包含的经过点集调整后的特征点的局部K维轴向二叉树结构；

利用局部K维轴向二叉树结构确定运动序列中该刚体所包含各个特征点的名称。

18.一种用于权利要求11所述的互动投影方法，其特征在于所述对运动物体进行解析得到动作语义信息包括以下步骤：

对人体运动序列数据库进行基于层次化自组织映射的索引；

对上述三维重构得到的人体链状模型和运动序列，在数据库中基于索引进行快速查询；

将检索提取到的人体链状模型运动进行解析并将其动作语义信息发送到三维互动单元进行相应的渲染。

Images