CN102306065A

CN102306065A - 交互式光感触摸微型投影系统的实现方法

Info

Publication number: CN102306065A
Application number: CN201110203892A
Authority: CN
Inventors: 李程; 张易意; 孙鹏
Original assignee: WUXI BEEHIVE CREATIVE TECHNOLOGY CO LTD
Current assignee: WUXI BEEHIVE CREATIVE TECHNOLOGY CO LTD
Priority date: 2011-07-20
Filing date: 2011-07-20
Publication date: 2012-01-04

Abstract

本发明涉及一种交互式光感触摸微型投影系统的实现方法，包括红外发射捕捉系统、手位置识别、手动作识别以及交互设计软件系统开发四个技术层面，四个技术层面的数据是依次传递处理的，具体包括以下步骤：1）红外发射和捕捉系统采用红外发射器发射的红外线在遇到手之后会进行反射，反射光进入红外接收器中，红外接收器对反射的光进行投影，获取红外分布情况；2）人手信息的提取；3）多点触控系统的实现。本发明的有益效果为：动态交互，信息传递，由公共场所展示互动转为个人私有互动，产品不占用使用空间，可固定可便携，应用范围广泛，在各服务行业具有巨大的市场潜力。

Description

交互式光感触摸微型投影系统的实现方法

技术领域

本发明涉及投影系统应用领域，尤其涉及一种交互式光感触摸微型投影系统的实现方法。

背景技术

基于光感触摸技术的交互式投影媒体简称互动微投，是一套便携式投影媒体系统，导入了动态捕捉、影像辨识、多点触控、互动网络等功能，集交互性、便捷性、实用性、市场性于一身，适用于办公室、餐厅、家庭等室内场所。交互界面通过微型投影机投放至墙面或桌面，人们只需要用手指选择即可产生互动（如会议投影讲解、餐厅投影点餐桌面、投影互动游戏）

交互投影技术在中国应用比较成熟，但所有投影设备仅适合于公共场所展示与互动，国内尚没有合适产品，为大众提供更便捷高效的服务，传统产品已不能满足投影用户的需求，更无法真正实现投影互动产品的便捷化，大众化，商务化，智能化。

发明内容

本发明的目的是提供一种交互式光感触摸微型投影系统的实现方法，以解决现有技术中存在的上述不足。

本发明的目的是通过以下技术方案来实现：

一种交互式光感触摸微型投影系统的实现方法，包括红外发射捕捉系统、手位置识别、手动作识别以及交互设计软件系统开发四个技术层面，四个技术层面的数据是依次传递处理的；具体实现包括以下步骤：

1）红外发射和捕捉系统使用红外发射器发射的红外线在遇到手之后会进行反射，反射光进入系统中的红外接收器中，红外接收器对反射的光进行投影，获取红外分布情况；

2）人手信息的提取：选用背景减除法进行提取，预处理获取图像各个区域的阀值，红外摄像机拍摄到的图像的灰度呈现多个分水岭，根据已划分图像区域，确定各个区域的阀值T；

3）多点触控系统的实现：多个用户同时与目标跟踪识别系统交互，目标跟踪识别系统不仅要处理当前帧的图像，获取交互对象的特征信息来识别对象，还要建立前后帧的关系用于跟踪对象。

所述T的算法如下：

（1）根据红外摄像机拍摄到的图像的灰度变化，手动将图像划分为nx*ny个区域；

（2）按顺序逐次绘制Gridi，投影到交互屏幕上，将手置于Gridi内；

（3）分割图像，X．-r半自动确定一个最佳的Ti。

所述的交互式光感触摸微型投影系统的实现方法，所述的多点触控互动投影系统是基于投影仪-红外摄像机的多点触控系统，实现方式如下：

（1）通过几何变换，建立帧缓存和摄像机图像空间中投影区域的几何映射关系，将拍摄到的图像变换到帧缓存的几何空间下；

（2）采用背景减除法分割变换后的图像，标记连通成分，分别提取各个连通成分的轮廓图及计算方向包围盒，并跟踪；

（3）根据肤色模型，从连通成分中提取掌心的几何位置，利用轮廓点和掌心的距离关系分别将各个二维轮廓图转化为一维波形，并计算波形的极值点，根据数学知识和手指构造，在轮廓图中提取手指的长、宽、指尖的展角和手指间的夹角等特征信息；

（4）采用神经网络识别手指，区分手指端和手臂端。

本发明的有益效果为：1、交互性：基于光感触摸技术的交互式微型投影技术通过投影-动态捕捉-投影反馈-PC信息接收等动作实现影像识别，动态交互，信息传递，由公共场所展示互动转为个人私有互动；2、便捷性：互动与便捷是此项目特色，产品定位为便携式（体积不超过3cm*12cm*6cm）从而使互动投影由公共场所展示互动转型为个人化互动服务；3、实用性：产品不占用使用空间，可固定可便携，如餐厅中可设置投影点餐桌面，室内公共场所设置投影互动游戏，家庭设置投影电视或电影。同时互动投影通过物联网技术远程操控智能电器，技术发展潜力巨大，一切技术围绕为大众提供更便捷服务为基础展开，使大众生活智能化；4、市场性：产品投放市场，各服务行业市场潜力巨大，如餐饮、旅游、酒店、办公室等场所，进一步开发的智能产品进入家庭，又将带来无限量的市场资源。

附图说明

下面根据附图对本发明作进一步详细说明。

图1是本发明实施例所述的交互式光感触摸微型投影系统的实现方法的计算机流程图；

图2是本发明实施例所述的交互式光感触摸微型投影系统的实现方法的数据传递流程图；

图3是本发明实施例所述的交互式光感触摸微型投影系统的实现方法的红外投影原理图；

图4是本发明实施例所述的交互式光感触摸微型投影系统的实现方法的背景减除法提取流程图；

图5是本发明实施例所述的交互式光感触摸微型投影系统的实现方法的多点触控流程图。

具体实施方式

如图1-5所示，本发明实施例所述的一种交互式光感触摸微型投影系统的实现方法，包括红外发射捕捉系统、手位置识别、手动作识别以及交互设计软件系统开发四个技术层面，四个技术层面的数据是依次传递处理的，包括以下步骤：

1）红外发射和捕捉系统：使用了红外发射器发射的红外线在遇到手之后会进行反射，反射光进入系统中的红外接收器中，红外接收器对反射的光进行投影，获取红外分布情况；

所述T的算法如下：

（3）分割图像，X．-r半自动确定一个最佳的Ti。

（3）根据肤色模型，从连通成分中提取掌心的几何位置，利用轮廓点和掌心的距离关系分别将各个二维轮廓图转化为一维波形，并计算波形的极值点，根据数学知识和手指构造，在轮廓图中提取手指的长、宽、指尖的展角和手指间的夹角等特征信息。

如图3所示，测试硬件组成包含一架摄像机、两盏红外线灯、一台投影仪和一张100cm*210cm的桌子。系统能实时跟踪进入交互环境内的物理物，进行更精确的跟踪检测手指的指尖位置。

1、投影仪-摄像机几何标定设置

如果坐标变换的形式是：

Figure 2011102038921100002DEST_PATH_IMAGE001

则该变换称为仿射变换(affine transformation 10]。每一个变换后的坐标U和v是原坐标x和Y的线性函数，且参数aij均是由变换类型确定的常数。如公式所示，一般的2D．2D仿射变换需求出六个参数，根据线性方程组的求解，求这6个参数只需要3组匹配的点对就足够了，但是如果这些点中的任意一个的坐标存在误差，都必然会造成求得的参数存在误差，解决这个问题更好的方法之一是，采用更多的匹配控制点以得到6个参数的最小二乘估计。我们可以定义一个误差指标函数：

误差函数分别对6个变量求偏导，使之为0，就得到六个线性方程。然后就可以用求解线性方程组的方法得到这6个参数的最小二乘估计。方程用矩阵的形式表示如下：

Figure 2011102038921100002DEST_PATH_IMAGE003

为了使用方便，在图2中使用前图像平面代替成像平面，它与实际目标位于光心的同一侧，到光心的距离为f，在前图像平面上的目标，与在实际图像平面上的点有相同的比例，而方向与实际目标相同，可以得到透视投影模型的计算式：

利用距离和角度测量数据能够得到足够精确的摄像机矩阵C，但实际上这个过程执行起来是有难度的。可以利用控制点拟合的方法来得到摄像机矩阵参数的实际值：

Figure 2011102038921100002DEST_PATH_IMAGE005

为了进行合理的简化，我们假定在系统中，以下的假设始终成立：

(1)投影仪对绘制图形的投影没有任何畸变：

(2)摄像机模型符合透视变换模型。

又因为，在接下来的处理中，我们只单纯关心绘制区域与摄取图像之间的映射，因此一个精确的场景三维重建过程对我们来说是不必要的。这样，我们又可以得出下面的推论：

对上面提出的两条假设的小范围偏离是可接受的：系统不关心摄像机的焦距；系统不关心投影面和摄像机成像平面之间的实际距离。

有了以上的条件，我们很容易看出，找出这个映射关系实际上就是获得一个平面在两个空间坐标系下图像点间的映射，这个映射可以用单应性矩阵来表示。令m1，m2分别为某一平面上的点x在两个视点下的对应像素的齐次坐标，则他们之间的关系可用3*3单应性矩阵H表示为：

其中S为非零常数因子，H33=1。单应性矩阵在相差一个非零常数因子的意义下是唯一的，它实现了两个平面图像点之间的一一对应关系。

如图4所示，本发明实施例所述的交互式光感触摸微型投影系统的实现方法选用背景减除法进行提取。红外摄像机感应周围环境反射回来的红外光，对环境中的可见光不产生感应。因此在环境中红外光线不发生变化的条件下，只要没有新物体进入摄像机的拍摄区域，即使投影仪播放的内容不断变化，红外摄像机拍摄的图像不会产生变化，即背景是固定的，不会随投影的内容变化而变化。g(x，Y)表示当前拍摄的图像的灰度值f(x，y)与背景的灰度值相减的绝对值：

Figure 2011102038921100002DEST_PATH_IMAGE007

门限处理可以被看做一种涉及测试下列形式函数T(也可称为阀值)的一种操作：

其中，f(x，y)是点(x,y)的灰度级，p(x，y)表示这个点的局部性质——例如，以(x，y)为中心的邻域的平均灰度级。经门限处理后的图像g(x，y)定义为：

因此．标记为l(或其他任何合适的灰度级)的像素对应于对象，而标记为O(或任何其他没有被标记为对象的灰度)的像素对应于背景。当T仅取决于f(x，y)(仅取决于灰度级值)时，门限就称为全局的。如果T取决于f(x，Y)和p(x，y)，门限就是局部的。另外，如果T取决于空间坐标X和Y，门限就是动态的或自适应的。现在，问题归结为如何求T。当T1<f(x，Y)≤T2时将点归为某一对象，而如果f(x，Y)>r2时则归为另一个对象，如果f(x，y)≤TI时归为背景。总的来说，需要多个门限来分割图像。

因此可以采用Ostu自动阀值处理算法来实现图像分割，然而osm算法要比较多个阀值来获取最佳阀值，无法满足实时的要求。本文采用的算法是预处理获取图像各个区域的阀值。当场景布置妥当后，场景内的红外光是基本保持不变的，红外摄像机拍摄到的图像的灰度呈现多个分水岭的，可以事先划分图像区域(可以认为每个区域内图像的灰度是均匀分布的)，确定各个区域的阀值T。计算从图像分割出人手所用的T的算法如下：

（2）按顺序逐次绘制Gridi，(当前区域为白色，其它区域为黑色)投影到交互屏幕上，将手置于Gridi内；

（3）分割图像，X．-r半自动确定一个最佳的Ti；

上一可以变化为：

其中g(x，Y)表示背景减除法处理后的图像。从人手中分割出手掌在图像的一个子集内处理，这里我们把这个子集称为连通成分，记为Region。T不仅是局部的，而且还是动态的，则T=Max(f(x，y))*2／3+Min(f(x，y))+1／3。函数g(x，y)可以定义如下：

Figure 2011102038921100002DEST_PATH_IMAGE011

掌心的位置定义如下：

如图5所示，本发明实施例所述的交互式光感触摸微型投影系统的实现方法的多点触控流程图，目标跟踪识别系统一个重要性质是：多个用户能同时与系统交互。在软件实现上，系统不仅要处理当前帧的图像，获取交互对象的特征信息来识别对象，还要建立前后帧的关系用于跟踪对象。提取人手的特征信息：掌心位置、OBB、指尖个数及几何坐标，其数据结构如下表示：

Struct IPSHandStruct

{

int iHandId; / / 人手的ID，用于跟踪

int iCenterX;

int iCenterY; / / 中心点的位置即掌心

IPSVECTOR2f vecaxis[2];

IPSVECTOR2f dAxisSize; / /OBB

Std::vextor<IPSVECTOR2i> vecFingerArray； / /指尖数组

系统的软件架构主要可分为四层，由系统、引擎、目标识别跟踪、应用四个层次所构成。最底层的是系统层，是整个系统架构的基础，其中包含了底层绘制接El、输入输出接口和系统调用接口。引擎将上层应用划分为模块(module)，将模块内的操作流程划分为状态(state)问的迁移，并为模块提供底层调用的接口，同时支持多线程。目标跟踪识别封装在系统的HandTrack流程，为上层多点触控系统应用提供了功能上的支持。

为了便于扩展系统功能，目标跟踪识别被封装在HandTrack模块中，供用户开发自己的交互应用。HandTrack提供IAppState两个接口给用户开发自己的应用。IAppState代表控制HandTrack的状态迁移。开发用户通过IAppState获得系统的输出即目标的跟踪结果。IAppState提供给用户继承的接口有：

Userlnitialize0：完成初始化工作。

UserRelease0：完成销毁工作。

UserStep0：用户可以基于当前的跟踪状态定义自己的状态机。

UserDrawScene0：用户自定义的绘制工作。

IAppState提供给用户的查询接口包括：

QueryCurrentStep0：查询系统当前的跟踪状态。状态包括IPS_CAPTUPE_OK(摄像机捕获到～帧图像)、IPS_PROCESS_OK(代表目标跟踪识别完成)、IPS—FINISH(表示当前state处理完毕，用户可以迁移到另一个state或者结束程序)。GetProcessResult0；获取HandTrack的处理结果，即IPSHandStruct数组。

多点触控系统基于上述软件开发接口成功开发了一个图像浏览的案例，证明了软件开发接口设计的有效性。

微型投摄一体机的硬件实现：

（1）Phoenix是一款三维虚拟交互与游戏引擎，它的全名叫（Phoenix 3D Real Time Game Engine）。初期源于江南大学数字蜂巢工作室的一个虚拟现实仿真项目。之后经过不断完善修改从而发展到2.0。Phoenix2.0是由公司自主开发的虚拟现实三维图形引擎，是有效完成创意新媒体广告的基础。此交互引擎专利计划申报中。

（2）Phoenix2.0重要技术特性：

A、平台特性：支持Directx9和OpenGL渲染器，引擎核心部分与平台无关。研发之初，OpenGL渲染器还未测试；

B、持久化支持：引擎中除了位图资源，和GPU程序时单独分割的，支持整个场景的持久化需求，即整个场景只保存为一个文件，可以对象的完全保存，加载，解析；

C、地形：页式分割的地形系统，支持地形页的动态裁剪，动态超大世界的动态加载，支持无限地形技术；

D、粒子系统：基于事件的高级粒子系统，（和Uinty3d国外知名虚拟交互引擎等按照时间根据变化曲线生成相应粒子属性的系统，有一定区别），将来会做修改；

E、光照：每个灯光占用一个渲染Pass，使用add Apha混合。一个节点下最大只可挂载8个灯光。灯光虽然是Shader based，但也是基于顶点的；

F、反射：使用NormalMap进行水面扰动，支持水面反射的模拟；

G、模型：从Max9中通过导出插件导出；

K、编辑器：MFC + Xtreme ToolkitPro v12.0.1，编辑器模块包括：资源管理器，场景管理器，粒子编辑器，模型编辑器，地形编辑等。

引擎的借鉴各大引擎特色。同时引入实景模拟，实景录入等基于虚拟三维技术的户外交互媒体技术。此引擎处于研发状态，很多高级特性还待完善。

具体使用时，将规格为100V-240V 全球通用电源适配器接通国内220v电压电源，将电源适配器的一端通过专有的直角梯形端口接通交互式光感触摸微型投影机，以取得其工作所需的电压。在接通电源后，通过电源适配器分线出的usb2.0接口，连接操作系统为win7的计算机主机，以取得和红外摄像头和计算机主机的通信。同时，通过另一个VGA线接通计算机主机机，以取得微型投影仪和计算机间的通信。

在操作系统为win7的电脑主机上运行编写好的“交互设计系统软件”，此系统基于win7 32位为基础来开发建设，涵盖红外发射器、红外摄像头、微型投影仪驱动程序。随计算机系统启动一并启动，独立设计的UI和操作方式，以及软件文件保密方式。其具体运行的方式为：当系统启动后，自动运行加载“交互设计系统软件”，计算机主机通过VGA接口，将图像传输微型投影仪，投影成像。交互式光感触摸微型投影机的红外放射器发出红外光，红外摄像头捕捉手势，得到RGB图，深度图，再经过数学分析转换为指令，控制交互式展示程序，以及投影图像调整程序，投影图像可实现梯度调整，调整校对投影效果图。

交互式光感触摸微型投影机，分为微型投影仪头，红外发射器，红外摄像头三个部分。微型投影仪头通过旋转调整其投影状态，微型投影仪头，红外发射器始终在同一侧。调节微型投影仪部分，可得到两个投影状态：投影状态一，投影桌面，即微型投影头和红外发射器，红外摄像头位于一侧，投影头倾斜30度，将画面投射于前方的桌面介质。人手位于红外发射器，红外摄像头前；投影状态二，投影墙面。将投影仪头，平行于其起倾斜面旋转，投影头倾斜60°，投影于前方的前面介质，此时红外摄像头位于一侧，微型投影仪头位于另一次，人手位于红外发射器，红外摄像头前。

操作者手部置于位于红外发射器和红外摄像头前，通过调整对准红外摄像头，手掌对准红外摄像头，手掌位于摄像头和红外发射器前距离为30cm为佳，停留5秒钟，等待手势辨识，手势识别成功后，交互设计系统软件会出现操作提示，此时投影画中的面鼠标光标可以随人手一起移动的，即可可进行交互式操作。

进行进行互动操作，人手移动，交互系统中，鼠标光标会随人手一起移动。将鼠标光标在图标处停留3秒，即为双击图标，进入交互程序运用。每个不同的程序，会有不同的手势运用。基础手势运用为：人手向前移动（放大），人手向后移动（缩小），人手向左移动（后退），人手向右移动（前进），人手停留3秒（点击），双手配合指令（拖动，放大）。整个操作过程中，人不必触碰投影界面，对准摄像头，隔空操作即可。

本发明不局限于上述最佳实施方式，任何人在本发明的启示下都可得出其他各种形式的产品，但不论在其形状或结构上作任何变化，凡是具有与本申请相同或相近似的技术方案，均落在本发明的保护范围之内。

Claims

1.一种交互式光感触摸微型投影系统的实现方法，其特征在于，包括以下步骤：

1）红外发射和捕捉系统采用红外发射器发射的红外线在遇到手之后会进行反射，反射光进入红外接收器中，红外接收器对反射的光进行投影，获取红外分布情况；

3）多点触控系统的实现：多个用户同时与目标跟踪识别系统交互，目标跟踪识别系统处理当前帧的图像，获取交互对象的特征信息来识别对象，以及建立前后帧的关系用于跟踪对象。

2.根据权利要求1所述的交互式光感触摸微型投影系统的实现方法，其特征在于，在步骤2）中：所述T的算法如下：

（3）分割图像，X．-r半自动确定一个最佳的Ti。

3.根据权利要求1或2所述的交互式光感触摸微型投影系统的实现方法，其特征在于，在步骤3）中：所述的多点触控互动投影系统是基于投影仪-红外摄像机的多点触控系统，实现方式如下：

（4）采用神经网络识别手指，区分手指端和手臂端。