CN101183276A - 基于摄像头投影仪技术的交互系统 - Google Patents

Abstract

一种计算机技术领域的基于摄像头投影仪技术的交互系统，包括：摄像头、投影仪、计算机、交互识别模块、渲染模块。所述投影仪将渲染的画面投影到设定区域上。所述摄像头捕捉固定场景，这里固定场景指的是包含投影仪投射出来画面在内的一块区域，摄像头拍摄到这块区域后，在拍摄的图像中识别出投影画面的区域，然后再由交互识别模块进一步分析。所述交互识别模块分析出当前人的位置和动作信息之后向渲染模块发送消息。所述渲染模块对交互识别模块输入的消息做出响应，完成相应的动画生成与实时绘制。本发明用计算机视觉和图形技术实现了一种更加自然的人机交互方式，在节约成本的同时，大大提高了系统的适用范围。

Description

基于摄像头投影仪技术的交互系统

技术领域

本发明涉及一种计算机技术领域的系统，具体是一种基于摄像头投影仪技术的交互系统。

背景技术

虚拟现实技术，是将模拟环境、视景系统和仿真系统合三为一，并利用头盔显示器、图形眼镜、数据服、立体声耳机、数据手套及脚踏板等传感装置。把操作者与计算机生成的三维虚拟环境连结在一起，操作者通过传感器装置与虚拟环境交互作用，可获得视觉、听觉、触觉等多种感知，并按照自己的意愿去改变“不随心”的虚拟环境，利用这种虚拟现实技术进行建筑、机械、兵器等设计修改，实施技术操作训练和军事演习活动要容易得多，也便宜得多。随着计算机图形硬件的飞速发展，实时渲染的画质越来越高。比如水面渲染，主要分为两大类，一类是在时域中进行的，一类是在频域中进行。前者主要有用柏林噪声加在一系列球面波上，并用这些结果对平面法向量进行干扰来产生最后的渲染结果。这样做法比较便捷，使得不需对网格进行变形就能够得到一定的效果，但这样简化的结果是水不够逼真，且不是三维的。傅里叶和Reeves等人对这个模型进行了大量的改进，水面节点的位置也开始变化，而不再是仅仅改变表面法向量，他们是通过快速傅里叶变换在频域中对网格点进行一定噪声的干扰，再用逆快速傅里叶变化回到时域中，这样来产生水波纹。Thon等人在2000年将水的主体用一些摆线的叠加来表示，水的细节用三维的扰动来添加上去。在水面实时渲染的研究中，实时的水模拟一般是在是时域中直接进行，由于计算机对于FFT(快速傅立叶变换)计算的消耗还是很大。所以这些方法很少实时。比如Schineider等人使用OpenGL(一个三维图形开发包)在顶点程序中组合两组八个梯度噪声干扰高度数据来生成水面网格，能够实时交互。

作为虚拟现实中一种新颖的交互方式，同时伴随着设备成本的降低，摄像头投影仪技术在近几年发展得很快。通过投影仪成像可有效地扩大人机交互的空间范围。摄像头投影仪技术主要通过摄像头来对投影图像进行定位、跟踪和标定，将许多虚拟现实与增强现实中的关键技术运用到交互系统中。目前为止，对摄像头投影仪技术的研究与开发主要集中在投影图像的校正(包括几何校正与光学校正)、多投影仪的校准与协同工作等领域。通过结合计算机视觉中的物体跟踪技术，摄像头投影仪技术同样可实现对前景物体的监控、识别与跟踪。

经对现有技术的文献检索发现，J.Rekimoto等人在《Perceptual UserInterfaces(知觉用户界面)》(97年30-32页)上发表的“Perceptual surfaces：Towards a human and object sensitive interactive display”(感知表面：一种人物感知交互显示)，该文中提出一种用投影仪和红外摄像机来捕捉人物动作来进行交互的系统，系统结构为：投影仪将画面投影到一面普通的墙面上，在墙后面有一台红外摄影机，用这台红外摄像机来捕捉人们在墙前面的动作，然后将识别结果会发应在投在墙上的画面上，其不足在于：1.使用了昂贵的红外摄像机，成本高；2.因为依赖红外识别，算法简陋，所以识别目标局限，只能识别有一定温度的物体，用其他道具就不能识别了。

发明内容

本发明针对现有技术的不足，提供一种基于摄像头投影仪技术的交互系统，使其改进了传统人机交互模式，利用计算机视觉和图形技术实现了一种更加自然的人机交互方式，并将其应用到艺术品、商业产品、及娱乐的交互展示中去。本发明使用了普通的摄像头，大大降低了成本了，用分析拍摄的图像来进行交互物体识别的，这样识别范围就不局限于有温度的物体，也可以是其他道具，在节约成本的同时，大大提高了系统的适用范围。

本发明是通过以下技术方案实现的。本发明包括：摄像头、投影仪、计算机、交互识别模块、渲染模块。交互识别模块和渲染模块都安装在计算机上。所述投影仪将渲染的画面投影到设定区域上。所述摄像头捕捉固定场景，这里固定场景指的是包含投影仪投射出来画面在内的一块区域，摄像头拍摄到这块区域后，首先会在拍摄的图像中，识别出投影画面的区域，然后再由交互识别模块进一步分析。所述交互识别模块分析出当前人的位置和动作信息之后向渲染模块发送消息。所述渲染模块对交互识别模块输入的消息做出响应，完成相应的动画生成与实时绘制。渲染模块、交互识别模块通信通过进程间通信实现。

所述交互识别模块，借鉴了目前广泛用于交通监控中的“背景消除”技术。交互识别模块启动时需要先捕捉一帧背景图像作为参考帧，之后的每帧图像与参考帧进行图像差运算，获得差图像。通过图像二值化运算将差图像转换为二值图像。由于摄像头捕捉图像本身存在噪声的影响，差图像中的区域会出现空洞。这里需要对二值差图像再进行闭运算，以填补这些空洞。由于背景图像事实上一直在发生变化(比如背景图像中包含图形动画等实时变化的元素)，单纯采用二值差图像提取前景物体往往会错误地将这些发生变化的背景图像元素归类为前景物体。为了区分背景元素和前景物体(人)，需要利用两者之间在尺寸上的差别对它们进行区分。

本发明采用连通区域检测的方法，将二值差图像中的连通区域全部提取出来，计算其覆盖面积，利用事先设定的面积阈值对其进行过滤，可以将背景中面积较小(面积小于整幅图像面积0.5％)的背景元素过滤掉。通过对剩下的连通区域计算中心点的方法，确定前景物体分别所在的位置，再以坐标点的形式发送给渲染模块，做出相应的动画响应和实时绘制。

所述渲染模块，包括：几何变换模块、资源管理器模块、特效库模块、光照和纹理模块以及底层渲染抽象层，这几个模块分工合作一起作为整个渲染管道的一个个节点，其中：

所述资源管理器模块：统一加载和释放在渲染过程中用到的资源包括几何数据、纹理数据、材质数据，几何变换模块和光照和纹理模块会给资源管理器模块提供一些资源需求的信息，然后资源管理器模块就按照最近最少使用和预取的策略进行管理；

所述几何变换模块：资源加载到资源管理器模块之后，几何变换模块会首先去资源管理器模块申请模型几何数据包括三角片、四边形片数据，并把申请到数据按照自己的格式组织成符合这个渲染器能识别的自定义的模型数据，包括顶点位置、顶点法向量、顶点纹理坐标，转换好格式之后就是进行三个坐标系变换，首先是将模型坐标转换到用户定义的世界坐标系，其中包括平移、旋转、缩放，这些数据通过输入设备进行输入，接下来根据用户输入的摄像机位置，将几何数据转换到摄像机空间，再将几何数据进行透视变换转换到标准的裁剪空间；

所述光照和纹理模块：对经过资源管理器模块的加载和几何变换模块处理过的数据进行渲染，根据用户设定的要求，光照和纹理模块进行各种技术和各种精度的全局光照计算，支持以下渲染技术：最简单的光线跟踪，利用光子树来求解蒙特卡罗积分来进行的光子跟踪，根据用户提出的图像误差要求，对渲染的视频进行bilateral(考虑多种因素一起作用影响的滤波方式)的视频滤波，从而达到运动模糊、景深、抗锯齿效果，如果误差过大，对一些像素点进行重采样；

所述特效库模块：用各种硬件特性来实现光照和纹理模块中要用的算法，这个模块里面有一些包装好的技术，每个技术里面又是一些图形处理单元的渲染过程，这样将一些渲染流程的技术封装起来，并且用图形处理单元硬件进行加速；

所述渲染抽象层：是最具体细节的实现层，该子模块是实现一个抽象的接口，底层的实现就用OpenGL或者Direct3D实现，这个子模块提供了大量的渲染和系统的接口给上面的光照和纹理模块以及特效库模块来调用。

在本发明系统中，交互识别模块是用来识别输入的动作，而渲染内容是任何可以用投影仪投射出来的一个场景，可以根据各种不同的实际应用需求来设计。渲染模块接收来自交互识别模块输入的动作模式，然后就可以用程序控制做出相应的响应，而这些响应又可以被交互识别模块捕获。这样，交互识别模块和渲染模块紧密地联系起来，可以应用在不同的场合中，达到各种不同的交互应用。

在一个对公众开放的展览馆、博物馆又或者是图书馆中。用本发明系统将需要交互的内容从天花板上直接投影到地面上。系统运行时，参观者可以去用手、脚、整个身体甚至是其他任何物体和地面的画面交互，画面会实时地在参观者的交互位置做出相应的响应。这样系统的优点就是交互的自然性，这些内容明明是虚幻的，可是人们却可以自然地去触弄。有了这样的系统就可以将一些艺术作品、产品、游戏等以娱乐生动有趣的方式展示给人们。在实际应用中，本发明对各类图形图像的交互内容都普遍适用。

本发明采用投影仪和摄像头技术，首先用投影仪投射出画面，同时用一个普通摄像头拍摄包括投影画面在内的一个区域，当人或者其他一些交互物体进入这个画面区域的时候，通过分析计算摄像头捕捉到图像，可以识别出人或者物体的位置和运动，作为交互的输入。交互识别模块则要准确快速定位当前图像中前景物体(人)的位置，并同渲染模块通信完成交互响应。渲染模块要根据交互输入参数，实时进行真实感或风格化的图形动画及渲染。

本发明主要是通过图像技术对交互位置和动作行为进行识别，并根据响应逻辑进行实时图形动画和绘制，实现沉浸式的自然人机交互。适用于各类图形图像的交互内容。本发明可以应用在博物馆、展览馆、展示会、产品发布会、游戏娱乐等场所，用计算机视觉技术可以以更加生动有趣的交互方式提供给人们对新事物的认识，以及沉浸式的自然人机交互。此外，还可在未来的互动电视、电影等领域得到相当的应用。

附图说明

图1为本发明渲染模块框图

图2是本发明的一个具体实施交互装置的系统硬件结构图。

图3是所述渲染模块提供的可交互水面渲染的网格示意图。

图4是可交互水面渲染的水面单元格描述。

图中：水面网格中的一个局部9个顶点的放大示意图，00，01…22是这个网格9个顶点按照行列的示意标记。A，B…H是8个三角片。

图5是动画序列实施例。

图6是视觉算法中，对于背景图像和当前图像差图像的R通道图。

图7是视觉算法中，对于背景图像和当前图像差图像的G通道图。

图8是视觉算法中，对于背景图像和当前图像差图像的B通道图。

图9是背景和摄像头图像的差图像。

具体实施方式

下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图2所示，本实施例系统包括一台个人计算机、一台投影仪、一个普通摄像头。交互识别模块、渲染模块在计算机中运行，其中交互识别模块会控制图中的摄像头获取图像，再分析然后用渲染模块控制投影仪输出画面。摄像头插在电脑的USB口上，投影仪接在同一台机器显卡上的DVI接口上。摄像头拍摄范围覆盖投影仪的投射范围，获取投影仪及系统用户的交互影像。

如图1所示，所述渲染模块是一个渲染引擎，他为用户提供了比较强大便捷的渲染功能。对于输入的各种场景能够以各种渲染技术进行高质量的渲染，通过GPU硬件的加速，用户可以很方便地通过写自己的着色程序来实现自己的光照、阴影算法。除了通用的渲染流程，渲染模块还支持一些特效的渲染，比如物理水面、云、火焰和地形的渲染。这个模块包括：几何变换模块、资源管理器模块、特效库模块、光照和纹理模块和渲染抽象层，这几个子模块分工合作一起作为整个渲染管道的一个个节点。

资源管理器模块：用户数据一般是一些三维场景的模型数据，包括Maya(Autodesk公司开发著名三维建模渲染软件)模型数据、3ds MAX(Autodesk公司开发著名三维建模渲染软件)模型数据，这些数据有几何数据、纹理数据、材质数据。当这些数据进来的时候，首先统一加载到资源管理器模块，这样以后在整个渲染过程中可以进行统一管理，对于大的资源在资源管理器模块中进行加载、释放、预加载等算法策略，一些最近最长没有用的资源会被释放掉，另一个方面在光照和纹理模块算法中可以计算出将要用到的资源，这个时候光照和纹理模块就会把这些信息告诉资源管理器模块，资源管理器模块进行预加载，从而提高了性能。总之，在渲染过程中用到的资源包括几何数据、纹理数据、材质数据等都会由资源管理器统一加载和释放，几何变换模块以及光照和纹理模块会给资源管理器模块提供一些资源需求的信息，然后资源管理器模块就按照最近最少使用和预取的策略进行管理。

几何变换模块：资源加载到资源管理器模块之后，几何变换模块会首先去资源管理器模块申请模型几何数据包括三角片、四边形片等数据。并把申请到数据按照自己的格式组织成符合这个渲染器能识别的自定义的模型数据，包括顶点位置、顶点法向量、顶点纹理坐标等。转换好格式之后进行三个坐标系变换，首先是将模型坐标转换到用户定义的世界坐标系，其中包括平移、旋转、缩放，这些数据都可以通过鼠标键盘等输入设备进行输入，方便用户控制。然后接下来是根据用户输入的摄像机位置，将几何数据转换到摄像机空间，最后再将几何数据进行透视变换转换到标准的裁剪空间。

光照和纹理模块：经资源管理器模块的加载和几何变换模块数据的预处理，处理好的数据会送到光照和纹理模块进行渲染。根据用户设定的要求，这个模块可以进行各种技术和各种精度的全局光照计算，支持以下一些渲染技术：最简单的光线跟踪、利用光子树来求解蒙特卡罗积分来进行的光子跟踪(支持直接光、间接光、镜面效果、散焦效果，可以设置采样精度，光源可以是面光源、点光源，使用高程动态光的环境光)、根据用户提出的图像误差要求，可以对渲染的视频进行bilateral(考虑多种因素一起作用影响的滤波方式)的视频滤波从而达到运动模糊、景深、抗锯齿等效果，如果误差过大，还可以对一些像素点进行重采样。这一个子模块是系统最核心也是最重要的模块。

特效库模块：光照和纹理模块的技术实现需要特效库模块的加速实现。光照算法需要大量的计算，在设计的时候就专门设计了一个特效库模块，这个模块里面有一些包装好的技术，每个技术里面又是一些用图形处理单元渲染的渲染流程，这样就可以把一些渲染流程的技术封装起来，并且用图形处理单元硬件进行加速。这个模块总的来说就是用各种硬件特性来实现光照和纹理模块中要用的算法。充分利用了最新的DirectX10(微软公司开发的一种高性能三维图形开发包)显卡的多处理单元的并行特性，以及英特尔多核处理器的多线程、sse2/sse3(扩展多媒体指令集)多媒体扩展指令的技术。

渲染抽象层：是最具体细节的实现层。渲染模块在设计的时候考虑了跨平台、跨渲染程序库的可能性，所以这一个子模块就是实现一个抽象的接口，底层的实现就用OpenGL(一种高性能三维图形开发包)或者Direct3D(微软公司开发的一种高性能三维图形开发包)实现，这个子模块提供了大量的渲染和系统的接口给上面的光照渲染层和特效库模块来调用。

对于一般的渲染就按照框图的顺序从上往下进行数据的处理和流动，当需要表现某种特定效果的时候，会在观察投影变化步骤之后，从特效库模块里面拿到需要特效的着色程序集，然后着色程序集就会根据预定特效的渲染流程直接在GPU上进行渲染。每一种特效都有自己的专门的渲染流程，这样特效着色程序集就可以比较灵活地加入新特效的算法。其中的资源管理器是一个相对独立的一个模块，用来组织系统渲染资源的加载、释放和使用，比如纹理、顶点缓冲区、着色程序缓冲区等。这样做的好处是将计算和数据比较好的分开来，方便管理，增加可扩展性。渲染抽象层就是在底层对各种输入的渲染数据进行提交给硬件前的数据处理，模块接口的设计具有抽象性，既可以用Direct3D，也可以用OpenGL，具体API无关性，具有一定的跨平台能力。

本实施例是集数字技术、数字艺术与中国传统绘画艺术于一体的交互展示作品。在一个开放空间，提供观赏者与水墨作品之间自然而灵动的交互。地面上投影一幅水墨荷塘，鱼儿不再是静止在纸面上，而是在荷间自由悠游。参观者走进画面，会发现脚下水波荡漾，鱼群惊散，荷叶漂浮；沉睡的荷花被游人惊醒，缓缓开放；当参观者离开，一切又渐渐平息，恢复原样；池塘中不时有山岩上的滴水，在水面溅起微波。一幅灵动的水墨，一个写意的自然，一份喧闹中的宁静，一种传统与时尚的意趣盎然。安装于上方的投影仪将水墨画垂直投影到地面上。这样人们参观的时候就可以去用手、脚、整个身体甚至是其他任何物体和地面的画面交互，后台程序跟踪并定位参观者，并激发绘制程序做出相应的响应，比如鱼群逃散，水波荡漾，荷叶飘荡等。

所述交互识别模块安装在一台HP个人计算机上，通过对摄像头拍摄到的内容进行分析，将分析结果的消息事件通过进程间通信发送给渲染模块，然后渲染模块会实时绘制出新的响应画面。

所述交互识别模块使用摄像头来进行运动物体的检测，主要采用背景帧作差来识别交互的输入模式。这种技术也在视频跟踪和交通监控中应用。

由于画面中动态图形对象的运动会对识别造成干扰，交互识别模块首先选取没有动态图形对象的渲染画面作为背景帧。摄像头将每次监控拍摄到画面同之前拍摄的背景图像之间作差，如果超过一定的阀值才认为是可能有物体在交互。因为不同的背景的颜色特征，本实施例在对两幅图作差的时候，分别对彩色图像的RGB三个通道分别进行作差，结果再加权起来。R，G，B三个通道的灰度直方图如图6，图7和图8所示。图9是背景和摄像头图像在RGB三个通道的差图像的加权平均结果。如果将灰度值比较大的通道的权值设大一些，使得背景和前景的区分度能够比较大一些，识别效果会更好。

差图像二值化之后，由于各种噪声、光线环境变化、小物体目标的影响，交互识别模块需要对差图像进行膨胀，使得原先有空洞的连通区域去掉空心，再进行腐蚀来消除小斑块。最后得到一些大块的连通区域，这些区域就是在背景上增加的交互动作。识别出这些大块的区域之后，再在这些连通块中计算出质心附近的若干点作为输入消息发给渲染模块，当渲染模块接收到交互的输入之后，会在输入点周围的区域产生动画响应。

所述渲染模块也安装在同一台在计算机上，显卡是Geforce7900，最后的显示通过一台安装在天花板上的MITSUBISHI LX390投影仪从上往下地把画面地投影到地面上。投影仪旁边还安装了一个Logitech QuickCam摄像头，也是从上往下拍摄整个投影画面所在区域。

所述渲染模块渲染一个场景除了每一部分单独的渲染技术，还涉及到整个场景的渲染组织问题。在整个场景的实时渲染中，本实施例充分利用了现代图形硬件的特性进行优化渲染，结合现代图形引擎技术进行组织渲染。

以下结合就水墨风格的“水，鱼，荷”等内容实现动画和交互为例，说明整个系统实现交互的过程，该系统采用C++、OpenGL、CG语言在微软WindowsXP系统上实现。

所述渲染模块提供可交互水面渲染，可实现交互触发的真实感水面的实时动态绘制。水面建模采用平面网格表示，网格大小为64×64，长和宽都是75。每一个网格上的水面节点用空间位置、空间法向量、相位、速度四个量来描述。如图3所示，网格的中心放在坐标原点(0，0，0)，网格面在XOZ平面上。初始化时，每一个节点的Vertex值为(n/GridSizeX*75-38.5，0，(1-m/GridSizeY)*75-38.5)，Normal的初始值为(0，1，0)指向y正方向，Position的初始值为0，Velocity的值为0。初始网格是静止的。水波的荡漾体现在网格节点的运动上，为了达到实时效果，本实施例的每一个网格节点只有y方向的上下移动，没有水平移动，和水波交叠和破碎的情况，实验结果这样的视觉效果也还是很不错的。水波具有传递和干涉等现象，当水波位置比较高的时候，接下来一定是变低，然后把能量往周围区域扩散，每一个节点的变化由他本身上一帧状态以及周围节点的状态共同影响，同是伴随能量的衰减。按照这个思想，水节点网格计算采用一个递推公式来进行计算(参考图4)。视频的每一帧都要对所有网格节点重复计算以上步骤。有了网格上每一个节点的坐标位置和法向量之后就可以进行渲染了。

本实施例渲染在nVidia的Geforce7900GS显卡的顶点渲染器和像素渲染器中进行。在像素渲染器中，对三角片中每一个片断进行渲染，最后水面的每一点的最后颜色由水底的折射光、环境的反射光、环境光、光源反射光混合而成。对于水底折射光的计算，本实施例根据顶点的坐标位置、法向量、水池深度以及视点的位置可以很容易求出折射光线和水底的交点，然后用这个交点坐标转换到池底的纹理空间，采样池底水墨画的颜色值最为结果。

所述渲染模块采用立方体环境映射技术计算环境光反射光。

所述渲染模块提供图形对象的纹理动画的实现。如图5是应用实施例中采用的某一图形对象的一系列动作分解图片进行单体动作的动画，将结果混合到渲染场景中，实现动画绘制和交互响应。

所述渲染模块提供图形对象的状态管理，实现复杂的动画及交互响应。应用实施例中图形对象的运动规律和动作间的切换是非常复杂的。本系统对画面中每个图形对象的动作提供了多种状态管理。系统会根据交互输入参数和图形对象的当前状态(包括速度、方向、姿态等)，来决定下一个状态图形对象的状态以及两个状态之间的切换序列，保证两状态之间运动序列的光滑拼接。

本实施例用计算机视觉和图形技术实现了一种更加自然的人机交互方式，在节约成本的同时，大大提高了系统的适用范围。

Claims (6)

1.一种基于摄像头投影仪技术的交互系统，包括：摄像头、投影仪、计算机、交互识别模块、渲染模块，其特征在于，所述交互识别模块和渲染模块都安装在计算机上，所述投影仪将渲染的画面投影到设定区域上，所述摄像头捕捉固定场景，这里固定场景指的是包含投影仪投射出来画面在内的一块区域，摄像头拍摄到这块区域后，会在拍摄的图像中识别出投影画面的区域，然后再由交互识别模块进一步分析，所述交互识别模块分析出当前人的位置和动作信息之后向渲染模块发送消息，所述渲染模块对交互识别模块输入的消息做出响应，完成相应的动画生成与实时绘制，渲染模块、交互识别模块通信通过进程间通信实现。

2.根据权利要求1所述的基于摄像头投影仪技术的交互系统，其特征是，所述交互识别模块，其启动时先捕捉一帧背景图像作为参考帧，之后的每帧图像与参考帧进行图像差运算，获得差图像，通过图像二值化运算将差图像转换为二值图像，对二值差图像再进行闭运算，利用背景元素和前景物体之间在尺寸上的差别对背景元素和前景物体进行区分。

3.根据权利要求1或2所述的基于摄像头投影仪技术的交互系统，其特征是，所述交互识别模块，将二值差图像中的连通区域全部提取出来，计算其覆盖面积，利用事先设定的面积阈值对其进行过滤，将背景中面积小的背景元素过滤掉，通过对剩下的连通区域计算中心点的方法，确定前景物体分别所在的位置，再以坐标点的形式发送给渲染模块，做出相应的动画响应和实时绘制。

4.根据权利要求3所述的基于摄像头投影仪技术的交互系统，其特征是，所述背景中面积小的背景元素，是指背景中面积小于整幅图像面积0.5％的背景元素。

5.根据权利要求1所述的基于摄像头投影仪技术的交互系统，其特征是，所述交互识别模块是用来识别输入的动作，而渲染内容是用投影仪投射出来的一个场景，渲染模块接收来自交互识别模块输入的动作模式，然后用程序控制做出相应的响应，而这些响应被交互识别模块捕获，这样，交互识别模块和渲染模块紧密地联系起来。

6.根据权利要求1所述的基于摄像头投影仪技术的交互系统，其特征是，所述渲染模块，包括：几何变换模块、资源管理器模块、特效库模块、光照和纹理模块以及底层渲染抽象层，这几个模块分工合作一起作为整个渲染管道的一个个节点，其中：

所述资源管理器模块统一加载和释放在渲染过程中用到的资源包括几何数据、纹理数据、材质数据，资源管理器模块接受几何变换模块和光照和纹理模块提供的资源需求信息，并按照最近最少使用和预取的策略进行管理；

所述几何变换模块，在资源加载到资源管理器模块之后，首先向资源管理器模块申请模型几何数据包括三角片、四边形片数据，并把申请到的数据按照自己的格式组织成符合这个渲染器能识别的自定义的模型数据，包括顶点位置、顶点法向量、顶点纹理坐标，转换好格式之后进行三个坐标系变换，即将模型坐标转换到用户定义的世界坐标系，其中包括平移、旋转、缩放，这些数据通过输入设备进行输入，然后根据用户输入的摄像机位置，将几何数据转换到摄像机空间，再将几何数据进行透视变换转换到标准的裁剪空间；

所述光照和纹理模块，对经过资源管理器模块的加载和几何变换模块处理过的数据进行渲染，根据用户设定的要求，光照和纹理模块进行各种技术和各种精度的全局光照计算，支持以下渲染技术：最简单的光线跟踪，利用光子树来求解蒙特卡罗积分来进行的光子跟踪，根据用户提出的图像误差要求，对渲染的视频进行bilateral的视频滤波，从而达到运动模糊、景深、抗锯齿效果，如果误差过大，对一些像素点进行重采样；

所述特效库模块，用各种硬件特性来实现光照和纹理模块中所用的算法，这个模块里面有包装好的技术，每个技术里面又是一些图形处理单元的渲染过程，这样将一些渲染流程的技术封装起来，且用图形处理单元硬件进行加速；

所述渲染抽象层是最具体细节的实现层，该子模块是实现一个抽象的接口，底层的实现用三维图形开发包OpenGL或者Direct3D实现，这个子模块提供了大量的渲染和系统的接口给所述的光照和纹理模块以及特效库模块调用。

Images