CN105182662A - 具有增强现实效果的投影方法及系统 - Google Patents

Abstract

本发明公开了一种具有增强现实效果的投影方法及系统，其中，投影镜头单元所形成的投影显示区域内有两个或多个可供投影图像落于其上的面，其中至少两个面是相对于观看者的相交角度小于180度的相交面；预设的投影应用画面经图像处理单元处理后，形成基于所述各个面进行图形校正的画面，再由所述投影镜头单元进行映射，并在所述投影显示区域内形成与所述各个面匹配的具有预期增强现实效果的投影图像。该系统中还包括可基于所述投影图像进行互动操控的互动操控单元。

Description

具有增强现实效果的投影方法及系统

技术领域

本发明涉及投影系统，更具体地说，涉及一种具有增强现实效果的投影方法及系统。

背景技术

通常的投影成像面为平滑的平面或圆弧面，也就是说，投影机的投影显示区域通常是平面或圆弧面，在投影显示区域范围内不会有三维的相交面乃至立体物体或空间。

随着投影技术应用的不断拓展，具有立体场景投影功能的产品也陆续面市，例如，有些剧场的场景布置或者灯光秀节目中，就是用这种投影机结合被投射物体的形状投出虚拟场景。但是，这种虚拟场景通常仍然是大致平面的投射区域，不会考虑如何在立体物体上或者立体空间中，经过画面校正在相交面上投射出模拟现实场景的图像乃至生成虚拟物体，另外因为在剧场和灯光秀等节目中，观众和投影画面距离很远，通常不考虑预设狭小的最佳观看视角来设计增强现实的图像，而且其通常不具有互动操控功能。

发明内容

针对现有技术的上述缺陷，本发明要解决现有投影系统只能在大致平面的投射区域内投出虚拟图像，而不能在相交面上映射出完全虚拟的图像的问题。

为解决上述技术问题，本发明提供一种具有增强现实效果的投影方法，其中，在投影显示区域内有两个或多个可供投影图像落于其上的面，且至少两个面是相对于观看者的相交角度小于180度的相交面；该方法包括以下步骤：S1、预设与所述各个面对应的投影应用画面；S2、对所述预设的投影应用画面进行处理，以形成基于所述各个面进行图形校正的画面，再由投影镜头单元进行映射，并在所述投影显示区域内形成与所述各个面匹配的具有预期增强现实效果的投影图像。

本发明的投影方法中，所述投影应用画面中包含至少一个需映射于至少两个相交面上的整体图像；所述整体图像在各个面上同时分别显示一部分画面，或者连续映射于各个面上并依次在各个面上显示连续动作的一部分。

本发明的投影方法中，还包括预设最佳观看角度的步骤，观看者需在所述最佳观看角度才能观看到最佳效果；在所述步骤S2中对所述预设的投影应用画面进行处理时，基于所述最佳观看角度、所述各个面、以及它们之间的相互关系进行图形校正，再由投影镜头单元进行映射。

本发明的投影方法中，还包括空间识别步骤，对所述投影显示区域所在投影空间进行三维空间信息采集，以识别所述投影空间内是否有至少两个相交面和/或至少一个立体物体，并进行三维空间信息重构；在所述步骤S2中对所述预设的投影应用画面进行处理时，基于所述最佳观看角度、所述三维空间信息、以及它们之间的相互关系进行图形校正，再由投影镜头单元进行映射，并在所述投影显示区域内形成与所述至少两个相交面和/或至少一个立体物体匹配的具有增强现实效果的投影图像。

本发明的投影方法中，所述空间识别步骤，还包括对投影光线分别与两个相交面和/或至少一个立体物体角度的入射角度的识别，并进行三维空间信息重构；在所述步骤S2中对所述预设的投影应用画面进行处理时，基于所述投影光线分别与两个相交面和/或至少一个立体物体角度的入射角度的信息进行图形校正，再由投影镜头单元进行映射，并在所述投影显示区域内形成与所述至少两个相交面和/或至少一个立体物体匹配的具有增强现实效果的投影图像。

本发明的投影方法中，在所述步骤S1中，以自动或手动方式从预设的投影应用画面中选择与所述至少两个相交面和/或至少一个立体物体匹配的投影应用画面。

本发明的投影方法中，所述各个面中包括可供投影图像映射于其上的一个基础面、一个或多个附加面；每个所述附加面是下列立体物体中的一个面：正方体、长方体、棱锥体、圆锥体、球体、圆柱体、或台体中一种或多种的组合。

本发明的投影方法中，还包括调整观看者当前视角的步骤，调整方式包括手动或自动方式，在所述步骤S2中对所述预设的投影应用画面进行处理以形成图形校正画面时，还基于所述观看者当前视角信息进行处理。

本发明的投影方法中，在自动调整观看者当前视角时，还包括识别观看者当前视角的步骤，在所述步骤S2中对所述预设的投影应用画面进行处理以形成图形校正画面时，还基于所述识别的观看者当前视角信息进行处理。

本发明的投影方法中，在自动识别观看者当前视角的步骤，使用传感器定位观看者位置，包括使观看者佩戴带有位置传感器的眼镜，从而定位观看者眼睛的大致空间位置，在所述步骤S2中对所述预设的投影应用画面根据观看者眼睛空间位置进行处理以形成图形校正画面。

本发明还提供一种具有增强现实效果的投影系统，包括投影镜头单元、图像处理单元；其中，所述投影镜头单元所形成的投影显示区域内有两个或多个可供投影图像映射于其上的面，其中至少两个面是相对于观看者的相交角度小于180度的相交面；该系统中还包括用于存储与所述各个面对应的预设投影应用画面的画面存储单元；所述图像处理单元对所述投影应用画面进行处理，以形成基于所述各个面进行图形校正的画面，再由所述投影镜头单元进行映射，并在所述投影显示区域内形成与所述各个面匹配的具有预期增强现实效果的投影图像。

本发明的投影系统中，还包括：空间识别单元，用于对所述投影显示区域所在投影空间进行三维空间信息采集，以识别所述投影空间内是否有至少两个相交面和/或至少一个立体物体，并进行三维空间信息重构；其中，所述图像处理单元基于所述三维空间信息对所选择的所述投影应用画面进行处理，以形成基于所述至少两个相交面和/或至少一个立体物体进行图形校正的画面，再由所述投影镜头单元进行映射，并在所述投影显示区域内形成与所述至少两个相交面和/或至少一个立体物体匹配的具有增强现实效果的投影图像。

本发明的投影系统中，所述所述空间识别单元包括监控模块、以及图像分析识别模块；所述监控模块对所述投影空间进行图像信号搜集；所述图像分析识别模块对所述监控模块的监控图像信号进行分析处理，以识别所述投影空间内是否有至少两个相交面和/或至少一个立体物体，并进行三维空间信息重构。

本发明的投影系统中，所述监控模块是基于可见光的监控模块或基于红外光的监控模块；基于可见光的监控模块包括单监控镜头或双监控镜头；基于红外光的监控模块包括单监控镜头、双监控镜头、TOF传感器、或结构光传感器。

本发明的投影系统中，还包括用于识别观看者当前视角的视角识别单元，所述图像处理单元对所述投影应用画面进行处理以形成图形校正画面时，还基于所述视角识别单元所得出的观看者当前视角进行处理。

本发明的投影系统中，还包括供观看者佩戴带的带有位置传感器的眼镜，所述传感器用于定位观看者的位置，从而定位观看者眼睛空间位置，所述图像处理单元对所述投影应用画面进行处理以形成图形校正画面时，还基于观看者眼睛空间位置进行处理以形成图形校正画面。

本发明的投影系统中，还包括信息处理单元、以及可基于所述投影图像进行互动操控的互动操控单元，所述互动操控单元与所述信息处理单元配合工作以实现基于所述投影图像的互动操控。

本发明的投影系统中，所述互动操控单元包括基于无线通信的遥控器，所述遥控器包括手机、平板电脑、游戏手柄、或空中鼠标中一种或多种的组合；所述遥控器使用2.4G、蓝牙、或者WIFI通信方式传输互动操控信号。

本发明的投影系统中，所述互动操控单元包括基于红外光的外部遥控器及红外监控镜头；所述外部遥控器可在所述投影显示区域内形成红外光斑，所述红外监控镜头捕捉所述红外光斑，所述图像处理单元根据所述红外光斑的位置信息显示相应的可见图标，并通过所述外部遥控器控制所述可见图标以实现互动操控功能。

本发明的投影系统中，所述互动操控单元包括直接触控式互动操控单元，并从双监控镜头模式、TOF传感器模式、或者结构光传感器模式选择其中的一种互动操控模式。

本发明的投影系统中，所述互动操控单元可以与所述空间识别单元共用所述监控模块的部分或全部功能。

通过本发明的技术方案，可将投影显示区域内的实际物体与投影机内预设的画面结合，采用“增强现实”(AR)的技术生成画面内容并映射到物体上，同时结合投影互动的技术，可生成特殊的投影游戏，以增加游戏的真实感，形成一种目前市场上还没有的独特游戏种类。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1A、图1B、图1C是本发明优选实施例一中的投影系统及其场景示意图；

图2A、图2B、图2C是本发明优选实施例二中的投影系统及其场景示意图；

图3A、图3B是本发明优选实施例三中的投影系统及其场景示意图；

图4A是放置长方体时的相交面及相交角度示意图；

图4B是放置圆柱体时的相交面及相交角度示意图；

图4C是放置半球体时的相交面及相交角度示意图；

图5A是以两个相交墙面为投影区域投影显示窗户时的示意图；

图5B是以两个相交墙面为投影区域投影显示三角块时的示意图；

图5C是以墙角的三个相交墙面为投影区域时的示意图；

图6A是观看者在预设最佳观看角度时的观看效果示意图；

图6B是观看者不在预设最佳观看角度时的观看效果示意图；

图6C是在图6B的基础上调整了观看者角度后的观看效果示意图

图7是本发明一个实施例中投影系统的原理框图。

具体实施方式

如图7所示为本发明一个优选实施例中投影系统的原理框图，该投影系统中包括投影镜头单元、图像处理单元、画面存储单元；其中，画面存储单元用于存储预设的投影应用画面。

工作时，投影镜头单元所形成的投影显示区域内有两个或多个可供投影图像映射于其上的面，其中至少两个面是相对于观看者的相交角度小于180度的相交面；图像处理单元对投影应用画面进行处理，以形成基于各个面进行图形校正的画面，再由投影镜头单元进行映射，并在投影显示区域内形成与各个面匹配的具有预期增强现实效果的投影图像。

该投影系统中还包括空间识别单元，用于对由投影成像单元及其投影显示区域所限定的投影空间进行三维空间信息采集，以识别投影空间内是否有至少两个相交面和/或至少一个立体物体，并进行三维空间信息重构。也就是说，空间识别单元可以自动识别投影空间内的立体物或相交面，图像处理单元基于空间识别单元所输出的三维空间信息对投影应用画面进行处理，以形成基于所述至少两个相交面和/或至少一个立体物体进行图形校正的画面，再由投影镜头单元进行映射，并在投影显示区域内形成与所述至少两个相交面和/或至少一个立体物体匹配的投影图像。

从图7中可以看出，该投影系统中，空间识别单元包括监控模块、以及图像分析识别模块；监控模块对投影空间进行图像信号搜集；图像分析识别模块对监控模块的监控图像信号进行分析处理，以识别投影空间内是否有至少两个相交面和/或至少一个立体物体，并进行三维空间信息重构。

具体实施时，监控模块可以是基于可见光的监控模块或基于红外光的监控模块；基于可见光的监控模块可以是单监控镜头或双监控镜头；基于红外光的监控模块可以是单监控镜头、双监控镜头、TOF传感器、或结构光传感器。

从图7中可以看出，该投影系统中还包括信息处理单元、以及可基于投影图像进行互动操控的互动操控单元，互动操控单元与信息处理单元配合工作以实现基于所述投影图像的互动操控。其中，互动操控单元可以与空间识别单元共用其监控模块的部分或全部功能。例如互动操控单元与空间识别单元两者共享监控模块中的监控镜头，当监控镜头为双镜头时，互动操控单元至少共享其中一个监控镜头。

本发明的实施例一如图1A、图1B、图1C所示，这是一种游戏应用实例，投影机100位于上端，投影镜头单元102可将预设好的投影应用画面投射到该投影显示区域118内。在投影显示区域118内有一个长方体108，从图中所示的视角，人眼可以看到长方体108的上表面(A面)110、右侧表面(C面)114、以及前表面(B面)112。在投影显示区域118内长方体108之外的其他区域为常规平面(D面)116。

投影机100中设有用于存储预设投影应用画面的画面存储单元；投影应用画面经投影机100中的图像处理单元处理后，形成基于长方体108进行图形校正的画面，再由投影镜头单元102进行投射，并在投影显示区域118内形成与长方体108匹配的具有预期增强现实效果的投影图像。

如图1B所示，在长方形体108上投射出按钮图形、墙体图形与阶梯图形。具体是在A面110投射出第一按钮122，在B面112投射出墙体图形，在D面与C面之间投射出阶梯图形120。

关于预期增强现实效果，如图1B所示，长方体108经过投射后，B面112改变为虚拟的墙面，A面110上生成虚拟的按钮。另外一种预期增强现实效果的画面，以图1B中的阶梯图形120为例，其中需要在D面与C面之间投射出阶梯图形120，也就是说，这里的阶梯图形120是一个整体图像，它同时映射于两个相交面，即C面与D面上，阶梯图形120在C面与D面上分别显示一部分画面。

具体处理时，需根据长方体108放置的位置和角度，匹配出相应的楼梯梯级、需要拉伸的角度、需要产生的阴影等要素，所以必须预先或者实时通过对图形库的图形进行拉伸(或者局部拉伸)和图形校正，形成一个增强现实效果的阶梯，并在阶梯旁边生成第二按钮124。如果投影区域中没有此长方形物体，则投影图像就无需进行上述拉伸或校正，投影画面会完全不同。

具体实施时，可以将已经进行图形校正的预设投影应用画面，投射到处于指定地点的长方体108。也可以改变长方体108的位置，然后由监控镜头104、105侦测其位置，再选取相应的投影应用画面，经所影图像处理单元处理后，形成基于长方体108进行图形校正的画面，再由投影镜头单元进行投射。

本发明中，还包括信息处理单元、以及可基于投影图像进行互动操控的互动操控单元，互动操控单元与信息处理单元配合工作以实现基于投影图像的互动操控。本实施例中使用直接触控式互动操控单元，具体是双监控镜头模式，在投影镜头单元102的两侧设有两个监控镜头104、106，在投影机100内还集成了红外光源，其发出的红外光能够覆盖整个投影显示区域118。红外光源也可装于投影镜头外部，直接发射红外光并覆盖整个投影显示区域118。当人手指进入投影场景内去触碰投影图像时，两个红外监控镜头将抓拍到的图像同时传递到互动算法模组，计算出手指的空间位置，从而实现立体图像触控操作。其中，两个红外监控镜头需先定标和校正，同时获取图像视差图，通过图像跟踪、图像分割、图像识别实现空间重构，再通过算法计算出手指的三维空间位置；同时计算出投影画面的三维高低起伏场影。

本实施例中，当人手进入投影场景内，两个监控镜头104、106可以监控到手指的空间位置信息，进而可通过监控手指的运动轨迹和空间坐标信息来判断当前所执行的触控操作，例如在空间不同的高度实现点击、滑动等。如图1B所示，该游戏中，手指可以点击游戏小人的头顶激活或暂停游戏小人，手指滑动方向为游戏小人运动方向；当游戏小人沿着虚拟阶梯即将登上A面110时，如果手指点击第一按钮122，可将A面100的映射图形换成一游泳池图形，小人进入虚拟游泳池里会欢快地游起泳来，如图1C所示。如果手指点击第二按钮124，则A面的游泳池会消失，换成原先的图形，此时可用手指控制小人离开去其它地方。

其中，针对游戏小人也有预期增强现实效果，在由D面沿着虚拟阶梯登上A面的过程中，游戏小人是一个整体图像，它先映射于D面上、再映射于虚拟的阶梯上、再映射于A面上，也即连续映射于各个面上并依次在各个面上显示连续动作的一部分。

本实施例中的直接触控式互动操控单元，还可以是TOF(TimeofFlight，即飞行时间)传感器模式、或者结构光传感器模式。

TOF传感器的基本原理是用传感器接收从物体返回的光，通过探测光脉冲的飞行(往返)时间来得到目标物距离。TOF传感器与普通机器视觉成像过程也有类似之处，都是由光源、光学部件、传感器、控制电路以及处理电路等几部单元组成,而TOF传感器是通过入、反射光探测来获取的目标距离获取。通过TOF传感器把投影空间的立体信息重构出来,即可计算手指的在三维空间的位置，从而判断空间的触控。

结构光传感器的工作原理是利用连续光(近红外线)对测量空间进行编码，经感应器读取编码的光线，交由晶片运算进行解码后，产生一张具有深度的图像。但与传统的结构光方法不同的是，其光源打出去的并不是一副周期性变化的二维的图像编码，而是一个具有三维纵深的“体编码”。这种光源叫做激光散斑(LaserSpeckle)，是当激光照射到粗糙物体或穿透毛玻璃后形成的随机衍射斑点。这些散斑具有高度的随机性，而且会随着距离的不同变换图案，空间中任何两处的散斑都会是不同的图案，等于是将整个空间加上了标记，所以任何物体进入该空间以及移动时，都可确切记录物体的位置。通过结构光传感器把投影空间的立体信息重构出来,即可计算手指的在三维空间的位置，从而判断空间的触控。

在上述实施例中，还可增设空间识别单元，用于对投影显示区域所在投影空间进行三维空间信息采集，以识别所述投影空间内是否有至少两个相交面和/或至少一个立体物体，并进行三维空间信息重构；也就是说，即使随意放入图1A所示的长方体，也可自动识别并完成后续步骤。此时，图像处理单元基于三维空间信息对所选择的投影应用画面进行处理，以形成基于该长方体的各个面进行图形校正的画面，再由投影镜头单元进行映射，并在投影显示区域内形成与该长方体匹配的具有增强现实效果的投影图像。

其中，空间识别单元包括监控模块、以及图像分析识别模块；监控模块对投影空间进行图像信号搜集；图像分析识别模块对监控模块的监控图像信号进行分析处理，以识别所述投影空间内是否有至少两个相交面和/或至少一个立体物体，并进行三维空间信息重构。具体来说，实施例一中的互动操控单元，还可同时用作空间识别单元的一部分。其中，监控模块可以是基于可见光的监控模块或基于红外光的监控模块；基于可见光的监控模块可以是单监控镜头或双监控镜头；基于红外光的监控模块可以是单监控镜头、双监控镜头、TOF传感器、或结构光传感器。

本发明的实施例二如图2A、图2B、图2C所示，其中，投影机200位于上端，投影镜头单元202可将预设好的投影应用画面投射到该投影显示区域218内。在投影显示区域118内有一个锥形物体208，从图中所示的视角，人眼可以看到锥形物体的A面110、B面112。在投影显示区域118内锥形物体之外的其他区域为常规平面(D面)216。

本实施例中，可将该锥形物体208映射成一金字塔，先从图形库中匹配出渲染的纹理，再根据此锥形物体放置的位置、角度、投影机的高度等计算出合理的拉伸(或者局部拉伸)和图形校正，生成一座增强现实效果的立体金字塔，在金字塔的A面与B面下面生成一虚拟基座240。

本实施例中，采用基于无线通信的遥控器进行互动操控，具体是一个外部遥控器230。该遥控器可以是常规的游戏手柄，带有前、后、左、右等移动按键和各种动作按键。遥控器的指令可通过2.4G、蓝牙、或者WIFI通信方式传输给投影机。图中所示遥控器230为双人模式手柄，玩家可以选择单人模式或双人模式，玩家以此操控投影画面里游戏小人的动作，游戏小人可以在金字塔周围建立防护圈242，也可以攀爬金字塔，还可以在金字塔上涂鸦等。

本发明的实施例三如图3A、图3B所示，其中，投影机300位于上端，投影镜头单元302可将预设好的投影应用画面投射到该投影显示区域318内。在投影显示区域318内有一个正方体308，从图中所示的视角，人眼可以看到正方体308的上表面(A面)310、右侧表面(C面)314、以及前表面(B面)312。在投影显示区域318内正方体308之外的其他区域为常规平面(D面)316。

如图3B所示，这是一种古代战争游戏实例，在投影显示区域318内，正方体308的A面被映射成城楼头，C面314被映射成城门372，城门的两边是增强现实效果的城墙370。游戏者可以自由选择攻城方376或者守城方374。

当选择守城方时，游戏者可以利用各种资源进行守城，例如弓箭、滚木、礌石、油锅等；当攻城方实力降低时，守城方可以打开城门冲杀出去；为了增加游戏的刺激性，还可以在城墙周围增强现实成护城河、城门吊桥等防护设置。此游戏依然需要对投影区域内放置的物体进行预先图形校正，以便映射之图像能够生成游戏中需要的背景与情节。

本实施例中，使用基于红外光的外部遥控器360进行触控操作。遥控器发射特定波长之红外光到投影画面，投影机监控镜头予以识别，同时在投影显示区域的相对位置产生指示图标362，并按照遥控器指令，进行前后左右移动和其他相应互动操作。使得在投影机环境下本游戏操作具有类似触控平板一样的体验，而投影增强现实效果的画面又远远超过一般平板类产品的用户体验。关于红外遥控的工作原理，可参见申请公布号为CN104834394A、CN104020897A的中国发明专利申请中的内容。前述两个专利申请中的互动操控方式，均可用于本实施例中。

在申请公布号为CN104834394A的中国发明专利申请中，公开了一种互动显示系统，其包括红外光源和监控装置；监控装置包括互动模组和互动控制单元；互动模组包括监控镜头、分光元件、可见光监控元件和红外光监控元件；监控镜头捕捉到的可见光投影画面成像到可见光监控元件上形成第一成像画面；监控镜头捕捉到的红外光斑成像到红外光监控元件上形成第二成像画面；互动控制单元与可见光监控元件、红外光监控元件连接，并向显示单元输出红外光斑的位置信息，显示单元根据红外光斑的位置信息显示相应的可见图标，则可见图标可实现点击、拖动、放大缩小等操作，以实现人机交互的功能。实施例三中，监控镜头304除用于互动操控，也可以作为空间识别单元，利用可见光探测长方体312的位置并输出空间信息用于实时图形校正等目的。

在申请公布号为CN104020897A的中国发明专利申请中，公开了一种互动显示系统，包括用于进行信息处理的主控单元、用于根据接收到的显示信息产生显示画面的显示单元、一个或多个遥控单元、以及监控模组。主控单元与显示单元和监控模组通信连接，每一个遥控单元包括一个红外发射模组，红外发射模组用于发射两种不同波长的红外光至所述显示画面，以产生红外光斑。监控模组包括用于捕获显示画面内的红外光斑的监控镜头、第一分光元件、以及分别供不同波长的第一红外光和第二红外光入射的第一红外监控元件和第二红外监控元件。实施本发明的技术方案，可以在一个显示画面内进行多个点的互动操作，且每个点都能实现可见图标的点击、拖动、放大缩小等操作，提升了用户人机交互的体验。

如图4A所示的实施例中，是方形物体410置于投影桌面上，在图示视觉范围，可以看到四组两两相交平面，即正前面412与桌面408相交、右侧面413与桌面408相交、上表面411与正前面412相交、以及上表面411与正前面412相交。最佳视觉相交平面是指夹角小于180°的相交平面，在图4A中，角度414与角度415小于180°，属于最佳视觉相交平面。在这类相交平面之间，可以进行图形校正处理或3D图像映射；而角度416与角度417大于180°(达到270°)，则不属于最佳视觉相交平面，不能进行图形校正处理或3D图像映射。

图4B为圆柱形物体420置于投影桌面上，产生二组两两相交曲面，即柱面422(人眼可以看到的前半部圆柱面)与桌面408相交、以及上表面421与柱面422相交，其中角度425小于180°，属于最佳视觉相交曲面；而角度426大于180°，不属于最佳视觉相交曲面。

图4C为半球形物体430置于投影桌面上，只有一组两两相交面，即球面431与桌面408相交，图中角度432小于180°，属于最佳视觉相交曲面，可以进行图形校正处理或3D图像映射。

图5A为墙面投影实施例，相交的墙面是日常生活中常见的空间环境。投影机将图像投射到相交的两个墙面上，在左右墙面506和墙面508形成投影图像510。本实施例中，可计算出两个墙面506、508相对于投影机的空间三维位置信息，图像处理单元对墙面506、508上的图像信息进行图形校正，在两个前面个投射出半扇窗户形成一个半开的窗户512，如图5A所示；或在两个墙面夹角间可以投射一些增强现实图像如立体图像，比如5B的虚拟三角块图像516。

图5C为墙角投影实施例，投影机将图像投射到房间的一个角落，使图像成像在顶面504及左右墙面506、508上。没有做图形校正处理的投影面在三个墙面的图像如图中虚线表示，图像看起来是一个不规则多边形。本实施例中，可计算出三个面的空间三维位置信息，图像处理单元对三个面的图像信息进行图形校正，在墙角处(即A、B、C三面相交处)进行增强现实投影映射，形成虚拟的鸟巢图像518。

本发明的投影系统具有一个预设最佳观看角度，观看者需在最佳观看角度才能观看到最佳效果；在对预设的投影应用画面进行处理时，会基于最佳观看角度、各个面、以及它们之间的相互关系进行图形校正，再由投影镜头单元进行映射。

根据需要，还可调整观看者当前视角，调整方式包括手动或自动方式。在自动调整观看者当前视角时，还包括识别观看者当前视角的步骤，具体可使用传感器定位观看者位置，包括使观看者佩戴带有位置传感器的眼镜，从而定位观看者眼睛的大致空间位置，在对所述预设的投影应用画面根据观看者眼睛空间位置进行处理以形成图形校正画面。

如图6A所示，桌面602上有一个长方体604，投影机600预设的投影图像为一长方形606，当观看者在预设最佳观看角度(桌子的宽边)观看时，经过图像处理单元对预设投影图像进行图形校正处理后，观看者看到的投影图像依然是长方形。

如果观看者选择在桌子的短边观看，这时观看者看到的图像不再是长方形，而是如图6B所示的图形。这也是本发明中需要强调最佳视觉的原因。

当手动或者自动调整观赏者视角时，图像如果依照观赏者转移到桌子短边进行校正，如图6C所示，则观赏者看到的依然是长方形。

Claims (21)

1.一种具有增强现实效果的投影方法，其特征在于，其中，在投影显示区域内有两个或多个可供投影图像落于其上的面，且至少两个面是相对于观看者的相交角度小于180度的相交面；该方法包括以下步骤：

S1、预设与所述各个面对应的投影应用画面；

S2、对所述预设的投影应用画面进行处理，以形成基于所述各个面进行图形校正的画面，再由投影镜头单元进行映射，并在所述投影显示区域内形成与所述各个面匹配的具有预期增强现实效果的投影图像。

2.根据权利要求1所述的具有增强现实效果的投影方法，其特征在于，所述投影应用画面中包含至少一个需映射于至少两个相交面上的整体图像；所述整体图像在各个面上同时分别显示一部分画面，或者连续映射于各个面上并依次在各个面上显示连续动作的一部分。

3.根据权利要求2所述的具有增强现实效果的投影方法，其特征在于，还包括预设最佳观看角度的步骤，观看者需在所述最佳观看角度才能观看到最佳效果；在所述步骤S2中对所述预设的投影应用画面进行处理时，基于所述最佳观看角度、所述各个面、以及它们之间的相互关系进行图形校正，再由投影镜头单元进行映射。

4.根据权利要求3所述的具有增强现实效果的投影方法，其特征在于，还包括空间识别步骤，对所述投影显示区域所在投影空间进行三维空间信息采集，以识别所述投影空间内是否有至少两个相交面和/或至少一个立体物体，并进行三维空间信息重构；

在所述步骤S2中对所述预设的投影应用画面进行处理时，基于所述最佳观看角度、所述三维空间信息、以及它们之间的相互关系进行图形校正，再由投影镜头单元进行映射，并在所述投影显示区域内形成与所述至少两个相交面和/或至少一个立体物体匹配的具有增强现实效果的投影图像。

5.根据权利要求4所述的具有增强现实效果的投影方法，其特征在于，所述空间识别步骤，还包括对投影光线分别与两个相交面和/或至少一个立体物体角度的入射角度的识别，并进行三维空间信息重构；

在所述步骤S2中对所述预设的投影应用画面进行处理时，基于所述投影光线分别与两个相交面和/或至少一个立体物体角度的入射角度的信息进行图形校正，再由投影镜头单元进行映射，并在所述投影显示区域内形成与所述至少两个相交面和/或至少一个立体物体匹配的具有增强现实效果的投影图像。

6.根据权利要求5所述的具有增强现实效果的投影方法，其特征在于，在所述步骤S1中，以自动或手动方式从预设的投影应用画面中选择与所述至少两个相交面和/或至少一个立体物体匹配的投影应用画面。

7.根据权利要求1-6中任一项所述的具有增强现实效果的投影方法，其特征在于，所述各个面中包括可供投影图像映射于其上的一个基础面、一个或多个附加面；每个所述附加面是下列立体物体中的一个面：正方体、长方体、棱锥体、圆锥体、球体、圆柱体、或台体中一种或多种的组合。

8.根据权利要求3-6中任一项所述的具有增强现实效果的投影方法，其特征在于，还包括调整观看者当前视角的步骤，调整方式包括手动或自动方式，在所述步骤S2中对所述预设的投影应用画面进行处理以形成图形校正画面时，还基于所述观看者当前视角信息进行处理。

9.根据权利要求8所述的具有增强现实效果的投影方法，其特征在于，在自动调整观看者当前视角时，还包括识别观看者当前视角的步骤，在所述步骤S2中对所述预设的投影应用画面进行处理以形成图形校正画面时，还基于所述识别的观看者当前视角信息进行处理。

10.根据权利要求8所述的具有增强现实效果的投影方法，其特征在于，在自动识别观看者当前视角的步骤，使用传感器定位观看者位置，包括使观看者佩戴带有位置传感器的眼镜，从而定位观看者眼睛的大致空间位置，在所述步骤S2中对所述预设的投影应用画面根据观看者眼睛空间位置进行处理以形成图形校正画面。

11.一种具有增强现实效果的投影系统，包括投影镜头单元、图像处理单元；其特征在于，

所述投影镜头单元所形成的投影显示区域内有两个或多个可供投影图像映射于其上的面，其中至少两个面是相对于观看者的相交角度小于180度的相交面；

该系统中还包括用于存储与所述各个面对应的预设投影应用画面的画面存储单元；

所述图像处理单元对所述投影应用画面进行处理，以形成基于所述各个面进行图形校正的画面，再由所述投影镜头单元进行映射，并在所述投影显示区域内形成与所述各个面匹配的具有预期增强现实效果的投影图像。

12.根据权利要求11所述的具有增强现实效果的投影系统，其特征在于，该系统中还包括：

空间识别单元，用于对所述投影显示区域所在投影空间进行三维空间信息采集，以识别所述投影空间内是否有至少两个相交面和/或至少一个立体物体，并进行三维空间信息重构；

其中，所述图像处理单元基于所述三维空间信息对所选择的所述投影应用画面进行处理，以形成基于所述至少两个相交面和/或至少一个立体物体进行图形校正的画面，再由所述投影镜头单元进行映射，并在所述投影显示区域内形成与所述至少两个相交面和/或至少一个立体物体匹配的具有增强现实效果的投影图像。

13.根据权利要求12所述的具有增强现实效果的投影系统，其特征在于，所述空间识别单元包括监控模块、以及图像分析识别模块；所述监控模块对所述投影空间进行图像信号搜集；所述图像分析识别模块对所述监控模块的监控图像信号进行分析处理，以识别所述投影空间内是否有至少两个相交面和/或至少一个立体物体，并进行三维空间信息重构。

14.根据权利要求13所述的具有增强现实效果的投影系统，其特征在于，所述监控模块是基于可见光的监控模块或基于红外光的监控模块；基于可见光的监控模块包括单监控镜头或双监控镜头；基于红外光的监控模块包括单监控镜头、双监控镜头、TOF传感器、或结构光传感器。

15.根据权利要求11所述的具有增强现实效果的投影系统，其特征在于，还包括用于识别观看者当前视角的视角识别单元，所述图像处理单元对所述投影应用画面进行处理以形成图形校正画面时，还基于所述视角识别单元所得出的观看者当前视角进行处理。

16.根据权利要求15所述的具有增强现实效果的投影系统，其特征在于，还包括供观看者佩戴带的带有位置传感器的眼镜，所述传感器用于定位观看者的位置，从而定位观看者眼睛空间位置，所述图像处理单元对所述投影应用画面进行处理以形成图形校正画面时，还基于观看者眼睛空间位置进行处理以形成图形校正画面。

17.根据权利要求11所述的具有增强现实效果的投影系统，其特征在于，还包括信息处理单元、以及可基于所述投影图像进行互动操控的互动操控单元，所述互动操控单元与所述信息处理单元配合工作以实现基于所述投影图像的互动操控。

18.根据权利要求17所述的具有增强现实效果的投影系统，其特征在于，所述互动操控单元包括基于无线通信的遥控器，所述遥控器包括手机、平板电脑、游戏手柄、或空中鼠标中一种或多种的组合；所述遥控器使用2.4G、蓝牙、或者WIFI通信方式传输互动操控信号。

19.根据权利要求17所述的具有增强现实效果的投影系统，其特征在于，所述互动操控单元包括基于红外光的外部遥控器及红外监控镜头；所述外部遥控器可在所述投影显示区域内形成红外光斑，所述红外监控镜头捕捉所述红外光斑，所述图像处理单元根据所述红外光斑的位置信息显示相应的可见图标，并通过所述外部遥控器控制所述可见图标以实现互动操控功能。

20.根据权利要求17所述的具有增强现实效果的投影系统，其特征在于，所述互动操控单元包括直接触控式互动操控单元，并从双监控镜头模式、TOF传感器模式、或者结构光传感器模式选择其中的一种互动操控模式。

21.根据权利要求17所述的具有增强现实效果的投影系统，其特征在于，所述互动操控单元与所述空间识别单元共用所述监控模块的部分或全部功能。