CN102004375A - 用于校准基于投影仪的显示系统的投影仪掩膜 - Google Patents

Abstract

本发明提供用于校准基于投影仪的显示系统的投影仪掩膜。具有对应的设备以及有形计算机可读介质的方法包括：捕获在表面上的环境光的第一图像；基于所述第一图像的被选择的色彩通道生成第一灰度级图像；将光的原色投影到所述表面上；捕获被投影到所述表面上的光的原色的第二图像；基于所述第二图像的被选择的色彩通道生成第二灰度级图像；生成差值图像，包括将所述第一灰度级图像从所述第二灰度级图像中减去；并且生成投影仪掩模，包括检测在所述差值图像中的形状的边缘，并且基于所述形状的边缘再现所述形状。

Description

用于校准基于投影仪的显示系统的投影仪掩膜

技术领域

本公开内容涉及投影仪显示系统的基于照相机的校准。更具体地，本公开内容涉及生成用于校准的投影仪掩模。

背景技术

在多投影仪系统中，随意布置的投影仪组可以产生大的合成的显示，该显示具有不希望有的假象，包括由于投影仪的未对准所导致的几何畸变所引起的投影交叠、梯形失真等等。这些假象可以通过使用照相机来校准该系统而被减轻。

在校准中，一个或者多个校准图案被投影到显示表面上，并且校准图案的高分辨率的数字图像被数字照相机捕获。处理捕获到的图像以确定照相机的像素与投影仪的像素之间的对应关系。这种对应关系被用于将图像像素转换为投影仪像素用于纠正上述投影假象。但是，由照相机捕获的高分辨率的校准图像可能包括大量数据。

投影仪掩模常常在校准期间用于分离用于每个投影仪的校准数据。在每个投影仪的校准期间，对应的投影仪掩模被用于从捕获到的校准图像中提取有关数据，从而减少将被处理的数据的量。但是，为了使用这种技术，所述投影仪掩模必须是准确的。

发明内容

一般而言，在一个方面，实施方式以包括以下步骤的方法为特征：捕获在表面上的环境光的第一图像；基于所述第一图像的被选择的色彩通道生成第一灰度级图像；将光的原色(primary color of light)投影到所述表面上；捕获被投影到所述表面上的光的原色的第二图像；基于所述第二图像的被选择的色彩通道生成第二灰度级图像；生成差值图像，包括将所述第一灰度级图像从所述第二灰度级图像中减去；以及生成投影仪掩模，包括检测所述差值图像中的形状的边缘，并且基于所述形状的边缘再现所述形状。

方法的实施方式可以包括以下特征中的一个或者多个。一些实施方式包括将校准图案从投影仪投影到显示表面上，其中由包括第一多个第一像素位置的投影仪空间来描述所述投影仪；捕获所述校准图案的第三图像，其中所述第一图像、所述第二图像以及所述第三图像各自符合虚拟显示空间，其中所述虚拟显示空间包括第二多个第二像素位置；并且基于所述投影仪掩模以及所述第三图像确定所述第一像素位置与所述第二像素位置之间的对应关系。一些实施方式包括基于所述投影仪掩模选择所述第三图像中的一部分；并且基于所述第三图像中的所述部分确定所述对应关系。一些实施方式包括基于所述对应关系投影另外的图像。一些实施方式包括生成增强的差值图像，包括增强所述形状的边缘；其中再现所述形状包括基于在所述增强的差值图像中的形状的边缘再现所述形状。在一些实施方式中，所述形状具有四个边缘，并且所述方法还包括在所述形状的左侧和右侧的边缘之间填充列；在所述形状的顶部和底部的边缘之间填充行；并且合成所述列和行。在一些实施方式中，所述第一图像是RGB图像；所述第二图像时RGB图像；并且所述第一图像的被选择的色彩通道是绿色通道。

一般而言，在一个方面，实施方式以包括以下各项的设备为特征：照相机，用于捕获在表面上的环境光的第一图像；灰度级模块，用于基于所述第一图像的被选择的色彩通道生成第一灰度级图像；投影仪，用于将光的原色投影到所述表面上，其中所述照相机捕获被投影到所述表面上的光的原色的第二图像，并且其中所述灰度级模块基于所述第二图像的被选择的色彩通道生成第二灰度级图像；差值模块，用于基于所述第一灰度级图像和所述第二灰度级图像生成差值图像；以及掩模模块，用于生成投影仪掩模，其中所述掩模模块包括边缘检测模块以及再现模块，其中所述边缘检测模块用于检测在所述差值图像中的形状的边缘，并且所述再现模块用于基于所述形状的边缘再现所述形状。

所述设备的实施方式可以包括以下特征中的一个或者多个。在一些实施方式中，所述投影仪将校准图案投影到所述显示表面上，其中由包括第一多个第一像素位置的投影仪空间来描述所述投影仪；其中所述照相机捕获所述校准图案的第三图像，其中所述第一图像、所述第二图像以及所述第三图像各自符合虚拟显示空间，其中所述虚拟显示空间包括第二多个第二像素位置；并且其中所述设备还包括对应关系模块，用于基于所述投影仪掩模以及所述第三图像确定所述第一像素位置与所述第二像素位置之间的对应关系。在一些实施方式中，所述对应关系模块基于所述投影仪掩模选择所述第三图像中的一部分，并且基于所述第三图像中的所述部分确定所述对应关系。在一些实施方式中，所述投影仪基于所述对应关系投影另外的图像。一些实施方式包括增强模块，用于基于所述差值图像生成增强的差值图像；其中所述对应关系模块基于所述投影仪掩模以及所述增强的差值图像确定所述对应关系。在一些实施方式中，所述形状具有四个边缘，并且所述再现模块在所述形状的左侧和右侧的边缘之间填充列，在所述形状的顶部和底部的边缘之间填充行，并且合成所述列和行。在一些实施方式中，所述第一图像是RGB图像；所述第二图像是RGB图像；并且所述第一图像的被选择的色彩通道是绿色通道。

一般而言，在一个方面，实施方式以包括指令的有形计算机可读介质为特征，其中该些指令可由计算机执行以完成包括以下步骤的方法：基于在表面上的环境光的第一图像的被选择的色彩通道生成第一灰度级图像；捕获被投影到所述表面上的光的原色的第二图像；基于所述第二图像的被选择的色彩通道生成第二灰度级图像；生成差值图像，包括将所述第一灰度级图像从所述第二灰度级图像中减去；以及生成投影仪掩模，包括检测在所述差值图像中的形状的边缘，并且基于所述形状的边缘再现所述形状。

所述有形计算机可读介质的实施方式可以包括以下特征中的一个或者多个。在一些实施方式中，所述方法还包括：接收从投影仪投影到所述显示表面上的校准图案的第三图像，其中由包括第一多个第一像素位置的投影仪空间来描述所述投影仪，并且其中所述第一图像、所述第二图像以及所述第三图像各自符合虚拟显示空间，其中所述虚拟显示空间包括第二多个第二像素位置；并且基于所述投影仪掩模以及所述第三图像确定所述第一像素位置与所述第二像素位置之间的对应关系。在一些实施方式中，所述方法还包括：基于所述投影仪掩模选择所述第三图像中的一部分；并且基于所述第三图像中的所述部分确定所述对应关系。在一些实施方式中，所述投影仪基于所述对应关系投影另外的图像。在一些实施方式中，所述方法还包括：生成增强的差值图像，包括增强所述形状的边缘；其中再现所述形状包括基于在所述增强的差值图像中的所述形状的边缘再现所述形状。在一些实施方式中，所述形状具有四个边缘，并且其中所述方法还包括：在所述形状的左侧和右侧的边缘之间填充列；在所述形状的顶部和底部的边缘之间填充行；并且合成所述列和行。在一些实施方式中，所述第一图像是RGB图像；所述第二图像是RGB图像；并且所述第一图像的被选择的色彩通道是绿色通道。

一个或者多个实现的细节在附图以及下面的说明中被陈述。其它特征根据该说明及附图以及根据权利要求将是显而易见的。

附图说明

图1示出根据一些实施方式的多投影仪显示系统。

图2示出根据一些实施方式用于校准图1的投影仪的图1的投影仪平台的单元。

图3A-3B示出根据一些实施方式用于生成并且使用投影仪掩模的图2的投影仪平台的过程。

图4示出被设门限的差值图像的例子。

图5示出被设门限的图像的例子。

图6是图5的图像的角的特写视图。

图7示出包含图5的形状的左侧边缘的图像。

图8是图7的边缘的特写视图。

图9示出图7的边缘的线增强的结果。

图10是图9的边缘的特写视图。

图11示出LineOffset对象的数据成员。

图12示出LineTrackingData对象的数据成员。

图13示出用于实现处理循环的代码的例子。

图14A-B示出根据一些实施方式的列填充过程的例子。

图15A-B示出根据一些实施方式的行填充过程的例子。

图16示出根据一些实施方式所生成的带有干净的边缘的准确的投影仪掩模的特写视图。

本说明书中所使用的每个参考标号的(一个或者多个)前导数字表示该参考标号首先在其中出现的附图的编号。

具体实施方式

本公开内容涉及基于投影仪的显示系统的基于照相机的校准。在校准期间，一个或者多个投影仪将校准图像投影到显示表面上。照相机捕获每个被投影的对准图像的一个或者多个图像。投影仪平台为每个投影仪在照相机的像素位置与投影仪的像素位置之间创建映射。在校准之后，该映射被用于在投影之前将图像变形(warp)。该校准及变形技术可以被用于多投影仪系统以及用于单投影仪系统。

为了减少将被处理用于校准的数据的量，投影仪掩模在校准期间被使用。每个投影仪掩模标识在捕获到的图像中由相应的投影仪的投影所占据的地区(area)。在投影仪的校准期间，对应的投影仪掩模被用于从捕获到的校准图像中提取有关数据，从而减少将被处理的数据的量。但是，该投影仪掩模也可以具有其它用途。

根据本发明的实施方式，每个投影仪掩模如下生成。在显示表面上的环境光的第一图像被捕获。基于所述第一图像的所选择的色彩通道(color channel)生成第一灰度级图像。光的原色被投影到显示表面上。被投影到显示表面上的光的原色的第二图像被捕获。基于该第二图像的所选择的色彩通道生成第二灰度级图像。通过将第一灰度级图像从第二灰度级图像中减去来生成差值图像。检测该差值图像中的形状的边缘。基于所检测到的形状的边缘再现该形状。所再现的形状是投影仪掩模。

图1示出根据一些实施方式的多投影仪显示系统100。系统100包括瞄准显示表面104的四个投影仪102A-102D。当然，可以采用其它数量的投影仪102。举例来说，可以使用单个投影仪102。数据通过投影仪平台106被提供给投影仪102，该投影仪平台106可以从媒体播放器108、计算机110、由诸如因特网的网络112所连接的源等等得到源输入。为了校准，系统100包括数字静态照相机114。

在一个实施方式中，系统100包括四个投影仪102并且投影仪平台106以个人计算机(PC)来实现，其被配置有中央处理单元(CPU)以及提供四个视频输出的图形处理单元(GPU)，该四个视频输出各自被连接到投影仪102中的一个。可选的采集卡提供来自诸如计算机110、媒体播放器108等等的源的视频输入。数字静态照相机114被附接到PC用于校准过程。在其它实施方式中，摄像机可以被用于校准过程。在校准之后，数字静态照相机114可以被去除或者被投影仪平台106用作媒体输入装置。

投影仪102A-102D在显示表面104上产生相应的分量投影120A-20D。合起来，分量投影120A-120D形成单个合成投影122。注意分量投影120在区域124A-124C交叠。

图2示出根据一些实施方式用于校准投影仪102的图1的投影仪平台106的单元。虽然在所描述的实施方式中，设备单元以一种布置被呈现，但是其它实施方式可以其它布置为特征，基于在本文中所提供的公开内容及示教对于熟悉相关领域的技术人员这将是显而易见的。举例来说，设备单元可以硬件、软件或者其组合来实现。

参考图2，投影仪平台106包括适用于从照相机114接收捕获到的校准图像204的输入模块202以及适用于基于一个或者多个投影仪掩模230生成照相机114的像素位置与投影仪102的像素位置之间的映射208的对应关系模块206。投影仪平台106还包括用于生成(一个或者多个)投影仪掩模230的图像处理模块210。图像处理模块210包括灰度级模块212、差值模块214以及掩模模块216。掩模模块216包括边缘检测模块218、增强模块220以及再现模块222。

图3A-3B示出根据一些实施方式用于生成并且使用投影仪掩模230的图2的投影仪平台106的过程300。虽然在所描述的实施方式中，在本文中所公开的过程的单元以一种布置被呈现，但是其它实施方式可以其它布置为特征，基于在本文中所提供的公开内容及示教对于熟悉相关领域的技术人员这将是显而易见的。举例来说，在各种实施方式中，所公开的过程中的一些或者所有步骤可以按不同顺序、并行地以及类似形式来执行。在诸如系统100的多投影仪系统中，过程300的单元可以被重复用于每个投影仪102。

参考图3A-3B，过程300从数据捕获开始。投影仪102将一个或者光的多个原色投影到显示表面104上(步骤302)。为清楚起见，投影仪坐标空间中的像素位置在本文中被称作“投影仪像素位置”或者“投影仪像素”。照相机114捕获被投影到显示表面104上的光的原色的每个图像(步骤304)。举例来说，原色可以是红色、绿色以及蓝色。

曝光设定被配置用于照相机114。每种颜色以及甚至显示模式(例如光栅对比于实心(raster versus solid))都影响光线怎样被投影、反射以及捕获。因而，系统100根据正在被捕获的图像的类型使用多种不同的曝光设定。举例来说，三种原色以最大输出值(255)被投影。照相机114的曝光设定被配置为以相似的输入值捕获图像，其中要求没有像素超过255，从而确保没有信息丢失。在典型的配置中，从投影仪开始减弱的光线使得在投影仪区域的中心的地区稍微低于255但是边缘减弱为200左右的值或者沿边缘甚至更低。

照相机114还捕获落在显示表面104上的环境光的一个或者多个图像(步骤306)。在该环境捕获期间，来自投影仪102的所有光线被阻挡，因此只有落在表面104上的环境光被捕获。对于每个原色图像捕获一个环境图像，并且以与用于捕获相应的原色图像相同的曝光设定进行捕获。继续上面的例子，以被用于捕获红色、绿色以及蓝色图像的相应曝光设定捕获三个环境图像。

被捕获的色彩以及环境图像在本文中共同被称作校准图像204。每个被捕获的校准图像204符合包括多个像素位置的虚拟显示空间。在一些实施方式中，虚拟显示空间由照相机114的帧(frame)定义。就是说，虚拟显示空间具有与照相机114的帧相同的分辨率和尺寸。因此，为清楚起见，虚拟显示空间中的像素位置在本文中被称作“照相机像素位置”或者“照相机像素”。在其它实施方式中，其它虚拟显示空间可以被使用。

在数据捕获之后，该数据被投影仪平台106处理。投影仪平台106的输入模块202接收捕获到的图像。投影仪平台106的图像处理模块210处理该图像以为每个投影仪创建投影仪掩模230。该处理在虚拟显示空间中发生，例如以由照相机114所捕获的图像的分辨率和大小。

在一些实施方式中，校准图像204以RGB格式被照相机114捕获。但是，虽然按照RGB格式来描述实施方式，其它格式可以代替地被使用，在阅读本公开内容之后这将是显而易见的。经验已经示出RGB格式的红色通道是噪声最大的，其次是蓝色通道，接着是绿色通道。因此，处理可以被限制为绿色图像，或者被限制为绿色和蓝色图像。当然，可以使用任何色彩、所有这三个色彩或者其任何组合。在下文所描述的实施方式中，只有绿色和蓝色图像被使用。

图像处理模块210首先确定包含正在被处理的投影仪102的投影的矩形边界框。用于投影仪102的累积缓冲器被初始化为0。灰度级模块212基于每个图204的被选择的色彩通道为每个捕获到的校准图像204生成灰度级图像。就是说，灰度级模块212为每个捕获到的原色图像生成灰度级图像(步骤308)，并且为每个捕获到的环境图像生成灰度级图像(步骤310)。在一些实施方式中，灰度级模块216从捕获到的绿色图像以及对应的环境图像中选择绿色通道，从而创建“绿色”灰度级图像对。灰度级模块212还从捕获到的蓝色图像以及对应的环境图像中选择蓝色通道，从而创建“蓝色”灰度级图像对。在一些实施方式中，3×3的中值滤波器被应用于每个灰度级图像以减小图像中的噪声水平。

对于每个灰度级图像对，差值模块214将环境灰度级图像从对应的色彩灰度级图像中减去，从而创建差值图像(步骤312)。每个差值图像被加入累积缓冲器(步骤314)。返回单个门限值的迭代设门限方法接着被应用于累积缓冲器(步骤316)。对于累积缓冲器中的每个像素，如果值大于门限值，则新的值被设定为1。对于小于或者等于门限值的值，新的值被设定为0。图4示出被设门限的差值图像的例子。注意在图4的底部三分之一(bottom third)中可以看到一些噪声。

接着，连通(connected)分量算法被应用于累积缓冲器以找到连通分量的最大区域(步骤318)。包围虚拟显示空间中投影仪102的投影的矩形边界框被返回。小的余量(margin)可以被加入该边界框。

在投影仪区域的地区中极端亮的环境中，初始设门限可以不区分具有高照明度的周围地区和投影。为解决这样的情况，额外的步骤被执行以得到更准确的边界框。原始边界框被用于从“绿色”差值图像中裁剪图像，即通过将“绿色”环境灰度级图像从“绿色”灰度级图像中减去所创建的图像。迭代设门限方法被应用于所提取出的图像以返回另一个门限值。该值被应用于该提取出的图像中的每个像素，其中比门限值大的值被设定为1并且等于或者小于门限值的值被设定为0。图5示出被设门限的图像的例子。

同样地，连通分量被用于找到图5的图像中的最大区域。被改进的矩形边界框被返回。该边界框被检验以核实是否在小的图像内部发现明显更小的区域。如果是这样，则整个照相机图像内的这个新的边界框的大小和位置被计算。小的余量可以被加入新的边界框。由此产生的边界框标识在被捕获的校准图像204中由虚拟显示空间内的投影仪102的投影所占据的地区。

接着，掩模模块216基于新的边界框生成投影仪掩模230。根据一种方式，投影仪掩模230可以通过用单个值为图5的图像设门限来生成。不幸地，由于单值设门限，由此产生的图像具有非常粗糙的边缘，其不利地影响使用该图像作为投影仪掩模230的结果。这可以在图6中看出，图6是图5的图像的角的特写视图。代替这种方式，下文所述的过程被使用。

在所描述的实施方式中，上述所生成的绿色差值图像被使用。当然，来自其它色彩通道的差值图像可以代替地被使用。绿色差值图像根据边界框被裁剪(步骤320)。边缘检测模块218检测被裁剪的图像中的形状的边缘(步骤322)。特别地，线检测算法被用于检测左侧、右侧、顶部以及底部的边缘。在检测垂直的边缘时，边缘检测模块218通过使用当在跨所裁剪的图像从左到右移动时从暗到亮变化的梯度将边缘检测过滤器用于选择形状的左侧边缘。相似的处理被应用以检测形状的其它边缘。最终结果是具有检测到的边缘的四个图像。图7示出包含图5的形状的左侧边缘的图像。

图8是图7的边缘的特写视图。如在图8中可看到的那样，通过边缘检测算法所创建的线不像创建准确的投影仪掩模230所需要的那样精确。这些线跨越多个像素并且包括噪声。因此，增强模块220增强检测到的边缘(步骤324)。特别地，增强模块220处理检测到的边缘以得到只有单个像素宽的线。作为线增强的部分，这些线被延伸到图像的边缘，如图9所示。图10是图9中的线的特写视图。图10中的线的每一侧的灰度带可以由增强模块220添加，但不是需要的。现在描述根据一些实施方式的线增强过程。

线增强过程首先标识穿过图像的中点的线列。如果在中间行中有缺失的像素，则取中间行、中间行-N个像素以及中间行+N个像素的平均。这个过程产生标识每根线的LineOffset对象的阵列。该LineOffset对象的数据成员在图11中示出。

接着，LineOffset对象被用于找到平均线间距以及线宽以帮助仅在角中出现并且不穿过图像的中点的线的处理和检测。利用被存储在LineOffset对象中的信息，为每根线创建LineTrackingData对象。LineTrackingData对象被用于在每个行被处理的时候保持关于线的状态的信息。LineTrackingData对象的数据成员在图12中示出。

处理循环被启动以在图像中从中间行向下至顶部行(0偏移)处理每个行。从光栅图像读取一行像素，并且LineTrackingData阵列中的每根线被处理。对于每根线，最大强度值偏移的偏移在先前被处理的线的界限(bound)内被找到。当找到两个相等的强度值时，可以匹配先前的行中相等的偏移的偏移是有利的。这有助于保持一致的线而不改变每个行上的值，其中改变每个行上的值将导致参差不齐的线。同样地，最大值被与先前的值比较以确定强度在预先确定的百分比内。这有助于该过程检测线的路径在什么时候衰落，例如在图像的边缘附近。

一旦为线的界限找到最大强度像素，为先前的N个样点计算平均强度值。同样地，多次检查被进行以核实最大强度像素是否在平均值的某个百分比内，并且偏移是否在常数LINE_STRAY的界限内以避免由于噪声或者畸变所引起的大的跳跃。如果最大强度像素是有效的，则用当前的偏移更新LineTrackingData对象，当前的偏移等于最大强度值偏移减去平均线宽。这是被用于启动在下一个被处理的行中对最大强度像素的搜索的偏移。在为最大强度像素所计算的位置处用为255的单个像素写入输出图像。另外，像素值129被写入在最大强度位置旁边的列并且像素值128被写入右侧的列。额外的像素(值129和128)被使用，因为在随后的处理中在线之间可能有微小的间隙。

如果利用最大强度偏移或者其值检测出任何问题，则线跟踪失败计数被更新。如果有超过三个连续的行有问题，则LineTrackingData对象被标记为不再跟踪。在随后的行中，线被忽略并且不再被跟踪。

当从图像的中间到顶部的所有线已被处理时，LineTrackingData对象被重新设定为原始的线的LineOffset数据。接着，处理循环被启动以处理从图像的中间直到图像的底部的线。用于实现该处理循环的代码的例子在图13中被示出。一旦图像中的所有线已被处理，该图像就被保存。这个过程被重复用于右侧、顶部以及底部的线。

在线增强之后，再现模块222基于被增强的边缘再现所述形状(步骤326)。就是说，再现模块222填充在表示形状的被检测到的边界的增强的线之间的空间。在一些实施方式中，列填充过程被用于填充左侧和右侧的垂直的线之间的区域。列填充过程首先从左到右并且接着从右到左进行填充。图14A-B显示根据一些实施方式的列填充过程的例子。接着，行填充处理步骤被用于填充顶部和底部的线之间的区域，同样地在两个路径上：从上到下以及从下到上。图15A-B示出根据一些实施方式的行填充过程的例子。结果是两个图像，具有在左侧和右侧的线之间所填充的地区的第一图像，以及具有在顶部和底部的线之间所填充的地区的第二图像。使用AND操作合成这两个图像以创建新的图像，在该新的图像中如果这两个图像中的对应的像素都等于255则每个像素包含255。否则，新的图像的像素值被设定为0。最终结果是具有干净的边缘的准确的投影仪掩模230，如图16中的特写视图所示。

在生成用于投影仪102的投影仪掩模230之后，坐标映射208可以被生成。对应关系模块206通过基于投影仪掩模230以及一个或者多个捕获到的校准图像204确定投影仪像素与照相机像素之间的对应关系来生成坐标映射208(步骤328)。映射208可以根据常规的技术来生成。举例来说，投影仪102可以被用于将一个或者多个校准图像投影到显示表面104上。校准图像可以包括水平的和垂直的线和条纹。可以对该条纹进行格雷编码。当然，其它类型的校准图像可以被使用。照相机114捕获校准图像。投影仪掩模230被用于从捕获到的校准图像204中提取数据。基于提取出的数据生成(一个或者多个)映射208。

一旦映射208被生成用于投影仪102，该映射208以及投影仪102就可以被用于投影符合虚拟显示空间的图像，诸如静态图像以及视频帧。当然，在将该图像映射到虚拟显示空间中之后可以使用任何图像。投影仪102基于映射208将这些图像投影到显示表面104上(步骤330)。

各种实施方式可以数字电子电路系统、或者以计算机硬件、固件、软件中或者以它们的组合被实现。设备可以计算机程序产品实现，该计算机程序产品有形地被包括在机器可读存储装置中用于供可编程处理器执行；并且方法步骤可以由可编程处理器执行，该可编程处理器执行指令的程序以通过对输入数据进行操作并且生成输出来执行功能。实施方式有利地可以一个或者多个计算机程序实现，该一个或者多个计算机程序可在可编程系统上执行，该可编程系统包括被耦合用于从数据存储系统接收数据和指令并且向数据存储系统传送数据和指令的至少一个可编程处理器、至少一个输入装置以及至少一个输出装置。每个计算机程序可以高级的程序性或者面向对象的编程语言或者需要的时候以汇编或者机器语言实现；并且在任何情况下，该语言可以是被编译的或者被解释的语言。举例来说，合适的处理器包括通用和专用微处理器两者。一般地，处理器将从只读存储器和/或随机访问存储器接收指令和数据。一般地，计算机将包括用于存储数据文件的一个或者多个海量存储装置；这样的装置包括磁盘，诸如内部硬盘以及可移动盘；磁光盘；以及光盘。适用于有形地包括计算机程序指令和数据的存储装置包括所有形式的非易失性存储器，举例来说包括半导体存储装置，诸如EPROM、EEPROM和闪存装置；磁盘，诸如内部硬盘以及可移动盘；磁光盘；以及CD-ROM盘。任何前述内容可以由ASIC(专用集成电路)补充或者被并入ASIC。

已经描述了多种实现。尽管如此，将被理解的是可以进行各种改动而不背离本公开内容的精神和范围。因此，其它实现也在下面的权利要求的范围内。

Claims (21)

1.一种方法，所述方法包括：

捕获在表面上的环境光的第一图像；

基于所述第一图像的被选择的色彩通道生成第一灰度级图像；

将光的原色投影到所述表面上；

捕获被投影到所述表面上的光的原色的第二图像；

基于所述第二图像的被选择的色彩通道生成第二灰度级图像；

生成差值图像，包括将所述第一灰度级图像从所述第二灰度级图像中减去；以及

生成投影仪掩模，包括

检测在所述差值图像中的形状的边缘，并且

基于所述形状的边缘再现所述形状。

2.如权利要求1所述的方法，其还包括：

将校准图案从投影仪投影到所述显示表面上，其中由包括第一多个第一像素位置的投影仪空间来描述所述投影仪；

捕获所述校准图案的第三图像，其中所述第一图像、所述第二图像以及所述第三图像各自符合虚拟显示空间，其中所述虚拟显示空间包括第二多个第二像素位置；并且

基于所述投影仪掩模以及所述第三图像确定所述第一像素位置与所述第二像素位置之间的对应关系。

3.如权利要求2所述的方法，其还包括：

基于所述投影仪掩模选择所述第三图像中的一部分；并且

基于所述第三图像中的所述部分确定所述对应关系。

4.如权利要求2所述的方法，其还包括：

基于所述对应关系投影另外的图像。

5.如权利要求1所述的方法，其还包括：

生成增强的差值图像，包括增强所述形状的边缘；

其中再现所述形状包括基于在所述增强的差值图像中的所述形状的边缘再现所述形状。

6.如权利要求1所述的方法，其中所述形状具有四个边缘，其还包括：

在所述形状的左侧和右侧的边缘之间填充列；

在所述形状的顶部和底部的边缘之间填充行；并且

合成所述列和行。

7.如权利要求1所述的方法：

其中所述第一图像是RGB图像；

其中所述第二图像是RGB图像；并且

其中所述第一图像的被选择的色彩通道是绿色通道。

8.一种设备，所述设备包括：

照相机，用于捕获在表面上的环境光的第一图像；

灰度级模块，用于基于所述第一图像的被选择的色彩通道生成第一灰度级图像；

投影仪，用于将光的原色投影到所述表面上，其中所述照相机捕获被投影到所述表面上的光的原色的第二图像，并且其中所述灰度级模块基于所述第二图像的被选择的色彩通道生成第二灰度级图像；

差值模块，用于基于所述第一灰度级图像和所述第二灰度级图像生成差值图像；以及

掩模模块，用于生成投影仪掩模，其中所述掩模模块包括

边缘检测模块，用于检测在所述差值图像中的形状的边缘；以及

再现模块，用于基于所述形状的边缘再现所述形状。

9.如权利要求8所述的设备：

其中所述投影仪将校准图案投影到所述显示表面上，其中由包括第一多个第一像素位置的投影仪空间来描述所述投影仪；

其中所述照相机捕获所述校准图案的第三图像，其中所述第一图像、所述第二图像以及所述第三图像各自符合虚拟显示空间，其中所述虚拟显示空间包括第二多个第二像素位置；并且

其中所述设备还包括对应关系模块，用于基于所述投影仪掩模以及所述第三图像确定所述第一像素位置与所述第二像素位置之间的对应关系。

10.如权利要求9所述的设备：

其中所述对应关系模块基于所述投影仪掩模选择所述第三图像中的一部分，并且基于所述第三图像中的所述部分确定所述对应关系。

11.如权利要求9所述的设备：

其中所述投影仪基于所述对应关系投影另外的图像。

12.如权利要求8所述的设备，其还包括：

增强模块，用于基于所述差值图像生成增强的差值图像；

其中所述对应关系模块基于所述投影仪掩模以及所述增强的差值图像确定所述对应关系。

13.如权利要求8所述的设备：

其中所述形状具有四个边缘，并且其中所述再现模块在所述形状的左侧和右侧的边缘之间填充列，在所述形状的顶部和底部的边缘之间填充行，并且合成所述列和行。

14.如权利要求8所述的设备：

其中所述第一图像是RGB图像；

其中所述第二图像是RGB图像；并且

其中所述第一图像的被选择的色彩通道是绿色通道。

15.包括有可由计算机执行以完成一种方法的指令的有形计算机可读介质，其中所述方法包括：

基于在表面上的环境光的第一图像的被选择的色彩通道生成第一灰度级图像；

捕获被投影到所述表面上的光的原色的第二图像；

基于所述第二图像的被选择的色彩通道生成第二灰度级图像；

生成差值图像，包括将所述第一灰度级图像从所述第二灰度级图像中减去；以及

生成投影仪掩模，包括

检测在所述差值图像中的形状的边缘，并且

基于所述形状的边缘再现所述形状。

16.如权利要求15所述的有形计算机可读介质，其中所述方法还包括：

接收从投影仪投影到所述显示表面上的校准图案的第三图像，其中由包括第一多个第一像素位置的投影仪空间来描述所述投影仪，并且其中所述第一图像、所述第二图像以及所述第三图像各自符合虚拟显示空间，其中所述虚拟显示空间包括第二多个第二像素位置；并且

基于所述投影仪掩模以及所述第三图像确定所述第一像素位置与所述第二像素位置之间的对应关系。

17.如权利要求16所述的有形计算机可读介质，其中所述方法还包括：

基于所述投影仪掩模选择所述第三图像中的一部分；并且

基于所述第三图像中的所述部分确定所述对应关系。

18.如权利要求16所述的有形计算机可读介质：

其中所述投影仪基于所述对应关系投影另外的图像。

19.如权利要求15所述的有形计算机可读介质，其中所述方法还包括：

生成增强的差值图像，包括增强所述形状的边缘；

其中再现所述形状包括基于在所述增强的差值图像中的所述形状的边缘再现所述形状。

20.如权利要求15所述的有形计算机可读介质，其中所述形状具有四个边缘，并且其中所述方法还包括：

在所述形状的左侧和右侧的边缘之间填充列；

在所述形状的顶部和底部的边缘之间填充行；并且

合成所述列和行。

21.如权利要求15所述的有形计算机可读介质：

其中所述第一图像是RGB图像；

其中所述第二图像是RGB图像；并且

其中所述第一图像的被选择的色彩通道是绿色通道。

Images