CN106415439A - 用于镜面反射红外光的投影屏幕 - Google Patents

Abstract

本文中公开的示例涉及基于表示对象的图像来确定分割界限。示例包括基于由对象和包括用以镜面反射IR光的表面的投影屏幕反射的IR光的强度从被布置在投影屏幕上面并被指向所述投影屏幕的红外（IR）照相机捕捉表示被布置在IR照相机与投影屏幕之间的对象的IR图像。示例包括至少部分地基于IR光强度值的第一集合和IR光强度值的第二集合之间的至少一个界限来确定分割界限，其中分割界限基于IR图像表示对象的至少一个外边缘。

Description

用于镜面反射红外光的投影屏幕

背景技术

许多计算系统包括至少一个显示器和至少一个输入设备。显示器可以包括例如监视器、屏幕等。示例输入设备包括鼠标、键盘、触摸板等。某些计算系统包括触摸敏感的显示器以既显示计算系统的输出又接收物理（例如，触摸）输入。

附图说明

以下详细描述参考图，在所述图中：

图1是包括分割引擎的示例计算系统的示意性透视图；

图2是图1的示例计算系统的另一示意性透视图；

图3是图1的示例计算系统的示意性侧视图；

图4是图1的示例计算系统的示意性前视图；

图5是示例操作期间的图1的示例计算系统的示意性侧视图；

图6是示例操作期间的图1的示例计算系统的示意性前视图；

图7是图示了图像捕捉的示例的图1的示例计算系统的示意性侧视图；

图8A-B是图1的示例计算系统的投影屏幕的示意图；

图9A-B是图示了图像捕捉的示例的图1的示例计算系统的示意性侧视图；

图10是包括分割引擎的图1的计算系统的示例部分的框图；

图11是用以确定分割界限（segmentation boundary）的示例设备的框图；以及

图12是用于确定分割界限的示例方法的流程图。

具体实施方式

除了上面提及的输入设备之外，照相机是用于计算系统的输入设备的另一示例。在某些示例中，计算系统可以利用照相机来捕捉视频或静止图像。视频或静止图像可以被存储或经由适当的计算机网络提供到另一计算系统。在其他示例中，可以分析由照相机捕捉的图像，并且计算系统可以将图像的内容用作到计算系统的输入。例如，计算系统可以分析在所捕捉的图像中表示的对象，并基于在图像中表示的对象的特性（例如，定位、位置、定向、形状等）来确定到计算系统的输入。

在此类示例中，计算系统可以对所捕捉的图像执行过程以提取在所捕捉的图像中表示的至少一个前景对象的图像。该过程在本文中可以被称为“分割”。在某些示例中，此类分割过程的结果可以是至少与在所捕捉的图像中表示的背景分离的前景对象的图像。作为示例，在所捕捉的图像中表示的背景的至少一部分可以对应于诸如投影屏幕之类的表面，用于反射从被通信地耦合到计算系统的投影仪组件投影的（一个或多个）图像。由投影仪组件投影的（一个或多个）图像可以包括通过由计算系统执行软件而产生的信息和/或图像。为了向投影屏幕上提供充分明亮的被投影的图像，可以利用用于漫射光的材料构造屏幕。作为示例，照相机可以被布置在投影屏幕上面并被指向投影屏幕以基于由对象反射的光来捕捉表示被布置在照相机与投影屏幕之间的对象的图像。

在某些示例中，分割过程可以包括确定用于在所捕捉的图像中表示的对象的分割界限。如本文中使用的那样，用于在图像中表示的对象的“分割界限”可以是表示图像的哪（一个或多个）部分表示对象和图像的哪（一个或多个）部分表示诸如投影屏幕之类的除了对象之外的特征的估计的信息。在某些示例中，用于在图像中表示的对象的分割界限可以包括表示如在图像中表示的对象的至少一个外边缘的信息。当执行分割过程时，计算系统可以使用分割界限从至少包括投影屏幕的一部分的较大的所捕捉的图像提取对象的图像。

然而，可能难以准确地确定用于被布置在照相机与投影屏幕之间的对象的分割界限，因为某些条件可能使得准确地将前景对象与投影屏幕区分开是困难的。例如，在存在阴影的情况下或者当前景对象和投影屏幕在颜色上类似时，可能难以基于由彩色照相机（例如，RGB照相机）捕捉的图像准确地确定分割界限。作为示例，可以使用红外（IR）照相机，因为由IR照相机捕捉的图像可以不被阴影或色彩类似性影响。然而，当利用用于漫射光（可以包括漫射IR光）的材料构造投影屏幕时，可能难以准确地确定用于也可以漫射IR光的对象的分割界限。例如，通过漫射IR光，投影屏幕可能在计算系统确定用于也漫射IR光的前景对象的分割界限时不提供充分的对比度。

为了解决这些问题，本文中描述的示例提供了既镜面反射IR光又漫射可见光的投影屏幕。通过例如镜面反射IR光离开被布置在投影屏幕上面并指向投影屏幕的IR照相机，投影屏幕可以在计算系统基于由对象反射的IR光确定用于被布置在IR照相机与投影屏幕之间的前景对象的分割界限时提供充分的对比度。通过漫射可见光，投影屏幕可以提供从投影仪组件反射的充分明亮的图像。

本文中描述的示例提供了一种投影屏幕，其包括用以镜面反射IR光的第一表面和用以漫射可见光的第二表面。通过使用包括用以镜面反射IR光的第一表面和用以漫射可见光的第二表面的投影屏幕可以允许计算系统较准确地确定用于被布置在屏幕与IR照相机之间的对象的分割界限。另外，投影屏幕可以提供从投影仪组件反射的充分明亮的图像。

现在参考图，图1-7是包括分割引擎170的示例计算系统100的示意图。在某些示例中，分割引擎170可以基于所捕捉IR图像来确定表示对象的至少一个外边缘的分割界限，如上面描述的那样。在图1-7的示例中，系统100一般地包括支撑结构110、计算设备150、投影仪单元180以及投影屏幕200，所述投影屏幕200包括用以镜面反射IR光的第一表面和用以漫射可见光的第二表面。

计算设备150可以包括遵照本文中公开的原理的任何适当的计算设备。如本文使用的那样，“计算设备”可以包括电子显示器设备、智能电话、平板、芯片组、一体式计算机（例如，包括还容纳计算机的（一个或多个）处理资源的显示器设备的设备）、台式计算机、笔记本计算机、工作站、服务器、任何其他处理设备或装备，或它们的组合。在该示例中，设备150是一体式计算机，其具有中心轴或中心线155、第一侧或顶侧150A、与顶侧150A轴向相对的第二侧或底侧150B、在侧150A和150B之间轴向延伸的前侧150C、也在侧150A和150B之间轴向延伸并且一般地与前侧150C径向相对的后侧150D。显示器152被沿着前侧150C布置并定义了计算系统100的观看表面以显示用于由系统100的用户观看的图像。在本文中描述的示例中，显示器可以包括适于显示图像、视频等的任何技术的部件。

在某些示例中，显示器152可以是触摸敏感的显示器。在本文中描述的示例中，触摸敏感的显示器可以包括例如用于显示图像、视频等的任何适当的技术（例如，部件），并且可以包括用于检测物理接触（例如，触摸输入）的任何适当的技术（例如，部件），诸如例如电阻式的、电容性的、表面声波、红外（IR）、应变仪、光学成像、声脉冲识别、分散的信号感测或蜂窝内（in-cell）系统等。在本文中描述的示例中，显示器152可以被称为触摸敏感的显示器152。设备150可以进一步包括照相机154，其可以例如是web照相机。在某些示例中，照相机154可以捕捉位于显示器152前面的用户的图像。在某些示例中，设备150还可以包括麦克风或用以接收声音输入（例如，来自用户的语音输入）的其他设备。

在图1-7的示例中，支撑结构110包括底座120、竖直构件140以及顶部160。底座120包括第一端或前端120A以及第二端或后端120B。底座120可以与支撑表面15接合以支撑系统100的部件（例如，构件140、单元180、设备150、顶部160等）中的至少一部分的重量。在某些示例中，当系统100被配置用于操作时，底座120可以以该方式与支撑表面15接合。在图1-7的示例中，底座120的前端120A包括凸起（raised）部分122，例如当底座120被如图2中图示的那样布置在支撑表面15上时，其可以被布置在支撑表面15上面并且与支撑表面15分离（在部分122与表面15之间形成空间或间隙）。在此类示例中，可以在部分122与表面15之间形成的空间中布置（例如，在其内接收）投影屏幕200的一侧的一部分。在此类示例中，将屏幕200的一部分放置在由部分122和表面15形成的空间内可以帮助屏幕200的适当对准。在其他示例中，可以使用其他适当的方法或设备来帮助屏幕200的对准。

竖直构件140包括第一端或上端140A、与上端140A相对的第二端或下端140B、在端140A和140B之间延伸的第一侧或前侧140C，以及与前侧140C相对且也在端140A和140B之间延伸的第二侧或后侧140D。构件140的下端140B被耦合到底座120的后端120B，使得构件140从支撑表面15基本上向上延伸。

顶部160包括第一端或近端160A、与近端160A相对的第二端或远端160B、在端160A和160B之间延伸的顶面160C以及与顶面160C相对且也在端160A和160B之间延伸的底面160D。顶部160的近端160A被耦合到竖直构件140的上端140A，使得远端160B从竖直构件140的上端140A向外延伸。同样地，在图2中示出的示例中，顶部160在端160A处（并不在端160B处）被支撑，并且在本文中可以被称为悬臂顶部。在某些示例中，底座120、构件140以及顶部160可以被整体地形成。在其他示例中，底座120、构件140以及顶部160中的两个或更多可以由单独件形成（即，没有被整体地形成）。

投影屏幕200可以包括中心轴或中心线205、第一侧或前侧200A以及与前侧200A轴向相对的第二侧或后侧200B。在图1-7的示例中，屏幕200可以包括与轴205基本上对准的触摸敏感区域202。区域202可以包括用于检测物理接触（例如，触摸输入）的任何适当的技术，如上面描述的那样（例如，电容性触摸垫）。例如，触摸敏感区域202可以包括用于检测（且在某些示例中跟踪）由用户进行的一个或多个触摸输入的任何适当的技术以使得用户能够经由此类触摸输入与由设备150或另一计算设备执行的软件交互。在图1-7的示例中，区域202在小于全部屏幕200上延伸。在其他示例中，区域202可以在基本上全部屏幕200上延伸（例如，可以与屏幕200基本上相邻）。

在本文中描述的示例中，投影屏幕200可以是任何适当的平面对象，诸如垫子（例如，触摸敏感垫）、桌面、薄板等。在某些示例中，投影屏幕200可以被布置成水平的（或者近似或基本上水平的）。例如，可以将屏幕200布置在支撑表面15上，其可以是水平的（或者近似或基本上水平的）。

参考图8A-B，屏幕200可以包括用以镜面反射IR光的第一表面802和用以（例如，在宽范围的方向上）漫射可见光的第二表面804。作为示例，屏幕200可以是电介质反射镜，其可以包括沉积在光学材料上的多层电介质材料，诸如玻璃。通过选择适当的电介质层和每个层的厚度，可以在光的不同波长处设计具有被指定的反射率的特定涂层。作为示例，参考图8A，顶部电介质层可以对应于用以镜面反射IR光的第一层802，并且在顶层下面的另一电介质层可以对应于用以漫射可见光的第二层804。作为示例，屏幕200的第一表面802可以包括热反射镜，其可以反射红外光同时允许可见光穿过第一表面，并且屏幕200的第二表面804可以包括冷反射镜，其可以反射可见光同时允许红外光穿过第二表面。

为了镜面反射IR光，第一表面802可以是高度反射的表面（例如，类似反射镜的）。因此，从单个传入方向朝着屏幕200投影的IR光806A可以被反射到（如806B指示的）单个传出方向上。如将被进一步讨论的那样，通过镜面反射IR光（而不是漫射IR光），屏幕200可以在计算系统150确定用于被布置在IR照相机与屏幕200之间的前景对象的分割界限时提供充分的对比度。关于漫射可见光（例如，从投影仪单元180投影的可见光808A），第二表面804可以是用于在（如808B指示的）宽范围的方向上反射可见光的适当表面。因此，屏幕200可以提供从投影仪单元180反射的充分明亮的图像。

参考图8A-B，可以将屏幕200的第一表面802布置在第二表面804上面或下面。当第一表面802被布置在第二表面804上面时（参见图8A），从第二表面804反射或漫射的可见光可以穿过第一表面802。

如上面描述的那样，屏幕200可以与结构110的底座120对准以帮助屏幕200的适当对准（例如，至少在系统100的操作期间）。在图1-7的示例中，可以将屏幕200的后侧200B布置在底座120的凸起部分122与支撑表面15之间，使得后端200B与底座120的前侧120A对准以帮助屏幕200与系统100的其他部件的适当总体对准（和特别地区域202的适当对准）。在某些示例中，屏幕200可以与设备150对准，使得设备150的中心线155与屏幕200的中心线205基本上对准。在其他示例中，屏幕200可以与设备150不同地对准。

在某些示例中，屏幕200的区域202和设备150可以被相互通信地连接（例如，电耦合），使得由区域202接收的用户输入可以被传送到设备150。区域202和设备150可以经由任何适当的有线或无线通信技术或机制相互通信，所述有线或无线通信技术或机制诸如例如Wi-Fi、蓝牙、超声技术、电缆、电引线、电导体、具有磁吸持力（holding force）的电弹簧承载的伸缩引脚（pogo pin）等或其组合。在图1-7的示例中，被布置在屏幕200的后侧200B上的暴露的电触头（contact）可以与底座120的部分122内的相应的电伸缩引脚引线接合以在系统100的操作期间在设备150与区域202之间传送信息（例如，传递信号）。在此类示例中，电触头可以被（位于底座120的部分122与表面15之间的间隙中的）相邻磁体吸持在一起以磁力地吸引和吸持（例如，机械地）沿着屏幕200的后侧200B布置的相应的铁和/或磁的材料。

参考图3，投影仪单元180包括外壳182以及被布置在外壳182内的投影仪组件184。外壳182包括第一端或上端182A、与上端182A相对的第二端或下端182B以及内腔183。在图3的示例中，外壳182进一步包括用以（例如，至少在系统100的操作期间）与设备150接合并支撑设备150的耦合构件或安装构件186。构件186可以是用于悬挂和支撑如本文中描述的任何适当的计算设备150的任何适当的机构或设备。例如，构件186可以包括铰链，其包括旋转轴，使得设备150可以（例如，被用户）关于旋转轴旋转以获得用于观看显示器152的期望角度。在某些示例中，设备150可以被永久地或半永久地附接到单元180的外壳182。在某些示例中，外壳180和设备150可以被完整地或整体地形成为单个单元。

参考图4，在某些示例中，当设备150经由外壳182上的安装构件186从结构110悬挂下来时，当从前面（即，基本上面对被布置在设备150的前侧150C上的显示器152）观看系统100时，投影仪单元180，（即，外壳182和组件184两者）可能基本上被隐藏在设备150后面。另外，如图4中示出的那样，当设备150如上面描述的那样从结构110悬挂下来时，从而可以将投影仪单元180（即，外壳182和组件184两者）和被投影的任何图像相对于设备150的中心线155基本上对准或居中。

再次参考图3，投影仪组件184被布置在外壳182的腔183内，并且包括第一端或上端184A、与上端184A相对的第二端或下端184B。上端184A是外壳182的接近的上端182A，而下端184B是外壳182的接近的下端182B。投影仪组件184可以包括用于从计算设备（例如，设备150）接收数据并投影与该输入数据对应的（例如，出自上端184A的）（一个或多个）图像的任何适当的数字光投影仪组件。例如，在某些实现中，投影仪组件184可以包括数字光处理（DLP）投影仪或硅上液晶（LCoS）投影仪，其有利地是紧凑的并对高效的投影引擎供电，所述高效的投影引擎能够有多个显示分辨率和大小，诸如例如具有4:3纵横比的标准XGA分辨率（1024×768像素）或具有16:10纵横比的标准WXGA分辨率（1280×800像素）。投影仪组件184被进一步通信地连接（例如，电耦合）到设备150以便从其接收数据并以便基于接收到的数据从端184产生（例如，投影）光和（一个或多个）图像。可以经由例如任何适当的类型的电耦合或本文中描述的任何其他适当的通信技术或机制将投影仪组件184通信地连接到设备150。在某些示例中，可以经由（一个或多个）电导体、Wi-Fi、蓝牙、光学连接、超声连接或其组合将组件184通信地连接到设备150。在图1-7的示例中，通过被布置在安装构件186内的（例如，如上面关于屏幕200和底座120描述的）电引线或导体将设备150通信地连接到组184，使得当设备150通过构件186从结构110悬挂下来时，被布置在构件186内的电引线接触被布置在设备150上的相应的引线或导体。

仍参考图3，顶部160进一步包括折叠反射镜162和传感器束164。反射镜162包括高度反射的表面162A，其被沿着顶部160的底面160D布置并被定位成反射在操作期间从投影仪组件184的上端184A朝着屏幕200投影的光、（一个或多个）图像等。反射镜162可以包括任何适当的类型的反射镜或反射表面。在图1-7的示例中，折叠反射镜162可以包括标准前表面真空金属化涂铝玻璃反射镜，其动作以将从组件184发射的光向下折叠到屏幕200。在其他示例中，反射镜162可能具有复杂的非球面曲率以充当提供附加的聚焦能力或光学校正的反射透镜元件。

传感器束164包括多个传感器（例如，照相机或其他类型的传感器）以基于传感器束164与屏幕200之间的区域的状态（例如，其中发生的活动）来检测、测量或否则获取数据。传感器束164与屏幕200之间的区域的状态可以包括在屏幕200上或上面的（一个或多个）对象或者在屏幕200上或附近发生的（一个或多个）活动。在图3的示例中，束164包括RGB照相机164A（或另一类型的彩色照相机164A）、IR照相机164B、深度照相机（或深度传感器）164C以及环境光传感器164D。

在某些示例中，RGB照相机164A可以是用以捕捉彩色图像（例如，静止图像和视频中的至少一个）的照相机。在某些示例中，RGB照相机164A可以是用以根据RGB颜色模型来捕捉图像的照相机，所述图像在本文中可以被称为“RGB图像”。在某些示例中，RGB照相机164A可以以相对高的分辨率来捕捉图像，所述分辨率例如诸如约几兆像素（MP）的分辨率。作为示例，RGB照相机164A可以14 MP的分辨率来捕捉彩色（例如，RGB）图像。在其他示例中，RGB照相机164A可以用不同的分辨率来捕捉图像。在某些示例中，RGB照相机164可以被指向屏幕200，并且可以捕捉屏幕200、被布置在屏幕200与（例如，在屏幕200上或上面的）RGB照相机164A之间的（一个或多个）对象或其组合的（一个或多个）图像。

IR照相机164B可以是用以检测在照相机164B的视野中的多个点处的IR光的强度的照相机。在本文中描述的示例中，IR照相机164B可以结合系统100的IR光投影仪166（参见图7）操作以捕捉IR图像。在此类示例中，每个IR图像可以包括多个像素，每个表示在由像素表示的点处检测到的IR光的强度。在某些示例中，系统100的顶部160可以包括用以朝着屏幕200投影IR光167的IR光投影仪166（参见图7），并且IR照相机164B可以被指向屏幕200。在此类示例中，IR照相机164B可以检测由屏幕200、被布置在屏幕200与（例如，在屏幕200上或上面的）IR照相机164B之间的（一个或多个）对象或其组合反射的IR光的强度。在某些示例中，IR照相机164B可以专门地检测由IR光投影仪166投影的（例如，如从屏幕200、（一个或多个）对象等反射的或被直接地接收的）的IR光167。如上面提及的那样，通过镜面反射IR光（而不是漫射IR光），屏幕200可以在计算系统150确定用于被布置在IR照相机164B与屏幕200之间的前景对象的分割界限时提供充分的对比度。

深度照相机164C可以是用以检测深度照相机164C的视野中的（一个或多个）对象的部分的相应的（一个或多个）距离（或（一个或多个）深度）的照相机（（一个或多个）传感器等）。如本文中使用的那样，由深度照相机检测的数据在本文中可以被称为“距离”或“深度”数据。在本文中描述的示例中，深度照相机164C可以捕捉多像素深度图像（例如，深度图），其中每个像素的数据表示在由像素表示的点处的对象的一部分的（从照相机164C测量到的）距离或深度。可以使用任何适当的技术来实现深度照相机164C，所述技术诸如（一个或多个）立体视觉照相机、具有大量均匀IR光的单IR照相机传感器、具有大量均匀IR光的双IR照相机传感器、结构光深度传感器技术、飞行时间（TOF）深度传感器技术或其组合。在某些示例中，深度传感器164C可以指示对象（例如，三维对象）何时在屏幕200上，其包括用以镜面反射IR光例如离开深度照相机164C的表面。在某些示例中，深度传感器164C可以检测被放置在屏幕200上的对象（或其部分）的存在、形状、轮廓、运动以及相应的（一个或多个）距离中的至少一个。

环境光传感器164D可以被布置成测量围绕系统100的环境中的光的强度。在某些示例中，系统100可以使用传感器164D的测量结果来调整系统100的其他部件，诸如例如系统100的传感器或照相机（例如，照相机164A-164C）的曝光设置、从系统100的光源（例如，投影仪组件184、显示器152等）发射的光的强度等。

在某些示例中，传感器束164可以省略传感器164A-164D中的至少一个。在其他示例中，除了传感器164A-164D之外或代替传感器164A-164D中的至少一个，传感器束164可以包括其他（一个或多个）照相机、（一个或多个）传感器等。例如，传感器束164可以包括用户接口传感器，其包括用于跟踪诸如例如手（hand）、触笔、定点设备等的用户输入设备的（一个或多个）任何适当的设备（例如，（一个或多个）传感器、（一个或多个）照相机）。在某些示例中，用户接口传感器可以包括照相机的对，其被布置成在用户输入设备（例如，触笔）被用户关于屏幕200（例如，关于屏幕200的区域202）移动时立体地跟踪用户输入设备的位置。在其他示例中，用户接口传感器可以附加地或替代地包括（一个或多个）IR照相机或（一个或多个）传感器，其被布置成检测由用户输入设备发射或反射的红外光。

在本文中描述的示例中，束164中的传感器164A-164D中的每个被通信地连接（例如，耦合）到设备150，使得在束164内生成的数据（例如，由照相机捕捉的图像）可以被提供到设备150，并且设备150可以向传感器束164中的（一个或多个）传感器和（一个或多个）照相机提供命令。可以经由上面描述了其示例的任何适当的有线或无线通信技术或机制将束164中的传感器164A-164D通信地连接到设备150。在图1-7的示例中，可以通过被布置在（如上面描述的）安装构件186内的引线将电导体从束164路由（route）通过顶部160、竖直构件140以及投影仪单元180并且到设备150中。

参考图5和6，在系统100的操作期间，投影仪组件184可以投影可见光187以从反射镜162朝着屏幕200反射以从而在屏幕200的投影仪显示空间188上显示（一个或多个）可见图像。如上面提及的那样，通过包括用以漫射可见光的表面（例如，图8A-B中的第二表面804），屏幕200可以提供从投影仪组件184反射的充分明亮的图像。在图5-6的示例中，空间188可以基本上是矩形的，具有长度188L和宽度188W。在某些示例中，长度188L可能近似16英寸，而宽度188W可能近似12英寸。在其他示例中，长度188L和宽度188W可以具有不同的值。

在某些示例中，传感器束164中的照相机164A-164C被布置在系统100内，使得照相机164A-164C中的每个的视野包括屏幕200的空间168，其可以与显示空间188中的某些或全部重叠或者可以与显示空间188相邻。在本文中描述的示例中，可以将照相机164A-164C的视野说成包括空间168，虽然有时屏幕200可能至少部分地被屏幕200上或上方的（一个或多个）对象遮挡（occlude）。在此类示例中，屏幕200上或上方的（一个或多个）对象可以在照相机164A-164C中的至少一个的视野中。在此类示例中，传感器束164中的传感器可以基于传感器束164与屏幕200的空间168之间的区域的状态（例如，在其中发生的活动、被布置在其中的（一个或多个）对象）获取数据。例如，关于IR照相机164B，在屏幕200镜面反射（例如，来自IR光投影仪166的）IR光离开IR照相机164B的情况下，屏幕200可以为计算设备150提供充分的对比度以可靠地确定被布置在传感器束164与屏幕200的空间168之间的区域中的对象的分割界限。

在某些示例中，空间188和空间168两者与屏幕200的区域202重合或对应，使得触摸敏感区域202、投影仪组件184以及传感器束164的功能都关于同一定义的区域被执行。在图7中示意性地图示了照相机164A-164C的视野165。在某些示例中，照相机164A-164C中的每个可以具有稍有不同的视野。

再次参考图8A-B，屏幕200可以包括用以镜面反射IR光的第一表面802和用以漫射可见光的第二表面804。作为示例，第一表面802可以镜面反射IR光离开IR照相机（例如，IR照相机164B），使得IR照相机164B可以检测与在相同IR光投影条件下的来自被布置在照相机164B与屏幕200之间的对象的IR光的强度不同的来自投影屏幕200的IR光的强度。

参考图9A-B，可以基于反射IR光167的表面不同地反射（例如，镜面反射和/或漫反射）由IR光投影仪166投影的IR光167。如在图9A中图示的那样，屏幕200可以包括用于将IR光从单个传入方向167A反射到单个传出方向169A上的高度反射的表面（例如，如图8A-B中图示的第一表面802），其可以离开IR照相机164B的视野165或在其外部。然而，针对不包括、涂有此类高度反射的表面或否则利用此类高度反射的表面制备的对象40而言，投影在对象40上的IR光167B可以产生IR光的漫反射169B，其可以在IR照相机164B的视野165内，如图9B中图示的那样。因此，照相机164B可以检测到与从对象40反射的IR光的强度不同的从屏幕200反射的IR光的强度。为了确定对象40的分割界限，表示屏幕200的部分的IR图像的像素可以具有与表示对象的部分的像素不同的IR光强度，使得强度值中的差异可以提供充分的对比度以可靠地确定IR图像中的对象40的分割界限。作为示例，表示屏幕200的部分的IR图像的像素可以具有比表示对象40的部分的像素显著高和/或低的IR光强度。作为示例，计算设备150可以基于由不同类型的照相机（例如，彩色照相机、IR照相机和/或深度照相机）捕捉的多个图像来确定用于对象的分割界限。这在难以基于由单个照相机（例如，IR照相机164B）捕捉的图像准确地确定用于对象的分割界限时可能是必要的。

现在参考图5-7，设备150可以引导投影仪组件184将（一个或多个）图像投影到屏幕200的区域202上。设备150还可以在显示器152上显示（一个或多个）图像（其可以与由投影仪组件184投影到区域202上的（一个或多个）图像相同或不同）。由组件184投影的（一个或多个）图像可以包括通过由设备150执行软件产生的信息和/或图像。在某些示例中，用户可以通过以任何适当的方式物理上接合屏幕200的触摸敏感区域202而与在区域202上投影的和在显示器152上显示的（一个或多个）图像交互，所述以任何适当的方式诸如利用用户的手35（例如，经由触摸、轻敲、手势或其他触摸输入）、利用触笔25或者经由（一个或多个）任何其他适当的用户输入设备。触摸敏感区域202可以经由与区域202的物理接合检测此类交互。并且，在某些示例中，组件184还可以（至少部分地）在被布置在屏幕200之上的对象（例如，如图5中示出的手35）上投影（一个或多个）图像。

作为示例，当用户（例如，如图7中示出的那样用手35）与屏幕200的区域202交互时，触摸敏感区域202可以生成触摸输入信息并通过（上面描述了其示例的）任何适当的连接将它提供到设备150。在某些示例中，触摸输入信息可以被提供到在设备150上执行的操作系统（OS），并且可以进一步被OS传递到在设备150上执行的另一应用（例如，程序等）。作为响应，执行OS或应用可以改变由投影仪组件184投影的（一个或多个）图像、在显示器152上显示的（一个或多个）图像或其组合。如本文中使用的那样，“应用”（或“计算机应用”）是可由处理资源执行的机器可读指令的集合。在某些示例中，用户可以类似地与在（可以是触摸敏感的显示器的）显示器152上显示的（一个或多个）图像或设备150的任何其他输入设备（例如，键盘、鼠标等）交互。

在某些示例中，传感器束164中的传感器还可以生成可以被提供到设备150用于进一步处理的系统输入。例如，系统100可以至少利用束164中的（一个或多个）传感器和分割引擎170检测用户的手35（或如图5中示出的触笔25）的存在和位置中的至少一个，并且向设备150提供表示检测到的信息的系统输入信息。所提供的系统输入信息可以被传递到由设备150执行的OS和应用中的至少一个，并且可以改变由系统100显示的（一个或多个）图像，如上面关于触摸输入描述的那样。例如，束164可以包括被布置成执行（例如，触笔25的）立体触笔跟踪的照相机或传感器的对。在其他示例中，触笔25包括尖端26，其被涂有红外回复反射涂层（例如，涂料），使得尖端26可以用作红外回复反射器。在此类示例中，束164可以包括（一个或多个）IR照相机（或（一个或多个）传感器），如上面描述的那样，其检测从尖端26反射的IR光以使得设备150能够在尖端26跨区域202移动时跟踪尖端26的位置。作为示例，在屏幕200镜面反射IR光离开IR照相机的情况下，屏幕200可以为设备150提供充分的对比度以在尖端26跨区域202移动时跟踪尖端26的位置。

在某些示例中，（具有由组件184在其上投影的（一个或多个）图像的）区域202可以用作系统100内的第二或替代的触摸敏感显示器。另外，可以通过如上面描述的传感器束164中的传感器的使用来增强与在区域202上显示的（一个或多个）图像的交互的检测。

在某些示例中，系统100可以捕捉物理对象的（一个或多个）二维（2D）图像或形成物理对象的三维（3D）扫描，使得对象的图像然后可以被投影到区域202上用于其进一步使用或操纵。例如，如图6中示出的那样，可以将对象40放置在区域202上，使得束164中的传感器（例如，照相机164A-164C中的至少一个）可以检测对象40的位置、尺寸以及色彩中的至少一个以增强其（一个或多个）2D图像或形成其3D扫描。在此类示例中，由束164中的传感器搜集的信息可以被提供到设备150（例如，OS、应用等），如上面描述的那样。在某些示例中，在接收信息之后，设备150（例如，OS、应用等）可以引导投影仪组件184将对象40的图像投影到区域202上。对象40可以是例如智能电话、书、文档、照片或任何其他物理对象。

在某些示例中，一旦（一个或多个）对象由束164中的传感器扫描到，则可以（例如，经由如上面描述的分割过程）移除表示对象的图像的背景，并且可以将得到的前景对象的图像投影到区域202上（或示出在显示器152上）。在此类示例中，可以捕捉、处理并在区域202上显示物理对象（例如，对象40）的图像以快速地且容易地形成物理对象的数字版本以虑及其进一步操纵。被移除的表示对象40的图像的背景可以对应于屏幕200的至少一部分。在屏幕200镜面反射（例如，来自IR光投影仪166的）IR光离开IR照相机164B的情况下，屏幕200可以为计算设备150提供充分的对比度以可靠地确定对象40的分割界限，从而移除图像的背景。

图10是包括分割引擎170的图1的计算系统100的一部分的框图。特别地，图10图示了计算设备150的示例，其包括分割引擎170并被通信地连接到投影仪组件184、IR照相机164B以及投影屏幕200（如上面描述的那样）。尽管在图10中未示出，但计算设备150还可以被通信地连接到系统100的其他部件，如上面描述的那样。在图10的示例中，分割引擎170包括引擎904、906和908。在某些示例中，引擎170可以包括（一个或多个）附加引擎。

计算设备150（或实现分割引擎170的任何其他计算设备）可以包括至少一个处理资源。在本文中描述的示例中，处理资源可以包括例如一个处理器或者被包括在单个计算设备中或跨多个计算设备分布的多个处理器。如本文中使用的那样，“处理器”可以是中央处理单元（CPU）、基于半导体的微处理器、图形处理单元（GPU）、被配置成检索并执行指令的现场可编程门阵列（FPGA）、适于检索和执行存储在机器可读存储介质上的指令的其他电子电路或其组合中的至少一个。

引擎170、904、906、908以及计算设备150的任何其他引擎中的每个可以是用以实现相应的引擎的功能的硬件与编制程序（programming）的任何组合。可用以多个不同的方式来实现硬件和编制程序的此类组合。例如，编制程序可以是存储在非瞬时机器可读存储介质上的处理器可执行指令，并且硬件可以包括用以执行那些指令的处理资源。在此类示例中，机器可读存储介质可以存储指令，所述指令在被处理资源执行时实现引擎。存储指令的机器可读存储介质可以被集成在与用以执行指令的处理资源相同的计算设备（例如，设备150）中，或者机器可读存储介质可以与计算设备和处理资源分离但对其而言是可访问的。处理资源可以包括一个处理器或被包括在单个计算设备中或跨多个计算设备分布的多个处理器。

在某些示例中，指令可以是安装包的部分，所述安装包在被安装时可以被处理资源执行以实现系统100的引擎。在此类示例中，机器可读存储介质可以是诸如压缩盘、DVD或闪速驱动之类的便携式介质，或者由可以从其下载和安装安装包的服务器维持的存储器。在其他示例中，指令可以是已经安装在包括处理资源的计算设备（例如，设备150）上的一个或多个应用的部分。在此类示例中，机器可读存储介质可以包括诸如硬盘驱动、固态驱动等的存储器。

如本文中使用的那样，“机器可读存储介质”可以是用以包含或存储诸如可执行指令、数据等的信息的任何电子的、磁的、光学的或其他物理的存储装置。例如，本文中描述的任何机器可读存储介质可以是存储驱动（例如，硬盘驱动）、闪存、随机访问存储器（RAM）、任何类型的存储盘（例如，压缩盘、DVD等）等中的任何或其组合。进一步地，本文中描述的任何机器可读存储介质可以是非瞬时的。

在图10的示例中，分割引擎170可以包括界限引擎904、移除引擎906以及投影引擎908。界限引擎904可以从IR照相机164B捕捉表示被布置在IR照相机164B与投影屏幕200之间的对象的IR图像。作为示例，IR图像可以基于由对象和投影屏幕200反射的IR光的强度。界限引擎904可以至少部分地基于IR光强度值的第一集合与IR光强度值的第二集合之间的至少一个界限来确定对象的分割界限（例如，基于IR图像的对象的至少一个外边缘）。

在投影屏幕200镜面反射IR光例如离开IR照相机164B的情况下，界限引擎904可以针对IR图像的每个像素确定IR强度值。例如，IR照相机164B可以检测到比来自对象IR光的强度小的来自投影屏幕200的IR光的强度，使得表示投影屏幕200的IR图像的部分包括比在表示对象的IR图像的部分中包括的较高的IR光强度值小的IR光强度。IR光强度值的第一集合可以包括较小的IR光强度值，并且第二集合可以包括较高的IR光强度值。同样地，分割引擎170可以至少部分地基于IR图像的较小IR光强度值与IR图像的较大IR光强度值之间的至少一个界限来确定分割界限。

在某些示例中，如果IR强度数据暗示（或否则指示）边缘的存在，则引擎904可以估计IR图像的一部分表示对象的边缘。在某些示例中，引擎904可以附加地或替代地利用各种（一个或多个）启发法、（一个或多个）规则等，用于基于IR图像的IR强度来估计对象的边缘的存在。

移除引擎906可以移除位于分割界限外部的IR图像的部分，以便生成被布置在IR照相机164B与投影屏幕200之间的对象的图像910。作为示例，位于分割界限外部的IR图像的部分可以对应于在IR图像中捕捉的屏幕200的至少一部分。在屏幕200镜面反射IR光离开IR照相机164B的情况下，屏幕200可以为计算设备150提供充分的对比度以可靠地确定对象的分割界限，从而移除IR图像中表示的背景。投影引擎908可以经由投影仪组件184将对象的图像910投影到投影屏幕200上。形成物理对象的数字版本可以虑及经由计算系统100进一步操纵对象。

图11是用以确定分割界限的另一示例计算设备150的框图。在图11的示例中，计算设备150被通信地连接到投影仪组件184、IR照相机164B以及投影屏幕200（如上面描述的那样），并且包括处理资源1010以及机器可读存储介质1020，其包括指令1022、1024、1026以及1028（例如，被用其编码）。在某些示例中，存储介质1020可以包括附加指令。在其他示例中，指令1022、1024、1026、1028以及在本文中关于存储介质1020描述的任何其他指令可以被存储在远离计算设备150和处理资源1010但对其而言可访问的机器可读存储介质上。处理资源1010可以获取、解码并执行存储在存储介质1020上的指令以实现下面描述的功能。在其他示例中，可以以电子电路的形式、以机器可读存储介质上编码的可执行指令的形式或其组合来实现存储介质1020的任何指令的功能。机器可读存储介质1020可以是非瞬时机器可读存储介质。

在图11的示例中，诸如上面关于图1描述的计算系统100之类的计算系统可以包括计算设备150、投影仪组件184、IR照相机164B以及投影屏幕200。在某些示例中，指令1022可以从IR照相机164B捕捉IR图像。在本文中描述的示例中，指令1022可以主动地（例如，通过对图像进行检索、请求、访问等）或被动地（例如，接收图像等）从照相机164B捕捉图像。作为示例，IR图像可以表示被布置在IR照相机164B与投影屏幕200之间的对象（例如，对象40）。

指令1024可以包括用于确定在IR图像中表示的对象的分割界限的指令。可以至少部分地基于从IR图像获得的IR光强度值的第一集合与从IR图像获得的IR光强度值的第二集合之间的至少一个界限来确定分割界限。

指令1026可以包括用于移除位于分割界限外部的IR图像的部分以便生成被布置在IR照相机164B与投影屏幕200之间的对象的数字图像的指令。作为示例，位于分割界限外部的IR图像的部分可以对应于在IR图像中捕捉的屏幕200的至少一部分。在屏幕200镜面反射IR光离开IR照相机164B的情况下，屏幕200可以为计算设备150提供充分的对比度以可靠地确定对象的分割界限，从而移除在IR图像中表示的背景。

指令1028可以包括用于经由投影仪组件184将对象的数字图像投影到投影屏幕200上的指令。形成物理对象的数字图像可以虑及经由计算系统100进一步操纵对象。

图12是用于确定分割界限的示例方法1100的流程图。尽管下面参考图1的计算系统100描述方法1100的执行，但可以利用用于执行方法1100的其他适当的系统。另外，方法1100的实现不限于此类示例。

在方框1100的1105处，被布置在计算系统100的触摸屏200上面并被指向触摸屏200的IR照相机164B可以捕捉表示被布置在投影屏幕200与IR照相机164B之间的对象的IR图像。作为示例，可以基于由对象和投影屏幕200反射的IR光的强度来捕捉IR图像。投影屏幕200可以包括用以镜面反射IR光的表面（例如，第一表面802）。作为示例，可以将IR照相机164B和投影屏幕200布置成使得投影屏幕200可以镜面反射IR光离开IR照相机164B。

在1105处，计算系统100可以至少部分地基于IR光强度值的第一集合和IR光强度值的第二集合之间的至少一个界限来确定分割界限。作为示例，分割界限可以基于IR图像来表示对象的至少一个外边缘。在投影仪200镜面反射光离开IR照相机164B的情况下，IR照相机164B可以检测到比来自对象的IR光的强度小的来自投影屏幕200的IR光的强度，使得表示投影屏幕200的IR图像的部分包括比在表示对象的IR图像的部分中包括的较高的IR光强度值小的IR光强度值。因此，当确定分割界限时，IR光强度值的第一集合可以包括较小的IR光强度值，并且IR光强度值的第二集合可以包括较高的IR光强度值。

尽管图12的流程示出了某些功能的执行的特定顺序，但方法1100不限于该顺序。例如，在流程图中连续地示出的功能可以以不同的顺序执行，可以被同时地或部分同时地执行，或其组合。在某些示例中，可以结合在本文中关于图1-11中的任何图描述的特征和功能来提供在本文中关于图12描述的特征和功能。

Claims (15)

1.一种计算系统，包括：

投影屏幕，其包括

用以镜面反射红外（IR）光的第一表面，以及

用以漫射可见光的第二表面；

投影仪组件，其用以在投影屏幕上投影可见图像；以及

IR照相机，其被布置在投影屏幕上面并被指向投影屏幕以基于由对象和投影屏幕反射的IR光的强度来捕捉表示被布置在IR照相机与投影屏幕之间的对象的IR图像。

2.根据权利要求1所述的系统，其中投影屏幕的第一表面将镜面反射IR光离开IR照相机，并且由投影屏幕反射的IR光是由第一表面镜面反射的IR光。

3.根据权利要求2所述的系统，其中IR照相机将检测到比来自对象的IR光的强度小的来自投影屏幕的IR光的强度，使得表示投影屏幕的IR图像的部分包括比被包括在表示对象的IR图像的部分中的较高的IR光强度值小的IR光强度值。

4.根据权利要求3所述的系统，包括分割引擎，其用以基于IR图像确定表示对象的至少一个外边缘的分割界限。

5.根据权利要求4所述的系统，其中分割引擎将至少部分地基于较小的IR光强度值与较高的IR光强度值之间的至少一个界限来确定分割界限。

6.根据权利要求1所述的系统，包括分割引擎，其用以基于IR图像来确定表示对象的至少一个外边缘的分割界限，其中分割引擎包括：

界限引擎，其用以至少部分地基于IR光强度值的第一集合和IR光强度值的第二集合之间的至少一个界限来确定分割界限。

7.根据权利要求1所述的系统，其中第一表面被布置在第二表面上面，并且其中从第二表面漫射的可见光穿过第一表面。

8.一种包括指令的非瞬时机器可读存储介质，所述指令可由计算系统的处理资源执行，所述计算系统包括投影屏幕、用以在投影屏幕上投影可见图像的投影仪组件以及被布置在投影屏幕上面并被指向投影屏幕的红外（IR）照相机，所述指令可执行以：

基于由对象和投影屏幕反射的IR光的强度从IR照相机捕捉表示被布置在IR照相机与投影屏幕之间的对象的IR图像，所述投影屏幕包括用以镜面反射IR光的第一表面和用以漫射可见光的第二表面；以及

至少部分地基于IR光强度值的第一集合和IR光强度值的第二集合之间的至少一个界限来确定分割界限，其中分割界限基于IR图像来表示对象的至少一个外边缘。

9.根据权利要求8所述的存储介质，其中用以确定分割界限的指令包括用于如下的指令：

针对IR图像的每个像素确定IR强度值，其中IR照相机将检测到比来自对象的IR光的强度小的来自投影屏幕的IR光的强度，使得表示投影屏幕的IR图像的部分包括比被包括在表示对象的IR图像的部分中的较高的IR光强度值小的IR光强度值；以及

确定分割界限，其中IR光强度值的第一集合包括较小的IR光强度值并且IR光强度值的第二集合包括较高的IR光强度值。

10.根据权利要求9所述的存储介质，其中屏幕的第一表面将镜面反射IR光离开IR照相机，使得IR照相机将检测到比来自对象的IR光的强度小的来自投影屏幕的IR光的强度。

11.根据权利要求8所述的存储介质，包括指令，其可执行以：

移除在分割界限外部的IR图像的部分以生成对象的图像；以及

将对象的图像投影在投影屏幕上。

12.一种方法，包括：

基于由对象和投影屏幕反射的IR光的强度从被布置在被布置成近似水平的投影屏幕上面并被指向所述投影屏幕的红外（IR）照相机捕捉IR图像，所述IR图像表示被布置在IR照相机与包括用以镜面反射IR光的表面的投影屏幕之间的对象；以及

至少部分地基于IR光强度值的第一集合和IR光强度值的第二集合之间的至少一个界限来确定分割界限，其中分割界限基于IR图像来表示对象的至少一个外边缘。

13.根据权利要求12所述的方法，其中确定分割界限包括：

针对IR图像的每个像素确定IR强度值，其中IR照相机将检测到比来自对象的IR光的强度小的来自投影屏幕的IR光的强度，使得表示投影屏幕的IR图像的部分包括比在表示对象的IR图像的部分中包括的较高的IR光强度值小的IR光强度值；以及

确定分割界限，其中IR光强度值的第一集合包括较小的IR光强度值并且IR光强度值的第二集合包括较高的IR光强度值。

14.根据权利要求13所述的方法，其中屏幕的表面将镜面反射IR光离开IR照相机，使得IR照相机将检测到比来自对象的IR光的强度小的来自投影屏幕的IR光的强度。

15.根据权利要求12所述的方法，包括：

移除在分割界限外部的IR图像的部分以生成对象的图像；以及

从投影仪组件将对象的图像投影在投影屏幕上。