CN106255938B - 传感器和投影仪的校准 - Google Patents

Abstract

提供了一种系统，包括投影仪单元；多合一计算机，包括校准模块并且可附连到投影仪单元；以及通信地耦合到多合一计算机的多个传感器。此外，多合一计算机存储涉及公共坐标系中的投影仪单元与多个传感器之间的映射的映射信息。另外，校准模块使用映射信息校准多个传感器和投影仪单元。

Description

传感器和投影仪的校准

背景技术

视觉传感器是可以捕获与目标相关联的视觉数据的传感器。视觉数据可以包括目标的图像或目标的视频。异类视觉传感器（不同类型的视觉传感器）的集群可以用于某些应用，该应用可以在计算机系统中采用。由异类传感器收集的视觉数据可以被组合和处理以执行与相应应用相关联的任务。而且，不同异类视觉传感器可以具有不同的分辨率和视场。

附图说明

为了各种示例的详细描述，现在将参照附图，其中：

图1是依照本文所公开的原理的计算机系统的示例的示意性透视图；

图2是依照本文所公开的原理的图1的计算机系统的另一示意性透视图；

图3是依照本文所公开的原理的图1的计算机系统的示意性侧视图；

图4是依照本文所公开的原理的图1的计算机系统的示意性前视图；

图5是依照本文所公开的原理的在操作期间图1的计算机系统的示意性侧视图；

图6是依照本文所公开的原理的在操作期间图1的系统的示意性前视图；

图7是依照本文所公开的原理的图1的计算机系统的黑盒电路图；以及

图8是依照本文所公开的原理的示例过程流程图。

具体实施方式

本公开的各种方面针对校准传感器集群和投影单元。更具体地，并且如以下更加详细描述的，本公开的各种方面针对通过其关于彼此并且关于投影仪校准包括深度传感器和姿势传感器的多个传感器以允许正确操作的方式。

本文所描述的本公开的各方面讨论集群中的异类视觉传感器（不同类型的视觉传感器）的使用。除其它事物之外，该方案允许用于各种应用的更丰富且更鲁棒的信息的捕获。

而且，本文所描述的本公开的各方面讨论正确校准传感器集群。该方案允许传感器和投影仪通过标识用于传感器和投影仪的公共坐标系而知晓当一个传感器已经将对象定位在其视场内时对象在其坐标系中位于哪里。除其它事物之外，该方案允许传感器和投影仪能够跨所有传感器坐标系而引用相同的点位置。

另外，本文所描述的本公开的各方面还公开了将x，y和z坐标从一个传感器坐标系无缝地变换到另一坐标系。相应地，利用来自多个传感器的数据的软件开发者创建程序能够简化任务复杂度并且更快地构建更好的应用。除其它事物之外，该方案允许传感器融合，从而导致组合来自全异源的感测数据或从感测数据导出的数据的能力，使得实现结果得到的信息，这在这些源为单独时将不会发生。

在依照本公开的一个示例中，提供了一种示例系统，包括投影仪单元、包括校准模块并且可附连到投影仪单元的多合一计算机，以及通信耦合到多合一计算机的多个传感器。此外，多合一计算机存储涉及公共坐标系中的投影仪单元与多个传感器之间的映射的映射信息。另外，校准模块使用映射信息校准多个传感器和投影仪单元。

在依照本公开的另一示例中，提供了一种方法。方法包括，通过第一传感器捕获校准图案，其中多个传感器至少具有第一传感器和第二传感器，检测校准图案的特征（该特征与第一传感器的坐标空间中的坐标相关联），将所检测到的特征的坐标映射到公共坐标空间，以及基于第一传感器的坐标空间中的坐标和所映射的坐标导出公共坐标空间和第二传感器的坐标空间中的坐标之间的映射。

图1-4图示了依照实现的示例系统100。应当容易明显的是，本图示不应当被解释成由图1中所示的该特定说明性架构限制，并且系统100表示一般化图示并且可以添加其它元件或可以移除、修改或以许多方式重布置所图示的元件。系统100包括支撑结构110、计算设备150、投影仪单元180和触敏垫200。计算设备150可以包括任何合适的计算设备，而同时仍旧遵从本文所公开的原理。例如，在一些实现中，设备150可以包括电子显示器、智能电话、平板电脑、多合一计算机（即还容纳计算机的板的显示器）或其某种组合。在该示例中，设备150是包括中心轴或中心线155、第一或顶侧150a、在轴向上与顶侧150a相对的第二或底侧150b、在侧部150a，150b之间轴向延伸的前侧150c、同样在侧部150a，150b之间轴向延伸并且一般与前侧150c径向相对的后侧的多合一计算机。显示器152限定观看表面并且沿前侧150c部署以投影用于供用户（未示出）观看和交互的图像。在一些示例中，显示器152包括触敏技术，诸如例如电阻式、电容式、声波、红外（IR）、应变仪、光学、声学脉冲识别或其某种组合。因此，贯穿以下描述，显示器152可能偶尔被称为触敏表面或显示器。此外，在一些示例中，设备150还包括在用户位于显示器152前面的同时拍取他或她的图像的相机154。在一些实现中，相机154是网络（web）相机。另外，在一些示例中，设备150还包括布置成在操作期间从用户接收声音输入（例如语音）的麦克风或类似的设备。

仍旧参照图1-4，支撑结构110包括基座120、直立构件140和顶部160。基座120包括第一或前端120a和第二或后端120b。在操作期间，基座120与支撑表面15接合以在操作期间支撑系统100的组件（例如构件140、单元180、设备150、顶部160等）的至少部分的重量。在该示例中，基座120的前端120a包括在支撑表面15上方略微分离的抬高部分122，从而创建部分122与表面15之间的空间或空隙。如以下将更加详细解释的，在系统100的操作期间，垫200的一侧被接收在形成于部分122与表面15之间的空间内以确保垫200的正确对准。然而，应当领会的是，在其它示例中，可以使用其它合适的对准方法或设备而同时仍旧遵从本文所公开的原理。

直立构件140包括第一或上端140a、与上端140a相对的第二或下端140b、在端部140a，140b之间延伸的第一或前侧140c，以及与第一侧140c相对并且同样在端部140a，140b之间延伸的第二或后侧140d。构件140的下端140b耦合到基座120的后端120b，使得构件140大体从支撑表面15向上延伸。

顶部160包括第一或近端160a、与近端160a相对的第二或远端160b、在端部160a，160b之间延伸的顶表面160c，以及与顶表面160c相对并且同样在端部160a，160b之间延伸的底表面160d。顶部160的近端160a耦合到直立构件140的上端140a，使得远端160b从其向外延伸。作为结果，在图2中所示的示例中，顶部160仅在端部160a处被支撑并且因而在本文中被称为“悬臂式”顶部。在一些示例中，基座120、构件140和顶部160全部单片形成；然而，应当领会的是，在其它示例中，基底120、构件140和/或顶部160可以不是单体形成的而同时仍旧遵从本文所公开的原理。

仍旧参照图1-4，垫200包括中心轴或中心线205、第一或前侧200a，以及在轴向上与前侧200a相对的第二或后侧200b。在该示例中，触敏表面202（其表示投影仪空间）部署在垫200上并且与轴205大体对准。表面202可以包括用于检测和追踪用户的一个或多个触摸输入的任何合适的触敏技术，以便允许用户与设备150或某个其它计算设备（未示出）执行的软件交互。例如，在一些实现中，表面202可以利用已知触敏技术（诸如例如电阻式、电容式、声波、红外、应变仪、光学、声学脉冲识别或其某种组合）而同时仍旧遵从本文所公开的原理。此外，在该示例中，表面202仅在垫200的部分之上延伸；然而，应当领会的是，在其它示例中，表面202可以在垫200的大体全部之上延伸而同时仍旧遵从本文所公开的原理。

在操作期间，垫200与结构100的基座120对准（如之前所描述的），以确保其正确对准。特别地，在该示例中，垫200的后侧200b放置在基座120的抬高部分122与支撑表面15之间，使得后端200b与基座的前侧120a对准，从而确保垫200（并且特别地表面202）与系统100内的其它组件的正确总体对准。在一些示例中，垫200与设备150对准使得设备150的中心线155与垫200的中心线205大体对准；然而，其它对准是可能的。此外，如以下将更加详细描述的，在至少一些示例中，垫200的表面202和设备150电气耦合到彼此使得由表面202接收的用户输入被传送至设备150。可以在表面202与设备150之间使用任何合适的无线或有线电气耦合或连接（诸如例如WI-FI、BLUETOOTH®、超声、电气线缆、电气引线、具有磁性保持力的电气弹簧加载的弹簧针（pogo pin），或其某种组合），而同时仍旧遵从本文所公开的原理。在该示例中，部署在垫200的后侧200b上的暴露的电气接触件与基座120的部分122内的对应电气弹簧针引线接合以在操作期间在设备150与表面202之间输送信号。此外，在该示例中，电气接触件通过位于之前描述的基座120的部分122与表面15之间的间隙中的相邻磁体保持在一起，以磁性吸引和（例如机械地）保持沿垫200的后侧200b部署的对应含铁和/或磁性材料。

现在具体地参照图3，投影仪单元180包括外壳体182和部署在壳体182内的投影仪组装件184。壳体182包括第一或上端182a、与上端182a相对的第二或下端182b，以及内部腔体183。在该实施例中，壳体182还包括耦合或安装构件186以在操作期间与支撑设备150接合。一般而言，构件186可以是用于悬挂和支撑计算机设备（例如设备150）的任何合适的构件或设备而同时仍旧遵从本文所公开的原理。例如，在一些实现中，构件186包括铰链，其包括旋转轴使得用户（未示出）可以关于旋转轴旋转设备150以从其获得最佳观看角度。另外，在一些示例中，设备150永久或半永久地附连到单元180的壳体182。例如，在一些实现中，壳体180和设备150一体和/或单片地形成为单个单元。

因此，简要地参照图4，当设备150通过壳体182上的安装构件186从结构110悬挂时，当从大体面向部署在设备150的前侧150c上的显示器152的观看角度或观看表面观看系统100时，投影仪单元180（即壳体182和组装件184二者）大体隐藏在设备150后面。此外，如同样在图4中所示出的，当设备150以所描述的方式从结构110悬挂时，投影仪单元180（即壳体182和组装件184二者）和由此投影的任何图像关于设备150的中心线155大体对准或定心。

投影仪组装件184一般部署在壳体182的腔体183内，并且包括第一或上端184a、与上端184a相对的第二或下端184b。上端184a接近壳体182的上端182a而下端184b接近壳体182的下端182b。投影仪组装件184可以包括用于从计算设备（例如设备150）接收数据并且投影与该输入数据对应的一个或多个图像（例如来自上端184a）的任何合适的数字光投影仪组装件。例如，在一些实现中，投影仪组装件184包括数字光处理（DLP）投影仪或硅上液晶（LCoS）投影仪，其有利地为能够具有多个显示分辨率和大小（诸如例如标准XGA（1024x768）分辨率4:3纵横比或标准WXGA（1280x800）分辨率16:10纵横比）的紧凑且功率高效的投影引擎。投影仪组装件184还电气耦合到设备150以便从其接收数据以用于在操作期间从端部184a产生光和图像。投影仪组装件184可以通过任何合适类型的电气耦合来电气耦合到设备150而同时仍旧遵从本文所公开的原理。例如，在一些实现中，组装件184通过电气导体、WI-FI、BLUETOOTH®、光学连接、超声连接或其某种组合电气耦合到设备150。在该示例中，设备150通过部署在安装构件186内的电气引线或导体（之前描述的）电气耦合到组装件184使得当设备150通过构件186从结构110悬挂时，部署在构件186内的电气引线接触部署在设备150上的对应引线或导体。

仍旧参照图3，顶部160还包括折叠镜162和传感器捆束164。镜162包括沿顶部160的底表面160d部署并且定位成在操作期间朝向垫200反射从投影仪组装件184的上端184a投影的图像和/或光的高反射表面162a。镜162可以包括任何合适类型的镜或反射表面而同时仍旧遵从本文所公开的原理。在该示例中，折叠镜162包括标准前表面真空金属化铝涂敷玻璃镜，其起作用以将从组装件184发射的光向下折叠到垫200。在其它示例中，镜162可以具有复杂的非球面曲率以充当提供附加聚焦能力或光学校正的反射透镜元件。

传感器捆束164包括多个传感器（例如异类传感器）和/或相机以测量和/或检测在操作期间出现在垫200上或附近的各种参数。例如，在图3中描绘的特定实现中，捆束164包括环境光传感器164a、相机（例如彩色相机）164b、深度传感器或相机164c和三维（3D）用户接口（例如姿势）传感器164d。每一个传感器可以具有不同的分辨率和视场。在一个示例中，这些传感器中的每一个可以瞄准水平触敏垫200和触敏表面202（例如用于投影仪的屏幕）。相应地，这些传感器的视场可以重叠。

其中可以使用传感器捆束164的应用的示例包括对象检测、对象追踪、对象识别、对象分类、对象分段、对象捕获和重构、光学触摸、增强现实呈现或其它应用。对象检测可以是指检测所捕获到的视觉数据（其可以包括图像或视频）中的对象的存在。对象追踪可以是指追踪对象的移动。对象识别可以是指标识特定对象，诸如标识一个类型的对象、标识人员等等。对象分类可以是指将对象分类到多个类或类别中的一个中。对象分段可以是指将对象分段成多个段。对象捕获和构造可以是指捕获对象的视觉数据并且构造对象的模型。光学触摸可以是指识别由用户的手部、触笔或意图向系统提供输入的其它物理人工制品所做出的姿势。姿势类似于对应于在触敏显示面板上做出的姿势或鼠标设备的移动的姿势。然而，光学触摸允许姿势在三维（3D）空间中或在未被配置成检测用户输入的物理目标上做出。

增强现实呈现可以是指通过包括音频数据、视频数据、图像数据、文本数据等的附加信息增强的物理、真实世界环境的呈现。在增强现实中，视觉传感器（或视觉传感器的集群）可以捕获物理目标的视觉数据。响应于所捕获到的物理目标的识别，可以产生增强现实呈现。例如，物理目标可以是报纸或杂志中的图片，并且图片的捕获可以导致在线电子游戏开始播放。报纸或杂志中的给定图片可以是游戏角色、广告或与在线电子游戏相关联的其它信息。被触发的增强现实呈现可以包括所捕获到的物理目标的视觉数据，以及所捕获到的视觉数据周围的其它数据（例如游戏环境）。

环境光传感器164a布置成测量系统100周围的环境光的强度，以便在一些实现中调节相机和/或传感器（例如传感器164a，164b，164c，164d）曝光设置，和/或调节从诸如例如投影仪组装件184、显示器152等之类的遍及系统的其它源发射的光的强度。在一些实例中，相机164b可以包括彩色相机，其布置成拍取部署在垫200上的文档和/或对象的静止图像或视频。深度传感器164c一般指示3D对象何时在工作表面上。特别地，深度传感器164c可以感测或检测在操作期间放置在垫200上的对象（或对象的（多个）特定特征）的存在、形状、轮廓、运动和/或3D深度。深度相机164c可以相对鲁棒以抵抗由于照明改变、阴影的存在或由投影仪产生的动态背景所致的效应。来自深度传感器164c的输出信息可以是三维（3D）深度信息（还称为“深度图”）、红外（IR）图像帧和红-绿-蓝（RGB）图像帧。“图像帧”是指构成图像的视觉数据点的集合。深度图像是指物理目标关于深度相机的深度；该深度信息表示物理目标（或物理目标的部分）与深度相机之间的距离。深度和IR传感器可以用于帮助看起来在RGB颜色中接近（例如白色上的白色）的2D对象的分段以捕获垫表面200。在可见光频率中2D对象可能并非看起来不同于垫200，但是在IR波长中可能具有不同反射率并且因而能够帮助分段，只要一个传感器图像中的像素已知为对应于其它传感器的图像中的像素即可。如果深度传感器检测到对象高度相对于垫高度的差异，其图像的分析可以帮助使用像素从深度图像到RGB图像中的变换的前景/背景分段。

因此，在一些实现中，传感器164c可以采用任何合适的传感器或相机布置以感测和检测3D对象和/或部署在传感器的视场（FOV）中（无论红外、彩色还是其它）的每一个像素的深度值。例如，在一些实现中，传感器164c可以包括具有IR光的均匀泛光（uniformflood）的单个红外（IR）相机传感器、具有IR光的均匀泛光的双IR相机传感器、结构光深度传感器技术、飞行时间（TOF）深度传感器技术或其某种组合。在一些实现中，深度传感器164c可以用作用于对准所有其它传感器和投影仪的参考传感器，这将在下面被更加详细地讨论。

用户接口传感器（例如姿势传感器）164d包括用于追踪诸如例如手部、触笔、指向设备等之类的用户输入设备的任何合适的一个或多个设备（例如传感器或相机）。在一些实现中，传感器164d包括布置成当用户输入设备（例如触笔）由用户关于垫200、并且特别地关于垫200的表面202移动时立体追踪其位置的相机对。在其它示例中，传感器164d还可以或可替换地包括布置成检测由用户输入设备发射或反射的红外光的（多个）红外相机或（多个）传感器。相应地，来自传感器164d的输出信息可以是所检测到的特征（例如手指、触笔和工具）的3D坐标（即x，y和z）。

还应当领会的是，捆束164可以包括取代于或附加于之前描述的传感器164a，164b，164c，164d的其它传感器和/或相机。此外，如以下将更加详细解释的，捆束164内的传感器164a，164b，164c，164d中的每一个电气且通信耦合到设备150使得在捆束164内生成的数据可以被传输至设备150并且由设备150发布的命令可以在操作期间被传送至传感器164a，164b，164c，164d。如以上针对系统100的其它组件所解释的，任何合适的电气和/或通信耦合（诸如例如电气导体、WI-FI、BLUETOOTH®、光学连接、超声连接或其某种组合）可以用于将传感器捆束164耦合到设备150。在该示例中，电气导体的路线为从捆束164通过顶部160、直立构件140和投影仪单元180、并且通过部署在之前描述的安装构件186内的引线而到设备150中。

在一个实现中，捆束164被校准以便使所有传感器一起工作。如果捆束164未被正确校准，则组合由传感器（例如传感器164a，164b，164c，164d）收集的视觉数据可能不提供精确的结果。相应地，为了允许捆束的正确操作，可以执行校准过程以关于彼此校准视觉传感器，这将在以下更加详细地描述。依照一些实现，提供校准机制或技术以校准作为捆束164的部分的传感器。此外，传感器164a，164b，164c，164d可能全部需要与投影仪单元180对准。这样的对准提供所有这些组件之间的通信。更具体地，对准提供跨不同传感器传播信息并且投影来自所有传感器的信息以供在系统100的各种应用中的进一步处理。对于要实现的对准，可能需要建立公共坐标系。更具体地，当一个传感器在视场内定位对象时，其它传感器和投影仪单元180可以在其自身的坐标系中标识这样的对象的位置。

在一个实现中，系统100可以包括用于验证系统100内的组件关于彼此的对准的程序。程序可以由在设备150内执行的软件发起。作为示例，程序可以验证触敏垫200是否关于其它组件正确对准，以及传感器捆束164是否关于投影仪组装件184正确地校准，如将进一步描述的。作为示例，验证程序可以定期（例如每周一次）、在系统100上电时或在垫200重连时执行。如果检测到系统100内的组件的未对准，可以执行校准操作。

作为示例，系统100内的组件（至少在投影仪组装件184与触敏表面202之间）的对准可以通过检测触敏表面202的角落和投影仪显示空间的角落以及基于根据诸如单应性之类的映射方法确定两个角落集合之间的任何对应性来验证。作为示例，可以生成两个角落集合之间的矢量偏移以便确定任何对应性。基于在两个角落集合之间检测到的差异，可以在系统100的一个或多个组件上执行（例如自动和/或手动的）校准操作，如将进一步描述的。作为示例，角落或触敏表面202可以反映射到投影仪显示空间的角落以用于估计投影仪组装件184与触敏垫200之间的重对准单应性。

现在参照图5和6，在系统100的操作期间，光187从投影仪组装件184发射，并且朝向垫200被反射离开镜162从而在投影仪显示空间188上显示图像。在该示例中，空间188大体为矩形并且由长度L188和宽度W188限定。在一些示例中，长度L188可以近似等于16英寸，而宽度W188可以近似等于12英寸；然而，应当领会的是，可以使用用于长度L188和宽度W188二者的其它值而仍旧遵从本文所公开的原理。此外，捆束164内的传感器（例如传感器164a，164b，164c，164d）包括被感测空间168，其在至少一些示例中，与之前描述的投影仪显示空间188重叠和/或对应。空间168限定捆束164内的传感器布置成以之前描述的方式监视和/或检测其状况的体积。在一些示例中，空间188和空间168二者重合或与之前描述的垫200的表面202对应，以有效地在所限定的区域内集成触敏表面202、投影仪组装件184和传感器捆束164的功能。在一个实现中，投影仪显示空间188可以与触敏垫200的触敏表面202重合，使得空间188的边界刚好落在表面202的边界内。

现在参照图5-7，在一些示例中，设备150引导组装件184以将图像投影到垫200的表面202上。此外，设备150还可以在显示器152上显示图像（其可以与由组装件184投影到表面202上的图像相同或可以不相同）。由组装件184投影的图像可以包括由设备150内执行的软件产生的信息和/或图像。用户（未示出）然后可以通过物理地接合垫200的触敏表面202来与显示在表面202和显示器152上的图像交互。这样的交互可以通过任何合适的方法发生，该方法诸如利用用户的手部35的直接交互、通过触笔25或（多个）其它合适的用户输入设备。多传感器和投影仪校准空间允许用户将物理对象引入到该空间中，并且系统由于传感器坐标变换能力而能够利用投影仪来追踪、捕获和影响对象上的视觉效果。

如图7中所示，当用户与垫200的表面202交互时，生成通过之前描述的电气耦合方法和设备中的任一个路由至设备150的信号。一旦设备150接收到在垫200内生成的信号，该信号通过内部导体路径153被路由至处理器250，处理器250与非暂时性计算机可读存储介质260通信以生成然后被路由回到投影仪组装件184和/或显示器152的输出信号以分别实现投影到表面202上的图像和/或显示在显示器152上的图像中的改变。还应当领会的是，在该过程期间，用户还可以通过与部署在其上的触敏表面的接合和/或通过诸如例如键盘和鼠标之类的另一用户输入设备与显示在显示器152上的图像交互。

此外，在一些示例中，触笔25还包括布置成追踪触笔25的定位（无论触笔25是否与表面202交互）并且通过无线信号50与部署在设备150内的接收器270通信的发送器27。在这些示例中，由接收器270从触笔25上的发送器27接收的输入还通过路径153被路由至处理器250，使得输出信号可以被生成和路由至组装件184和/或如之前所描述的显示器152。

另外，在一些示例中，包括在传感器捆束164中的传感器（例如传感器164a，164b，164c，164d）还可以生成系统输入，其被路由至设备150以供处理器250和设备260进一步处理。例如，在一些实现中，传感器捆束164可以感测用户的手部35或触笔25的位置和/或存在并且然后生成路由至处理器250的输入信号。处理器250然后生成以上面所描述的方式被路由至显示器152和/或投影仪组装件184的对应输出信号。特别地，在一些实现中，捆束164包括布置成执行（例如触笔25的）立体触笔追踪的相机或传感器对。在再其它的实现中，触笔25包括涂敷在红外反向反射涂层（例如涂漆）中的尖端26，因而允许它充当红外反向反射器。捆束164（并且更特别地为传感器164c或164d）然后还可以包括如之前所描述的红外相机或传感器，其检测被反射离开触笔25的尖端26的红外光并且因而在尖端26在操作期间跨表面202移动时追踪其位置。

作为结果，在一些示例中，由组装件184投影到表面202上的图像充当系统100内的第二或可替换触敏显示器。此外，与显示在表面202上的图像的交互还通过使用如以上描述的传感器捆束164中的传感器（例如传感器164a，164b，164c，164d）进一步增强。

而且，计算设备150可以包括校准模块280，其根据一些实现能够执行校准过程以用于校准捆束164中的传感器和投影仪组装件184。在一些示例中，校准模块280可以实现为在一个或多个处理器250上可执行的机器可读指令。在其它示例中，校准模块可以存在于计算设备150外部的校准模块系统中并且可以实现为硬件。在一个示例中，校准模块280可以通过网络与捆束164通信。另外，非暂时性计算机可读存储介质260可以存储映射信息，其中映射信息涉及捆束164的不同传感器之间的映射。映射信息用于执行除关于投影仪组装件184的校准之外的捆束164的传感器之间的校准。在一个实现中，可以导出捆束164中的每一个传感器对之间的单应性映射。单应性映射是3D至2D映射，并且在（深度传感器164c的）三维（3D）坐标与（捆束164中的另一传感器的）二维（2D）坐标之间进行映射。例如，3D单应性映射可以针对传感器捆束164中的深度传感器164c与姿势传感器164d之间的直接映射而导出。在另一示例中，可以在深度传感器164c的3D坐标与投影仪组装件184的2D坐标之间限定投影映射。特别地，两个传感器之间的3D映射可以包括尺度、旋转、平移和深度不变。

在一个示例中，校准通过能够将第一传感器（例如深度传感器164c）和第二传感器（例如姿势传感器164d）中的一个的数据映射到第一和第二视觉传感器中的另一个的坐标空间来实现。系统可以使用第一传感器的坐标系或第二传感器的坐标系。该过程可以牵涉计算用于传感器对（第一和第二传感器）的透视变换。透视变换可以通过在平面上投影来自两个不同投影中心的另一平面的点而被限定为平面中的共线设置，并且每一对传感器可以具有经计算的透视变换。在另一示例中，可以基于物理真实世界坐标（基于在多个传感器中的至少一个的视场中可见的可见原点）来使用公共坐标系。例如，可以标识与多个传感器中的至少一个共享透视变换的公共坐标系。该过程可以针对164中的每一个其它视觉传感器对重新迭代以提供捆束164中的每一个其它传感器对之间的直接3D至2D映射。

仍旧参照图5-7，此外，在至少一些示例的操作期间，系统100可以捕获二维（2D）图像或创建物理对象的3D扫描使得对象的图像然后可以被投影到表面202上以供其进一步使用和操纵。特别地，在一些示例中，对象40可以被放置在表面202上使得164内的传感器（例如相机164b、深度传感器164c等）可以检测例如位置、尺寸，以及在一些实例中，对象40的颜色，以增强2D图像或创建其3D扫描。由164内的传感器（例如传感器164b，164c）搜集的信息然后可以被路由至处理器250，其与如之前所描述的设备260通信。此后，处理器250引导投影仪组装件184将对象40的图像投影到表面202上。如以上更加详细解释的，当使用投影仪和相机的校准单应性时，处理器250可以指令计算机系统150中的应用绘制可以由观看对象40的相机164b检测的对象周围的紧密细白色轮廓。作为校准过程的结果（例如使用公共坐标系，导致跨所有传感器和投影仪的相同分辨率和图像纵横比），所投影的轮廓匹配对象40的物理位置。

还应当领会的是，在一些示例中，还可以由捆束164内的传感器扫描诸如文档或照片之类的其它对象以便生成利用组装件184投影到表面202上的其图像。此外，在一些示例中，一旦由捆束164内的传感器扫描（多个）对象，图像的背景可以可选地在投影到表面202上（或在设备150的显示器152上示出）的所得图像内被数字移除。因此，在一些示例中，可以在操作期间捕获、数字化和在表面202上显示物理对象（例如对象40）的图像以迅速且容易地创建物理对象的数字版本以允许与本文所描述的方式一致的其另外的操纵。

如以上指出的，可以在深度传感器164c的3D坐标与投影仪组装件184的2D坐标之间限定投影映射。投影仪组装件184可以用于将校准图案（其是已知或预定义图案）投影到投影表面202上。在一个实现中，校准图案可以被投影到白色平坦表面对象上以使所投影的内容可见。在一些示例中，对象可以是3D空间中的平面。校准图案可以是棋盘图案。

深度传感器164c可以捕获由投影仪组装件184投影到对象上的校准图案图像。由深度传感器164c捕获的（所投影的校准图案图像的）视觉数据在（通过3D坐标限定的）3D空间中，而由投影仪组装件184投影的校准图案在（通过2D坐标限定的）2D空间中。深度传感器164c的3D坐标与投影仪组装件184的2D坐标之间的投影映射通过以下的Eq.1限定：

　　　　　(Eq. 1)

其中x表示2D坐标并且X表示3D坐标。更具体地，Eq.1可以写作

　　　　　(Eq. 2)

其中表示2D坐标，表示3D坐标，是任意尺度（具有预定义值），K表示固有参数，R表示外来旋转参数，并且t表示外来平移（translation）参数。固有参数K被限定如下：

　　　　　(Eq. 3)

其中表示视觉传感器的透镜的焦距，表示沿视觉传感器的光轴的光学中心，并且s是表示视觉传感器的偏斜失真的偏斜系数。

外来旋转参数（R）和外来平移参数（t）是传感器的几何参数的部分。旋转参数可以限定视觉传感器在几何空间中的摇射、倾斜和偏航。平移参数可以限定视觉传感器在几何空间中的平移定位。

以所描述的方式，通过使用依照本文所公开的原理的计算机系统100的示例，可以将附加触敏显示投影到触敏表面（例如表面202）上以便为计算设备（例如设备150）提供双屏（dual screen）能力。此外，通过使用依照本文所公开的原理的计算机系统100，可以扫描物理对象（例如对象40）从而创建用于在计算设备的显示表面（例如显示器152和/或表面202）上观看和/或操纵的物理对象的数字版本。另外，通过使用依照本文所公开的原理的计算机系统100，可以创建用于远程定位的用户的数字共享工作站，其中物理内容可以在数字协作工作站的所有并发用户之中被扫描、数字化和共享，并且与数字内容和/或物理对象的用户交互对所有参与者可见。

虽然已经将设备150描述为多合一计算机，但是应当领会的是，在其它示例中，设备150还可以采用更传统的用户输入设备（诸如例如键盘和鼠标）的使用。此外，虽然已经将捆束164内的传感器164a，164b，164c，164d描述为每一个表示单个传感器或相机，但是应当领会的是，传感器164a，164b，164c，164d中的每一个可以各自包括多个传感器或相机而同时仍旧遵从本文所描述的原理。另外，虽然在本文中已将顶部160描述为悬臂式顶部，但是应当领会的是，在其它示例中，顶部160可以在多于一个点处被支撑并且因而可以不是悬臂式的，而同时仍旧遵从本文所公开的原理。

现在转向系统100的操作。图8图示了依照实现的示例过程流程图800。过程800描绘了可以与传感器的捆束和投影单元交互的方法的示例。机器可读指令可以指令处理器250允许系统100执行如由图8中的流程图所图示的过程800。在一个实现中，系统100可以响应于从用户接收到控制投影系统的指令而执行过程800。

过程800可以在块805处开始，其中系统中的多个传感器中的第一传感器捕获校准图案并且提供给校准模块。在一个示例中，校准图案可以是已知或预定义的图案。例如，校准图案可以是棋盘图案。

在块810处，系统的校准模块检测来自传感器捆束中的传感器的特征。在一个实现中，校准模块检测校准图案的特征。例如，特征检测牵涉标识示例校准图案图像的棋盘图案的特征。在一个示例中，特征可以与第一传感器的坐标空间中的坐标相关联。

在块815处，校准模块将所检测到的特征的坐标映射到公共坐标空间。在一个示例中，公共空间坐标可以表示在距与第一传感器相关联的第一位置（place）任意距离处限定的坐标空间。而且，公共坐标空间可以与第一传感器共享透视变换。

在块820处，校准模块基于所映射的坐标（并且更具体地，公共坐标空间）和第一传感器的坐标空间中的坐标导出第二传感器的坐标空间与公共坐标空间中的坐标之间的映射。更具体地，映射可以用于关于彼此校准传感器捆束中的传感器。

在另一实现中，校准模块基于所映射的坐标导出投影仪的坐标空间与公共坐标空间中的坐标之间的映射。该映射可以用于关于传感器捆束中的传感器校准投影仪。

以上讨论意指说明本发明的原理和各种实施例。一旦完全领会以上公开内容，众多变型和修改将变得对本领域技术人员而言显而易见。意图在于下面的权利要求被解释成涵盖所有这样的变型和修改。

Claims (15)

1.一种系统，包括：

投影仪单元；

多合一计算机，包括校准模块并且可附连到投影仪单元，

通信地耦合到多合一计算机的多个传感器；以及

触敏表面，与所述多合一计算机对准；

其中多合一计算机存储涉及公共坐标系中的投影仪单元与所述多个传感器之间的映射的映射信息，并且

其中校准模块用于：

使用所述映射信息校准所述多个传感器和投影仪单元，以及

将投影仪单元和所述触敏表面对准，所述投影仪单元用于将图像投影到触敏表面上，并且触敏表面在所述多个传感器的视场内以捕获对象与触敏表面之间的交互，将投影仪单元和触敏表面对准包括将投影仪单元的投影仪显示空间的点与触敏表面的对应点对准。

2.权利要求1的系统，其中校准模块计算所述多个传感器之间的透视变换以导出所述多个传感器之间的所述映射。

3.权利要求1的系统，其中校准模块将所述多个传感器和投影仪单元映射到参考传感器，其中所述参考传感器是深度传感器。

4.权利要求1的系统，其中所述映射包括三维(3D)至二维(2D)映射，所述映射在所述多个传感器中的一个传感器的3D坐标与另一传感器的2D坐标之间进行映射。

5.权利要求1的系统，其中所述多个传感器包括深度传感器和姿势传感器，并且所述映射包括所述深度传感器和所述姿势传感器的数据的映射。

6.权利要求1的系统，其中所述多个传感器包括深度传感器，并且所述映射包括所述深度传感器的3D坐标与所述投影仪单元的2D坐标之间的投影映射。

7.权利要求1的系统，其中所述多个传感器之间的所述映射包括涉及尺度、旋转、平移和深度的数据。

8.权利要求1的系统，其中所述多个传感器中的一个是深度传感器，并且所述深度传感器检测由所述投影仪单元投影到触敏表面上的校准图案。

9.权利要求8的系统，其中所述校准图案包括棋盘图案。

10.权利要求8的系统，其中所述校准图案与公共坐标系统中的所述投影仪单元与所述多个传感器之间的映射有关地使用。

11.权利要求1的系统，其中所述多个传感器包括多个相机，所述多个相机中的一些用于深度检测、姿势感测和立体触笔追踪。

12.一种用于提供多个传感器与投影仪单元之间的校准的方法，所述方法由包括处理器的系统执行，所述方法包括：

接收校准图案，其中所述多个传感器至少具有第一传感器和第二传感器；

检测所述校准图案的特征，所述特征与所述第一传感器的坐标空间中的坐标相关联；

将所检测到的特征的坐标映射到公共坐标空间；

基于所述第一传感器的坐标空间中的所述坐标和所映射的坐标导出第二传感器的坐标空间与公共坐标空间中的坐标之间的映射；以及

将投影仪单元的投影仪显示空间的点与触敏表面的对应点对准，所述投影仪单元用于将图像投影到触敏表面上，并且触敏表面在所述多个传感器的视场内以捕获对象与触敏表面之间的交互。

13.权利要求12的方法，还包括计算所述第一传感器与第二传感器之间的透视几何结构。

14.权利要求12的方法，还包括导出所述多个传感器与投影仪单元之间的投影映射。

15.权利要求14的方法，其中所述多个传感器包括深度传感器，并且投影映射在所述深度传感器的3D坐标与所述投影仪单元的2D坐标之间。