CN103455141B - 互动投影系统及其深度传感器和投影仪的校准方法 - Google Patents

Abstract

本发明涉及一种互动投影系统及其深度传感器和投影仪的校准方法。其中的互动投影系统，包括深度传感器和投影仪，还包括成像屏；深度传感器用于采集成像载体的深度信息；投影仪基于深度信息进行影像的投射；成像屏放置于投影仪的投射范围内，用于对投影仪投射出的参考物的影像进行成像，并根据其上的成像对深度传感器或投影仪进行空间位置校准。采用本发明的互动投影系统及其深度传感器和投影仪的校准方法，校准方便、快捷、准确。

Description

互动投影系统及其深度传感器和投影仪的校准方法

技术领域

本发明涉及一种互动投影技术，特别是一种互动投影系统及其深度传感器和投影仪的校准方法。

背景技术

互动投影仪由一台投影仪和深度传感器（内置彩色传感器，例如kinect）组成，可以投影在非平面的物体上，投影的影像可以根据物体的形状进行变化。例如在沙子上投影，当沙子堆成不同高度时，该投影仪可以检测到沙堆位置和高度的变化，并改变投影的影像，比如在沙堆上投射火山喷发的影像，实现准确的虚拟与现实的结合。如此，用户就可以通过改变沙堆位置和形状来与投影的虚拟影像进行互动。

这样的互动投影仪首先需要对深度传感器和投影仪进行空间位置的校准，以确保投影的影像能够准确的反映出被投影物体的空间位置和形状。该校准过程就是要在虚拟空间中确定深度传感器和投影仪的位置和姿态。

参见图1所示，为现有的互动投影仪校准时的示意图。互动投影仪包括深度传感器10和投影仪20，还包括投影区域30内的四个校准标识40。在对深度传感器10进行校准时，需要使用三个回复反射标识40对校准用光线进行回复反射，而在对投影仪20进行校准时，需要使用四个回复反射标识40，并且这四个回复反射标识40需要放置在不同的高度以对校准用光线进行回复反射。

然而，现有的校准方法中，需要单独制作校准标识，且校准过程需要人工操作较多，不够方便快捷。

发明内容

在下文中给出关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

本发明的一个主要目的在于提供一种互动投影系统及其深度传感器和投影仪的校准方法，校准方便、快捷、准确。

根据本发明的一方面，

一种互动投影系统，包括深度传感器和投影仪，还包括成像屏；

所述深度传感器用于采集成像载体的深度信息；

所述投影仪基于所述深度信息进行影像的投射；

所述成像屏放置于投影仪的投射范围内，用于对所述投影仪投射出的参考物的影像进行成像，并根据其上的所述成像对所述深度传感器或所述投影仪进行空间位置校准。

根据本发明的第二方面，

一种互动投影系统中的深度传感器的空间校准方法，包括：

将成像屏放置于互动投影系统中投影仪的投射范围内；

深度传感器中的色彩传感器根据投影仪投射出的参考物的影像在所述成像屏上的成像计算所述深度传感器的空间位置和姿态。

根据本发明的第三方面，

一种互动投影系统中的投影仪的校准方法，包括：

将成像屏放置于互动投影系统中投影仪的投射范围内；

深度传感器中的色彩传感器根据所述成像屏上的成像计算所述投影仪的空间位置和姿态。

采用本发明的互动投影系统及其深度传感器和投影仪的校准方法，校准方便、快捷、准确。

附图说明

参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。附图中的部件只是为了示出本发明的原理。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。

图1为现有的互动投影仪的校准时的示意图；

图2为本发明的互动投影系统的一种实施方式的结构图；

图3为本发明的互动投影系统中的深度传感器的空间校准方法的一种实施方式的流程图；

图4为图3中步骤S20的具体流程图；

图5为本发明的互动投影系统中的投影仪的空间校准方法的一种实施方式的流程图；

图6为图5中步骤P20的具体流程图；

图7为图6中步骤P22的具体流程图。

具体实施方式

下面参照附图来说明本发明的实施例。在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。

图2为本发明的互动投影系统的一种实时方式的结构图。

在本实施方式中，互动投影系统包括深度传感器11和投影仪21，还包括一个成像屏41。深度传感器11用于采集成像载体的深度信息；投影仪21基于深度信息进行影像的投射。例如，在一个沙堆上投射一火山喷发的图像。深度传感器11需采集沙堆的深度信息，投影仪21基于该深度信息来将火山喷发的图像投射到该沙堆上。

成像屏41放置于投影仪的投射范围31内，用于述投影仪投射出的参考物的影像进行成像，并根据其上的成像对深度传感器11或投影仪21进行空间位置校准。成像屏41例如可以是一块白板。

例如，投影仪21投射出的参考物的影像为一矩形，则可在成像屏41（如白板）上呈现该矩形的成像。

在一种实施方式中，深度传感器11可以包括色彩传感器（图中未示出）。色彩传感器用于根据参考物的影像在成像屏41上的成像计算深度传感器11和投影仪21的空间位置和姿态。

在一种实施方式中，色彩传感器可以通过计算成像的多个顶点的空间位置来计算深度传感器11和投影仪21的空间位置和姿态。

例如，投影仪21投射出一矩形影像，并在成像屏41上形成成像。

深度传感器11上的彩色传感器采集该矩形成像，并识别该矩形成像在深度传感器11的坐标空间的位置（PositionMarkerOnSensor）和姿态（RotationMarkerOnSensor），根据公式1和公式2，反算即可得到深度传感器11在以矩形成像（Marker1）为坐标原点的世界坐标（即空间位置）和旋转参数（即姿态），从而实现了深度传感器的空间校准。

公式1：

RotationSensorOnMarker=Inverse(RotationMarkerOnSensor)

公式2：

PositionSensorOnMarker=-(RotationSensorOnMarker*PositionMarkerOnSensor)

其中，Inverse(.)运算为求旋转参数的反向旋转参数，即如果R1代表向量A旋转到向量B，那么R2=Inverse(R1)，R2代表向量B旋转到向量A。

在对投影仪21进行校准时，先将成像屏41放置于第一位置，并获得多个顶点的第一空间位置和成像的第一大小。

然后，将成像屏放置于不同于第一位置的第二位置，并获得多个顶点的第二空间位置和成像的第二大小；

根据第一空间位置、第二空间位置、第一大小和第二大小计算投影仪的空间位置和姿态。

由于已经得到了矩形成像（Marker1），则其成像的大小（Marker1Size）也为已知。将成像屏41朝着投影仪21的方向移动一定距离，成像变小一些，得到的成像称之为Marker2，用同样方法可以算出Marker2在平板上的尺寸（Marker2Size），和Marker2在世界坐标系中的位置Marker2Position。

在一种实施方式中，可通过公式3计算出投影仪21的世界坐标PositionProjectorOnMarker：

公式3：

PositionProjectorOnMarker=Marker2Position*Marker2Size/(Marker2Size-Marker1Size)。

此外，因为投影仪的姿态为从Marker2朝向Marker1，所以其在世界坐标系中的旋转参数，可由公式4算出：

公式4：

RotationProjectorOnMarker=RotateFromTo(Marker1Normal,VectorMarker2ToMarker1)

其中，

Marker1Normal为Marker1的法向向量，即与Marker1平面垂直的向量。

VectorMarker2ToMarker1=Marker1Position-Marker2Position

其中RotateFromTo(.,.)运算为从第一自变量向第二自变量旋转的旋转参数。

由于投影仪的空间位置（即世界坐标）和姿态（即旋转参数）均计算得到，因而，完成了对投影仪的校准。

参见图3所示，为本发明的互动投影系统中的深度传感器的空间校准方法的一种实施方式的流程图。

在本实施方式中，互动投影系统中的深度传感器11的空间校准方法包括：

S10：将成像屏41放置于互动投影系统中投影仪21的投射范围内；

S20：深度传感器11中的色彩传感器根据投影仪投射出的参考物的影像在成像屏41上的成像计算深度传感器11的空间位置和姿态。

参见图4所示，在一种实施方式中，步骤S20可以具体包括：

S21：深度传感器11中的色彩传感器计算成像的多个顶点的空间位置；

S22：深度传感器11中的色彩传感器根据多个顶点的空间位置计算深度传感器11的空间位置和姿态。

参见图5所示，为本发明的互动投影系统中的投影仪21的空间校准方法的一种实施方式的流程图。

在本实施方式中，互动投影系统中的投影仪21的校准方法包括：

P10：将成像屏放置于互动投影系统中投影仪21的投射范围内；

P20：深度传感器中的色彩传感器根据投影仪投射出的参考物的影像在成像屏41上的成像计算投影仪的空间位置和姿态。

参见图6所示，在一种实施方式中，步骤P20可以具体包括：

P21：深度传感器中的色彩传感器计算成像的多个顶点的空间位置；

P22：深度传感器中的色彩传感器根据多个顶点的空间位置计算投影仪的空间位置和姿态。

参见图7所示，在一种实施方式中，步骤P22还可以具体包括：

P221：将成像屏41放置于第一位置，并获得多个顶点的第一空间位置和成像的第一大小；

P222：将成像屏放置于不同于第一位置的第二位置，并获得多个顶点的第二空间位置和成像的第二大小；

P223：根据第一空间位置、第二空间位置、第一大小和第二大小计算投影仪的空间位置和姿态。

采用本发明的互动投影系统及其深度传感器和投影仪的校准方法，只需要投影仪投射一定形状的图形，并使该图形在成像屏上成像，根据该成像的形状和大小，即可对互动投影系统中的深度传感器和投影仪进行校准，且校准方便、快捷、准确。

上面对本发明的一些实施方式进行了详细的描述。如本领域的普通技术人员所能理解的，本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算设备（包括处理器、存储介质等）或者计算设备的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在了解本发明的内容的情况下运用他们的基本编程技能就能实现的，因此不需在此具体说明。

此外，显而易见的是，在上面的说明中涉及到可能的外部操作的时候，无疑要使用与任何计算设备相连的任何显示设备和任何输入设备、相应的接口和控制程序。总而言之，计算机、计算机系统或者计算机网络中的相关硬件、软件和实现本发明的前述方法中的各种操作的硬件、固件、软件或者它们的组合，即构成本发明的设备及其各组成部件。

因此，基于上述理解，本发明的目的还可以通过在任何信息处理设备上运行一个程序或者一组程序来实现。所述信息处理设备可以是公知的通用设备。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者设备的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储或者传输这样的程序产品的介质也构成本发明。显然，所述存储或者传输介质可以是本领域技术人员已知的，或者将来所开发出来的任何类型的存储或者传输介质，因此也没有必要在此对各种存储或者传输介质一一列举。

在本发明的设备和方法中，显然，各部件或各步骤是可以分解、组合和/或分解后重新组合的。这些分解和/或重新组合应视为本发明的等效方案。还需要指出的是，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。同时，在上面对本发明具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。

虽然已经详细说明了本发明及其优点，但是应当理解在不超出由所附的权利要求所限定的本发明的精神和范围的情况下可以进行各种改变、替代和变换。而且，本发明的范围不仅限于说明书所描述的过程、设备、手段、方法和步骤的具体实施例。本领域内的普通技术人员从本发明的公开内容将容易理解，根据本发明可以使用执行与在此所述的相应实施例基本相同的功能或者获得与其基本相同的结果的、现有和将来要被开发的过程、设备、手段、方法或者步骤。因此，所附的权利要求旨在在它们的范围内包括这样的过程、设备、手段、方法或者步骤。

Claims (3)

1.一种互动投影系统，包括深度传感器和投影仪，其特征在于：还包括成像屏；

所述深度传感器用于采集成像载体的深度信息；

所述投影仪基于所述深度信息进行影像的投射；

所述成像屏放置于投影仪的投射范围内，用于对所述投影仪投射出的参考物的影像进行成像，并根据其上的所述成像对所述深度传感器或所述投影仪进行空间位置校准；

所述深度传感器包括色彩传感器；

所述色彩传感器用于根据所述参考物的影像在所述成像屏上的成像计算所述深度传感器和所述投影仪的空间位置和姿态；

所述色彩传感器计算所述成像的多个顶点的空间位置并根据所述多个顶点的空间位置计算所述投影仪的空间位置和姿态，具体包括：

在所述成像屏放置于第一位置时，获得所述多个顶点的第一空间位置和所述成像的第一大小；

在所述成像屏放置于不同于所述第一位置的第二位置时，获得所述多个顶点的第二空间位置和所述成像的第二大小；

根据所述第一空间位置、第二空间位置、第一大小和第二大小计算投影仪的空间位置和姿态。

2.根据权利要求1所述的互动投影系统，其特征在于：

所述色彩传感器计算所述成像的多个顶点的空间位置并根据所述多个顶点的空间位置计算所述深度传感器的空间位置和姿态。

3.一种互动投影系统中的投影仪的校准方法，其特征在于，包括：

将成像屏放置于互动投影系统中投影仪的投射范围内；

深度传感器中的色彩传感器根据所述成像屏上的成像计算所述投影仪的空间位置和姿态；

所述“深度传感器中的色彩传感器根据所述成像屏上的成像计算所述投影仪的空间位置和姿态”具体包括：

深度传感器中的色彩传感器计算所述成像的多个顶点的空间位置；

深度传感器中的色彩传感器根据所述多个顶点的空间位置计算投影仪的空间位置和姿态；

所述“深度传感器中的色彩传感器根据所述多个顶点的空间位置计算投影仪的空间位置和姿态”具体包括：

将成像屏放置于第一位置，并获得所述多个顶点的第一空间位置和所述成像的第一大小；

将成像屏放置于不同于所述第一位置的第二位置，并获得所述多个顶点的第二空间位置和所述成像的第二大小；

根据所述第一空间位置、第二空间位置、第一大小和第二大小计算投影仪的空间位置和姿态。