CN1745397A - 利用投影仪进行位置和方位的检测 - Google Patents

Abstract

根据投影图像确定投影仪的位置和方位。首先确定在摄像机和一个平的表面之间的单应，其中所述摄像机和所述平的表面之间的关系是固定的。接着，使用具有已知的固有参数的和未知的位置与方位的投影仪把一个已知的图案投影到所述平的表面上。利用摄像机获得已知图案的图像，并使用所述的单应和所述固有参数根据所述图像确定投影仪的位置和方位。

Description

利用投影仪进行位置和方位的检测

技术领域

本发明一般涉及计算机视觉，更具体地说，涉及使用投影的图像确定物体的位置和方位。

背景技术

位置传感器用于许多应用中，其中需要确定物体的位置和方位。在下文中，“位置传感器”这个术语指位置和方位传感器。位置是物体在三维座标框架中的位置，物体的方位是物体相对于所述座标框架的转动。

在一种示例的应用中，位置传感器可被连接于一个运动着的正在进行三维扫描的摄像机上。此摄像机的位置和方位是已知的，以便帮助根据运动着的摄像机获得的图像产生场景的三维重构。类似地，位置传感器可被连接于一个投影仪上，以便帮助校正图像在一个表面或物体上的投影。位置传感器还可以连接于一个工具上，以使得所述工具可以相对于一部分或一个工作表面被正确地定位。如果用户正在操纵所述工具，则位置传感器使得能够实现触觉的或其它反馈，例如在远距离操作中，或者用于计算机辅助的手术。位置传感器也可以用于跟踪运动着的物体例如车辆或人员的位置。

在现有技术中使用位置传感器的一种方法是在环境中的已知位置设置一个视觉的标记或有源发射器，例如LED。在这些应用中，位置传感器可以是观察所述标记或发射器的摄像机，以便推断其自身的位置和方位。其它应用使用超声代替光。或者，视觉标记或有源发射器可被连接于感兴趣的物体上，以使得通过使用观察物体的摄像机可以直接确定物体的位置和方位。

在环境中使用LED发射器的系统在“The JiBall Tracker：High-Performance Wide-Area Tracking for Virtual and AugmentedEnvironments”，Welch等，Proc.of the ACM Symposium on VirtaalReality Software and Technology，1999，中描述了。一种在环境中使用超声发射器的系统是由Intersense Corporation，Burlington，Massachusett生产的IS-600运动跟踪器。

现有技术的方法具有若干限制。当环境大时或者环境包括难于达到的位置时，改变环境可能是困难的。并且对环境的测试设备必须随后进行校准处理。因而这些类型的系统趋于是具有固定的工作位置空间的固定的设备，并且在新的地点不能容易地快速地使用。包括连接于物体的标记或发射器例如LED的系统，通常需要跨过物体的表面的多个发射器。使用校准处理来确定标记或发射器的布置。为了把多个标记或发射器连接到小的物体上这是个问题。如果物体是手持的，这也是有问题的，因为用户必须采取不使标记或发射器被闭塞的握持姿势。

这些问题可以由电磁传感器来克服，但是这种系统是相当复杂和昂贵的，并且校准仍然是个问题。大多数现有技术要求相对静止的设置，这使得在特定的动态地改变着的环境中难于使用这种系统。电磁系统的一个例子是由Polhemus Inc.，of Colchester，VT生产的Fastrak运动跟踪产品。

因而，需要一种用于物体的位置和定向的传感器，其不必修改环境便能工作，并且不需要复杂的校准。还需要一种紧凑的位置和定向传感器，即，传感器不需要跨越环境或在感兴趣的物体的表面上分布的标记或发射器。被连接于手持的物体上的位置传感器的小型化的优点在于，用户可以容易地在物体的某个部分上采用一种握持姿势，而不会闭塞位置传感器。

发明内容

由投影图像确定投影仪的位置和方位。首先确定在摄像机和一个平的表面之间的单应(homography)，其中所述摄像机和所述平的表面处于一种固定的关系。

接着，使用具有已知的固有参数和未知的位置与方位的投影仪把一个已知的图案投影到所述平的表面上。

利用摄像机获得已知图案的图像，并使用所述的单应和所述固有参数由所述图像确定投影仪的位置和方位。

附图说明

由下面结合附图对本发明的优选实施例进行的详细说明，可以更容易理解本发明，其中：

图1是按照本发明的位置和方位感测系统的方块图；

图2是按照本发明的校准处理的流程图；以及

图3是按照本发明的位置和方位感测方法的流程图。

具体实施方式

系统结构

图1表示按照本发明的位置和方位感测系统100。所述系统包括固定的摄像机110和可动的投影仪120。摄像机110和投影仪120观察一个固定的、平的(2D)表面130。摄像机和所述平的表面具有固定的相对位置。摄像机和投影仪可以在所述表面的同一侧，或者，如果所述表面是半透明的，则摄像机和投影仪可以位于该平的表面的相对侧。

在优选实施例中，摄像机110和投影仪120是数字装置。也可以使用具有A/D转换器的模拟装置。

处理器(CPU)140和摄像机110耦接。处理器140配备有存储器和I/O端口，如本领域技术人员已知的那样。处理器140能够执行按照本发明的位置和方位感测方法300，如下面详细说明的。

系统操作

校准

如图2所示，系统100的校准处理200具有两个级210-220。第二个是选择的。在第一级210中，固定的摄像机110相对于固定的平的表面130被校准，以便确定在摄像机110的图像平面的座标框架和固定的表面130的欧几里得(公制的)坐标框架之间的单应H 211。这可以通过给定在固定的表面130上的已知位置的4个点131，例如在固定的表面130上的一个方形的4个拐角，使用熟知的几何关系来实现。

单应211使得摄像机110的坐标框架和固定的表面130的坐标框架按以下方式相关。

对于在2D表面上的对应的点X的图像点x，其关系是

x＝HX

其中x和X是齐次座标，H是描述所述单应的3×3的矩阵。给定4组对应的点{x_i，X_i}，i＝1，…4，上面的公式产生一个单应H 211的数组元素的线性系统，使得可以对H求解。

如果表面130的坐标框架的整个比例是未知的，例如，在表面130上的4个点131已知是一个方形的4个拐角，但是方形的尺寸是未知的，则在随后的处理中，投影仪120的位置和方位被确定为一个未知的比例。这对于许多应用是足够的，例如，对于一个场景的三维扫描，其中目的是产生一个三维的重构，而整个比例是不重要的。

在第二个可选择的处理220中，校准处理200确定投影仪120的固有参数IP 221。确定一个针孔装置例如投影仪120的固有参数，是一种熟知的处理。或者，投影仪120的固有参数可以在系统100操作时被确定，如下面详细说明的。

位置和方位感测

如图3所示，位置感测系统100可被用于利用投影仪120和方法300来感测物体的位置和方位。

首先，在310确定摄像机110和表面130之间的单应211，如上所述。

接着在320，由具有已知的固有参数221但是位置和方位未知的投影仪120把一个已知的图案230投影到平的表面210上。最低限度地，图案230至少包括3个不同的非共线的点。

然后在330，摄像机110获得已知图案230的图像331，并在投影仪120的图像座标内测量图案230的特征。

在处理300的最后一步340，使用单应211把图案的特征从图像331的座标框架变换到平的表面130的坐标框架。

给定平的表面130上的图案230的各特征的座标，以及在投影仪的图像平面上的各图案特征的相应的座标，和投影仪的固有参数221，便可以确定投影仪120的位置和方位。该方法是对在DeMenthon等人的文章“Exact and Approximate Solutions of thePerspective-Three-Point Problem”，IEEE Trans.Pattern Analysis andMachine Intelligence，vol.14，no.11，pp.1100-1105，1992年11月中所述的方法的一种修改。

DeMenthon的方法是一种用于计算摄像机的位置和方位的方法，其中具有已知的固有参数的摄像机观察具有已知的座标的一个物理图案。这里，这种方法被修改用于把一个图案投影到一个平面上的投影仪的情况，其中借助于观察所述平面的固定摄像机将坐标框架施加到所述投影的图案上。

当只使用3个点时，具有关于位置和方位的多个解答，但是具有多个已知的方法来解决这个问题，使得获得唯一的解答。例如，通过当装置运动时将信息对时间积分，或者通过使用4个或多个点代替3个点。后一种方法对于系统100是直接的，因为具有对被投影的图案的完全控制。作为系统100的另一个优点，投影的图案可以在操作期间根据需要被采用，以便对固定的摄像机提供尽可能好的观察。

可以被模拟为针孔投影仪的任何系统适用于进行所述投影，例如，3个不同颜色的激光指示器，它们具有不同的光束方向，并且这些光束交于一点，或者具有非共点的光束但具有校准的数据，以便考虑所述非共点性。

在另一个实施例中，投影仪210的固有参数221可以在系统10的操作期间被确定。在这种情况下，图案230对于投影仪220的两个不同的位置被投影。在这种情况下，对于图案的最低要求是，具有4个在一般位置的不同的点，或者任何等效的图案。

投影仪的固有参数

投影仪的固有参数可以按如下确定。首先，使用单应H 211确定在平的表面130上的投影图案特征的座标。然后，确定在投影仪120的图像平面和投影仪的第一位置P1的平的表面之间的第一单应G1。类似地，计算投影仪的第二位置P2的第二单应G2。给定G1和G2，便可以确定投影仪120的固有参数221，如Zhang在“A flexible newtechnique for camera calibration”，IEEE Transactions on PatternAnalysis and Machine Intelligence，22(11)：1330-1334，2000中所述。

那种技术是为摄像机的固有参数提出的。然而，在此应用这种技术确定投影仪的固有参数。

上述系统100的操作200使用一个固定的摄像机110。如果投影仪120正在通过一个伸展的区域运动，以使得投影的图案可能运动到任何一个摄像机的视野之外，则可以使用多个固定的摄像机，每个摄像机用于观察固定的平的表面130的一个不同部分。在这种情况下，固定的摄像机的校准需要确定在每个摄像机的图像平面和固定的平的表面130的公共坐标框架之间的多个单应H1，H2，等。

还可以具有多个固定的表面，每个表面由一个或多个固定的摄像机观察。在这种情况下，投影仪120可以在房间内运动，并且天花板、地板或墙壁提供固定的平的表面。

如果广角的或全方位的投影仪同时投影在多个表面上以便得到宽的视野，则可以同时使用所有的投影信息用于以更高的精度确定投影仪120的位置和方位。

在实际应用中，投影仪120可以和感兴趣的物体160具有固定的关系。那么，投影仪的位置和方位便可用于推断物体160的位置和方位。如果物体具有其自身的坐标框架，则投影仪和物体可以在另一个校准步骤中被校准。

例如，物体160可以是第二个运动着的摄像机。此时，投影仪120可以跟踪摄像机160的位置和方位。当第二摄像机160用于三维扫描时，这是有用的。在这种应用中，第二摄像机的推断的位置和方位可用于根据扫描的图像确定三维重构。

或者，所述物体可以是另一个投影仪。在这种应用中，第二投影仪按照其推断的位置和方位将图像投影到环境中。这对于增强虚拟现实场景或活动的显示区域是有用的。

所述物体还可以是工具，以使得根据所述工具推断的位置和方位的反馈可以提供给用户。例如，所述反馈可以是触觉反馈。

在另一种应用中，投影仪可被连接到一个物体上，所述物体正在作二维运动，例如轿车或机器人，在这种情况下，只和位置相关而和方位无关。

虽然本发明以优选实施例为例进行了说明，应当理解，在所附权利要求的范围和构思内，可以具有各种改变和改型。因此，所附权利要求的目的是覆盖所有这些改变和改型，因为它们处于本发明的真正的构思和范围内。

Claims (28)

1.一种用于确定投影仪的位置和方位的方法，包括：

确定一个摄像机和一个平的表面之间的单应，其中所述摄像机和所述平的表面相互处于固定的相对位置；

利用具有已知的固有参数和未知的位置及方位的投影仪在所述平的表面上投影一个图案；

利用摄像机获得所述图案的图像；以及

使用所述单应和固有参数，根据该图像确定所述投影仪的位置和方位。

2.如权利要求1所述的方法，其中所述投影仪是针孔装置，并且该方法还包括：

在所述平的表面上投射至少3个非共线的不同点，从而形成所述图案。

3.如权利要求2所述的方法，还包括：

在预处理步骤期间校准所述投影仪，以便确定所述固有参数。

4.如权利要求1所述的方法，其中所述图案包括至少4个在一般位置上的不同的点，并且该方法还包括：

当确定所述投影仪的位置和方位的时候，对于所述投影仪的不同方位，对已知图案进行至少两次投影，并使用所述至少两次投影获得的图像校准投影仪的固有参数。

5.如权利要求1所述的方法，其中所述投影仪是全方向的，并且该方法还包括：

投影一个全方向图案。

6.如权利要求1所述的方法，其中所述投影仪是广角的，并且该方法还包括：

跨越一个宽的视野投影所述图案。

7.如权利要求1所述的方法，其中所述投影仪使用可见光。

8.如权利要求1所述的方法，其中所述投影仪使用红外辐射。

9.如权利要求1所述的方法，其中使用多个固定的摄像机获得被投影的已知图案的多个图像。

10.如权利要求9所述的方法，其中使用多个平的表面，一个摄像机用于每个平的表面。

11.如权利要求9所述的方法，其中使用多个平的表面，一个或多个摄像机用于每个平的表面。

12.如权利要求1所述的方法，其中所述平的表面是房间的天花板，并且该方法还包括：

在确定所述投影仪的多个位置和方位时在所述房间内移动所述投影仪。

13.如权利要求1所述的方法，其中所述摄像机和投影仪位于所述平的表面的同一侧。

14.如权利要求1所述的方法，其中所述平的表面是半透明的屏幕，并且所述投影仪和固定的摄像机位于所述半透明屏幕的相对侧。

15.如权利要求10所述的方法，还包括：

在多个平的表面上同时投影多个已知的图案；以及

通过同时使用所有的多个被投影的已知图案来确定所述投影仪的位置和方位。

16.如权利要求1所述的方法，还包括：

把所述投影仪连接到一个物体上，并使用所述投影仪推断该物体的位置和方位。

17.如权利要求16所述的方法，其中所述投影仪的位置和方位与所述物体的位置和方位处于已知的物理关系。

18.如权利要求16所述的方法，其中所述投影仪的位置和方位以及所述物体的位置和方位的物理关系在一个校准步骤中被校准。

19.如权利要求16所述的方法，其中所述物体是第二摄像机，并且该方法还包括：

利用所述第二摄像机获得扫描的图像；以及

利用所述第二摄像机的推断的位置和方位，根据所述扫描的图像确定场景的三维重构。

20.如权利要求16所述的方法，其中所述物体是第二投影仪，并且该方法还包括：

根据所述第二投影仪的推断的位置和方位，利用该第二投影仪投影图像。

21.如权利要求16所述的方法，其中所述物体是工具，并且该方法还包括：

根据所述工具的推断的位置和方位提供反馈。

22.如权利要求16所述的方法，其中所述物体是车辆。

23.如权利要求16所述的方法，其中所述物体是人。

24.如权利要求4所述的方法，还包括：

通过固定的摄像机以及所述摄像机和所述平的表面之间的单应来确定在该平的表面上的已知图案的特征的座标；

确定在投影仪的图像平面以及用于该投影仪的第一位置P1的平的表面之间的第一单应G1；

确定在投影仪的图像平面以及用于该投影仪的第二位置P2的平的表面之间的第二单应G2；以及

使用所述第一单应G1和所述第二单应G2确定投影仪的固有参数。

25.一种用于确定投影仪的位置和方位的系统，包括：

和一个平的表面具有固定关系的摄像机；

用于确定所述摄像机和所述平的表面之间的单应的装置；

被配置用于在所述平的表面上投影一个图案的投影仪，所述投影仪具有已知的固有参数以及未知的位置和方位；以及

用于使用所述单应和固有参数以及由摄像机获得的已知图案的图像，根据所述图像确定所述投影仪的位置和方位的装置。

26.如权利要求25所述的系统，还包括：

连接于所述投影仪的物体，其中所述投影仪的位置和方位用于推断所述物体的位置和方位。

27.如权利要求26所述的系统，其中所述投影仪的位置和方位与所述物体的位置和方位处于已知的物理关系。

28.如权利要求26所述的系统，其中所述投影仪的位置和方位以及所述物体的位置和方位的物理关系在一个校准步骤中被校准。

Images