CN101246220A - 一种便携式跟踪装置及其位置姿态跟踪方法和系统 - Google Patents

Abstract

本发明提供一种便携式跟踪装置及其位置姿态跟踪方法和系统，其中包括：便携式跟踪装置，该便携式跟踪装置上设置有不可见光发射装置，用于形成不可见光的点发光体和线发光体；所述的系统还包括：滤光装置，用于对所述的不可见光进行滤光；摄像装置，用于透过所述的滤光装置对所述点发光体和线发光体进行摄像；图像采集处理装置，用于对所述摄像装置摄取的图像进行采集处理；控制装置，用于根据所述图像采集处理装置采集并处理的图像数据得出被摄物体的位置姿态轨迹。由于本发明可在单个摄像机拍摄的条件下借助手持设备完成对被射物体的位置和姿态的跟踪，因此本发明可以用于：个人娱乐，科学研究，工业操作等多个领域。

Description

一种便携式跟踪装置及其位置姿态跟踪方法和系统

技术领域

本发明涉及人机交互系统领域，特别涉及通过判断物体的位置和姿态来进行人机交互的技术，具体的讲是一种便携式跟踪装置及其位置姿态跟踪方法和系统。

背景技术

当前国内外最常见的用于人机交互的位置姿态跟踪系统是光学位置姿态跟踪系统，而光学位置姿态跟踪系统大多基于计算机视觉原理。从理论上说，对于空间中的一个点，只要它能同时为两部摄像机所见，则根据同一时刻两部摄像机所拍摄的图像和摄像机参数，可以确定这一时刻该点在空间中的位置。当同时确定了一个物体的多个点时，则还可以确定该物体在空间中的姿态。当摄像机以足够高的速率连续拍摄时，从所得到的图像序列中就可以获取该点或该物体的运动轨迹。

现有的光学位置姿态跟踪系统分为两种，一种是被动反光式位置姿态跟踪系统，另一种是主动发光式位置姿态跟踪系统。

典型的被动反光式位置姿态跟踪器系统通常使用6～8个环绕表演场地排列的摄像机，而且摄像机的镜头上还附有发出红外光的光源。这些摄像机的视野重叠区域就是跟踪对象的动作范围，为了便于处理，通常要求跟踪对象穿上单色的服装，在身体的关键部位，如关节、髋部、肘、腕等位置贴上一些特制的标志或反光点，称为“标志点(Marker)”，接下来视觉系统将识别和处理这些标志点。系统定标后，摄像机连续拍摄跟踪对象的动作，并将图像序列保存下来，然后再进行分析和处理，识别其中的标志点，并计算其在每一瞬间的空间位置，进而得到其运动轨迹。为了得到准确的运动轨迹，摄像机应有较高的拍摄速率，一般要达到每秒60帧以上。如果在跟踪对象的脸部表情关键点贴上标志点，则可以实现表情捕捉。

这种装置虽然可以捕捉实时运动，但是需要多个摄像机，成本加大，且后处理(包括标志点的识别、跟踪、空间坐标的计算)的工作量也很大，而且对于表演场地的光照、反射情况有一定的要求，装置定标也较为烦琐。特别是当运动复杂时，不同部位的标志点有可能发生混淆、遮挡，产生错误结果，这时需要人工干预后处理过程。所以现有的这种位置姿态跟踪系统很难普及且不适合推广。

主动发光式位置姿态跟踪系统是指所要跟踪的物体自身附有红外光源，用摄像机采集该物体所发出的红外图像，并从该红外图像中提取并分辨出跟踪物体的位置姿态。但是，这种系统同样也是采用6～8个环绕表演场地排列的摄像机，并且以独立的点为跟踪单位，根据一个点在多个摄像机中的位置来计算其在三维空间中的位置。这样很容易发生点与点之间混淆的情况，为了避免混淆也同样需要较为复杂的图像处理过程。

因此，上述的无论是被动反光式还是主动发光式位置姿态跟踪器系统都使用较多数量的摄像机，并且图像处理过程均较复杂，使得设备成本增加，一般都用于科学研究、媒体制作等方面，并不利于推广以及家庭使用。

发明内容

为了解决上述现有技术中的缺点，本发明提供一种便携式跟踪装置及其位置姿态跟踪方法和系统，用于实时的跟踪物体的位置和姿态。

本发明的目的之一是，提供一种便携式跟踪装置，所述的装置包括：一支架和固定在所述支架上的一透明柱体；所述的支架上设置有不可见光发射装置，用于形成不可见光的点发光体；所述的透明柱体内设置有多个不可见光发射装置，用于形成不可见光的线发光体。

所述支架具有一承载面，所述的透明柱体垂直的固定于所述的承载面上。

所述的不可见光是指红外光；所述的支架上设置有多个红外发射装置，所述的多个红外发射装置沿着所述承载面上的边缘间隔设置，用于形成多个红外的点发光体。

所述的不可见光是指红外光；所述透明柱体内设置的多个红外发射装置沿着所述透明柱体的轴向依次紧密排列，用于形成红外的直线发光体。

所述的便携式跟踪装置还包括：一手持部，所述的手持部固定在所述的支架上。

本发明的另一目的是，提供一种位置姿态跟踪系统，所述的系统包括：便携式跟踪装置，该便携式跟踪装置上设置有不可见光发射装置，用于形成不可见光的点发光体和线发光体；所述的系统还包括：滤光装置、摄像装置、图像采集处理装置和控制装置，所述的摄像装置通过图像采集处理装置与控制装置相连接；其中所述的滤光装置，用于对所述的不可见光进行滤光；所述的摄像装置，用于透过所述的滤光装置对所述点发光体和线发光体进行摄像；所述的图像采集处理装置，用于对所述摄像装置摄取的图像进行采集处理；所述的控制装置，用于根据所述图像采集处理装置采集并处理的图像数据得出被摄物体的位置姿态轨迹。

所述点发光体和线发光体一起构成一个特定的空间形状。

所述的控制装置包括：计算机、游戏机、PDA。

本发明的又一目的是，提供一种位置姿态跟踪方法，所述的方法包括以下步骤：在便携式跟踪装置上设置有不可见光发射装置，用于形成不可见光的点发光体和线发光体；使被摄物体携有所述的便携式跟踪装置；透过不可见光滤光装置对所述点发光体和线发光体进行摄像；对摄取的图像进行采集处理；根据采集并处理的图像数据得出被摄物体的位置姿态轨迹。

本发明仅通过一个摄像机来实现了对物体的位置姿态的实时、准确的跟踪，且随后处理的工作量也较小，从而大大降低了成本易于推广以及家庭使用。

附图说明

图1是本发明的位置姿态跟踪系统的框图；

图2是本发明的位置姿态跟踪方法的流程图；

图3是本发明一较佳实施例的手持式跟踪设备的示意图；

图4是本发明的图像采集处理和计算步骤的流程图；

图5是本发明的DSP图像采集处理装置的电路图；

图6是本发明系统的示意图。

具体实施方式

以下参照附图对本发明的实施例进行详细说明。如图3所示，一种便携式跟踪装置，所述的装置包括：一支架302和固定在所述支架上的一透明柱体305；所述的支架上设置有红外发射装置303，用于形成红外的点发光体；所述的透明柱体内设置有多个红外发射装置，用于形成红外的线发光体301。

所述支架具有一承载面，所述的透明柱体垂直的固定于所述的承载面上。在具体实施中，所述的透明柱体也可呈非垂直角度的固定于所述的承载面上。

所述的支架上设置有多个红外发射装置，所述的多个红外发射装置沿着所述承载面上的边缘间隔设置，用于形成多个红外的点发光体。承载面可以采用矩形，图3所示的实施例采用了5个红外发射装置，其中4个红外发射装置分别被设置于矩形承载面的4个角，另一个被设置于矩形承载面的一边的中部位置。

所述透明柱体可为透明塑料柱，在塑料柱内设置的多个红外发射装置沿着所述透明塑料柱的轴向依次紧密排列，用于形成红外的直线发光体。这里采用的红外发射装置的个数可以为8个、10个或根据线发光体301的长度来确定采用的红外发射装置的个数。

所述的便携式跟踪装置还包括：一手持部304，所述的手持部固定在所述的支架上。该手持部304可采用如图3所示的手柄状，也可采用其他适合便携的形状，如把装等。

如图1所示的是本发明的位置姿态跟踪系统的框图，该位置姿态跟踪系统包括：如图3所示的便携式跟踪装置，该便携式跟踪装置上设置有红外发射装置，用于形成红外光的点发光体303和线发光体301；通过如图3所示的便携式跟踪装置的安装方式，可以在塑料柱的部分形成一个红外的直线发光体。整个手持式跟踪设备上安装的红外发射装置构成一个特定的空间形状。上述透明塑料柱可以是任何形状的透明柱体，只要能安装多个红外发射装置，使这些红外发射装置构成一直线形的发光体即可。

如图6所示，所述的系统还包括：红外滤光片、CCD摄像头、作为图像采集处理装置的DSP和作为控制装置的计算机，将该红外滤光片安装在CCD摄像头的前端，CCD摄像头通过DSP与计算机相连接；红外滤光片用于对所述的红外光进行滤光；CCD摄像头用于透过红外滤光片对所述点发光体和线发光体进行摄像；DSP用于对CCD摄像头摄取的图像进行采集处理；计算机用于根据；DSP采集并处理的图像数据得出被摄物体的位置姿态轨迹。其中，在手持跟踪设备上安装的多个红外发射装置能够像空间各个方向发射强度均匀的近红外光线。并且这些红外发射装置一起构成一个特定的空间形状。这些红外发射装置所发射的红外光经过红外滤光装置的过滤，在摄像装置上相承红外图像。计算机通过DSP对这些图像进行处理和分析。在图像上识别每一个红外发射装置的位置，由于这些红外发射装置之间的空间关系可以预先获得，计算机可根据这些红外发射装置本身的空间位置和对应的图像位置计算出手持式跟踪器相对于摄像机的位置，从而得到用户手部的空间位置和姿态。计算得到的数据可以输出到计算机，游戏机或其他设备，以实现用户与整个系统之间的交互。

摄像装置也可以采用一般的USB摄像机，红外滤光片可以采用中心频率为850纳米的近红外滤光片。图像采集和处理设备可以使用DSP作为处理单元，也可以之间使用计算机进行图像处理。系统中的红外发射装置可以采用在灯珠内添加扩散剂的850纳米红外发射二极管。其安装在手持设备上的情况如图3所示。如图5所示为DSP的电路图。

其中支架部分用来固定安装其他零件，5个独立的红外发射装置安装在支架的一个正方向平面的边缘。在正方向的中间安装一个空心的透明的塑料柱，在塑料柱的中间竖直安装10个红外发射装置。通过这个安装方式，可以在塑料柱的部分形成一个红外的直线发光体。整个手持跟踪设备上安装的红外发射装置构成一个特定的空间形状。在这个例子中位置计算的过程如图4所示。首先获取红外图像，之后将图像进行二值化。在二值化图像中寻找连通区域，由于经过滤光，每一个图像上的连同区域都至少对应一个红外发射装置。由于本例中红外发射装置所形成的空间几何形状，可以根据连同区域的最大宽度判断这个连通区域是否是由手持跟踪设备上的线状发光i形成的。在获取了线状发光体对应的连通区域后，认为剩下的连通区域是由平面上的5个点光源形成的。使用本行业内基本的处理方法(如首先计算所有点的中心，之后计算各点与中心形成直线与水平方向的夹角，可以得到各点按照顺时针方向排列的顺序)，根据他们之间的相互位置可以依次识别每一个点。这样得到了一系列图像点和空间点的对应点对，使用本行业内通行的POSIT算法或n点线性算法可以计算出手持设备的空间位置和姿态。

位置姿态跟踪方法的的步骤包括：在便携式跟踪装置上设置有不可见光发射装置，用于形成不可见光的点发光体和线发光体；使被摄物体携有所述的便携式跟踪装置；透过不可见光滤光装置对所述点发光体和线发光体进行摄像；对摄取的图像进行采集处理；根据采集并处理的图像数据得出被摄物体的位置姿态轨迹。如图2所示为所述方法的具体步骤，首先从安装在跟踪设备上的不可见光发射装置中发射不可见光(见步骤S201)，然后在滤光装置中把上述不可见光以外的光过滤掉(见步骤S202)，接下来用摄像机摄像由上述不可见光形成的图像(见步骤S203)，并通过DSP等来对上述图像进行采集处理(见步骤S204)，最后通过计算得出被跟踪物在空间的位置和姿态(见步骤S205)。

对被跟踪物的位置姿态计算过程如图4所示。首先系统获取红外图像(见步骤401)，之后将图像进行二值化(见步骤402)。在二值化图像中寻找连通区域(见步骤403)，由于经过滤光，每一个图像上的连同区域都至少对应一个红外发射装置(见步骤404)。如图3所示，由于本例中红外发射装置所形成的空间几何形状，可以根据连同区域的最大宽度判断这个连通区域是否是由手持跟踪设备上的线状发光体、即由透明塑料柱部分的红外发射装置形成的。在获取了线状发光体对应的连通区域后，认为剩下的连通区域是由平面上的5个点光源形成的。使用本行业内基本的处理方法，根据他们之间的相互位置可以依次识别每一个点(见步骤405)。这样得到了一系列图像点和空间点的对应点对，使用本行业内通行的POSIT算法或n点线性算法可以计算出手持设备的空间位置和姿态(见步骤406)。

本发明通过提供一种基于单摄像机的位姿跟踪系统，通过本发明可以实时获得用户手中手持设备的6自由度姿态。由于本发明可在单个摄像机拍摄的条件下借助手持设备完成对被射物体的位置和姿态的跟踪，因此本发明可以用于：个人娱乐，科学研究，工业操作等多个领域。

以上具体实施方式仅用于说明本发明，而非用于限定本发明。

Claims (12)

1. 一种便携式跟踪装置，其特征是包括：一支架和固定在所述支架上的一透明柱体；

所述的支架上设置有不可见光发射装置，用于形成不可见光的点发光体；

所述的透明柱体内设置有多个不可见光发射装置，用于形成不可见光的线发光体。

2. 根据权利要求1所述的便携式跟踪装置，其特征是，所述支架具有一承载面，所述的透明柱体垂直的固定于所述的承载面上。

3. 根据权利要求2所述的便携式跟踪装置，其特征是，所述的不可见光是指红外光；所述的支架上设置有多个红外发射装置，所述的多个红外发射装置沿着所述承载面上的边缘间隔设置，用于形成多个红外的点发光体。

4. 根据权利要求2所述的便携式跟踪装置，其特征是，所述的不可见光是指红外光；所述透明柱体内设置的多个红外发射装置沿着所述透明柱体的轴向依次紧密排列，用于形成红外的直线发光体。

5. 根据权利要求1至4任意一项所述的便携式跟踪装置，其特征是还包括：一手持部，所述的手持部固定在所述的支架上。

6. 一种位置姿态跟踪系统，其特征是，包括：

便携式跟踪装置，该便携式跟踪装置上设置有不可见光发射装置，用于形成不可见光的点发光体和线发光体；所述的系统还包括：

滤光装置、摄像装置、图像采集处理装置和控制装置，所述的摄像装置通过图像采集处理装置与控制装置相连接；其中

所述的滤光装置，用于对所述的不可见光进行滤光；

所述的摄像装置，用于透过所述的滤光装置对所述点发光体和线发光体进行摄像；

所述的图像采集处理装置，用于对所述摄像装置摄取的图像进行采集处理；

所述的控制装置，用于根据所述图像采集处理装置采集并处理的图像数据得出被摄物体的位置姿态轨迹。

7. 根据权利要求6所述的位置姿态跟踪系统，其特征在于，所述点发光体和线发光体一起构成一个特定的空间形状。

8. 根据权利要求6所述的位置姿态跟踪系统，其特征在于，所述不可见光是红外光。

9. 根据权利要求6所述的位置姿态跟踪系统，其特征在于，所述的控制装置包括：计算机、游戏机、PDA。

10. 一种位置姿态跟踪方法，其特征是，包括以下步骤：

在便携式跟踪装置上设置有不可见光发射装置，用于形成不可见光的点发光体和线发光体；

使被摄物体携有所述的便携式跟踪装置；

透过不可见光滤光装置对所述点发光体和线发光体进行摄像；

对摄取的图像进行采集处理；

根据采集并处理的图像数据得出被摄物体的位置姿态轨迹。

11. 根据权利要求10所述的位置姿态跟踪方法，其特征在于，所述点发光体和线发光体一起构成一个特定的空间形状。

12. 根据权利要求10所述的位置姿态跟踪方法，其特征在于，所述不可见光是红外光。

Images