CN100437145C - 位置姿态跟踪系统 - Google Patents

Abstract

一种位置姿态跟踪系统包括跟踪对象、图像采集单元和图像处理单元，所述跟踪对象包括红外发光装置，所述图像采集单元包括红外截止滤光片和摄像机；其中，所述红外发光装置有多个，分布在跟踪对象上的表示跟踪对象的轮廓特征的轮廓点和区分各个轮廓点的区分点；所述图像处理单元根据所述红外发光装置的分布特征，从所采集到的红外图像中分辨出跟踪对象的当前位置姿态。本发明所提供的位置姿态跟踪系统可以仅采用1-2个摄像机，设备简化，并且后期处理过程简单，大大降低了成本。

Description

位置姿态跟踪系统

技术领域

本发明涉及一种位置姿态跟踪系统，尤其涉及一种用于人机交互的位置姿态跟踪系统。

背景技术

当前国外最常见的用于人机交互的位置姿态跟踪系统是光学位置姿态跟踪系统，而光学位置姿态跟踪系统大多基于计算机视觉原理。从理论上说，对于空间中的一个点，只要它能同时为两部摄像机所见，则根据同一时刻两部摄像机所拍摄的图像和摄像机参数，可以确定这一时刻该点在空间中的位置。当同时确定了一个物体的多个点时，则还可以确定该物体在空间中的姿态。当摄像机以足够高的速率连续拍摄时，从所得到的图像序列中就可以获取该点或该物体的运动轨迹。

现有的光学位置姿态跟踪系统分为两种，一种是被动反光式位置姿态跟踪系统，另一种是主动发光式位置姿态跟踪系统。

典型的被动反光式位置姿态跟踪器系统通常使用6～8个环绕表演场地排列的摄像机，摄像机的镜头上还附有发出红外光的光源。这些摄像机的视野重叠区域就是跟踪对象的动作范围，为了便于处理，通常要求跟踪对象穿上单色的服装，在身体的关键部位，如关节、髋部、肘、腕等位置贴上一些特制的标志或反光点，称为“标志点(Marker)”，接下来视觉系统将识别和处理这些标志点。系统定标后，摄像机连续拍摄跟踪对象的动作，并将图像序列保存下来，然后再进行分析和处理，识别其中的标志点，并计算其在每一瞬间的空间位置，进而得到其运动轨迹。为了得到准确的运动轨迹，摄像机应有较高的拍摄速率，一般要达到每秒60帧以上。如果在跟踪对象的脸部表情关键点贴上标志点，则可以实现表情捕捉。

这种装置虽然可以捕捉实时运动，但后处理(包括标志点的识别、跟踪、空间坐标的计算)的工作量较大，而且对于表演场地的光照、反射情况有一定的要求，装置定标也较为烦琐。特别是当运动复杂时，不同部位的标志点有可能发生混淆、遮挡，产生错误结果，这时需要人工干预后处理过程。

主动发光式位置姿态跟踪系统是指所要跟踪的物体自身附有红外光源，用摄像机采集该物体所发出的红外图像，并从该红外图像中提取并分辨出跟踪物体的位置姿态。但是，这种系统同样多是采用6～8个环绕表演场地排列的摄像机，并且以独立的点为跟踪单位，根据一个点在多个摄像机中的位置来计算其在三维空间中的位置。这样很容易发生点与点之间混淆的情况，为了避免混淆也同样需要较为复杂的图像处理过程。

因此，上述的现有的位置姿态跟踪系统大多使用较多数量的摄像机，并且图像处理过程均较复杂，使得设备成本增加，一般都用于科学研究、媒体制作等方面，并不利于推广以及家庭使用。

发明内容

本发明针对现有的位置姿态跟踪系统的设备较为复杂、成本较高的缺点，提供一种设备简单、成本低的位置姿态跟踪系统。

本发明所提供的位置姿态跟踪系统包括跟踪对象、图像采集单元和图像处理单元；所述跟踪对象包括红外发光装置，所述图像采集单元包括用于采集所述红外发光装置发出的红外光的红外截止滤光片以及用于获取红外图像的摄像机，所述图像处理单元从所采集的红外图像中确定跟踪对象的当前位置姿态；其中，所述红外发光装置有多个，分布在跟踪对象上的表示跟踪对象的轮廓特征的轮廓点和区分各个轮廓点的区分点；所述图像处理单元根据所述红外发光装置的分布特征，从所采集到的红外图像中分辨出跟踪对象的当前位置姿态。

本发明所提供的位置姿态跟踪系统，基于红外光和图像处理的原理，通过所述红外发光装置的分布特征可以表示出跟踪对象的轮廓，并根据区分点区分出各个轮廓点，还可以表示出跟踪对象的方向，图像处理单元根据轮廓点、区分点和/或方向点的分布特征，分辨出不同位置的红外发光装置的发光点，从而重新构建出跟踪对象的当前位置姿态，并由此可以获取用户的动作轨迹，用户的五自由度动作都可被准确跟踪。本发明所提供的位置姿态跟踪系统由于增加了红外发光装置的分布信息，所以可以仅采用1-2个摄像机，设备简化，不需要大量的摄像机对跟踪对象进行多角度的拍摄。并且，后期图像处理过程简单，大大降低了成本。本发明所提供的位置姿态跟踪系统可应用到个人家庭游戏娱乐的人机交互系统中，克服了以往只能使用传统的鼠标键盘或游戏手柄的局限，相比于价格昂贵的大型游艺机以低成本的设备实现高参与性的游戏交互方式。

附图说明

图1为本发明所提供位置姿态跟踪系统的示意图；

图2A为跟踪对象的第一实施方式的侧视图；

图2B为图2A所示的跟踪对象的剑顶的俯视图；

图2C为图2A所示的跟踪对象的剑身的横截面视图；

图3A为跟踪对象的第二实施方式的侧视图；

图3B为图3A所示的跟踪对象的扩展角度获取装置的结构示意图；

图3C为图3A所示的跟踪对象的扩展角度获取装置的局部剖视图；

图4A为多摄像机模式的图像处理单元的数据处理流程；

图4B为单摄像机模式的图像处理单元的数据处理流程；

图5为红外灯标定板的示意图。

具体实施方式

下面结合附图对本发明做进一步说明。

如图1至图2所示，本发明所提供的位置姿态跟踪系统包括跟踪对象1、图像采集单元和图像处理单元4；所述跟踪对象1包括红外发光装置5，所述图像采集单元包括用于采集所述红外发光装置5发出的红外光的红外截止滤光片2以及用于获取红外图像的摄像机3，所述图像处理单元4从所采集的红外图像中确定跟踪对象1的当前位置姿态；其中，所述红外发光装置5有多个，分布在跟踪对象1上的表示跟踪对象1的轮廓特征的轮廓点和区分各个轮廓点的区分点；所述图像处理单元4根据所述红外发光装置5的分布特征，从所采集的红外图像中分辨出跟踪对象1的当前位置姿态。

其中，跟踪对象1的形状可以为任何形状。所述跟踪对象1可以是任何能产生动作的可透过红外光的物体，包括人、动物、植物或非生物物体，优选为透明塑料、有机玻璃制品。例如，所述跟踪对象1可以是操作手柄，由用户操纵以充当人机交互的道具，例如电脑对战游戏中的刀剑、羽毛球游戏中的羽毛球拍、钓鱼游戏中的钓鱼竿。

所述跟踪对象1的红外发光装置5可以是任何能发出红外光线的装置，优选为红外发光二极管。所述红外发光装置5还可以包括泛光膜，贴敷在红外发光装置5的表面，用于扩大所发出的红外光的可见角度。所述泛光膜的材料优选为薄毛玻璃。

所述轮廓点是指根据该轮廓点可以分辨出跟踪对象1的轮廓，例如形状。

所述区分点是能够根据该区分点与轮廓点的距离特征，区分出各个轮廓点的点。例如，一个区分点设置在两个轮廓点的连线上且距两个轮廓点距离不等的位置，这样可以将这两个轮廓点区分成“距该区分点较近的轮廓点”和“距该区分点较远的轮廓点”。而当有两个以上的轮廓点时，各个区分点距其所区分的轮廓点的之间距离比优选互不相同，以达到区分不同组轮廓点的目的。例如，用于区分第一轮廓点和第二轮廓点的第一区分点，距第一轮廓点和第二轮廓点的距离比例为1∶2，而用于区分第三轮廓点和第四轮廓点的第二区分点，距第三轮廓点和第四轮廓点的距离比例为1∶3，这样可以根据1∶2和1∶3的距离比区分不同组的轮廓点。

当所述跟踪对象1为对称形状时，为了区分跟踪对象1的方向，所述红外发光装置5还分布在表示跟踪对象1方向特征的方向点。例如，在跟踪对象1的顶部安装一个红外发光装置5可以标示出该点是红外发光装置5的顶部。

上述分布在轮廓点、区分点和方向点的红外发光装置5的分布情况即为红外发光装置5的分布特征。

如图2A、图2B和图2C所示，根据本发明的跟踪对象1的第一实施方式，所述跟踪对象1为剑形。这种情况下，所述红外发光装置5为分别分布在位于剑形的跟踪对象1的顶部和底部的轮廓点，以及位于顶部和底部轮廓点连线上的中下部的区分点，且该区分点距顶部和底部的轮廓点的距离不相等，在本实施例中设定距离比为2∶1。如图2C所示，所述红外发光装置5还可以(但非必须)位于正顶部的方向点，以表示出剑顶和剑柄。为了提高亮度，除了方向点之外，位于轮廓点和区分点的红外发光装置5均包括三个红外发光二极管，安装方向与剑身垂直，如图2B所示。

这样，根据这些轮廓点、区分点和方向点的分布特征，可以从红外图像的发光点中，分辨出分布在不同位置的红外发光装置5的发光点，从而可以区分出跟踪对象1的剑顶、剑身、剑柄的位置姿态。采用这种方法不需要很多的摄像机就可以分辨出跟踪对象1的位置姿态，大大减小了现有的主动发光式位姿跟踪系统的摄像机数量多，以及由于跟踪独立点所导致的点之间混淆的缺点。

如图3A、图3B和图3C所示，为本发明的跟踪对象1的第二实施方式，所述跟踪对象1也为剑形，所述跟踪对象1还包括扩展角度获取装置6。

所述扩展角度获取装置6包括发光管7和具有多个透光孔9的遮光外壳8。如图3B所示，所述发光管7位于跟踪对象1的内部，发出的光中包含红外光，优选为高亮度全光谱白光发光管。所述遮光外壳8套在跟踪对象1具有发光管7的部分的外面，用于遮挡发光管7所发出的部分光，在本实施方式中为圆筒形。如图3C所示，所述多个透光孔9分为多组，同组透光孔9中的每个透光孔9透出的光与发光管7之间的夹角相同，不同组透光孔9透出的光与发光管7之间的夹角不同；在本实施方式中，同组透光孔9中的每个透光孔9环绕分布在遮光外壳8的同一高度且透光孔1的孔壁与跟踪对象1之间的夹角相同，不同组透光孔9的孔壁与发光管7之间的夹角互不相同。其中，所述不同组透光孔9与发光管7之间的不同夹角被预先设定，并提供给图像处理单元4。所述透光孔9的内壁涂有光滑的材料涂层，使得光线不容易反射。

这样，当发光管7发出光时，光线穿透遮光外壳8上的透光孔9穿透出剑身，由每个透光孔9发射出去的光线在空间中形成光锥，并且由不同组的透光孔9所得到的光锥互不相同。也就是说，在光锥覆盖到的空间区域中，才能透过对应的透光孔9看到内部的发光管7。该扩展角度获取装置6事实上是一个编码装置，该装置可将跟踪对象1的距离特征转化为角度特征，在本实施例中也就是说将剑身上不同位置上所发出的光线转化为不同角度的光线，从而在图像处理单元4可以根据对应关系计算出跟踪对象1与摄像机像平面之间的夹角，并根据该夹角结合红外发光装置5的分布特征共同分辨出跟踪对象1的位置姿态。

所述跟踪对象1还包括电源，所述电源可以为通过电源线连接的有源电源，由于该跟踪对象1功耗较小，所以所述电源优选为电池，例如碱性电池，这样面可以使用户操纵跟踪对象1时摆脱电线缠绕的困扰。

所述图像采集单元包括红外截止滤光片2和摄像机3，用于采集所述红外发光装置发出的红外光以及获取红外图像，一般情况下，所获取的红外图像中不包括可见光信息，只有跟踪对象1上的红外发光装置5所发出的光可在该红外图像上显示出来。

所述红外截止滤光片2为截止频率为760nm-960nm的带通滤光片，也就是说只有波长在760nm-960nm范围内的光才能通过该滤光片。这个频率范围属于近红外区，大多数可见光都能被很好的过滤掉，增强了系统的稳定性和可靠性。

为了达到对红外光具有较好的响应，所述摄像机3优选为CCD摄像机，例如，普通CCD网络摄像头；所述摄像机3的分辨率至少为320×240，例如更高的640×480；所述摄像机3的采集速度至少为30帧/秒。

所述摄像机3可以为一个或多个，即本发明的位置姿态跟踪系统可以采用单摄像机模式和多摄像机模式。所谓单摄像机模式就是采用一个摄像机3，这时由于仅凭一个摄像机3所采集到的图像不足以分辨出跟踪对象1的位置姿态，所以需要在跟踪对象1上加装所述扩展角度获取装置6；所谓多摄像机模式是指采用两个以上的摄像机3，此时由于摄像机3的个数增多，则不需要加装所述扩展角度获取装置6。

当采用单摄像机模式时，摄像机3的摆放没有特别要求；当采用多摄像机模式时，多个摄像机3之间的视野交叉范围尽可能大，以便扩大跟踪范围。

正如本领域人员所公知的那样，所述摄像机3可以通过有线或无线的数据传输方式将拍摄到的红外图像传输到图像处理单元4，例如通过USB2.0接口。

如图4A和图4B所示，分别为多摄像机模式(图中以双摄像机为例，一个摄像机为摄像机A，另一个摄像机为摄像机B)和单摄像机模式的数据处理流程图，其中，所述图像处理单元4对接收到的红外图像进行数据处理，所述数据处理流程包括以下步骤：在步骤S2中接收红外图像；在步骤S3中对接收到的红外图像进行图像二值化；在步骤S4中搜索所有红外发光装置5的发光点并获得所有发光点的连通区域；在步骤S6中根据红外发光装置5的分布特征，分辨出分布在不同位置的红外发光装置5的发光点并确定发光点的位置；在步骤S8中根据红外发光装置5发光点的位置得到跟踪对象1在空间中的位置姿态。

其中，所述在步骤S2中接收红外图像通过视频输入接口单元接收，所述视频输入接口单元为多个，在本实施方式中为两个，分别接收摄像机A和摄像机B所拍摄的红外图像，所述视频输入接口单元可以为任何可以接收视频图像数据的接口单元，为本领域人员所公知。

所述在步骤S3中对接收到的红外图像进行图像二值化，用于将红外图像转换成数字图像，在步骤S4中搜索红外发光装置5的并获得所有发光点的连通区域，用于得到所述跟踪对象(1)的大致位置和形状，所述图像二值化、搜索发光点、获取连通区域的算法为本领域人员所公知，在此不作过多说明。

所述在步骤S6中根据红外发光装置5的分布特征，分辨出分布在不同位置的红外发光装置5的发光点，利用距离比例不变性质，根据红外发光装置5预定的分布特征从红外图像上的发光点中分辨出该分布特征，即从多个发光点中区分出每个点是哪个轮廓点、区分点和/或方向点。

所述红外发光装置5发光点的位置为世界坐标，是根据三角测量原理结合不同帧图像中的同一发光点的位置计算得到。所述计算方法为本领域人员所公知。

所述在步骤S8中根据红外发光装置5发光点的位置得到跟踪对象1在空间中的位置姿态需要两个以上的红外发光装置5发光点的位置。这样，根据发光点的位置结合分布特征就可以出跟踪对象1的位置姿态。

如图4B所示，当该位置姿态跟踪系统为单摄像机模式时，即摄像机3为一个时，由于摄像机3的个数减少所以所述系统还须附加扩展角度获取装置6，因此，所述数据处理流程包括以下步骤：在步骤S2中接收红外图像；在步骤S3中对接收到的红外图像进行图像二值化；在步骤S4中搜索所有红外发光装置5的发光点并获得所有发光点的连通区域；在步骤S5中区分出红外发光装置5和扩展角度获取装置6的发光点；在步骤S6中根据红外发光装置5的分布特征，分辨出分布在不同位置的红外发光装置5的发光点并确定发光点的位置；在步骤S7中根据扩展角度获取装置6的发光角度计算出跟踪对象1与摄像机像平面之间的夹角；在步骤S8’中根据红外发光装置5发光点的位置，结合跟踪对象1与摄像机像平面之间的夹角得到跟踪对象1在空间中的位置姿态。其中，步骤S5、S7和S8’是针对单摄像机模式而附加的步骤。

在步骤S5中区分出红外发光装置5和扩展角度获取装置6的发光点是通过光点位置和密度分布情况进行区分。所述扩展角度获取装置6的发光点的为连续分布的光点，光点密度较大；所述红外发光装置5的发光点为孤立的光点，光点密度较小。

在步骤S7中根据扩展角度获取装置6的发光角度计算出跟踪对象1与摄像机像平面之间的夹角，通过预先设定的扩展角度获取装置6的透过透光孔9发出的光与发光管7之间的不同夹角的编码来计算。所述编码根据设定的不同角度而不同，编码过程为本领域人员所公知。所述摄像机像平面可由系统预先设定或通过下面描述的标定过程获得。

在步骤S8’中根据红外发光装置5发光点的位置，可以判断出跟踪对象1的二维坐标，结合跟踪对象1与摄像机像平面之间的夹角，可以得到跟踪对象1的三维坐标，从而得到其在空间中的位置姿态。

正如本领域人员所公知的那样，图像处理单元4在进行数据处理之前需要对摄像机3的位置进行标定，即获取摄像机3的投影矩阵。因此，该位置姿态跟踪系统还包括红外标定板10，用于标定摄像机3的位置。所述红外灯标定板10如图5所示包括多个红外发光二极管，所述红外发光二极管的个数至少为5个，图5中为8个。所以，所述数据处理流程还包括：在步骤S1中使用红外灯标定板10来标定摄像机3的位置，从而获取摄像机3投影矩阵。所述摄像机3的位置为摄像机3的世界坐标。所述步骤S1优选在步骤S2接收红外图像之前。进行标定时，首先将红外灯标定板置于各个摄像机3前面，并采集一帧红外图像，然后图像处理单元4根据已知世界坐标的红外发光二极管来确定摄像机3的世界坐标，该标定过程为本领域人员所公知，在此不做详细描述。经过标定后的摄像机3理想情况下要保持当前位置不变，如果位置改变优选要重新进行标定。

所述图像处理单元4包括中心处理器，用于控制图像处理单元4的整体操作，所述中心处理器可以为DSP或FPGA。

所述图像处理单元4还包括存储单元，用于存储图像处理单元4的数据处理流程的程序和执行该程序时所产生的数据。所述存储单元优选为Flash存储器。

所述图像处理单元4可以在步骤S9中将经过数据处理后所产生的数据输出，即将包含跟踪对象1的位置姿态的数据以自定义格式输出，可以输出到与图像处理单元4连接的外部设备中。如图1所示，所述外部设备可以为机顶盒、家用游戏机(例如PS2、XBOX)、个人PC等，并可在电视机、显示器、投影仪上显示出跟踪对象1的位置姿态，并可由此显示用户的动作。

使用本发明所提供的位置姿态跟踪系统时，首先要确定需要该系统工作在单摄像机模式还是多摄像机模式，如果采用单摄像机模式，则需要在跟踪对象1上加装扩展角度获取装置6，并根据单摄像机模式的数据处理流程进行处理；使用多摄像机模式时，则不需要加装扩展角度获取装置6，而根据多摄像机模式的数据处理流程进行处理。使用本发明所提供的位置姿态跟踪系统的一个优点就是可以将摄像机的个数大大减小，成本降低。

另一个优点就是通过红外发光装置5的表示跟踪对象1的轮廓、方向的分布特征，可以根据多个发光点共同确定跟踪对象1的位置姿态，而不是根据独立的点来确定，从而减少由于跟踪独立点所导致的混淆的情况。

Claims (10)

1.一种位置姿态跟踪系统，该系统包括跟踪对象(1)、图像采集单元和图像处理单元(4)；所述跟踪对象(1)包括红外发光装置(5)，所述图像采集单元包括用于采集所述红外发光装置(5)发出的红外光的红外截止滤光片(2)以及用于获取红外图像的摄像机(3)；所述图像处理单元(4)从所采集的红外图像中确定跟踪对象(1)的当前位置姿态；其中，所述红外发光装置(5)有多个，分布在跟踪对象(1)上的表示跟踪对象(1)的轮廓特征的轮廓点和区分各个轮廓点的区分点；所述图像处理单元(4)根据所述红外发光装置(5)的分布特征，从所采集的红外图像中分辨出跟踪对象(1)的当前位置姿态。

2.根据权利要求1所述的系统，其中，所述跟踪对象(1)的红外发光装置(5)为红外发光二极管。

3.根据权利要求1所述的系统，其中，所述红外发光装置(5)还分布在表示跟踪对象(1)方向特征的方向点。

4.根据权利要求1所述的系统，其中，所述摄像机(3)为一个或多个。

5.根据权利要求1所述的系统，其中，所述图像处理单元(4)对接收到的红外图像进行数据处理，所述数据处理流程包括以下步骤：

接收红外图像(S2)；

对接收到的红外图像进行图像二值化(S3)；

搜索所有红外发光装置(5)的发光点并获得所有发光点的连通区域(S4)；

根据红外发光装置(5)的分布特征，区分出分布在不同位置的红外发光装置(5)的发光点并确定发光点的位置(S6)；

根据红外发光装置(5)发光点的位置得到跟踪对象(1)在空间中的位置姿态(S8)。

6.根据权利要求1所述的系统，其中，所述跟踪对象(1)还包括扩展角度获取装置(6)；所述扩展角度获取装置(6)包括发光管(7)和具有多个透光孔(9)的遮光外壳(8)；所述发光管(7)位于跟踪对象(1)的内部，发出的光中包含红外光；所述遮光外壳(8)套在跟踪对象(1)具有发光管(7)的部分的外面；所述多个透光孔(9)分为多组，同组透光孔(9)中的每个透光孔(9)透出的光与发光管(7)之间的夹角相同，不同组透光孔(9)透出的光与发光管(7)之间的夹角不同。

7.根据权利要求6所述的系统，其中，摄像机(3)为一个，所述数据处理流程包括以下步骤：

接收红外图像(S2)；

对接收到的红外图像进行图像二值化(S3)；

搜索所有红外发光装置(5)的发光点并获得所有发光点的连通区域(S4)；

区分出红外发光装置(5)和扩展角度获取装置(6)的发光点(S5)；

根据红外发光装置(5)的分布特征，区分出分布在不同位置的红外发光装置(5)的发光点并确定发光点的位置(S6)；

根据扩展角度获取装置(6)的发光角度计算出跟踪对象(1)与摄像机像平面之间的夹角(S7)；

根据红外发光装置(5)发光点的位置，结合跟踪对象(1)与摄像机像平面之间的夹角得到跟踪对象(1)在空间中的位置姿态(S8’)。

8.根据权利要求1-3和5-7中任意一项所述的系统，其中，所述跟踪对象(1)为操作手柄。

9.根据权利要求5或7所述的系统，其中，该系统还包括红外灯标定板(10)，包括多个红外发光二极管，所述数据处理流程还包括：

使用红外灯标定板(10)标定摄像机(3)的位置(S1)。

10.根据权利要求9所述的系统，其中，所述使用红外灯标定板(10)标定摄像机(3)的位置(S1)的步骤，在接收红外图像(S2)的步骤之前。

Images