CN102169366A - 三维立体空间中的多目标跟踪方法 - Google Patents

Abstract

三维立体空间中的多目标跟踪方法，由跟踪装置对被跟踪目标进行三维空间跟踪，被跟踪目标设备上安装有光信号发射器，光信号发射器依据设定的识别码规律的产生光信号，跟踪装置通过摄像机连续拍摄的方式获取光信号的信息，根据光信号规律对被跟踪目标设备的姿势进行跟踪识别，所述姿势为被跟踪目标设备的立体空间位置和旋转。本发明是一套完整的多目标在立体空间的定位和跟踪解决方案，可以很好的和各种立体应用程序配合。用编码的方式将各个关键点加以区分，以此来获得更准确的跟踪效果，实现多目标跟踪，不仅定位准确，而且还可以提供被跟踪目标的方向信息，实现三维坐标的平移及旋转信息的及时获取。

Description

三维立体空间中的多目标跟踪方法

技术领域

本发明涉及计算机立体视觉(Stereo Vision)、通信编码(Channel Coding)、计算机搜索技术(Computer Searching Methods)、模式识别(Pattern Recognition)和数值分析(Numerical Analysis)，适用于虚拟现实和控制系统的输入环节，以及面向轨迹的操作应用，为一种三维立体空间中的多目标跟踪方法。

背景技术

目前，普及应用的输入设备主要是键盘为代表的按键类设备和鼠标触摸屏为代表的指点类设备。在文字处理和日常性办公室用中可以很好的满足要求，但是在日趋火热的三维处理领域，以符号或二维坐标为输入信号的外围设备则不能很好的适应这种趋势。而现有的三维输入系统又存在实时性、精度、自由度、可靠性、便携性、成本等方面的不足。为此，一种廉价的易于集成的实时三维立体输入技术将促进立体技术的普及和应用深入。

三维输入设备主要有以下几种：

(1)三维扫描仪：通过对同一物体多角度的扫描来重建物体的立体模型。优点：扫描精度高。缺点：扫描时间长，不适合运动物体的建模。

(2)运动重建设备：使用运动传感器，可以感知设备加速度和角度的变化，然后通过积分来重建运动轨迹。优点：成本低，适合简单应用。缺点：初始位置无法确定，只能通过积分变换得到相对位移。此类的输入设备的数据精度不高，且误差有时间累积效应。

(3)3D摄像机：模仿人眼的结构，通过两个或以上摄像头同步获取的图像进行解析，以达到三维模型的重建。优点：理论上可以媲美人眼来完全解析任何立体。缺点：算法耗费运算量很大，成像质量要求高，不适合大规模实时的场合。

(4)透视法解析：此方法只适合空间某点的解析，利用“近大远小”的透视法则使用一个摄像机来对球型物体进行定位。优点：成本极低，算法简单，实时性好。缺点：精度一般，不能进行旋转操作。

(5)深度摄像机：

a)第一种是投影设备对物体投射有规律的图案，然后对反馈回来的空间扭曲图案进行逆向解析来得到立体影像。缺点：需要额外的投影设备，分辨率受到投射图案和摄像设备的双重限制。

b)第二种是由光源以脉冲的形式发光，然后对光线传播的时间进行计算，得到物 体的立体影像。缺点：要求有精确的拍摄时间控制。

共同优点：算法相对简单，容易集成；共同缺点：对被解析物体材质的反光特性有一定要求；受环境光影像很大。

(6)三维鼠标：由传统鼠标升级而成，加入了旋钮和可升降的机械模块，用于表示立体空间中的上下移动和旋转。优点：符合传统使用习惯，成本低。缺点：Z轴方向上的移动相对较慢，附加的输入设备不符合人体对高度和旋转的直接理解，不能做到快速实时的立体轨迹的输入。

对于目前的输入技术，主要问题集中在以下几个方面：

(1)摄像机的限制：目前的摄像机虽然较以前有了明显的进步，但对于运动跟踪而言，高速摄像机的功耗、体积和价格都不能满足普及的需要。普通图像传感器在高速获取图像的时候，为了保证所获取的画质，曝光时间上必须满足一定的条件，通常室外1/30秒，室内1/5秒；为了保证足够的细节，通常采用彩色摄像机，对彩色的输出使得内部带宽比灰度摄像机增加了3倍，对获取图像的数据处理计算量十分庞大，计算速度也受到限制。

(2)算法的限制：一般的步骤包括目标轮廓的提取和识别，关键点的识别与对齐，目标位置和状态的还原。每一步都会有比较苛刻的条件限制。如复杂物体的建模，需要对大量的样本进行训练，同时也需要充足光照。

(3)误差的控制：上一次跟踪状态的误差往往会传播到当前判定过程，误差随时间又积累效应。当误差积累到一定限度以后，系统往往会对所跟踪的目标进行误判并丢失目标。同时，精度和速度往往是一对不可调和的矛盾。

发明内容

本发明要解决的问题是：现有的三维立体输入技术，在实际应用中由于受到图像传感器、跟踪算法和跟踪误差等限制，存在系统复杂、设备昂贵、跟踪时受限条件多、精度不高、输入信息处理数据量大等各种问题。

本发明的技术方案为：三维立体空间中的多目标跟踪方法，由跟踪装置对被跟踪目标进行三维空间跟踪，被跟踪目标设备上安装有光信号发射器，光信号发射器依据设定的识别码规律的产生光信号，跟踪装置通过摄像机连续拍摄的方式获取光信号的信息，从而对被跟踪目标设备的姿势进行跟踪识别，所述姿势为被跟踪目标设备的立体空间位置和旋转：

在被跟踪目标上选定关键点，在关键点上对应设置光信号发射器，并对应设置编码电路和时序控制电路，编码电路对每一个光信号发射器设置唯一的二进制识别码，二进制识别码对应光信号发射器的亮灭，所述二进制识别码之间满足一个识别码与其余任意 识别码经过“或运算”后不能得到另一个识别码；时序控制电路控制所有光信号发射器的亮灭时序，所述亮灭时序与摄像机帧时序在时间上保持同步，光信号发射器按照二进制识别码和亮灭时序，不断发出周期性光信号，组成定位坐标系统；

开始跟踪时，首先进行初始化，设置被跟踪目标设备上的关键点对应的光发射器全亮，跟踪装置在建立光信号立体坐标的基础上，将被跟踪目标经过一个帧时序后所有可能的姿势作为初值，用来生成初始的轨迹路径，轨迹路径是对被跟踪目标的姿势关于时间的描述；

跟踪装置通过对关键点的识别实现对被跟踪目标运动轨迹路径的更新，跟踪装置包括跟踪信号接收系统和跟踪信号处理系统，所述跟踪信号接收系统由一组摄像机及立体坐标重建模块组成，摄像机即为图像传感器及其配套的光学系统，图像传感器在光信号发射器亮灭的同时，同步拍摄获取其光信号，立体坐标重建模块在一组摄像机成像平面的基础上重建所获取的光信号的空间坐标；

跟踪信号处理系统依据编码电路设置的识别码以及亮灭时序进行动态解码，解码的过程也就是对被跟踪目标进行跟踪的过程：由识别码确定设置在关键点上光信号发射器的亮灭，将识别码确定的亮灭时序与同步拍摄的图像序列对应，搜索光信号和关键点之间的对应关系，确定关键点的空间坐标信息；由轨迹路径预测出当前时刻被跟踪目标设备的姿势，然后根据关键点的空间坐标对预测姿势进行校正；根据校正前后姿势的差异值，选择差异值最小的校正后姿势，确定为被跟踪目标设备在空间中的姿势，并将其更新到轨迹路径中，如此循环，实现对被跟踪目标姿势的持续跟踪，其中轨迹路径最多保留l帧所对应的姿势用于预测下一帧的姿势，l为假定运动状态不变的时间段所对应的帧数，为进行跟踪之前的初始设定值。

对每一个被跟踪目标设置多条轨迹数据来保存搜索过程中得到的各种可能的轨迹路径所对应的姿势及其拍摄时间，并将所述轨迹数据作为下一次跟踪的预测姿势的预测基础；对同一个被跟踪目标的不同轨迹数据所记录的校正前后姿势的差异值求和，得到轨迹数据的总差异值，确定与总差异值差别最小的轨迹数据所对应的轨迹路径作为实际的运动轨迹结果输出，用于防止预测错误的发生。

在校正被跟踪目标姿势之后，检查在此姿势下，搜索到的关键点是否涵盖了所有摄像机理论上可以捕捉到的关键点，检查过程依据关键点在被跟踪目标设备上的位置、关键点对应光发射器的亮灭情况和校正出来的姿势来进行。

优选跟踪装置和被跟踪目标设备之间有通信连接，用于数据和指令的传输，保证跟 踪装置和被跟踪目标设备之间的时序同步。

本发明采用双目摄像机，通过捕捉至少3个不共线的关键点及其立体空间坐标确定被跟踪目标设备的姿势，立体坐标重建模块通过双目摄像机获得的图像基础上重建出光信号的立体坐标点，所述的双目摄像机是指拍摄图像完全同步的两台并列摆放的摄像机。

进一步的，被跟踪目标上还设有运动传感器，运动传感器获取被跟踪目标的运动参数输入跟踪信号处理系统，用于识别被跟踪目标运动状态的突然改变，所述运动传感器包括电子陀螺仪和加速度传感器；被跟踪目标设备在当前时刻的预测姿势由被跟踪目标运动的轨迹路径和运动传感器输出的数据共同确定。

优选光信号发射器为LED发光二极管，跟踪装置采用黑白摄像机基于计算机立体视觉对观察区域内活动的多个被跟踪目标的运动轨迹进行跟踪；跟踪装置中设有光学滤波器，光学滤波器允许通过光线的波长与光信号发射器发出的光信号波长相一致，关键点的光信号经过光学滤波器后输入图像传感器。

跟踪信号处理系统设有对外接口模块，用于接收主机的命令和提交跟踪结果。

本发明假设被跟踪目标设备的运动具有短时平稳性，即被跟踪目标的运动在短时间内的运动参数不会连续剧烈变化，这样才能保证通过采集不同时刻的部分关键点坐标来还原被跟踪目标的姿势，目前的实际操作中的三维跟踪应用场合，运动目标的运动基本都具有短时平稳性。

为了解决现有技术中存在的问题，本发明采用高亮度的LED发光二极管来发射信号，使得黑白摄像机进行超短时间(例如1/10000秒)的曝光也可以获得高质量的信号，解决了低成本传感器对高速运动物体引起的拖尾现象；只针对光点进行识别，不需要对被跟踪目标的复杂立体结构进行影像配准(注册)，而只需要确定光点对应的关键点的位置就可以进行识别；关键点的对应的光信号发射器由事先确定的识别码控制亮灭，可以在动态中对各个关键点加以区分。其中光点的位置由一组摄像机决定，以摄像机位参考点，误差不会随时间的积累而扩散。在本发明系统中，由于只需要对有限的关键点进行追踪，算法的复杂度只和关键点的个数以及搜索的深度有关，当系统对目标进行误判以后，由于各关键点的有互异的编码，可以有效地对丢失的目标状态进行纠正，并排除干扰项。

本发明是一套完整的多目标在立体空间的定位和跟踪解决方案，可以很好的和各种立体应用程序配合。用编码的方式将各个关键点加以区分，以此来获得更准确的跟踪效 果，实现多目标跟踪，不仅定位准确，而且还可以提供被跟踪目标的方向信息，实现三维坐标的平移及旋转信息的及时获取。

本发明的的有益效果是：实现了低成本的精确多点在三维立体空间中的定位。在三维设计、3D操作系统、远程医疗、虚拟现实、涉及立体的实时操作领域内有着广泛的应用，并且原理简单，利于普及推广，具体有如下优点：

1)对图像传感器的要求低：曝光时间要求短、灰度或黑白图像、不要求图像处理模块，只在高速跟踪时候对帧速(fps)有一定要求，降低了系统成本；

2)各个模块之间的数据交换量小：对于数据量最大的图像数据，只传送有限个亮点数据及其坐标的压缩矩阵，降低了硬件设计的难度；

3)使用了编码技术，处理对象从图像象素或图像特征变为三维立体空间中的关键点，降低了跟踪处理设计的难度并提高了跟踪精确性；

4)使用了辅助运动传感模块，即运动传感器，进一步降低了第(1)项中帧速的要求，给跟踪处理提供了更好的预测模型；

5)利用多个关键点之间的空间拓扑关系可以减少跟踪算法搜索的复杂度。

附图说明

图1为本发明被跟踪目标在空间中运动时的姿势以及关键点的编码的示意图，被跟踪目标设备在运动时关键点的亮灭情况编码为：关键点1：1100，关键点2：1001，关键点3：0011，关键点4：0110。

图2为本发明被跟踪目标运动过程中，相邻运动状态的解码过程：

图3为本发明被跟踪目标部分的设备结构示意图。

图4为本发明跟踪装置的结构示意图。

图5为本发明系统的整体流程结构示意图。

图6为操作者在本发明摄像机前移动或旋转手持目标设备，系统对其进行立体位置和角度的跟踪示意图。

图7为本发明的应用举例一：雕塑家直接用本系统输入的空间轨迹雕塑各种造型。

图8为本发明的应用举例二：医生在远程通过视频对手术器官进行观察，用本系统提供的立体坐标输入设备控制手术刀，对经过数字化放大处理的三维影像进行精确手术。

图9为本发明对多个目标设备进行跟踪的示意图。

具体实施方式

本发明是一种三维立体空间中的多目标跟踪方法，对被跟踪目标的关键点用识别码 的方式来进行区分，使用一组高速摄像机对跟踪区域的关键点实现立体空间的跟踪和定位，并通过运动传感器来增强跟踪预测的效果。

具体为：由跟踪装置对被跟踪目标进行三维空间跟踪，被跟踪目标设备上安装有光信号发射器，光信号发射器依据设定的识别码规律的产生光信号，跟踪装置通过摄像机连续拍摄的方式获取光信号的信息，从而对目标设备的姿势进行跟踪识别，所述姿势为被跟踪目标设备的立体空间位置和旋转：

在被跟踪目标上选定关键点，在关键点上对应设置光信号发射器，并对应设置编码电路和时序控制电路，编码电路对每一个光信号发射器设置唯一的二进制识别码，二进制识别码对应光信号发射器的亮灭，所述二进制识别码之间满足一个识别码与其余任意识别码经过“或运算”后不能得到另一个识别码；时序控制电路控制所有光信号发射器的亮灭时序，所述亮灭时序与摄像机帧时序在时间上保持同步，光信号发射器按照二进制识别码和亮灭时序，不断发出周期性光信号，组成定位坐标系统；

开始跟踪时，首先进行初始化，设置被跟踪目标设备上的关键点对应的光发射器全亮，跟踪装置在建立光信号立体坐标的基础上，将被跟踪目标经过一个帧时序后所有可能的姿势作为初值，用来生成初始的轨迹路径，轨迹路径是对被跟踪目标的姿势关于时间的描述；

跟踪装置通过对关键点的识别实现对被跟踪目标运动轨迹路径的更新，跟踪装置包括跟踪信号接收系统和跟踪信号处理系统，所述跟踪信号接收系统由一组摄像机及立体坐标重建模块组成，摄像机即为图像传感器及其配套的光学系统，图像传感器在光信号发射器亮灭的同时，同步拍摄获取其光信号，立体坐标重建模块在一组摄像机成像平面的基础上重建所获取的光信号的空间坐标；

跟踪信号处理系统依据编码电路设置的识别码以及亮灭时序进行动态解码，解码的过程也就是对被跟踪目标进行跟踪的过程：由识别码确定设置在关键点上光信号发射器的亮灭，将识别码确定的亮灭时序与同步拍摄的图像序列对应，搜索光信号和关键点之间的对应关系，确定关键点的空间坐标信息；由轨迹路径预测出当前时刻被跟踪目标设备的姿势，然后根据关键点的空间坐标对预测姿势进行校正；根据校正前后姿势的差异值，选择差异值最小的校正后姿势，确定为被跟踪目标设备在空间中的姿势，并将其更新到轨迹路径中，如此循环，实现对被跟踪目标姿势的持续跟踪，其中轨迹路径最多保留l帧所对应的姿势用于预测下一帧的姿势，l为假定运动状态不变的时间段所对应的帧数，为进行跟踪之前的初始设定值

本发明通过至少3个不共线的关键点及其立体空间坐标，采用双目摄像机确定被跟踪目标设备的三维空间坐标及其指向，立体坐标重建模块通过双目摄像机获得的图像基础上重建出光信号的立体坐标点，所述的双目摄像机是指拍摄图像完全同步的两个并列摆放的摄像机。

本发明对图像传感器的要求低：曝光时间要求短、灰度或黑白图像、不要求图像处理模块，只在高速跟踪时候对帧速(fps)有一定要求，没有运动传感器时，满足 

就可以实现跟踪，其中系数2是考虑到其他因素产生的干扰而放宽的100％冗余，f_min是对摄像机拍摄速率的最低要求，d是关键点之间的最小距离，Δa_max是被跟踪目标设备受到外力做出的加速度改变量的最大值。比如：Δa_max＝10g，d＝0.1m时，摄像机速率要达到60fps左右，g是重力加速度。

进一步的，本发明在被跟踪目标上设有运动传感器，运动传感器获取被跟踪目标的运动参数输入跟踪信号处理系统，以增强跟踪性能。光信号发射器为LED发光二极管，跟踪装置采用黑白摄像机基于计算机立体视觉对观察区域内活动的多个被跟踪目标的运动轨迹进行跟踪。跟踪装置中设有光学滤波器，关键点的光信号经过光学滤波器后输入图像传感器；跟踪信号处理系统设有对外接口模块。

本发明的目的是提供一种三维目标跟踪方法，建立一套快速低成本的三维立体输入系统，以满足日益发展的三维立体应用的需要。具有以下基本特点：

(1)用LED发光二极管作为输入信号的发射器，其亮度可以使其轻易地在快速曝光的同时从背景中被提取出来，降低了对图像传感器的要求；且单色性好，可以和滤光系统配合使用以达到更高的性噪比。

(2)集成有运动传感器，及时更新被跟踪目标的运动状态，在其动作状态突然改变的时候为后续跟踪信号处理系统的跟踪算法提供更准确的目标位置和方向。

(3)信号源，也就是关键点用二进制识别码中不同的0、1码来表示亮、灭状态，其中0(灭)的状态可以理解为背景，没有实际的意义。本发明对各个关键点进行编码，在系统区分关键点的同时，相对于多频或变频系统简化了光学系统的设计，相对于形状或图案识别系统算法设计而言，简化了对象识别的复杂度。

(4)对于一个被跟踪目标，选取多个关键点，各关键点彼此之间的位置存在联系。跟踪系统只需要捕捉其中3个关键点的信号源即可确定目标的立体空间位置和旋转。

(5)精度高，定位准确，设备只处理拍摄图像的亮点数据，数据传输量小，可以很容 易升级至高清晰图像传感器而不用担心传输率的瓶颈。相对其他需要搜索关键点的跟踪系统来说，本发明减少了判断错误的概率。

(6)抗干扰能力强，对不符合编码的干扰源有一定的容错率，误差不会随时间增长：本发明方法不受环境光源(电子设备的指示灯，玩具，照明设备……)、目标移动过快导致的图像不连贯、传感器精度不够高等因素影响。

(7)由于本发明的跟踪识别中，只对光信号进行处理，不需要复杂的计算，算法简单，速度快，软硬件实现都很容易。算法可以做到使用简单的处理芯片时，摄像机摄取的每一帧也都可以做到实时处理。

(8)成本低，功耗小。可集成在各类移动设备上，大大拓展了3D应用的使用范围。

本发明的光信号发射器也可以采用其它的信号源，如探险机器人可以安装X光光源来达到更好的穿透性。

为了让计算机能够理解物体的立体结构，需要在多幅画面中找出可以表示物体状态的一组关键点或轮廓，然后通过各种算法来解析物体的状态。本发明用光信号时序编码的方式极大的简化了关键点的提取和区分，并降低了图像传感器的要求，实现了多点立体运动轨迹的快速建模。几乎可以忽略环境光的影响和其它信号源的干扰。运动传感器可以快速感知运动状态的突然改变，有很好的辅助预测效果。通过对二进制识别码的设置，可以提供更好的纠错性能。

下面具体描述本发明方法中的各基本结构：

(1)包括可以活动的从属设备(remote slave device)和负责解析运动以及接口通信的固定端主设备(fixed master device)，从属设备对应被跟踪目标，在从属设备上设置关键点，主设备进行跟踪识别。如图3，被跟踪目标与关键点之间的相对位置固定，跟踪装置从通信接口读取指令和数据，并按照给定的二进制识别码依次点亮或熄灭LED灯，同时传回从运动传感器获得的数据。其他输入输出设备也可以通过通信接口进行交流。

(2)从属设备上安装有若干个波长一致的光信号发射器，所述光信号发射器与关键点一一对应，各发射器独立发出二进制“01”光信号序列。

(3)LED灯的选择以单一波长的为佳。此时可以和接收系统的滤光系统匹配，提高系统的信噪比

(4)从属设备上集成有运动传感器，可以感知各个方向上加速度和角度的变化。

(5)从属设备上集成有通信组件，和主设备之间建立实时的通信连接进行命令和数据的交换。

(6)从属设备上还可以集成其他的输入输出设备，如按键、轨迹球、震动设备、喇叭、麦克风，感应力度的传感器等，在三维立体空间跟踪的基础上，拓展设备的应用范围。

(7)主设备集成有光学滤波系统，减少环境光造成的影响。

(8)主设备安装有一组摄像机，基于计算机立体视觉技术，感知光信号器发出的信号，并解析出三维立体坐标。

(9)主设备上集成有通信组件，和多个从属设备建立实时的通信连接进行命令和数据的交换。

(10)主设备集成数据采集和处理单元，对实时采集的数据进行分析和处理，接受和处理来自主机的命令，相应从属设备的请求和对其下达指令。

(11)主设备集成有和主机的通信组件，和主机进行实时通信，将跟踪的结果即使报告给主机。

(12)系统对多个关键点进行编码，通过编码组合，支持一个主设备对多个关键点的定位和跟踪，如图9所示。

(13)不同波长系统之间没有干扰。

下面具体描述本发明的实施步骤和系统的跟踪过程：

图4为本发明跟踪装置的结构示意图。其中光学滤波系统只允许特定波长的光通过，降低环境光的影响，保证如果有几套系统互不影响地同时工作。

在光信号进入系统以后，由图像传感器芯片来获取光点的位置。在曝光时间极短的情况下，传感器只能捕捉到高亮度的光源，其余部分则曝光不足，相应亮度很小。此时，把不是亮点的像素全部设为零，则捕捉到的图像的亮度矩阵是一个稀疏矩阵。用压缩矩阵来存储和传输此矩阵，数据量在640x480分辨率、100个亮点时，数据量减少至原来的0.07％。进一步可以将相邻的亮点做积分，得到其亮度中心和总亮度，再传给下一级处理。

在亮点数据进入一个先进先出缓冲之后，由一个处理单元对亮点数据以及通信接口传来的数据进行分析和处理。并最终将跟踪到的目标设备轨迹通过与主机之间的接口传递给主机。

同时，处理器还担负着处理主机发来的指令和维持整套系统运行的任务。

下面是系统实施的具体步骤：

步骤一：摄像机立体标定

在计算机立体视觉技术中，我们需要从摄像机获取的图像中得到世界坐标的对应关系，而这种对应关系是由摄像机成像的几何模型决定的。获取这些几何参数的方法就被称为摄像机标定。在立体视觉里，不仅需要单个的摄像机参数，各个摄像机之间的相对位置也是重建立体目标的重要参数。有了各个摄像机的几何成像参数以及他们之间的相互位置关系，我们就可以通过一组摄像机来重建光点的立体坐标。

步骤二：系统初始化

(1)外部接口初始化

包括跟踪装置和上位机之间的连接，驱动的安装，建立跟踪系统和外部主机之间的联系。

(2)主从设备的通信连接初始化

建立命令和数据通道，然后通过有线或无线的通信连接，获得被跟踪目标的数量以及各目标具体的软硬件配置等信息，并对其进行设置。硬件信息包括设置在被跟踪目标上关键点的位置、运动传感器的型号和参数、各输入输出接口的配置等信息。

(3)时钟同步校准

如前所述，跟踪系统的限制之一是采用摄像机的速度，为了节省追踪信号的带宽，需要对主从设备进行时钟校准，使得被跟踪目标上关键点的亮灭可以完整清楚地被摄像机捕捉到。具体的方法有：共用一个时钟；时钟同步；采用中断或命令的方式在每帧拍摄完成之后设置关键点的亮灭。

(4)运动传感器初始化

运动传感器作为跟踪系统的辅助工具，用于识别被跟踪目标运动状态的突然改变，优选地设置在被跟踪目标设备的物理重心上，具有三维立体空间内三个轴向上的感知能力。在没有运动传感器的跟踪过程中，设备跟踪目标设备可能在受到外力作用，使得运动状态突然改变时预测出下一步的位置，不能让真正的运动轨迹路径获得最优的差异值，即出现误判。运动传感器的参数设定原则：

a)精度和最小量程必须能够防止误判；

b)刷新率必须达到摄像机的拍摄速率；

c)最大量程定了系统最终的跟踪能力，在满足原则a)和b)的基础上，应尽可能设定为的最大值。

(5)摄像机初始化

对于本发明的立体跟踪方法而言，对外界的图像摄取必须保持同步，所有时序必须保持一致。推荐的方法是所有摄像机均采用统一的硬件配置，统一的时钟信号和统一的配置参数，并利用图像传感器提供的同步信号管脚来完成摄像机的同步。

步骤三：跟踪处理

本发明中每个关键点被赋予了一串长度为L的二进制编码。关键点上的LED等依据编码按摄像机拍摄次序亮灭。如图1，关键点固定在被跟踪目标上，并依据事先设定的编码规则亮灭。虚线及其上的箭头表明了被跟踪目标运动的轨迹，目标上的姿势由其自身的坐标系在世界坐标系中的相对位置来表示。本发明基本原理就是利用二进制识别码来区分不同的关键点，由跟踪不同的关键点来跟踪多个目标的轨迹路径。

图1中采用正四边形的拓扑结构。考虑到要完全确定物体的位置和方向，在已知摄像机位置的情况下，需要3个的有编号的关键点被捕捉到。4个点则是为了避免出现旋转时某点被遮挡的情况。实际的目标设备可以根据自身的物理结构灵活选择关键点的位置。在实际应用中需要针对被跟踪目标设备的形状和运动特点来设定关键点的位置。

跟踪处理是按照摄像机的拍摄时间点来划分步骤的，如图5。首先说明一下涉及的各种参数：

(1)帧时序k，表示摄像机连续拍摄图像的序数，所对应的曝光时刻记为t^k。

(2)被跟踪目标设备序号n，其中n＝1..N，N为被跟踪目标设备的总数。

(3)轨迹路径序号r，轨迹路径表示某个被跟踪目标设备最近运动所形成的空间路径及其指向。

(4)光信号所对应的立体坐标集合 ，其中元素为立体空间中的一个点。

(5)被跟踪目标设备n上关键点对应光信号的亮灭情况 即在t^k时刻被跟踪目标设备n上对应光发射器被点亮的关键点所对应的集合，其元素为关键点的编号。

(6)姿势S，表示被跟踪目标设备在空间中的位置和旋转，包括表示XYZ三个坐标轴上的位置向量[x，y，z]′和表示旋转的欧拉角向量[α，β，γ]′，其中被跟踪目标设备的位置优选地设置在其物理重心上。

(7)跟踪过程中对两个姿势S₀和S₁之间的差异值的计算：

$D(S_0,S_1)={(x_1-x_0)}^2+{(y_1-y_0)}^2+{(z_1-z_0)}^2+{\stackrel{\‾}{r}}^2{\mathrm{\θ}}^2$

其中θ是S₀和S₁之间由于旋转不同而产生的旋转角度差，由(α₀，β₀，γ₀)和(α₁，β₁，γ₁)确定；(x₀，y₀，z₀)、(α₀，β₀，γ₀)分别是S₀的空间坐标和欧拉角，(x₁，y₁，z₁)、(α₁，β₁，γ₁)分别是S₁的空间坐标和欧拉角， 

是目标设备中心到各个关键点的平均距离。

(8)节点node_i，包含：

a)节点所对应图像的拍摄时间t_i；

b)被跟踪目标的空间姿势S_i；

c)校正预测姿势前后的差异值D_i。

(9)轨迹数据 表示被跟踪目标设备n在t^k时刻假设经过轨迹路径r时的数据结构：

a)轨迹路径上容量为l的节点列队node₀，node₁，……，node_l-1，每放进一个节点到队列首部，其余节点自动向后移一位，并删除位于尾部的节点；

b)轨迹函数系数a₀，b₀，c₀，a₁，b₁，c₁...，所述函数系数与节点用于确定轨迹函数；

c)轨迹路径的总预测差异值 其中i是 中的节点编号。

(10)轨迹数据列表 

表示被跟踪目标设备n在t^k时刻出现总预测差异值最小的∑条轨迹路径，其内容是总预测差异值从小到大排列的∑个轨迹数据。

(11)轨迹函数 表示被跟踪目标设备n在时刻t^k假定经过轨迹路径的情况下，姿势的位置随时间变化的情况，优选形式为关于时间t的多项式。在没有运动传感器的情况下，轨迹函数还应当包含姿势的在各个欧拉角分量随时间变化的情况，即 

此时为了保证函数的连续，各个角度都是实际转过的角度，不需要限定范围。

(12)轨迹函数系数的确定：给定一组节点的姿势和拍摄时刻，由这些姿势和时刻组成的方程组来确定轨迹函数的系数。如果方程的数量不足以解出所有的系数，那么多出来的高阶系数全部置零。

(13)姿势的预测过程，在已知上一步轨迹函数 

的情况下：

a)如果没有运动传感器，直接给出预测姿势 

b)如果有运动传感器，对 求导得到运动速度，然后用传感器数据来计算位移和欧拉角的改变量，从上一个拍摄时刻的姿势和速度计算出当前时刻的预测姿势。

(14)姿势校正过程，即在满足差异最小的情况下，姿势进行移动和旋转变换，使得关键点位置符合相应光信号坐标。在已知预测姿势和部分关键点的立体坐标时，校正过程如下：

a)由关键点位置和被跟踪目标设备位置的空间信息，得到被跟踪目标设备可能位置的一个集合，当只有一个关键点时，此集合表现为空间中的一个球面，两个点时表现为一个圆，三点或三点以上时表现为一个点；

b)根据几何知识，将姿势的空间位置平移到a)得到的集合中最近的一个点上，然后根据关键点位置调整姿势的旋转角度。

(15)姿势确认函数g(κ，χ，S)，为事前设定的函数：

在已知被跟踪目标设备姿势S的情况下，摄像机只能拍摄到部分亮点，用集合π(S)表示；此时又由识别码得知对应光信号发射器被点亮的关键点集合κ，那么实际拍摄到的关键点集合χ需要满足条件：χ＝π(S)∩κ，即可以捕捉到的关键点完全被捕捉到。其中集合π(S)的计算还需要知道被跟踪目标设备的几何形状和关键点的物理分布。

如图2为本发明被跟踪目标运动过程中，在已经找到关键点和两点之间映射关系的情况下，对被跟踪目标设备姿势的校正过程。

下面说明具体的跟踪方法：跟踪装置对每个被跟踪目标设备的跟踪过程是独立的，但步骤相同，所以只给出了任意一个编号为n的被跟踪目标设备的跟踪过程。

首先是初始化或重置过程：设此时的帧时序为k，

(1)清空轨迹数据列表 

(2)跟踪装置向被跟踪目标设备n发出重设指令；

(3)被跟踪目标设备n响应重设指令，置其上的关键点对应的光信号发射器全亮，此时可能拍摄到的关键点集合 

为被跟踪目标设备n上关键点的全体；

(4)摄像机拍摄一帧，记录下拍摄时间t^k，根据立体坐标重建模块重建出的光点坐 标，得到光信号所对应的立体坐标集合 

(5)搜索 

中元素对应于 

中坐标或没有被捕捉到的情况，得到实际拍摄到的关键点集合 

及对应坐标，关键点立体坐标之间应满足他们在被跟踪目标设备上的相对位置关系；

(6)对于步骤(5)中搜索到的每种对应关系，由不少于3个关键点的组合计算出相应的姿势 

如果通过函数 

确认关键点组合成立，就生成新节点 

并添加进一个新生成的空轨迹数据 

计算相应的轨迹函数系数；

(7)步骤(5)中所有生成的轨迹数据都加入轨迹数据列表 开始执行帧时序为k+1的跟踪过程。

初始化之后的跟踪过程为：设此时的帧时序为k，

(1)摄像机拍摄一帧，记录下拍摄时间t^k，根据立体坐标重建模块重建出的光点坐标，得到光信号所对应的立体坐标集合 

(2)由各关键点的识别码得到可能拍摄到的关键点集合 

是被跟踪目标设备n识别码k％L位上为“1”的关键点，符号％表示“取余”运算，L是识别码长度；

(3)搜索 

中元素对应于 

中坐标或没有被捕捉到的情况，得到实际拍摄到的关键点集合 及对应坐标，关键点立体坐标之间应满足他们在被跟踪目标设备上的相对位置关系，对搜索得到的每一种对应情况，重复步骤(4)～(6)；

(4)枚举上次的轨迹数据列表中的轨迹数据 

预测当前的姿势 

(5)如果用步骤(3)中搜索到的关键点坐标在预测姿势 

附近，那么就用这些坐标校正预测姿势 得到校正姿势 

和校正前后的差异 

(6)如果被跟踪目标设备通过 

确认，就生成新的节点 

复制 

并生成新的轨迹数据 

将 

添加 到 

中去，然后更新 

的出现总预测差异值 

其中r是新生成轨迹数据序号；

(7)复制所有 

并生成新的轨迹数据 

更新 

然后更新 

的总差异值 

表示摄像机没有拍摄到本跟踪设备n上的关键点或者关键点对应光信号全灭的情况，其中r是新生成轨迹数据序号，D_p是预先设定的最大估计差异值；

(8)对步骤(6)和(7)生成的所有轨迹数据按照总预测差异值从小到大进行排序，保留总预测差异值最小的∑条生成轨迹数据列表 

(9)更新 中轨迹数据的轨迹函数系数；

如果 

中出现总差异值最小的轨迹路径大于事前设定的阈值，则跟踪装置重置被跟踪目标设备n，否则输出总差异值最小的轨迹数据，回到步骤(1)进行帧时序为k+1的跟踪。

通过步骤1)至9)的循环，实现对被跟踪目标的位置及方向的连续识别。每一次循环得到新一批数据并更新上一轮计算得到的轨迹数据，也就是更新上一轮计算得到的轨迹的最后位置及方向。

是对每一个被跟踪目标设置多条轨迹数据来保存搜索过程中得到的各种可能的轨迹路径所对应的姿势及其拍摄时间，同一个被跟踪目标的不同轨迹数据对记录的姿势所对应的差异值求和，得到轨迹数据的总差异值，优选确定总差异值最小的轨迹数据代表实际的运动轨迹，用于防止预测错误的发生。

在校正被跟踪目标姿势之后，需要检查在此姿势下，搜索到的关键点是否涵盖了所有摄像机理论上可以捕捉到的关键点，检查过程需要依据关键点在被跟踪目标设备上的位置、关键点对应光发射器的亮灭情况和校正出来的姿势。。

本发明的运动传感器包括1)加速度传感器：输入为芯片感知的运动加速度，负责对目标系统在各方向上的速度进行修正；2)电子陀螺仪：输入为芯片感知的运动角速度，负责对目标系统各旋转角度进行修正。

关键点的编码为一串长度为L的二进制编码，并通过LED灯的亮灭发送给接收设备，所述二进制编码为有限域上的二进制编码 

的一个子集 

在接收端，摄像 机只能观察到表示“1”的亮点，而表示“0”的暗点将淹没在背景之中。为了达到最佳的性能，对于二进制编码a，b∈ 

，需要遵循以下的基本原则：

为了降低噪声的影响，系统会考虑亮点误判的情况。因此规定编码中不存在一个码字的“1”完全在另一个码字中相同位置出现的情况，即两个二进制编码a、b之间按位取或时：a|b≠a，a|b≠b，例如，全“0”和全“1”都不在 

中。

图6为操作者在本发明摄像机前移动或旋转手持目标设备，系统对其进行立体位置和角度的跟踪示意图。系统可以对目标设备在空间上各种平移和旋转运动进行跟踪，并实时地将跟踪结果传递给主机。主机根据轨迹来虚拟一个网球拍的运动。

图7为本发明的应用举例一：雕塑家直接用本系统输入的空间轨迹雕塑各种造型。本例为三维设计的具体应用。传统的三维设计受到输入设备的限制，只能对立体的某一个抛面进行操作。而本系统则可以精确的控制虚拟工具的轨迹和方向，让使用者体验如同在现实世界中的雕塑行为。

图8为本发明的应用举例二：医生在远程通过视频对手术器官进行观察，用本系统提供的立体坐标输入设备控制手术刀，对经过数字化放大处理的三维影像进行精确手术。本例的为计算机辅助操作的具体应用。在实际手术操作中，手术的精确性和实时性是衡量手术质量的重要指标。然而，人类感知的极限则很大程度上制约了手术的精细操作。图例中则提供了一种遥控方案，解决了这种制约。进一步，本例还可以拓展，如对操作手定义复杂的动作集合来减少操作着的工作量。

图9为本发明对多个目标设备进行跟踪的示意图。多个被跟踪目标设备上的关键点之间由识别码加以区分，使得系统具有了同时跟踪多个目标的能力。

Claims (8)

1.三维立体空间中的多目标跟踪方法，由跟踪装置对被跟踪目标进行三维空间跟踪，其特征是被跟踪目标设备上安装有光信号发射器，光信号发射器依据设定的识别码规律的产生光信号，跟踪装置通过摄像机连续拍摄的方式获取光信号的信息，从而对被跟踪目标设备的姿势进行跟踪识别，所述姿势为被跟踪目标设备的立体空间位置和旋转：

在被跟踪目标上选定关键点，在关键点上对应设置光信号发射器，并对应设置编码电路和时序控制电路，编码电路对每一个光信号发射器设置唯一的二进制识别码，二进制识别码对应光信号发射器的亮灭，所述二进制识别码之间满足一个识别码与其余任意识别码经过“或运算”后不能得到另一个识别码；时序控制电路控制所有光信号发射器的亮灭时序，所述亮灭时序与摄像机帧时序在时间上保持同步，光信号发射器按照二进制识别码和亮灭时序，不断发出周期性光信号，组成定位坐标系统；

开始跟踪时，首先进行初始化，设置被跟踪目标设备上的关键点对应的光发射器全亮，跟踪装置在建立光信号立体坐标的基础上，将被跟踪目标经过一个帧时序后所有可能的姿势作为初值，用来对应生成初始的轨迹路径，轨迹路径是对被跟踪目标的姿势关于时间的描述；

跟踪装置通过对关键点的识别实现对被跟踪目标运动轨迹路径的更新，跟踪装置包括跟踪信号接收系统和跟踪信号处理系统，所述跟踪信号接收系统由一组摄像机及立体坐标重建模块组成，摄像机即为图像传感器及其配套的光学系统，图像传感器在光信号发射器亮灭的同时，同步拍摄获取其光信号，立体坐标重建模块在一组摄像机成像平面的基础上重建所获取的光信号的空间坐标；

跟踪信号处理系统依据编码电路设置的识别码以及亮灭时序进行动态解码，解码的过程也就是对被跟踪目标进行跟踪的过程：由识别码确定设置在关键点上光信号发射器的亮灭，将识别码确定的亮灭时序与同步拍摄的图像序列对应，搜索光信号和关键点之间的对应关系，确定关键点的空间坐标信息；由轨迹路径预测出当前时刻被跟踪目标设备的姿势，然后根据关键点的空间坐标对预测姿势进行校正；根据校正前后姿势的差异值，选择差异值最小的校正后姿势，确定为被跟踪目标设备在空间中的姿势，并将其更新到轨迹路径中，如此循环，实现对被跟踪目标姿势的持续跟踪，其中轨迹路径最多保留l帧所对应的姿势用于预测下一帧的姿势，l为假定运动状态不变的时间段所对应的帧数，为进行跟踪之前的初始设定值。

2.根据权利要求1所述的三维立体空间中的多目标姿势跟踪方法，其特征是对每一个被跟踪目标设置多条轨迹数据来保存搜索过程中得到的各种可能的轨迹路径所对应的姿势及其拍摄时间，并将所述轨迹数据作为下一次跟踪的预测姿势的预测基础；对同一个被跟踪目标的不同轨迹数据所记录的校正前后姿势的差异值求和，得到轨迹数据的总差异值，确定与总差异值差别最小的轨迹数据所对应的轨迹路径作为实际的运动轨迹结果输出，用于防止预测错误的发生。

3.根据权利要求1或2所述的三维立体空间中的多目标姿势跟踪方法，其特征是在校正被跟踪目标姿势之后，检查在此姿势下，搜索到的关键点是否涵盖了所有摄像机理论上可以捕捉到的关键点，检查过程依据关键点在被跟踪目标设备上的位置、关键点对应光发射器的亮灭情况和校正出来的姿势来进行。

4.根据权利要求1或2所述的三维立体空间中的多目标姿势跟踪方法，其特征是跟踪装置和被跟踪目标设备之间有通信连接。

5.根据权利要求1或2所述的三维立体空间中的多目标跟踪方法，其特征是采用双目摄像机，通过捕捉至少3个不共线的关键点及其立体空间坐标确定被跟踪目标设备的姿势，立体坐标重建模块通过双目摄像机获得的图像基础上重建出光信号的立体坐标点，所述的双目摄像机是指拍摄图像完全同步的两台并列摆放的摄像机。

6.根据权利要求1或2所述的三维立体空间中的多目标姿势跟踪方法，其特征是被跟踪目标上还设有运动传感器，运动传感器获取被跟踪目标的运动参数输入跟踪信号处理系统，用于识别被跟踪目标运动状态的突然改变，所述运动传感器包括电子陀螺仪和加速度传感器；被跟踪目标设备在当前时刻的预测姿势由被跟踪目标运动的轨迹路径和运动传感器输出的数据共同确定。

7.根据权利要求1或2所述的三维立体空间中的多目标跟踪方法，其特征是光信号发射器为LED发光二极管，跟踪装置采用黑白摄像机基于计算机立体视觉对观察区域内活动的多个被跟踪目标的运动轨迹进行跟踪；跟踪装置中设有光学滤波器，光学滤波器允许通过光线的波长与光信号发射器发出的光信号波长相一致，关键点的光信号经过光学滤波器后输入图像传感器。

8.根据权利要求1或2所述的三维立体空间中的多目标跟踪方法，其特征是跟踪信号处理系统设有对外接口模块，用于接收主机的命令和提交跟踪结果。

Images