CN110225226B - 一种视觉跟踪系统及方法 - Google Patents

Abstract

本发明属于视觉跟踪领域，并公开了一种视觉跟踪系统及方法，该系统包括图像采集装置、光路转换装置和光路调整装置，图像采集装置包括相对位置固定的第一相机和第二相机，第一相机用于获取图像并进行视觉跟踪以预测待跟踪目标的位置；光路转换装置设于待跟踪目标与第二相机之间，用于使待跟踪目标在第二相机上清晰成像；光路调整装置根据待跟踪目标的位置实时调整光路转换装置的光路，以使目标始终位于第二相机的成像中心。所述视觉跟踪方法包括如下步骤：利用第一相机获取各帧图像并进行视觉跟踪以预测各帧图像中目标的位置；根据目标的位置实时调整光路以使目标在第二相机中心清晰成像。本发明具有速度快、鲁棒性高、适应性好等优点。

Description

一种视觉跟踪系统及方法

技术领域

本发明属于视觉跟踪领域，更具体地，涉及一种视觉跟踪系统及方法。

背景技术

随着计算机视觉和机器视觉技术的快速发展，人工智能已经从过去的单纯追求准确性到现今的准确性、鲁棒性和实时性三者并重的局面，只有这样才能加速技术的快速落地。视觉跟踪作为计算机视觉热门研究方向之一，不仅可以作为行为识别和视频目标检测等复杂技术中的一环，同时也可以单独作为一项技术广泛应用于日常生活与生产中，如工业机器人、智能安防以及无人驾驶等领域。

视觉跟踪是指给定第一帧目标所在位置以及一个视频序列，要求从第二帧开始能够正确定位到目标。由于跟踪的目标可能是任何物体，因此无法离线训练得到，在跟踪前期面临的困难是训练样本单一的问题；而在跟踪中后期，目标与第一帧相比已发生较大形变，虽然已经积累大量训练样本，但由于之前的目标定位可能不准确或出现漂移，跟踪的问题转变为如何进行稳定鲁棒的跟踪。

从场景和环境的角度来分析，目前视觉跟踪主要面临着如下挑战如光照变化、复杂背景以及相似目标干扰等；而从目标自身来看，目标旋转、剧烈形变、遮挡以及尺度变化等情况发生时会增加跟踪失败的概率。目前相关滤波方法和深度学习方法广泛应用于目标跟踪中，相关滤波方法在实时检测和模型训练时都只需要计算一次特征，具有速度快的优势，可以较好处理背景简单、目标轻微或缓慢变形的情况；而深度学习方法利用目标的语义信息以提升鲁棒性，但大多数方法在目标出现剧烈形变仍无法进行正确跟踪。现有的方法都只利用了单个模型，而在真实跟踪场景中，目标的形态通常会随着时间变化，而且大部分案例都是跟踪时间越久，目标外观与第一帧相比的差异越大，而当目标出现短时间的遮挡时，其外观又是另一种形态，所以当目标出现剧烈形变或被部分遮挡时，当前大部分跟踪算法都无法进行很好地适应。且目前大部分跟踪系统都由一个摄像头和云台构成，通过对摄像头获得到的图像进行分析得到目标位置，再将目标位置反馈给云台，云台通过角度等的调整，使目标始终位于图像的中心。但是其存在两个问题：一是云台在运动状态时获取到的图像会出现模糊，因此无法进行高帧率的跟踪；二是通过摄像头获得的视野范围和清晰度有限，无法获得小目标在大视野范围内的清晰图像。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种视觉跟踪系统及方法，其通过两个相机及光路转换装置的配合作用，可实现大范围视野下的小目标的清晰准确的定位和跟踪，在稳定成像的前提下提升可用的上限帧率，具有速度快、鲁棒性高、适应性好等优点。

为实现上述目的，按照本发明的一个方面，提出了一种视觉跟踪系统，其包括图像采集装置、光路转换装置和光路调整装置，其中：

所述图像采集装置包括第一相机和第二相机，所述第一相机设于所述第二相机的旁侧，并且与第二相机的相对位置固定，该第一相机用于获取各帧图像并进行视觉跟踪以预测各帧图像中待跟踪目标的位置；

所述光路转换装置设于待跟踪目标与所述第二相机之间，用于使待跟踪目标在所述第二相机上清晰成像；

所述光路调整装置用于根据预测的待跟踪目标的位置实时调整光路转换装置的光路，以使得待跟踪目标始终位于所述第二相机的成像中心。

本发明的跟踪系统获取的图像不会出现模糊，通过旋转振镜的引入可以大幅度提高相机的可用帧率上限，通过凸透镜组的引入在保证图像清晰度的前提下最大限度地提升视野范围。

作为进一步优选的，所述光路转换装置包括沿光路依次设置的第一旋转振镜、第二旋转振镜、第一凸透镜、第二凸透镜和第三凸透镜。

作为进一步优选的，所述光路调整装置包括与第一旋转振镜相连的第一振镜驱动单元以及与第二旋转振镜相连的第二振镜驱动单元，该第一振镜驱动单元和第二振镜驱动单元分别用于带动所述第一旋转振镜和第二旋转振镜旋转以调整光路。

作为进一步优选的，各帧图像中待跟踪目标的位置采用如下方式确定：

S11对于第t帧图像中待跟踪目标的位置而言，以第t-1帧图像中目标的预测位置为中心确定预设大小的候选框，计算第t帧图像中所述候选框内图像的特征，根据特征计算滤波器参数，其中，第1帧图像中目标的预测位置预先设定；

S12根据滤波器参数计算分数图，并融合获得总分数图，该总分数图中最大峰值对应的位置即为第t帧图像中待测目标的预测位置。

作为进一步优选的，所述光路调整装置根据待跟踪目标的位置实时调整光路转换装置的光路具体为：

S21标定第一相机所获图像中目标位置与世界坐标系的转换关系式以及世界坐标系与光路调节参数的转换关系式；

S22根据预测的待跟踪目标的位置及上述两个转换关系式转换得到光路调节参数；

S23光路调整装置根据所述光路调节参数实时调整光路转换装置的光路使待跟踪目标在第二相机的中心清晰成像。

按照本发明的另一方面，提供了一种视觉跟踪方法，其采用所述的视觉跟踪系统实现，包括如下步骤：

S1利用第一相机获取各帧图像并进行视觉跟踪以预测各帧图像中待跟踪目标的位置；

S2根据待跟踪目标的位置实时调整光路，以使得待跟踪目标在第二相机的中心清晰成像。

作为进一步优选的，第t帧图像中待跟踪目标的位置采用如下步骤预测：

S11以第t-1帧图像中目标的预测位置为中心确定预设大小的候选框，计算第t帧图像中所述候选框内图像的特征，根据特征计算滤波器参数，其中，第1帧图像中目标的预测位置预先设定；

S12根据滤波器参数计算分数图，并融合获得总分数图，该总分数图中最大峰值对应的位置即为第t帧图像中待测目标的预测位置。

作为进一步优选的，还包括：

S13判断滤波器是否需要更新：

S131计算第t帧图像中各滤波器分数图的最大值和峰值旁瓣比，并根据分数图的最大值和峰值旁瓣比分别计算每个滤波器对应的聚类距离，然后确定最小聚类距离值

和最小聚类距离值对应的滤波器的平均距离值

即第k_min个滤波器的平均距离值；

S132通过

与预设阈值ξ_a和ξ_b的关系确定是否更新第k_min个滤波器的参数：

若

更新第k_min个滤波器；

若

生成一个新的滤波器；

若

无需更新。

作为进一步优选的，步骤S2包括如下子步骤：

S21标定第一相机所获图像中目标位置与世界坐标系的转换关系式以及世界坐标系与光路调节参数的转换关系式；

S22根据预测的待跟踪目标的位置及上述两个转换关系式转换得到光路调节参数；

S23利用光路调节参数调节光路使待跟踪目标在第二相机的中心清晰成像。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，主要具备以下的技术优点：

1.本发明通过相对位置固定的两个相机的协同工作可实现大视野范围下的小目标的高速跟踪，其中通过对第一相机获取到的图像进行分析获得目标位置，再根据目标位置信息实时调整光路以使目标始终位于第二相机所获图像的中心，并通过光路转换装置的设置，使得第二相机拍摄的图像更为清晰，可为进一步精定位提供依据，也可作为识别任务的输入进行后续分析。

2.本发明的跟踪系统与传统的云台控制的跟踪系统相比，通过控制振镜角度的旋转来改变视野大小，振镜运动相较于相机运动由于其质量轻，所以响应速度更快，可以实现高帧率的跟踪，帧率在200Hz时也能清晰成像，且通过设置凸透镜组，相机的视野比不采用凸透镜组的相机视野更大，所以可以获取大视野范围内的清晰图像。

3.本发明通过三种情况有选择性地对滤波器进行自适应更新，可以提升目标出现剧烈形变和被遮挡时的跟踪成功率和准确率，自动增加滤波器的个数以适应目标的不同形态，提高跟踪方法的鲁棒性和准确度，并同时避免了过多的计算消耗，具有速度快、鲁棒性高、对目标被部分遮挡或出现剧烈形变适应性好等优点。

附图说明

图1是按照本发明所构建的视觉跟踪系统的原理图；

图2是按照本发明所构建的视觉跟踪系统的光路转换装置的原理图；

图3是按照本发明所构建的视觉跟踪系统的立体结构图。

在所有附图中，相同的附图标记用来表示相同的元件或结构，其中：

Ⅰ-图像采集装置，Ⅱ-光路转换装置，Ⅲ-光路调整装置，Ⅳ-图像处理单元，1-第一处理服务器，2-第二处理服务器，3-第一相机，4-第一旋转振镜，5-第二旋转振镜，6-控制板卡，7-第二相机，8-第三凸透镜，9-第二凸透镜，10-第一凸透镜，11-第一振镜驱动单元，12-第二振镜驱动单元。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本发明实施例提供的一种视觉跟踪系统，其包括图像采集装置Ⅰ、光路转换装置Ⅱ和光路调整装置Ⅲ，其中，图像采集装置包括位置相对固定的第一相机3和第二相机7，第一相机3用于获取大视野范围内的图像并进行视觉跟踪以预测图像中待跟踪目标的位置；光路转换装置设于待跟踪目标与第二相机7之间，用于使待跟踪目标在第二相机7上清晰成像；光路调整装置根据待跟踪目标的位置实时调整光路转换装置的光路，以使得待跟踪目标始终位于第二相机7的成像中心。

如图2所示，光路转换装置包括沿光路依次设置的第一旋转振镜4、第二旋转振镜5、第一凸透镜10、第二凸透镜9和第三凸透镜8，两个旋转振镜共同完成对外界视野范围的控制，三个凸透镜共同完成成像中心的位置转换和视野范围进一步扩大的功能，通过对参数的设计可将原本大范围视场角转换为小范围的等效视场角，换言之，小范围视场角的相机拍摄出了大范围视场角，即进一步扩大了视野。例如，如图2所示，第一凸透镜10焦距f₀设为60mm，第二凸透镜9焦距f_f设为100mm，第三凸透镜8焦距fc设为80mm，第一旋转振镜4的中心与第二旋转振镜5的中心间的距离h1设为15mm，第二旋转振镜5的中心与第一凸透镜10的距离h2设为45mm，第一凸透镜10与第二凸透镜9的距离h3设为60mm，第二凸透镜9与第三凸透镜8的距离h4设为80mm，第三凸透镜8与第二相机7的距离h5设为30mm，通过上述参数的设计，可将原本视场角β＝40°的范围转换为等效视场角α＝30°的范围，换言之，视场角为30°的相机拍摄出了视场角为40°的范围，以此进一步扩大了视野。

通过上述光路转换装置，入射光从被跟踪目标表面发出，依次经由第一旋转振镜4、第二旋转振镜5、第一凸透镜10、第二凸透镜9和第三凸透镜8，进入第二相机7内以清晰成像。第一旋转振镜4和第二旋转振镜5具体为铝合金振镜，满足相机成像需求，具有轻薄的特性，可以满足振镜电机高速控制的需求。如图2所示，通过将凸透镜组加入跟踪系统，本应靠近旋转振镜中心的成像中心O₂被转换至远离振镜的位置O₃，O₁为镜子中的虚像，通过该凸透镜组的设置可达到进一步扩大成像视野的目的。

具体的，光路调整装置包括与第一旋转振镜4相连的第一振镜驱动单元11以及与第一旋转振镜4相连的第二振镜驱动单元12，通过第一振镜驱动单元11和第二振镜驱动单元12分别带动第一旋转振镜4和第二旋转振镜5旋转以调整光路。具体的，第二相机7的视野范围由相机自身和两个旋转振镜共同控制，其总体视野为第一相机3的全部视野，当旋转振镜角度固定时，通过两旋转振镜的限制，可使其视野为第一相机视野的十分之一，由于两相机分辨率一致，所以在同样的帧率下，第二相机拍摄的图像要比第一相机更为清晰，可以达到预期目标，实现大视野范围内小目标的清晰成像。

进一步的，第一旋转振镜4和第二旋转振镜5与图像处理单元Ⅳ相连，该图像处理单元Ⅳ包括第一处理服务器1和第二处理服务器2，该第一处理服务器1通过控制板卡6与第一旋转振镜4和第二旋转振镜5相连，第一处理服务器1接收第一相机采集的图像并进行处理以预测各帧图像中待跟踪目标的位置，然后根据待跟踪目标的位置通过控制板卡6实时调整第一旋转振镜4和第二旋转振镜5，即使第一旋转振镜4和第二旋转振镜5旋转，使得待跟踪目标在第二相机7的中心清晰成像；第二处理服务器2与第二相机7相连，第二相机7采集的图像送入第二处理服务器2中，进行处理供后续使用。

图3是按照本发明所构建的视觉跟踪系统的立体结构图，由于上述已详细介绍了光路转换装置，为使整体结构更利于理解，移除了第一旋转振镜4、第二旋转振镜5、控制板卡6、第一振镜驱动单元11和第二振镜驱动单元12等。如图3所示，第一凸透镜10、第二凸透镜9和第三凸透镜8被固定在对应的同轴镜片架上，同轴镜片架通过支撑棒、支撑棒座和滑块与导轨相连；第二相机7被固定在底板上，底板通过支撑棒、支撑棒座和滑块与导轨相连；第一相机3被固定在底板上，底板通过支撑棒、支撑棒座与底座相连，第一相机3的位置无硬性要求，只需保证其视野向前且位置固定后不改变即可。

本发明还提供了一种视觉跟踪方法，其采用上述视觉跟踪系统进行，其包括如下步骤：

S1利用第一相机3获取各帧图像并进行视觉跟踪以预测各帧图像中待跟踪目标的位置；

S2根据待跟踪目标的位置实时调整光路，以使得待跟踪目标在第二相机7的中心清晰成像。

为了消除图像中的桶形畸变，对第一相机3获取的各帧图像进行矫正，以消除画面中的桶形畸变，然后进行视觉跟踪以预测各帧图像中待跟踪目标的位置。

具体的，第t帧图像中待跟踪目标的位置采用如下步骤预测：

S11以第t-1帧图像中目标的预测位置为中心确定预设大小的候选框，计算候选框内图像的特征，根据特征计算滤波器参数，其中，第1帧图像中目标的预测位置预先设定；

S12根据滤波器参数计算分数图，该分数图中最大峰值对应的位置即为第t帧图像中待测目标的预测位置。

为了保证跟踪的准确性，S12之后还包括：

S13判断滤波器参数是否需要更新：

S131计算各滤波器参数分数图的最大值和峰值旁瓣比，并根据分数图的最大值和峰值旁瓣比计算每个滤波器对应的聚类距离，然后确定最小聚类距离值

和最小聚类距离值对应的滤波器的平均距离值

S132通过

与预设阈值ξ_a和ξ_b的关系确定是否更新当前滤波器参数。

即采用如下步骤预测各帧图像中待跟踪目标的位置：

对于第一帧图像：

首先，预设第一帧图像中目标的位置(p₁,q₁)和尺度(w₁,h₁)信息，以目标位置(p₁,q₁)为中心，目标尺度(w₁,h₁)的2.5-5倍进行扩充得到候选框，其目的是为了获取目标周围更大的区域，以防止目标移动速度过快，位置超出了原本候选框所覆盖的范围，计算输入图片(即第一帧图像)中候选框内图像的特征z₁，优选的，特征z₁为HOG特征(轮廓特征)和CN特征(颜色特征)的综合特征，即对于m×n×d₁的HOG特征和m×n×d₂的CN特征，进行通道维度堆叠得到m×n×(d₁+d₂)的特征z₁；

接着，对特征z₁利用以下公式求出滤波器参数

和训练样本

其中，y为一组服从高斯分布的先验标记，

m和n代表第1帧图像候选框内图像(即特征z₁对应的图像)中每个像素点的位置，σ为高斯函数的核带宽，M和N分别为第1帧图像候选框内图像(即特征z₁对应的图像)的宽度和高度，

表示y的频域变换，

⊙表示点乘操作，

表示z₁的频域变换，λ为正则化系数，

表示反傅立叶变换；

从第二帧图像开始直到跟踪结束遵循以下步骤：

对于第t帧图像而言，以第t-1帧图像中预测的目标位置为中心，目标尺度(w₁,h₁)的2.5-5倍为尺度确定候选框，计算第t帧图像中候选框内图像的特征g_t(其与特征z₁的计算方式一致，仅标号不同)；然后，利用第t-1帧图像中各滤波器的参数及训练样本分别计算第t帧图像中各个滤波器的分数图

其中，

⊙表示点乘操作，

表示

的频域变换，

表示g_t的频域变换，

表示傅立叶变换，

表示反傅立叶变换，

为第t-1帧图像中第k个滤波器的参数，

为第t-1帧图像中第k个滤波器的训练样本；

将k个滤波器的分数图融合得到最终的总分数图S_t，并找出总分数图S_t中的最大峰值，最大峰值的位置(p_t,q_t)即为第t帧图像中目标的预测位置，其中，

K为第t-1帧图像中滤波器的总个数，

表示第k滤波器的可靠性权重，其计算方式为

为分数图

的最大值，

为分数图

的峰值旁瓣比；

之后，进行下一帧图像(即第t+1帧图像)中目标位置的预测，其以预测的第t帧图像的目标位置(p_t,q_t)为中心，目标尺度(w₁,h₁)的2.5-5倍为尺度确定候选框，并计算第t+1帧图像中该候选框内图像的特征g_t+1，具体预测过程同第t帧图像中目标位置的预测，在此不赘述。

为了能够自适应处理目标形态在跟踪过程中变化的情况，本发明在预测获得当前帧图像中的目标位置后优选判断是否需要对当前帧图像的滤波器进行更新，包括滤波器参数和训练样本的更新：

首先，计算当前帧图像(例如第t帧图像)的各滤波器到输入图片(即第t帧图像)的聚类距离

并找出其中的最小值

以及该最小值对应的这个滤波器(即第k_min个滤波器)的平均距离值

其中，T为该第k_min滤波器的生命周期(即从该滤波器被生成时刻t-T+1到当前时刻t的时长)，

指第k_min滤波器在时刻τ时到该时刻τ对应的输入图片(即第τ帧图像)的聚类距离，即每一帧图像对应一个时刻，第t帧图像对应的即为第t时刻，第k_min滤波器生成后对于每一时刻(即每一帧图像)均计算一次

如此可获得该k_min滤波器生命周期内各时刻对应的距离值，然后计算平均值，

的计算公式同

然后，以预测的第t帧图像的目标位置(p_t,q_t)为中心，目标尺度(w₁,h₁)的2.5-5倍为尺度确定训练样本框，并计算第t帧图像中该训练样本框的特征z_t(其与特征z₁的计算方式一致，仅标号不同)；最后，以预设的两个阈值ξ_a和ξ_b来对当前帧图像与第k_min个滤波器所对应的聚类中心距离

来进行更深入的分析判断，其中阈值ξ_a和ξ_b可根据实际需要进行限定，例如ξ_a＝1.25，ξ_b＝2。

共有以下三种情况可能出现：

(1)如果

这表明此刻的第k_min滤波器是最适合用于解决当前目标状态且属于该滤波器所对应聚类中心范围内的滤波器对象。此时，输入图像到滤波器聚类中心的距离在该聚类中心所覆盖的范围当中，可以被用来更新第k_min滤波器，则该滤波器的系数及训练样本通过下式来进行更新(即只对第k_min滤波器进行更新，其他滤波器不更新)：

其中，η为模型更新的学习率，

为第t-1帧图像中第k_min滤波器(即聚类距离最小值对应的滤波器)的参数，

为第t-1帧图像中第k_min滤波器对应的训练样本，y为一组服从高斯分布的先验标记，

m和n代表第t帧图像训练样本框内图像(即特征z_t对应的图像)中每个像素点的位置，σ为高斯函数的核带宽，M和N分别为第t帧图像中训练样本框内图像(即特征z_t对应的图像)的宽度和高度，

表示y的频域变换，

⊙表示点乘操作，

表示z_t的频域变换，

表示反傅立叶变换，其中，第一帧图像中的目标位置事先预设，即不进行目标预测，其只有一个滤波器，故

和

分别为

和

(2)如果

这表明虽然第k_min个滤波器在当前帧中，对于输入图像能在所有滤波器中获得最佳的效果，但当前输入的图像与第k_min个滤波器所对应的聚类中心间的距离仍然超出了第k_min个滤波器聚类中心所能覆盖到的范围。这也说明，没有任何一个现存的滤波器能很好地解决当前输入图像中的目标状况，所以在当前帧中生成一个新的滤波器，生成新的滤波器的计算方法如下所示：

就是由于当前帧的图像可能会生成新的滤波器，故对于同一帧图像而言具有多个滤波器，这也是前述步骤需要分别计算当前帧图像中各个滤波器的分数图的原因，当当前帧图像只有一个滤波器，那么计算出的只有一个分数图，融合获得的总分数图即为分数图本身，聚类距离最小值对应的滤波器也将会其本身；

(3)如果

这种情况表明，当前输入图像距离现存的所有滤波器所对应的聚类中心都距离过远，可以认为是当前的目标状态已经不满足跟踪的条件(例如目标完全被遮挡)，此时这个输入图像将不会被作为训练样本用来更新滤波器模型，所以，现存的所有滤波器都不需要更新，继续维持现在的系数去处理下一帧图像。

当前帧图像(例如第t帧图像)中的k_min滤波器有更新，则在下一帧图像的目标预测时，k_min滤波器的参数及训练样本样对应的采用更新后的，而对于未更新的滤波器则保持不变；当前帧图像(例如第t帧图像)中生成了一个新的滤波器，则在下一帧目标预测时，采用之前的所有滤波器及该新生成的滤波器进行预测计算及参数更新；若当前帧图像(例如第t帧图像)中的滤波器即未更新也未生成新的，则在下一帧目标预测时，采用之前的所有滤波器进行预测计算及参数更新。

更新完当前帧图像(即第t帧图像)滤波器之后，再进行下一帧图像(即第t+1帧图像)中目标位置的预测，其以预测的第t帧图像的目标位置(p_t,q_t)为中心，目标尺度(w₁,h₁)的2.5-5倍为尺度确定候选框，并计算第t+1帧图像中该候选框内图像的特征g_t+1，具体预测过程同第t帧图像中目标位置的预测，在此不赘述；然后再进行第t+1帧图像滤波器的更新，即以预测的第t+1帧图像的目标位置(p_t+1,q_t+1)为中心，目标尺度(w₁,h₁)的2.5-5倍为尺度确定训练样本框，并计算第t+1帧图像中该训练样本框的特征z_t+1，具体更新过程同第t帧图像滤波器的更新过程，在此不赘述。如此，通过预测、更新、预测、更新的过程，实现目标位置的不断跟踪及实时调整，当目标出现剧烈形变或被部分遮挡时，通过上述自适应跟踪策略可以自动增加滤波器个数以适应目标的不同形态，保证跟踪的准确性和鲁棒性。

进一步的，步骤S2包括如下子步骤：

S21标定第一相机所获图像中目标位置与世界坐标系的转换关系式以及世界坐标系与光路调节参数的转换关系式；

S22根据预测的待跟踪目标的位置及上述两个转换关系式转换得到光路调节参数；

S23利用光路调节参数调节光路使待跟踪目标在第二相机的中心清晰成像。

在利用跟踪系统进行跟踪前，由于对第一相机3的位置没有硬性需求，首先将其固定，然后分别对第一相机3和第二相机7进行图像标定和矫正，其中，具体的，第一相机3使用的镜头为广角镜头，未避免获取的图像呈现出比较明显的桶形畸变，需对第一相机3进行矫正，然后进行标定，以标定出第一相机3所获图像中目标像素坐标到世界坐标的转换关系式。然后对第二相机7进行标定，具体的是对光路转换装置及第二相机构成的整体结构进行标定，以获得目标所在世界坐标系与光路调节参数(即两个旋转振镜的旋转角度)的转换关系式。至于两个相机的标定方法，可采用现有技术中任意标定方法进行，例如张正友标定算法、多边形拟合标定算法等，其为现有技术，在此不赘述。在相关参数计算好之后，所有设备及装置的位置都不再改变，除了两个旋转振镜按所需的旋转角度进行旋转。

在开始跟踪前，人为的框选出目标，然后再利用上述跟踪方法对该目标进行在线跟踪和检测，每一帧检测到目标之后，目标的像素位置信息都会被记录，通过最开始标定的第一相机3和第二相机7的转换参数将目标的位置信息转换成第一旋转振镜4和第二旋转振镜5的驱动参数，使目标移至第二相机7的视野中心。第一相机3每获得一帧图像，第一旋转振镜4和第二旋转振镜5会根据更新后的目标位置调整其角度使目标始终位于第二相机7的中心，第一相机3和第二相机7相对独立，可以采用不同的相机型号、镜头、分辨率以及帧率，第一相机3进行目标位置的确定，第二相机7用于获得更为清晰的图像，可用于目标的精定位或后续分析如作为识别任务的输入等。

需要注意的是，上述跟踪方法和跟踪系统也相互独立，既可以配套使用，也可以将其应用于不同的场景和情形。跟踪方法具有速度快、鲁棒性高、对目标被部分遮挡或出现剧烈形变的适应性较好，跟踪系统与传统的云台控制的跟踪系统相比，可以大幅度提高相机的可用帧率上限，可以达到200Hz时也能清晰成像，实际帧率主要受跟踪方法和相机帧率上限的影响，对于上述跟踪方法，结合跟踪系统后的帧率可以达到50Hz。本发明在目标出现变形的情况下也能进行良好的跟踪，可以实现大视野范围内的快速跟踪和定位。测试表明在实际跟踪场景下配合上述跟踪方法可以进行准确的实时跟踪，达到预期目标。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种视觉跟踪系统，其特征在于，包括图像采集装置、光路转换装置和光路调整装置，其中：

所述图像采集装置包括第一相机(3)和第二相机(7)，所述第一相机(3)设于所述第二相机(7)的旁侧，并且与第二相机(7)的相对位置固定，该第一相机(3)用于获取各帧图像并进行视觉跟踪以预测各帧图像中待跟踪目标的位置；

所述光路转换装置设于待跟踪目标与所述第二相机(7)之间，用于使待跟踪目标在所述第二相机(7)上清晰成像；

所述光路调整装置用于根据预测的待跟踪目标的位置实时调整光路转换装置的光路，以使得待跟踪目标始终位于所述第二相机(7)的成像中心；所述光路转换装置包括沿光路依次设置的第一旋转振镜(4)、第二旋转振镜(5)、第一凸透镜(10)、第二凸透镜(9)和第三凸透镜(8)；所述光路调整装置包括与第一旋转振镜(4)相连的第一振镜驱动单元(11)以及与第二旋转振镜(5)相连的第二振镜驱动单元(12)，该第一振镜驱动单元(11)和第二振镜驱动单元(12)分别用于带动所述第一旋转振镜(4)和第二旋转振镜(5)旋转以调整光路。

2.如权利要求1所述的视觉跟踪系统，其特征在于，各帧图像中待跟踪目标的位置采用如下方式确定：

S11对于第t帧图像中待跟踪目标的位置而言，以第t-1帧图像中目标的预测位置为中心确定预设大小的候选框，计算第t帧图像中所述候选框内图像的特征，根据特征计算滤波器参数，其中，第1帧图像中目标的预测位置预先设定；t为大于1的正整数；

S12根据滤波器参数计算分数图，并融合获得总分数图，该总分数图中最大峰值对应的位置即为第t帧图像中待测目标的预测位置。

3.如权利要求1-2任一项所述的视觉跟踪系统，其特征在于，所述光路调整装置根据待跟踪目标的位置实时调整光路转换装置的光路具体为：

S21标定第一相机所获图像中目标位置与世界坐标系的转换关系式以及世界坐标系与光路调节参数的转换关系式；

S22根据预测的待跟踪目标的位置及上述两个转换关系式转换得到光路调节参数；

S23光路调整装置根据所述光路调节参数实时调整光路转换装置的光路使待跟踪目标在第二相机的中心清晰成像。

4.一种视觉跟踪方法，其特征在于，采用如权利要求1-3任一项所述的视觉跟踪系统实现，包括如下步骤：

S1利用第一相机(3)获取各帧图像并进行视觉跟踪以预测各帧图像中待跟踪目标的位置；

S2根据待跟踪目标的位置实时调整光路，以使得待跟踪目标在第二相机(7)的中心清晰成像。

5.如权利要求4所述的视觉跟踪方法，其特征在于，第t帧图像中待跟踪目标的位置采用如下步骤预测：

S11以第t-1帧图像中目标的预测位置为中心确定预设大小的候选框，计算第t帧图像中所述候选框内图像的特征，根据特征计算滤波器参数，其中，第1帧图像中目标的预测位置预先设定；t为大于1的正整数；

S12根据滤波器参数计算分数图，并融合获得总分数图，该总分数图中最大峰值对应的位置即为第t帧图像中待测目标的预测位置。

6.如权利要求5所述的视觉跟踪方法，其特征在于，还包括：

S13判断滤波器是否需要更新：

S131计算第t帧图像中各滤波器分数图的最大值和峰值旁瓣比，并根据分数图的最大值和峰值旁瓣比分别计算每个滤波器对应的聚类距离，然后确定最小聚类距离值

和最小聚类距离值对应的滤波器的平均距离值

即第k_min个滤波器的平均距离值；第k_min个滤波器为聚类距离最小值对应的滤波器；

S132通过

与预设阈值ξ_a和ξ_b的关系确定是否更新第k_min个滤波器的参数：

若

更新第k_min个滤波器；

若

生成一个新的滤波器；

若

无需更新。

7.如权利要求4-6任一项所述的视觉跟踪方法，其特征在于，步骤S2包括如下子步骤：

S21标定第一相机所获图像中目标位置与世界坐标系的转换关系式以及世界坐标系与光路调节参数的转换关系式；

S22根据预测的待跟踪目标的位置及上述两个转换关系式转换得到光路调节参数；

S23利用光路调节参数调节光路使待跟踪目标在第二相机的中心清晰成像。

Images