CN107093188A - 一种基于全景摄像机和高速球机的智能联动与跟踪方法 - Google Patents

Abstract

本发明为一种基于全景摄像机和高速球机的智能联动与跟踪方法，其涉及计算机视觉领域。利用摄像机参数模型和特征点匹配的方法获得全景图像坐标到高速球摄像机的旋转角度的映射关系，通过该映射关系完成了全景摄像机和高速球机的智能联动；针对全景端的跟踪，结合帧差法和Surendra自适应背景更新方法进行运动目标检测，通过Kalman滤波算法和建立目标匹配矩阵对检测到的运动目标进行多目标跟踪，得到目标的运动轨迹；通过鼠标选取的感兴趣的目标，通过智能联动方法高速球能迅速转到目标区域并锁定目标，再结合Kalman滤波和Mean Shift算法进行运动目标检测。实现全局与局部的一体化监控、及多目标的跟踪和高清抓拍。

Description

一种基于全景摄像机和高速球机的智能联动与跟踪方法

技术领域

本发明涉及计算机视觉领域，特指一种基于全景摄像机和高速球机的智能联动与跟踪方法。

背景技术

在安防领域，视频监控作为社会安全防控的极其重要措施，广泛应用于金融、交通、教育、卫生、体育、能源、通讯、公安、军事以及居民社区等各类领域。当前，视频监控的应用需求逐渐由“看得见”向“看得清”和“看得广”的方向发展。然而监控系统的监控能力离监控需求仍然需求很大的间距，监控中存在监控盲区、无法看清目标、反应时间不够快等问题亟需解决。

全景成像技术能够采集覆盖大范围、宽视角场景的视屏，其凭借能够实现无盲区监控优势，在视频监控领域得到了广泛的关注和应用。由于总分辨率有限，全景摄像机在观察局部场景时分辨率太低，不能够提供目标的高清图像信息，使其应用范围受到严重限制。同时，当重点目标在监控视野中较小时，监控系统不能够完整地获取目标的特征信息，不能够高清对其进行抓拍和跟踪。然而，高速球机能利用其高速旋转及变倍的功能实现对场景中任意局部的高清拍摄，但高速球的观察范围有限，不能兼顾多个不同场景，因此单一的高速球摄像机也无法满足侦查需求。

为实现全局与局部的一体化监控技术，提出一种基于全景摄像机与高速球机的智能联动与跟踪方法。

发明内容

本发明要解决的技术问题为提出一种能够实现全局与局部的一体化监控的基于全景摄像机和高速球机的智能联动与跟踪方法。

针对上述技术问题，本发明的具体技术方案包括如下步骤：

步骤1)利用摄像机参数模型和特征点匹配的方法获得全景图像坐标到高速球机的旋转角度的映射关系，根据监控系统的鼠标所选取的感兴趣的目标，高速球机通过所述映射关系迅速转到目标区域并锁定目标，完成全景摄像机和高速球机的智能联动；

步骤2)全景端的目标跟踪：结合帧差法和Surendra自适应背景更新方法进行运动目标检测，通过Kalman滤波算法和建立目标匹配矩阵对检测到的运动目标进行多目标跟踪，得到目标的运动轨迹，完成了全局化监控；

步骤3)高速球端目标跟踪：利用步骤1)中方法进行全景摄像机和高速球机的智能联动，针对感兴趣的目标通过步骤1)中的方法求得全景摄像机与高速球机之间的映射关系来转动高速球，并通过目标特征匹配的方式获得目标在高速球画面中的精确位置，再结合Kalman滤波算法和Mean Shift算法进行运动目标检测，通过高速球端目标跟踪完成了目标的局部监控。

作为本发明技术方案的进一步改进，所述步骤1)具体包括：

1.1)采用摄像机的内参模型将图像映射至三维球面上，包括将全景图像转换到三维球面上和将高速球机图像转换到三维球面上，将全景摄像机和高速球机之间映射关系转换为三维球面的旋转关系；

1.2)求解全景摄像机和高速球机之间的映射关系：根据步骤1.1)所得的旋转关系，采用SIFT算法对全景图像与高速球机图像进行特征点匹配，并利用RANSAC算法剔除错误特征点对，再通过逐像素拟合的方法对全景图像中每个位置都求解不同的旋转矩阵，最后利用LM(Levenberg-Marquard)算法初步估计映射关系；

1.3)利用步骤1.2)中求得的映射关系采集多幅高速球机图像，根据映射关系将高速球机图像反投影到全景图像平面上，重新对全景图像和反投影的高速球机图像进行特征点匹配，并利用LM算法重新估算映射关系；

1.4)利用步骤1.1)-1.3)求得全景摄像机和高速球机之间的映射关系后，根据全景图像感兴趣目标的像素点可求得高速球机的旋转角度，从而控制高速球机进行转动到相应位置，完成全景摄像机和高速球机之间的联动。

作为本发明技术方案的进一步改进，所述步骤1)中，通过采用基于RANSAC算法和SIFT算法进行全景图像和高速球机图像特征点匹配，采用像素拟合方法来求解旋转矩阵，即针对全景图像的每个位置都求解不同的旋转矩阵，得到更为理想的旋转矩阵R₁₂，并利用LM算法初步估计映射关系。

作为本发明技术方案的进一步改进，所述步骤2)包括运动目标检测和多目标跟踪；

所述运动目标检测包括利用帧差法来辨识图像的前景区域即运动目标，采用Surendra背景法对运动区域内的背景保持不变，而非运动区域的背景用当前帧进行替换更新，经过一段时间后就可以提取背景图像；

所述多目标跟踪包括：

(1)跟踪窗口的设置；

(2)跟踪特征值的选择；

(3)Kalman跟踪中的运动模型估计；

(4)模型更新和建立目标匹配矩阵。

作为本发明技术方案的进一步改进，所述步骤3)中，利用步骤1)中的全景摄像机和高速球机之间的智能联动方法将监控任务转交给高速球，通过目标特征匹配的方式获得目标在高速球画面中的精确位置，结合Kalman滤波算法和Mean Shift算法进行运动目标跟踪，高速球端的目标跟踪可获得高清的图像序列，实现对感兴趣的目标进行高清抓拍。

作为本发明技术方案的进一步改进，所述步骤3)中高速球端目标跟踪步骤如下：

3.1)初始化Kalman滤波器，根据设定的跟踪窗口中目标的质心位置作为初始位置；

3.2)根据前一时刻的Kalman滤波的系统状态量，由Kalman滤波器获得当前时刻目标的预测位置；

3.3)根据前一时刻的Kalman滤波的系统状态量，由Mean Shift跟踪算法获得当前时刻的观测位置；

3.4)根据之前由Kalman滤波器求得的预测位置和由Mean Shift算法求得的观测位置，采用Kalman滤波法估算当前时刻目标的估计位置；

3.5)由第四步求得的目标的估计位置再应用前面第3.2)和3.3)步同理推出下一时刻运动目标的预测位置和观测位置；

3.6)重复上面的3.2)、3.3)和3.4)步骤，最终获得稳定的目标跟踪算法。与现有技术相比，本发明具有以下有益效果：

1、采用基于RANSAC和SIFT算法的进行全景图像和高速球机图像特征点匹配，针对全景摄像机和高速球摄像机的参数模型与实际情况存在一定误差问题，采用逐像素拟合方法来求解旋转矩阵，即针对全景图像的每个位置都求解不同的旋转矩阵，得到更为理想的旋转矩阵R₁₂，并利用LM方法初步估计映射关系。

2、根据映射关系将高速球机图像反投影到全景图像平面上，重新对全景图像和反投影的高速球机图像进行精确的特征点匹配，避免了全景摄像机和高速球机的成像模型差异性和两者图像之间的差异性对特征点匹配造成了不良影响，再利用LM算法重新估算旋转矩阵。

3、结合帧差法和Surendra自适应背景更新方法进行运动目标检测，通过Kalman滤波算法和建立目标匹配矩阵对检测到的运动目标进行多目标跟踪，综合考虑了多目标跟踪过程的目标遮挡、目标消失和新目标出现的问题；

4、利用全景摄像机和高速球机之间的智能联动方法将监控任务转交给高速球，结合Kalman滤波和Mean Shift算法进行运动目标跟踪，高速球端的目标跟踪可获得高清的图像序列，对感兴趣的目标进行高清抓拍。

附图说明

图1是实施案例所述算法整体算法流程图。

图2是实施案例所述全景图像到三维球面的映射关系图。

图3是实施案例所述高速球图像到三维球面的映射关系图。

图4是实施案例所述全景端目标跟踪算法流程图。

图5是实施案例所述目标在高速球画面的精确定位的流程图。

图6是实施案例所述高速球端的目标跟踪算法流程图图。

具体实施方式

现结合附图对本发明做进一步详细说明，本具体实施方式为一种基于全景摄像机和高速球机的智能联动与跟踪方法，如图1所示，该方法主要包括全景端和高速球端，以及它们两者之间的智能联动，具体包括以下步骤：

步骤S1利用摄像机参数模型和特征点匹配的方法获得全景图像坐标到高速球摄像机的旋转角度的映射关系，通过此映射关系，针对鼠标选取的感兴趣的目标，高速球能迅速转到目标区域并锁定目标，完成了全景摄像机和高速球机的智能联动，其包括：

S1.1采用摄像机的内参模型将图像映射至三维球面上；

(1)将全景图像转换到三维球面上；

根据如公式(1)所示的鱼眼图像的等距模型，将鱼眼式全景图像的像素点映射至三维球面上。如图2所示鱼眼图像坐标系为O_f-x_fy_f，以全景摄像机光心O为原点、摄像机主轴方向为z_s1轴建立三维坐标系O-x_s1y_s1z_s1，鱼眼图像上每个像素都可对应三维球面上的一点，假定三维球面半径为1。假设鱼眼式全景图像点m_f坐标为m_f＝(x_f,y_f)^T，其对应球面上的X_s1的坐标为X_s1＝(x_s1,y_s1,z_s1)^T，根据公式(1)的等距模型，可推导得到坐标的全景图像像素点和其对应的三维球面坐标点的变换关系，如公式(2)所示。

r_f＝fθ (1)

其中，θ为O X_s1与摄像机光轴O z_s1之间的夹角；为全景图像像素点m_f与图像中心点O_f之间的距离；f为摄像机的等效焦距。

(2)将高速球机图像转换到三维球面上。

如图3所示，高速球机图像平面上建立图像，坐标系O_p-x_py_p，以摄像机光心O_s为原点建立三维世界坐标系O_s-x_s2y_s2z_s2，其中x_s2轴为高速球摄像机Pan(偏航角)旋转角度为90度、Tilt(俯仰角)旋转角度为0度时的主轴方向上，y_s2轴为高速球摄像机Tilt(俯仰角)旋转角度为90度、Pan(偏航角)旋转角度为0度时的主轴方向上。假设图像像素点m_p的坐标为m_p＝(x_p,y_p)^T，其对应的三维球面上的坐标点为X_s2＝(x_s2,y_s2,z_s2)^T，两者之间关系满足：

其中，矩阵P＝K(R 0)为摄像机矩阵，K为摄像机内参矩阵，其值可以通过经典的张正友的摄像机内参标定方法得到。R为高速球机的云台模型对应的旋转矩阵，(R 0)为摄像机的外参数矩阵，R可以用Pan旋转角度α和Tilt旋转角度β表示为：

若高速球摄像机的拍摄方向朝向三维球面坐标上的点X_s2，则高速球机的旋转角度(α,β)为:

S1.2求解全景摄像机和高速球机之间的映射关系：通过步骤S1.1将全景摄像机和高速球机之间映射关系转换为三维球面的旋转关系，采用SIFT方法对全景图像与高速球机图像进行特征点匹配，利用RANSAC算法剔除错误特征点对，再通过逐像素拟合的方法对全景图像中每个位置都求解不同的旋转矩阵，最后利用LM(Levenberg-Marquard)方法初步估计映射关系；

(1)采用SIFT方法和RANSAC算法进行特征点匹配，通过特征匹配点求解全景摄像机和高速球机之间的映射关系，得到旋转矩阵；

采用步骤S1.1将全景摄像机和高速球机之间映射关系转换为三维球面的旋转关系，假设坐标系O-x_s1y_s1z_s1依次绕Y,X,Z轴分别旋转α₁₂,β₁₂,γ₁₂角度可与O_s-x_s2y_s2z_s2重合，那么坐标系O-x_s1y_s1z_s1上的任一点X_s1与该点X_s1在坐标系O_s-x_s2y_s2z_s2上相匹配的点之间的关系可表示为：

X_s1＝R₁₂X_s2 (6)

其中，R₁₂为旋转矩阵，可表示为：

为求得全景摄像机与高速球机之间的映射关系，即求得旋转矩阵R₁₂，需要对三维球面点进行特征点匹配。本发明中采用SIFT方法进行特征点匹配，得到全景图像与高速球机图像的N组匹配点对其中α⁽ⁱ⁾和β⁽ⁱ⁾分别为对应特征点所在图像的高速球机的Pan旋转角和Tilt旋转角。为了提高匹配精度，利用RANSAC算法剔除错误的球面匹配点

由于模型等方面的误差，不存在旋转矩阵R₁₂使得公式(6)对所有匹配点对都严格满足，因此本发明采用最小化映射误差来求解全景摄像机和高速球机之间的映射关系α₁₂,β₁₂,γ₁₂，即有α₁₂,β₁₂,γ₁₂组成的旋转矩阵R₁₂，求解公式如公式(8)所示。

(2)通过逐像素拟合的方法对全景图像中每个位置都求解不同的旋转矩阵，利用LM方法初步估计映射关系。

假定的全景摄像机和高速球摄像机的参数模型与实际情况存在一定误差，整幅全景图像都采用一个旋转矩阵R₁₂并不能非常高精度的结果。为了得到更为理想的结果，本发明中采用逐像素拟合方法来求解旋转矩阵，即针对全景图像的每个位置都求解不同的旋转矩阵，从而求解旋转矩阵R₁₂的公式(8)变为：

其中S^K(m_f)为离全景图像像素点m_f最接近的K组特征点集合，利用LM算法求解公式(9)得到旋转矩阵R₁₂；

S1.3利用S1.2中求得的映射关系采集多幅高速球机图像，根据映射关系将高速球机图像反投影到全景图像平面上，重新对全景图像和反投影的高速球机图像进行特征点匹配，利用LM算法重新估算映射关系；

(1)根据映射关系将高速球机图像反投影到全景图像平面上；

全景摄像机和高速球机的成像模型存在较大的差异，两幅图像也存在差异，这些差异包括缩放、平移、旋转和畸变。为了得到更为精确的特征点匹配对来求解旋转矩阵R₁₂，本发明中利用S1.2中求得的映射关系将高速球机图像反投影到全景图像平面上，其步骤为：1)采用公式(2)求得X_s1；2)根据S1.2中映射关系，利用公式(6)求得X_s2；3)利用公式(3)求得m_p。

(2)重新利用步骤S1.2特征点匹配方法对全景图像和反投影的高速球机图像进行特征点匹配得到新的匹配点，将新的匹配点对运用到公式(9)中重新估算映射关系。

S1.4利用S1.1、S1.2和S1.3求得映射关系，根据全景图像感兴趣目标的像素点可求得高速球机的旋转角度，从而控制高速球机进行转动到相应位置，完成全景摄像机和高速球机之间的联动。

步骤S2全景端的目标跟踪：结合帧差法和Surendra自适应背景更新方法进行运动目标检测，通过Kalman滤波算法和建立目标匹配矩阵对检测到的运动目标进行多目标跟踪，得到目标的运动轨迹，完成了全局化监控，如图4---全景端目标跟踪流程图所示，其包括，

S2.1运动目标检测；

利用帧差法来辨识图像的前景区域即运动目标，采用Surendra背景法对运动区域内的背景保持不变，而非运动区域的背景用当前帧进行替换更新，经过一段时间后就可以提取背景图像。运动目标检测的步骤为：

(1)将首帧图像I₀作为初始背景B₀(x,y)；(2)求当前帧的灰度差分图D_i(x,y)；(3)利用Otsu算法二值化差分图D_i(x,y)；(3)利用Surendra背景法更新当前帧背景B_i(x,y)，更新背景方法如公示(10)所示；(4)利用背景差分法得到运动目标区域的二值化图像；(5)对(4)中的二值化图像进行膨胀和腐蚀操作；(6)再利用8邻域连通域标识法分割出运动目标。

其中，B_i-1(x,y)为前一帧背景，(x,y)为图像像素点，c为更新系数，取值为0.05。

S2.2多目标跟踪。

(1)跟踪窗口的设置：针对S2.1中提取的运动目标，设定运动目标的跟踪窗口，即用矩形窗包围运动目标，窗口的不宜过大，略大于目标图像，这样不但可以减少噪声干扰，还能减少跟踪过程中处理图像的大小，减少跟踪运算量，提高运算速度。

(2)跟踪特征值的选择：设跟踪窗口区域的零阶矩为m₀₀，沿水平方向和垂直方向的一阶矩阵分别为m₁₀和m₀₁，目标图像的灰度值用f(i,j)表示，那么可以通过下面的公式求取跟踪窗口中质心坐标(x,y)：

(3)Kalman跟踪中的运动模型估计：利用Kalman滤波进行运动估计，可以有效地减少噪声干扰，只需检测当前跟踪窗口，大大减少了计算量。假设Kalman滤波过程中系统在k时刻的状态向量为X_k,它由k-1时刻的状态X_k-1和动态噪声共同决定，状态方程如公式(13)所示。而观测向量Z_k也由两部分决定，即由k时刻状态向量X_k的观测函数和观测噪声组成，观测方程如公式(14)所示。

X_k＝AX_k-1+W_k-1 (13)

Z_k＝HX_k+V_k (14)

式中，A为状态转移矩阵；H为观测矩阵；W_k-1、V_k为动态噪声和观测噪声；状态向量X_k是一个四维向量：

X_k＝[x_k,y_k,v_x,k,v_y,k]^T (15)

其中，x_k,y_k分别为目标质心坐标，v_x,k,v_y,k分别为质心坐标在x，y方向上的速度。

(4)模型更新和建立目标匹配矩阵：采用Kalman滤波器为运动目标建立运动模型，利用检测到的当前目标信息对下一帧目标进行预测，缩小了搜索范围和搜索时间，运动目标跟踪是确定统一运动目标在不同帧中的位置的过程，即对相邻帧之间的各目标正确匹配的过程，在各目标建立对应关系之前，需要一个衡量匹配程度的原则，匹配完成之后，得到新的系统参数更新模型，反复迭代即可实现运动目标的连续跟踪。

视频图像相邻帧间的时间间隔很短，同一目标在前后帧间位置变化不会很大，即统一目标在相邻帧间有大部分是重叠区域，并且通过Kalman滤波器对上一帧运动目标轨迹进行了一个可靠的估计，则可利用当前帧中目标的外接矩形与上一帧中目标的预测矩形的相交面积建立对应关系，即使用前后两帧目标的重叠区域所包含的像素数进行目标匹配度判断，如公式(16)所示：

其中，表示k-1时刻目标i的预测值，表示k时刻目标j的测量值，为k时刻目标j所占的像素个数，为k-1时刻目标i与k时刻目标j重叠像素的个数，m_ij表示k-1时刻目标i与k时刻目标j匹配的程度。

视频序列中出现的目标可能会不止一个，同时出现多个目标后，目标间就会变得复杂起来目标互相遮挡，目标遮挡后分离，目标被背景物体遮挡而暂时消失，不断有新目标出现和目标消失。为处理多目标跟踪中复杂情况，利用公式(17)来建立相邻帧间目标的匹配矩阵来表示前后两帧间的匹配关系，匹配矩阵为：

其中，m为k-1时刻的目标总数，n为k时刻的目标总数，M即为相邻帧间的匹配矩阵，大小为m*n(m行n列)，m_ij是上一帧目标i与当前帧目标j的匹配度。

匹配矩阵M中的值为0或1。匹配矩阵的每一行是表示上一帧里的目标与当前帧的每一个目标的匹配状态，所以通过对匹配矩阵的行扫描可以判断出上一帧的目标在当前帧时发生的变化。如果第k行每一个元素皆为0，则表示上一帧的第k个目标消失，这说明目标可能永久消失也可能是被背景这单而暂时消失；如果第k行只有p列一个元素为1，则说明上一帧第k个目标与当前帧的第p个目标匹配；如果第k行有多个元素为1，则表示上一帧中的第k个目标在当前帧中被分离为多个目标，这说明可能是上一帧的遮挡发生了分离，也可能是上一帧目标在当前帧中产生了目标碎片，此时需合并碎片，再重新建立匹配矩阵和重新分析矩阵。匹配矩阵的每一列是表示当前帧的目标与上一帧的每一个目标的匹配状态，则通过对匹配矩阵的列扫描可以判断出当前帧目标的目标状态。如果第k列的元素皆为0，则表示当前帧的第k个目标是新出现的目标；如果第k列只有第h行的一个元素为1，这说明当前帧的第k个目标与上一帧的第h个目标匹配；如果第k列存在一个以上的元素为1，这表示上一帧的目标在当前帧中发生了遮挡。

步骤S3高速球端目标跟踪：利用S1中方法进行全景摄像机和高速球机的智能联动，针对感兴趣的目标通过S1中的方法求得全景摄像机与高速球机之间的映射关系来转动高速球，通过目标特征匹配的方式获得目标在高速球画面中的精确位置，再结合Kalman滤波和Mean Shift算法进行运动目标检测，通过高速球端目标跟踪完成了目标的局部监控。

目标在高速球画面的精确定位的流程图如图5所示。

高速球端目标跟踪步骤：

3.1)利用步骤S2中Kalman跟踪方法初始化Kalman滤波器，根据设定的跟踪窗口中目标的质心位置作为初始位置y₀；

3.2)根据前一时刻的Kalman滤波的系统状态量，由Kalman滤波器获得当前时刻目标的预测位置；

3.3)根据前一时刻的Kalman滤波的系统状态量，由Mean Shift跟踪算法获得当前时刻的观测位置；

3.4)根据之前由Kalman滤波器求得的预测位置和由Mean Shift算法求得的观测位置，采用Kalman滤波法估算当前时刻目标的估计位置；

3.5)由第四步求得的目标的估计位置再应用前面第2)和3)步同理推出下一时刻运动目标的预测位置和观测位置；

3.6)重复上面的3.2)、3.3)和3.4)步骤，最终获得稳定的目标跟踪算法。

图6为高速球端的目标跟踪流程图。

通过本发明中全景摄像机和高速球机的智能联动方法、全景摄像机的运动目标跟踪方法和高速球机的方法能够完成全局与局部的、全方位无死角的视频监控效果。

本发明中提出的方法实际上可嵌入FPGA实现，应用于视频监控系统中。以上实施例仅起到解释本发明技术方案的作用，本发明所要求的保护范围并不局限于上述实施例所述的实现系统和具体实施步骤。因此，仅对上述实施例中具体的公式及算法进行简单替换，但其实质内容仍与本发明所述方法相一致的技术方案，均应属于本发明的保护范围。

Claims (6)

1.基于全景摄像机和高速球机的智能联动与跟踪方法，其特征是，包括如下步骤：

步骤1)利用摄像机参数模型和特征点匹配的方法获得全景图像坐标到高速球机的旋转角度的映射关系，根据鼠标选取的感兴趣的目标，高速球机通过所述映射关系能迅速转到目标区域并锁定目标，完成了全景摄像机和高速球机的智能联动；

步骤2)全景端的目标跟踪：结合帧差法和Surendra自适应背景方法进行运动目标检测，通过Kalman滤波算法和建立目标匹配矩阵对检测到的运动目标进行多目标跟踪，得到目标的运动轨迹，完成了全局化监控；

步骤3)高速球端目标跟踪：利用步骤1)中方法进行全景摄像机和高速球机的智能联动，针对感兴趣的目标通过步骤1)中的方法求得全景摄像机与高速球机之间的映射关系来转动高速球，并通过目标特征匹配的方式获得目标在高速球画面中的精确位置，再结合Kalman滤波算法和Mean Shift算法进行运动目标检测，通过高速球端目标跟踪完成了目标的局部监控。

2.根据权利要求1所述的一种基于全景摄像机和高速球机的智能联动与跟踪方法，所述步骤1)具体包括：

1.1)采用摄像机的内参模型将图像映射至三维球面上，包括将全景图像转换到三维球面上和将高速球机图像转换到三维球面上，将全景摄像机和高速球机之间映射关系转换为三维球面的旋转关系；

1.2)求解全景摄像机和高速球机之间的映射关系：根据步骤1.1)所得的旋转关系，采用SIFT算法对全景图像与高速球机图像进行特征点匹配，并利用RANSAC算法剔除错误特征点对，再通过逐像素拟合的方法对全景图像中每个位置都求解不同的旋转矩阵，最后利用LM(Levenberg-Marquard)算法初步估计映射关系；

1.3)利用步骤1.2)中求得的映射关系采集多幅高速球机图像，根据映射关系将高速球机图像反投影到全景图像平面上，重新对全景图像和反投影的高速球机图像进行特征点匹配，并利用LM算法重新估算映射关系；

1.4)利用步骤1.1)-1.3)求得全景摄像机和高速球机之间的映射关系后，根据全景图像感兴趣目标的像素点可求得高速球机的旋转角度，从而控制高速球机进行转动到相应位置，完成全景摄像机和高速球机之间的联动。

3.根据权利要求2所述的一种基于全景摄像机和高速球机的智能联动与跟踪方法，所述步骤1)中，通过采用基于RANSAC算法和SIFT算法进行全景图像和高速球机图像特征点匹配，采用像素拟合方法来求解旋转矩阵，即针对全景图像的每个位置都求解不同的旋转矩阵，得到更为理想的旋转矩阵R₁₂，并利用LM算法初步估计映射关系。

4.根据权利要求1的一种基于全景摄像机和高速球机的智能联动与跟踪方法，所述步骤2)包括运动目标检测和多目标跟踪；

所述运动目标检测包括利用帧差法来辨识图像的前景区域即运动目标，采用Surendra背景法对运动区域内的背景保持不变，而非运动区域的背景用当前帧进行替换更新，经过一段时间后就可以提取背景图像；

所述多目标跟踪包括：

(1)跟踪窗口的设置；

(2)跟踪特征值的选择；

(3)Kalman跟踪中的运动模型估计；

(4)模型更新和建立目标匹配矩阵。

5.根据权利要求1的一种基于全景摄像机和高速球机的智能联动与跟踪方法，所述步骤3)中，利用步骤1)中的全景摄像机和高速球机之间的智能联动方法将监控任务转交给高速球，通过目标特征匹配的方式获得目标在高速球画面中的精确位置，结合Kalman滤波算法和Mean Shift算法进行运动目标跟踪，高速球端的目标跟踪可获得高清的图像序列，实现对感兴趣的目标进行高清抓拍。

6.根据权利要求1的一种基于全景摄像机和高速球机的智能联动与跟踪方法，所述步骤3)中高速球端目标跟踪步骤如下：

3.1)初始化Kalman滤波器，根据设定的跟踪窗口中目标的质心位置作为初始位置；

3.2)根据前一时刻的Kalman滤波的系统状态量，由Kalman滤波器获得当前时刻目标的预测位置；

3.3)根据前一时刻的Kalman滤波的系统状态量，由Mean Shift跟踪算法获得当前时刻的观测位置；

3.4)根据之前由Kalman滤波器求得的预测位置和由Mean Shift算法求得的观测位置，采用Kalman滤波法估算当前时刻目标的估计位置；

3.5)由第四步求得的目标的估计位置再应用前面第3.2)和3.3)步同理推出下一时刻运动目标的预测位置和观测位置；

3.6)重复上面的3.2)、3.3)和3.4)步骤，最终获得稳定的目标跟踪算法。