CN104751486B - 一种多ptz相机的运动目标接力跟踪算法 - Google Patents

Abstract

本发明公开了一种多PTZ相机的运动目标接力跟踪算法，其特征是按如下步骤进行：1、采用相机自标定方法估计PTZ相机的内参数矩阵；2、设置相邻PTZ相机之间的视野分割线；3、使用Logistic回归模型作为分类函数，结合均值漂移算法实现目标跟踪；4、跟踪过程中不断调整PTZ相机的角度，使得目标始终处于PTZ相机视野中心区域；5、当目标越过当前PTZ相机的视野分割线进入相邻PTZ相机监控视野时，计算出目标在相邻PTZ相机视野中的坐标，调用相邻PTZ相机继续对目标进行跟踪，并转动原PTZ相机回到预置位。本发明能够精确控制相机转动，对目标进行长时间稳定跟踪，从而获得目标完整的历史运动信息。

Description

一种多PTZ相机的运动目标接力跟踪算法

技术领域

本发明属于视频监控领域，尤其涉及一种使用多个PTZ相机对同一个目标进行持续地接力跟踪的算法。

背景技术

随着社会的发展，视频监控作为一种重要的安防措施越来越受到人们的重视，应用范围也逐渐扩大，大到火车站飞机场，小到停车场便利店，都安装了大量的监控摄像头。传统的监控摄像头在安装之后，其相机角度、镜头焦距等参数就不能改变，即监控场景一般是固定不变的，使用起来很不方便，PTZ相机(Pan/Tilt/Zoom简写，代表云台全方位(上下、左右)移动及镜头变倍)的出现解决了上述问题。在PTZ相机安装之后，使用者可以通过数字或者模拟信号来给相机发送命令，调整相机的PTZ参数，包括表示镜头的水平角度的P值、表示镜头的垂直角度的T值以及表示镜头的变倍参数的Z值，从而实现灵活地调整相机的监控场景。

一般监控系统中PTZ相机的参数调整主要有两种方式：一、监控人员通过观察监控画面来发现焦点事件继而手动发送PTZ参数命令调整相机的角度和焦距，使得相机的监控视野适合于焦点事件所在区域；二、事先为相机设定若干个PTZ坐标并设置相机每间隔一段时间就按顺序转动到其中一个PTZ坐标位置，即相机巡航。方式一需要耗费大量的人力资源，且无法保证监控的效率，方式二中摄像机只是简单地依次对预先设定好的坐标位置进行监控，缺乏针对性，不能很好地应对突发事件。

为了提高PTZ相机的监控效率，研究人员采用图像处理与视频分析的方法提取出监控场景中的运动目标，进而通过运动目标的运动信息来实现PTZ相机对焦点区域的自动监控和跟踪运动目标，然而，这种方法通常采用单个PTZ相机，且单纯依赖跟踪目标在图像中的位置变化调整相机的角度，实现对运动目标的跟踪。在实际应用场景中，这类方法往往会因为相机角度调整不合适，导致运动目标偏离出相机场景，跟踪失败，同时由于单个PTZ相机的监控视野有限，只能获得运动目标的监控片段，无法实现对目标的持续长时间跟踪，丢失了目标的完整历史轨迹信息。

发明内容

本发明为克服上述现有技术存在的不足之处，提出了一种使用多PTZ相机对运动目标进行持续接力跟踪的算法，能够精确控制相机转动，对目标进行长时间稳定跟踪，从而获得目标完整的历史运动信息。

本发明为解决技术问题采用如下技术方案：

本发明一种多PTZ相机的运动目标接力跟踪算法的特点是按如下步骤进行：

步骤1、针对所需拍摄的监控场景，架设M台PTZ相机C＝{C₁,C₂,…,C_m,…,C_M}，C_m表示第m台PTZ相机；m≤M；并使得相邻两台PTZ相机的监控视野部分重叠，从而获得多帧有重叠区域的视频图像；

定义第m台PTZ相机C_m的PTZ参数为：水平角度P_m、垂直角度T_m和变焦参数Z_m；

以所述视频图像的任一顶点为原点O，以所述原点O的两条邻边分别设置为X轴和Y轴构成坐标系XOY；

步骤2、通过相机自标定算法对每台PTZ相机的内参数矩阵进行估计；

步骤3、设定每台PTZ相机的预置位参数，所述预置位参数包括：预置水平角度、预置垂直角度和预置变焦参数；并计算所述M台PTZ相机C的视野分割线L＝{L₁,L₂,…,L_m,…,L_M-1}；L_m表示第m台PTZ相机C_m与第m+1台PTZ相机C_m+1之间的视野分割线；

步骤4、以第m台PTZ相机C_m所拍摄的视频图像作为参考图像，在所述参考图像中选定跟踪目标，并提取所述跟踪目标的目标特征；

步骤5、根据所述目标特征，利用均值漂移算法计算所述跟踪目标在所述参考图像中的位置坐标，并在所述跟踪目标与所述参考图像的中心位置坐标之间的距离大于所设定的阈值T时，调整所述第m台PTZ相机C_m的PTZ参数；

步骤6、判断所述跟踪目标是否经过第m条视野分割线L_m，并在所述跟踪目标经过第m条视野分割线L_m时计算所述跟踪目标在第m+1台PTZ相机C_m+1的视频图像中的位置坐标，根据所述跟踪目标在第m+1台PTZ相机C_m+1的视频图像中的位置坐标调整所述第m+1台PTZ相机C_m+1的PTZ参数，使得所述第m+1台PTZ相机C_m+1以所述跟踪目标为监控视野中心，调用所述第m+1台PTZ相机C_m+1继续进行目标跟踪；同时，所述第m台PTZ相机C_m根据自身预置位参数回到预置位。

本发明所述的多PTZ相机的运动目标接力跟踪算法的特点也在于，

所述步骤2中的相机自标定算法是按如下步骤进行：

步骤2.1、在第m台PTZ相机C_m所拍摄的视频图像中取任一帧视频图像作为初始图像，以所述初始图像为基准，调整所述第m台PTZ相机C_m的水平角度P_m和垂直角度T_m，分别获得所述初始图像在四个方向上的共N幅偏移图像；N≥4；

步骤2.2、在所述初始图像和N幅偏移图像中分别提取特征点，从而获得特征点集合S＝{S₀,S₁,…,S_i,…,S_N}，S₀表示所述初始图像中的特征点集合，S₁,…,S_N依次表示所述N幅偏移图像中的特征点集合；S_i表示第i幅偏移图像中的特征点集合；

步骤2.3、将所述初始图像中的特征点集合S₀与所述N幅偏移图像中的每个特征点集合进行匹配，获得匹配点对集合F＝{F₁,F₂,…F_i,…F_N}；1≤i≤N；F_i表示所述初始图像中的特征点集合S₀与第i幅偏移图像中的特征点集合S_i的匹配点对集合；所述匹配点对集合F_i中的任一匹配点对为 表示所述第i幅偏移图像中的特征点集合S_i中的第j个特征点坐标；表示所述初始图像中的特征点集合S₀中的第j个特征点坐标；

步骤2.4、以所述第m台PTZ相机C_m的主透镜光心为原点o，以主透镜的主光轴方向为z轴，与主透镜像平面像素坐标系的横方向U平行的方向为x轴，与主透镜像平面像素坐标系的竖直方向V平行的方向为y轴，从而建立世界坐标系o-xyz；则所述匹配点对中的两个特征点坐标和在所述世界坐标系o-xyz中对应于同一个坐标点F；

步骤2.5、初始化j＝1；

步骤2.6、对集合F_i中的第j个匹配点对为将式(1)和式(2)进行联立，获得关于所述第m台PTZ相机C_m的内参数矩阵K的方程如式(3)所示：

式(1)、式(2)和式(3)中，内参数矩阵K为3×3的矩阵，z_c表示坐标点F在所述世界坐标系o-xyz中的z轴坐标值；R₀表示所述第m台PTZ相机C_m的初始图像的旋转矩阵；R₁表示所述第m台PTZ相机C_m的第i幅偏移图像的旋转矩阵，并有：

式(4)和式(5)中，α₀和β₀分别表示所述旋转矩阵R₀所对应的第m台PTZ相机C_m的水平旋转角度和垂直旋转角度；α₁和β₁分别表示所述旋转矩阵R₁所对应的第m台PTZ相机C_m的水平旋转角度和垂直旋转角度；

步骤2.7、将j+1赋值给j；并执行步骤2.6，从而获得由μ个关于所述第m台PTZ相机C_m的内参数矩阵K的方程所组成的方程组，μ≥8；由所述方程组获得所述第m台PTZ相机C_m的内参数矩阵K。

所述步骤3中的第m条视野分割线L_m是按如下步骤进行计算：

步骤3.1、根据所述第m台PTZ相机C_m与第m+1台PTZ相机C_m+1之间的重叠区域的视频图像；获得所述重叠区域的中心线；

步骤3.2、在所述中心线上任意寻找第一预置点A和第二预置点B；

步骤3.3、调整所述第m台PTZ相机C_m的PTZ参数使得第一预置点A处于所述第m台PTZ相机C_m的视频图像的中心点，获取与所述第一预置点A相对应的预置水平角度和预置垂直角度调整所述第m台PTZ相机C_m的PTZ参数使得第二预置点B处于所述第m台PTZ相机C_m的视频图像的中心点，获取与所述第二预置点B相对应的预置水平角度和预置垂直角度

步骤3.4、以所述预置水平角度和预置垂直角度构成第一坐标以所述预置水平角度和预置垂直角度构成第二坐标利用所述第一坐标和第二坐标获得所述第m台PTZ相机C_m的第m条视野分割线L_m。

所述步骤4中的目标特征按如下步骤进行提取：

步骤4.1、在所述参考图像中设置一个包围所述跟踪目标的矩形框；

步骤4.2、将所述矩形框向外扩充A％，获得扩充矩形框；

步骤4.3、令(r,g,b)表示所述参考图像中任一像素点的颜色值，其中r表示所述颜色值的红色分量，g表示所述颜色值的绿色分量，b表示所述颜色值的蓝色分量；利用式(6)获得颜色值加权和σ：

σ＝θ₀rr+θ₁rg+θ₂rb+θ₃bb+θ₄bg+θ₅gg (6)

式(6)中，{θ₀，θ₁，θ₂，θ₃，θ₄，θ₅}为所述颜色值加权和σ的权值系数；

步骤4.4、利用式(7)所示的Logistic回归模型作为分类函数对所述颜色值加权和σ进行分类：

式(7)表示所述分类函数h(σ)对所述颜色值加权和σ进行分类得到所述颜色值(r,g,b)是正样本的概率值；

以所述矩形框内像素点的颜色值为正样本，以所述矩形框外且在所述扩充矩形框内的像素点的颜色值为负样本，采用梯度下降法对所述分类函数h(σ)进行学习训练，从而获得所述颜色值加权和σ的权值系数{θ₀，θ₁，θ₂，θ₃，θ₄，θ₅}，以所述权值系数{θ₀，θ₁，θ₂，θ₃，θ₄，θ₅}作为所述跟踪目标的目标特征。

所述步骤5是按如下步骤调整所述第m台PTZ相机C_m的PTZ参数：

步骤5.1、在所述坐标系XOY中，假设所述跟踪目标在所述参考图像中的坐标为x，所述参考图像的中心坐标为o，假设所述第m台PTZ相机C_m从所述中心坐标o转动到所述跟踪目标的坐标x的水平旋转角度为α、垂直旋转角度为β；

步骤5.2、设置坐标m并作为直角顶点，以所述中心坐标o和所述跟踪目标的坐标x作为另外两个顶点构成直角三角形Δmxo；并利用式(8)、式(9)和式(10)分别映射在所述世界坐标系o-xyz中：

m＝KRM (8)

o＝KRO (9)

x＝KRX (10)

式(8)、式(9)中和式(10)；M表示坐标m映射在世界坐标系o-xyz中的顶点坐标；O表示中心坐标o映射在世界坐标系o-xyz中的中心坐标；X表示坐标x映射在世界坐标系o-xyz中的坐标；R为所述第m台PTZ相机C_m的中心坐标o映射为中心坐标O时的旋转矩阵；

步骤5.3、利用式(11)、式(12)和式(13)分别获得顶点坐标M、中心坐标O和坐标X：

M＝R^-1K^-1m (11)

O＝R^-1K^-1o (12)

X＝R^-1K^-1x (13)

步骤5.4、利用式(14)和式(15)分别获得水平旋转角度α和垂直旋转角度为β：

式(14)和式(15)中，和分别表示在所述世界坐标系o-xyz中，以原点o为起始点，以顶点坐标M、中心坐标O和坐标X为终点的向量；

以所述水平旋转角度α作为所述第m台PTZ相机C_m的水平角度P_m的增量；以所述垂直旋转角度β作为所述第m台PTZ相机C_m的垂直角度T_m的增量，对所述第m台PTZ相机C_m进行转动，从而使得所述跟踪目标处于所述参考图像的中心位置。

所述步骤6中是利用式(16)获得所述跟踪目标在第m+1台PTZ相机C_m+1的视频图像中的位置坐标x'：

x'＝K'R'R^-1K^-1x (16)

式(16)中，K'表示所述第m+1台PTZ相机C_m+1的内参数矩阵；R'表示所述第m+1台PTZ相机C_m+1的旋转矩阵。

与现有技术相比，本发明的有益效果在于：

1、本发明通过采用计算机视觉和模式识别领域的算法，包括相机自标定、特征点提取和匹配、运动目标跟踪等，实现了PTZ相机自主跟踪目标，提高了传统PTZ相机监控的智能化，解决了传统PTZ相机监控效率低和针对性差的问题；同时采用了多个PTZ相机对同一个目标进行长时间的接力跟踪，从而获得目标在监控场景中的完整运动信息，且整个运动过程中，目标都处于监控视野中心区域，解决了传统PTZ相机监控只能获得目标短暂运动片段的问题。

2、本发明以计算机视觉理论中的摄像机成像模型为基础，根据摄像机内参数矩阵的定义，自动抓取图像并提取图像中的特征点，通过图像之间的特征点匹配，计算出PTZ相机的内参数矩阵，从而完成PTZ相机的自标定，避免了人工干预和标定物的使用，提高了系统的易用性，且计算出来的PTZ相机的内参数矩阵精度较高。

3、本发明以公式(6)为分类函数，样本信息中包含目标的三通道颜色信息，特征较为鲁棒，采用Logistic回归模型作为分类函数，结合均值漂移(MeanShift)算法实现目标跟踪，实时性较高，跟踪效果较好。

4、本发明根据摄像机成像原理，并结合PTZ相机参数特征，实现了参考图像坐标系和真实世界坐标系的坐标转换，在目标运动过程中，根据目标在参考图像上的位移量，实时调整PTZ参数，使得目标始终处于PTZ相机监控视野中心区域。

5、本发明在PTZ相机参数空间中设置视野分割线，实现多个PTZ相机监控视野的划分，具有较好的场景适应性，受具体的地理环境限制较小。

6、本发明以目标在世界坐标系的坐标为中介，完成目标在相邻两个PTZ相机的视频图像中的坐标转换，从而实现多个PTZ相机对目标的接力跟踪，能够获得目标在整个监控场景中的完整运动信息。

附图说明

图1为现有技术中一台摄像机的世界坐标系与视频图像坐标系示意图；

图2为本发明算法流程示意图；

图3为本发明计算PTZ相机的PT参数增量的示意图；

图4为本发明目标交接示意图。

具体实施方式

本实施例中，一种多PTZ相机的运动目标接力跟踪算法是首先采用相机自标定方法估计PTZ相机的内参数矩阵；然后设置相邻PTZ相机之间的视野分割线；使用Logistic回归模型作为分类函数，结合均值漂移算法实现目标跟踪；跟踪过程中不断调整PTZ相机的角度，使得目标始终处于视野中心区域；当目标越过当前PTZ相机的视野分割线进入相邻PTZ相机监控视野时，计算出目标在相邻PTZ相机视野中的坐标，调用相邻PTZ相机继续对目标进行跟踪，并转动原PTZ相机回到预置位。本发明能够精确控制相机转动，对目标进行长时间稳定跟踪，从而获得目标完整的历史运动信息；具体地说是按如下步骤进行：

步骤1.1、针对所需拍摄的监控场景，架设M台PTZ相机C＝{C₁,C₂,…,C_m,…,C_M}，C_m表示第m台PTZ相机；m≤M；并使得相邻两台PTZ相机的监控视野部分重叠，每台PTZ相机获得各自监控视野的视频图像，从而获得多帧有重叠区域的视频图像；具体实施中，采用3台PTZ相机进行跟踪；

定义第m台PTZ相机C_m的PTZ参数为：水平角度P_m、垂直角度T_m和变焦参数Z_m；

如图1所示，以视频图像的任一顶点为原点O，以原点O的两条邻边分别设置为X轴和Y轴构成坐标系XOY；

步骤1.2、通过相机自标定算法对每台PTZ相机的内参数矩阵进行估计，具体过程如下：

步骤1.2.1、在第m台PTZ相机C_m所拍摄的视频图像中取任一帧视频图像作为初始图像，以初始图像为基准，调整第m台PTZ相机C_m的水平角度P_m和垂直角度T_m，分别获得初始图像在四个方向上的N幅偏移图像；N≥4；具体实施中，获得初始图像在四个方向上的各取一幅偏移图像即可；

步骤1.2.2、在初始图像和N幅偏移图像中分别提取特征点，从而获得特征点集合S＝{S₀,S₁,…,S_i,…,S_N}，S₀表示初始图像中的特征点集合，S₁,…,S_N依次表示N幅偏移图像中的特征点集合；S_i表示第i幅偏移图像中的特征点集合；本实施例中，获得了4幅偏移图像的特征点集合S＝{S₁,S₂,S₃,S₄}；特征点是图像最基本的特征，是指那些灰度信号在二维方向上都有明显变化的点，本实施实例中使用的是SURF特征点。特征点的匹配可以通过模式识别算法自动进行，也可以人工手动选择特征点并确定匹配关系。

步骤1.2.3、将初始图像中的特征点集合S₀与N幅偏移图像中的每个特征点集合进行匹配，获得匹配点对集合F＝{F₁,F₂,…F_i,…F_N}；i≤N；F_i表示初始图像中的特征点集合S₀与第i幅偏移图像中的特征点集合S_i的匹配点对集合；匹配点对集合F_i中的任一匹配点对为 表示第i幅偏移图像中的特征点集合S_i中的第j个特征点坐标；表示初始图像中的特征点集合S₀中的第j个特征点坐标；本实施例中，获得了匹配点对集合F＝{F₁,F₂,F₃,F₄}；

步骤1.2.4、如图1所示，以第m台PTZ相机C_m的主透镜光心为原点o，以主透镜的主光轴方向为z轴，与主透镜像平面像素坐标系的横方向U平行的方向为x轴，与主透镜像平面像素坐标系的竖直方向V平行的方向为y轴，从而建立世界坐标系o-xyz；则第j个特征点坐标和在世界坐标系o-xyz中对应于同一个坐标点F；

步骤1.2.5、初始化j＝1；

步骤1.2.6、对集合F_i中的第j个匹配点对为将式(1)和式(2)进行联立，获得关于第m台PTZ相机C_m的内参数矩阵K的方程如式(3)所示：

式(1)、式(2)和式(3)中，内参数矩阵K为3×3的矩阵，z_c表示坐标点F在世界坐标系o-xyz中的z轴坐标值；R₀表示第m台PTZ相机C_m的初始图像的旋转矩阵；R₁表示第m台PTZ相机C_m的第i幅偏移图像的旋转矩阵，并有：

式(4)和式(5)中，α₀和β₀分别表示旋转矩阵R₀所对应的第m台PTZ相机C_m的水平旋转角度和垂直旋转角度，这两个参数可以通过相机的PT参数直接计算出来；一般相机会将水平方向上的360度进行等分，得到P参数的取值范围，同时将垂直方向上的90度进行等分，得到T参数的取值范围。α₁和β₁分别表示旋转矩阵R₁所对应的第m台PTZ相机C_m的水平旋转角度和垂直旋转角度；

步骤1.2.7、将j+1赋值给j；并执行步骤1.2.6，从而获得由μ个关于第m台PTZ相机C_m的内参数矩阵K的方程所组成的方程组；μ≥8，本实施例中μ取值为8；根据线性代数中方程组求解的相关理论，由方程组获得第m台PTZ相机C_m的内参数矩阵K。

步骤1.3、设定每台PTZ相机的预置位参数，预置位参数包括：预置水平角度、预置垂直角度和预置变焦参数；并计算M台PTZ相机C的视野分割线L＝{L₁,L₂,…,L_m,…,L_M-1}；L_m表示第m台PTZ相机C_m与第m+1台PTZ相机C_m+1之间的视野分割线，视野分割线用于划分各个PTZ相机的监控视野范围；具体过程如下：

步骤1.3.1、根据第m台PTZ相机C_m与第m+1台PTZ相机C_m+1之间的重叠区域的视频图像；获得重叠区域的中心线；

步骤1.3.2、在中心线上任意寻找第一预置点A和第二预置点B；

步骤1.3.3、调整所述第m台PTZ相机C_m的PTZ参数使得第一预置点A处于所述第m台PTZ相机C_m的视频图像的中心点，获取与所述第一预置点A相对应的预置水平角度和预置垂直角度调整所述第m台PTZ相机C_m的PTZ参数使得第一预置点B处于所述第m台PTZ相机C_m的视频图像的中心点，获取与所述第一预置点B相对应的预置水平角度和预置垂直角度

步骤1.3.4、以预置水平角度和预置垂直角度构成第一坐标以预置水平角度和预置垂直角度构成第二坐标利用第一坐标和第二坐标获得第m台PTZ相机C_m的第m条视野分割线L_m；

步骤1.4、以第m台PTZ相机C_m所拍摄的视频图像作为参考图像，可以手动圈出跟踪目标或者使用运动目标检测算法提取出跟踪目标，在参考图像中选定跟踪目标，并提取跟踪目标的目标特征，目标特征是指目标模型或者目标特性描述，包括颜色特征、纹理特征等，常见的特征有颜色直方图等；本实施中，所获取的目标特征为颜色特征；并按如下步骤进行提取：

步骤1.4.1、在参考图像中设置一个包围跟踪目标的矩形框；

步骤1.4.2、将矩形框向外扩充A％，获得扩充矩形框；本实施例中，A取值为50。

步骤1.4.3、令(r,g,b)表示参考图像中任一像素点的颜色值，根据三基色原理，所述颜色值由红绿蓝三分量构成，其中r表示颜色值的红色分量，g表示颜色值的绿色分量，b表示颜色值的蓝色分量；利用式(6)颜色值加权和σ：

σ＝θ₀rr+θ₁rg+θ₂rb+θ₃bb+θ₄bg+θ₅gg (6)

式(6)中，{θ₀，θ₁，θ₂，θ₃，θ₄，θ₅}为颜色值加权和σ的权值系数，用于作为跟踪目标的目标特征；

若以θ＝{θ₀，θ₁，θ₂，θ₃，θ₄，θ₅}表示权值系数，并记v＝{rr,rg,rb,bb,bg,gg}为颜色值(r,g,b)构成的输入向量；则颜色值加权和σ可以表示如式(7)所示：

σ＝θ^Tv (7)

步骤4.4、利用如式(8)所示的Logistic回归模型作为分类函数对颜色值加权和σ进行分类：

式(7)表示分类函数h(σ)对颜色值加权和σ进行分类得到颜色值(r,g,b)是正样本的概率值，其取值范围为[0,1]。

步骤4.5、根据公式(7)和(8)，可以得到式(9):

以矩形框内像素点的颜色值为正样本，以矩形框外且在扩充矩形框内的像素点的颜色值为负样本，采用梯度下降法对分类函数进行学习训练，求得颜色值加权和σ的权值系数{θ₀，θ₁，θ₂，θ₃，θ₄，θ₅}，即为所述跟踪目标的目标特征θ。

梯度下降法是一种最优化算法，通常也称为最速下降法。在梯度下降法中，对要优化求解的函数参数进行迭代，使得函数值沿着函数梯度方向不断下降，达到最优值，以函数取最优值时对应的参数作为最优的函数参数。本实施例中要优化求解的函数参数为颜色值加权和σ的权值系数θ＝{θ₀，θ₁，θ₂，θ₃，θ₄，θ₅}，迭代公式为：

(10)式中，θ_j为θ的第j(0≤j≤5)个分量；n表示训练样本的个数，包括正样本和负样本；y⁽ⁱ⁾为第i(0≤i≤n-1)个训练样本对应的类标签，表明该样本属于哪一类，本实施例中正样本的类标签为1，负样本的类标签为0；a为参数迭代步长，是一个固定常数，控制迭代收敛速度，可根据实际需要进行手动调整；v⁽ⁱ⁾表示第i(0≤i≤n-1)个训练样本的颜色值构成的输入向量；h(θ^Tv⁽ⁱ⁾)是指当输入向量为v⁽ⁱ⁾且参数为θ时分类函数的输出值，参见式(9)；表示v⁽ⁱ⁾的第j(0≤j≤5)个分量。根据迭代公式不断进行迭代，当迭代过程收敛或者迭代次数到达预先设定的最大次数，迭代停止，取当前的参数θ＝{θ₀，θ₁，θ₂，θ₃，θ₄，θ₅}作为分类函数的参数。

步骤1.5、根据目标特征计算跟踪目标在参考图像中的位置坐标，并在跟踪目标与参考图像的中心位置坐标之间的距离大于所设定的阈值T时，调整第m台PTZ相机C_m的PTZ参数；其中，计算目标在参考图像中的位置，是首先对现有包围目标的矩形框进行放大，得到搜索区；然后使用公式(6)中的分类函数对搜索区的每个像素点的颜色值进行计算，得到该像素点属于正样本的概率，从而得到搜索区对应的概率图，再使用均值漂移方法在概率图上搜索得到概率最大的区域，即为跟踪目标在参考图像中的位置。均值漂移方法是一种基于迭代的方法，被用于求解目标跟踪问题时每次迭代是将目标候选区域的中心点移动到其重心点，重心点是由目标候选区域在概率图中的对应区域的概率子图求得。当迭代达到一定次数或者某次迭代中心点移动距离小于预先设定的阈值时迭代结束，取当前的候选区域作为跟踪目标的所在区域。调整第m台PTZ相机C_m的PTZ参数是按如下步骤进行：

步骤1.5.1、在坐标系XOY中，假设跟踪目标在参考图像中的坐标为x，参考图像的中心坐标为o，假设第m台PTZ相机C_m从中心坐标o转动到跟踪目标的坐标x的水平旋转角度为α、垂直旋转角度为β；

步骤1.5.2、设置坐标m并作为直角顶点，以中心坐标o和跟踪目标的坐标x作为另外两个顶点构成直角三角形Δmxo；并利用式(11)、式(12)和式(13)分别映射在世界坐标系o-xyz中：

m＝KRM (11)

o＝KRO (12)

x＝KRX (13)

式(11)、式(12)和式(13)中；M表示坐标m映射在世界坐标系o-xyz中的顶点坐标；O表示中心坐标o映射在世界坐标系o-xyz中的中心坐标；X表示坐标x映射在世界坐标系o-xyz中的坐标；R为第m台PTZ相机C_m的中心坐标o映射为中心坐标O时的旋转矩阵；

步骤1.5.3、利用式(14)、式(15)和式(16)分别获得顶点坐标M、中心坐标O和坐标X：

M＝R^-1K^-1m (14)

O＝R^-1K^-1o (15)

X＝R^-1K^-1x (16)

步骤1.5.4、利用式(17)和式(18)分别获得水平旋转角度α和垂直旋转角度为β：

式(17)和式(18)中，和分别表示在世界坐标系o-xyz中，以原点o为起始点，以顶点坐标M、中心坐标O和坐标X为终点的向量；

以水平旋转角度α作为第m台PTZ相机C_m的水平角度P_m的增量；以垂直旋转角度β作为第m台PTZ相机C_m的垂直角度T_m的增量，对第m台PTZ相机C_m进行转动，从而使得跟踪目标处于参考图像的中心位置；

步骤1.6、将目标在参考图像中的位置对应的PTZ相机的PT值带入第m条视野分割线方程，判断跟踪目标是否经过第m条视野分割线L_m，并在跟踪目标经过第m条视野分割线L_m时计算跟踪目标在第m+1台PTZ相机C_m+1的视频图像中的位置坐标，根据位置坐标调整第m+1台PTZ相机C_m+1的PTZ参数，使得第m+1台PTZ相机C_m+1以位置坐标为中心并继续进行目标跟踪；同时，第m台PTZ相机C_m根据自身预置位参数回到预置位。

利用式(19)获得跟踪目标在第m+1台PTZ相机C_m+1的视频图像中的位置坐标x'：

x'＝K'R'R^-1K^-1x (19)

式(19)中，K'表示第m+1台PTZ相机C_m+1的内参数矩阵；R'表示第m+1台PTZ相机C_m+1的旋转矩阵。

Claims (5)

1.一种多PTZ相机的运动目标接力跟踪算法，其特征是按如下步骤进行：

步骤1、针对所需拍摄的监控场景，架设M台PTZ相机C＝{C₁,C₂,…,C_m,…,C_M}，C_m表示第m台PTZ相机；m≤M；并使得相邻两台PTZ相机的监控视野部分重叠，从而获得多帧有重叠区域的视频图像；

定义第m台PTZ相机C_m的PTZ参数为：水平角度P_m、垂直角度T_m和变焦参数Z_m；

以所述视频图像的任一顶点为原点O，以所述原点O的两条邻边分别设置为X轴和Y轴构成坐标系XOY；

步骤2、通过相机自标定算法对每台PTZ相机的内参数矩阵进行估计；

步骤2.1、在第m台PTZ相机C_m所拍摄的视频图像中取任一帧视频图像作为初始图像，以所述初始图像为基准，调整所述第m台PTZ相机C_m的水平角度P_m和垂直角度T_m，分别获得所述初始图像在四个方向上的共N幅偏移图像；N≥4；

步骤2.2、在所述初始图像和N幅偏移图像中分别提取特征点，从而获得特征点集合S＝{S₀,S₁,…,S_i,…,S_N}，S₀表示所述初始图像中的特征点集合，S₁,…,S_N依次表示所述N幅偏移图像中的特征点集合；S_i表示第i幅偏移图像中的特征点集合；

步骤2.3、将所述初始图像中的特征点集合S₀与所述N幅偏移图像中的每个特征点集合进行匹配，获得匹配点对集合F＝{F₁,F₂,…F_i,…F_N}；1≤i≤N；F_i表示所述初始图像中的特征点集合S₀与第i幅偏移图像中的特征点集合S_i的匹配点对集合；所述匹配点对集合F_i中的任一匹配点对为 表示所述第i幅偏移图像中的特征点集合S_i中的第j个特征点坐标； 表示所述初始图像中的特征点集合S₀中的第j个特征点坐标；

步骤2.4、以所述第m台PTZ相机C_m的主透镜光心为原点o，以主透镜的主光轴方向为z轴，与主透镜像平面像素坐标系的横方向U平行的方向为x轴，与主透镜像平面像素坐标系的竖直方向V平行的方向为y轴，从而建立世界坐标系o-xyz；则所述匹配点对中的两个特征点坐标和在所述世界坐标系o-xyz中对应于同一个坐标点F；

步骤2.5、初始化j＝1；

步骤2.6、对集合F_i中的第j个匹配点对为将式(1)和式(2)进行联立，获得关于所 述第m台PTZ相机C_m的内参数矩阵K的方程如式(3)所示：

式(1)、式(2)和式(3)中，内参数矩阵K为3×3的矩阵，z_c表示坐标点F在所述世界坐标系o-xyz中的z轴坐标值；R₀表示所述第m台PTZ相机C_m的初始图像的旋转矩阵；R₁表示所述第m台PTZ相机C_m的第i幅偏移图像的旋转矩阵，并有：

式(4)和式(5)中，α₀和β₀分别表示所述旋转矩阵R₀所对应的第m台PTZ相机C_m的水平旋转角度和垂直旋转角度；α₁和β₁分别表示所述旋转矩阵R₁所对应的第m台PTZ相机C_m的水平旋转角度和垂直旋转角度；

步骤2.7、将j+1赋值给j；并执行步骤2.6，从而获得由μ个关于所述第m台PTZ相机C_m的内参数矩阵K的方程所组成的方程组，μ≥8；由所述方程组获得所述第m台PTZ相机C_m的内参数矩阵K；

步骤3、设定每台PTZ相机的预置位参数，所述预置位参数包括：预置水平角度、预置垂直角度和预置变焦参数；并计算所述M台PTZ相机C的视野分割线L＝{L₁,L₂,…,L_m,…,L_M-1}；L_m表示第m台PTZ相机C_m与第m+1台PTZ相机C_m+1之间的视野分割线；

步骤4、以第m台PTZ相机C_m所拍摄的视频图像作为参考图像，在所述参考图像中选定跟踪目标，并提取所述跟踪目标的目标特征；

步骤5、根据所述目标特征，利用均值漂移算法计算所述跟踪目标在所述参考图像中的位置坐标，并在所述跟踪目标与所述参考图像的中心位置坐标之间的距离大于所设定的阈值T 时，调整所述第m台PTZ相机C_m的PTZ参数；

步骤6、判断所述跟踪目标是否经过第m条视野分割线L_m，并在所述跟踪目标经过第m条视野分割线L_m时计算所述跟踪目标在第m+1台PTZ相机C_m+1的视频图像中的位置坐标，根据所述跟踪目标在第m+1台PTZ相机C_m+1的视频图像中的位置坐标调整所述第m+1台PTZ相机C_m+1的PTZ参数，使得所述第m+1台PTZ相机C_m+1以所述跟踪目标为监控视野中心，调用所述第m+1台PTZ相机C_m+1继续进行目标跟踪；同时，所述第m台PTZ相机C_m根据自身预置位参数回到预置位。

2.根据权利要求1所述的多PTZ相机的运动目标接力跟踪算法，其特征是，所述步骤3中的第m条视野分割线L_m是按如下步骤进行计算：

步骤3.1、根据所述第m台PTZ相机C_m与第m+1台PTZ相机C_m+1之间的重叠区域的视频图像；获得所述重叠区域的中心线；

步骤3.2、在所述中心线上任意寻找第一预置点A和第二预置点B；

步骤3.3、调整所述第m台PTZ相机C_m的PTZ参数使得第一预置点A处于所述第m台PTZ相机C_m的视频图像的中心点，获取与所述第一预置点A相对应的预置水平角度和预置垂直角度调整所述第m台PTZ相机C_m的PTZ参数使得第二预置点B处于所述第m台PTZ相机C_m的视频图像的中心点，获取与所述第二预置点B相对应的预置水平角度和预置垂直角度

步骤3.4、以所述预置水平角度和预置垂直角度构成第一坐标以所述预置水平角度和预置垂直角度构成第二坐标利用所述第一坐标和第二坐标获得所述第m台PTZ相机C_m的第m条视野分割线L_m。

3.根据权利要求1所述的多PTZ相机的运动目标接力跟踪算法，其特征是，所述步骤4中的目标特征按如下步骤进行提取：

步骤4.1、在所述参考图像中设置一个包围所述跟踪目标的矩形框；

步骤4.2、将所述矩形框向外扩充A％，获得扩充矩形框；

步骤4.3、令(r,g,b)表示所述参考图像中任一像素点的颜色值，其中r表示所述颜色值的 红色分量，g表示所述颜色值的绿色分量，b表示所述颜色值的蓝色分量；利用式(6)获得颜色值加权和σ：

σ＝θ₀rr+θ₁rg+θ₂rb+θ₃bb+θ₄bg+θ₅gg (6)

式(6)中，{θ₀，θ₁，θ₂，θ₃，θ₄，θ₅}为所述颜色值加权和σ的权值系数；

步骤4.4、利用式(7)所示的Logistic回归模型作为分类函数对所述颜色值加权和σ进行分类：

式(7)表示所述分类函数h(σ)对所述颜色值加权和σ进行分类得到所述颜色值(r,g,b)是正样本的概率值；

以所述矩形框内像素点的颜色值为正样本，以所述矩形框外且在所述扩充矩形框内的像素点的颜色值为负样本，采用梯度下降法对所述分类函数h(σ)进行学习训练，从而获得所述颜色值加权和σ的权值系数{θ₀，θ₁，θ₂，θ₃，θ₄，θ₅}，以所述权值系数{θ₀，θ₁，θ₂，θ₃，θ₄，θ₅}作为所述跟踪目标的目标特征。

4.根据权利要求1所述的多PTZ相机的运动目标接力跟踪算法，其特征是，所述步骤5是按如下步骤调整所述第m台PTZ相机C_m的PTZ参数：

步骤5.1、在所述坐标系XOY中，假设所述跟踪目标在所述参考图像中的坐标为x，所述参考图像的中心坐标为o，假设所述第m台PTZ相机C_m从所述中心坐标o转动到所述跟踪目标的坐标x的水平旋转角度为α、垂直旋转角度为β；

步骤5.2、设置坐标m并作为直角顶点，以所述中心坐标o和所述跟踪目标的坐标x作为另外两个顶点构成直角三角形Δmxo；并利用式(8)、式(9)和式(10)分别映射在所述世界坐标系o-xyz中：

m＝KRM (8)

o＝KRO (9)

x＝KRX (10)

式(8)、式(9)和式(10)中；M表示坐标m映射在世界坐标系o-xyz中的顶点坐标；O表示中心坐标o映射在世界坐标系o-xyz中的中心坐标；X表示坐标x映射在世界坐标系o-xyz 中的坐标；R为所述第m台PTZ相机C_m的中心坐标o映射为中心坐标O时的旋转矩阵；

步骤5.3、利用式(11)、式(12)和式(13)分别获得顶点坐标M、中心坐标O和坐标X：

M＝R^-1K^-1m (11)

O＝R^-1K^-1o (12)

X＝R^-1K^-1x (13)

步骤5.4、利用式(14)和式(15)分别获得水平旋转角度α和垂直旋转角度为β：

式(14)和式(15)中，和分别表示在所述世界坐标系o-xyz中，以原点o为起始点，以顶点坐标M、中心坐标O和坐标X为终点的向量；

以所述水平旋转角度α作为所述第m台PTZ相机C_m的水平角度P_m的增量；以所述垂直旋转角度β作为所述第m台PTZ相机C_m的垂直角度T_m的增量，对所述第m台PTZ相机C_m进行转动，从而使得所述跟踪目标处于所述参考图像的中心位置。

5.根据权利要求1或4所述的多PTZ相机的运动目标接力跟踪算法，其特征是，所述步骤6中是利用式(16)获得所述跟踪目标在第m+1台PTZ相机C_m+1的视频图像中的位置坐标x'：

x'＝K'R'R^-1K^-1x (16)

式(16)中，K'表示所述第m+1台PTZ相机C_m+1的内参数矩阵；R'表示所述第m+1台PTZ相机C_m+1的旋转矩阵。