CN106991691B - 一种适用于摄像机网络下的分布式目标跟踪方法 - Google Patents

Abstract

本发明涉及一种适用于摄像机网络下的分布式目标跟踪方法，属于摄像机网络、分布式处理以及目标跟踪应用技术领域；该方法利用平方根容积信息滤波对每个摄像机监测的目标进行运动预测和估计；摄像机之间通过通信进行信息交互，然后利用平均一致性方法对信息进行分布式数据融合；最后通过多次迭代得到稳定的跟踪结果，从而实现摄像机网络中的目标跟踪。对比现有技术，本发明考虑到过程噪声和量测噪声之间的相关噪声，使存在这种相关噪声的系统也能够实现目标跟踪应用；使用平方根容积信息滤波可以使系统避免陷入处理器有限字长的问题，同时结合加权平均一致性算法，使系统可以在分布式环境中应用；能够在提高跟踪精度的同时，提升方法的鲁棒性。

Description

一种适用于摄像机网络下的分布式目标跟踪方法

技术领域

本发明属于摄像机网络、分布式处理以及目标跟踪应用技术领域，涉及一种适用于摄像机网络下的分布式目标跟踪方法。

背景技术

当前摄像机被大量运用在安防，监控等领域，但绝大多数的应用都是采用集中式的管理方式，然而摄像机网络中各个摄像机分布在观察区域的不同位置，如果采用集中式管理，势必会存在布线困难，另外，集中式的管理方式会对中心节点造成较大的计算负载和存储压力。目前物联网、云计算的兴起，使得分布式处理技术飞速发展，其技术优势也被凸显出来。因此，本发明采用分布式的处理方式来进行信息的交互和处理。如前面提到的摄像机网络，我们将网络中的摄像机看作节点，各节点只跟其邻居节点建立通信并交互信息。这样就需要一种加权平均一致性算法使得各个节点所包含的信息一致。

摄像机监控系统是一种非线性系统，在该系统中常用的目标跟踪方法，如卡尔曼滤波算法(KF)，扩展卡尔曼滤波算法(EKF)，将不能很好的适用于这种系统。而容积卡尔曼滤波(CKF)和平方根容积信息滤波(SCIF)由于其具有的优秀性能，近来被大量应用。由于摄像机网络是一种传感器网络，在设计时，考虑降低成本，网络节点的性能都一般比较低，因此采用滤波算法时不能使用复杂度较高的算法，另外还需要考虑处理器的有限字长问题对算法带来的影响。此外，在实际环境中，由于光照，背景变化，遮挡以及各摄像机间的不完全同步等一些外在因素的影响，状态的系统方程和观测方程之间的噪声还有可能是相关的。种种这些因素，限制了现有技术的应用范围。

发明内容

本发明目的是为实现摄像机网络中的目标跟踪，并解决现有目标跟踪方法中的由于使用集中式的处理方式而不能应用于大规模系统中的问题，以及克服现有方法往往不考虑过程噪声与观测噪声间的相关性的问题，提出一种适用于分布式摄像机网络下的目标跟踪方法，能够实现摄像网络中的目标跟踪，提高了目标跟踪精度，在分布式系统与目标跟踪等领域具有重要的作用。

本发明的技术关键在于，利用平方根容积信息滤波对每个摄像机监测的目标进行运动预测和估计；摄像机之间通过通信进行信息交互，然后利用平均一致性方法对信息进行分布式数据融合；最后通过多次迭代得到稳定的跟踪结果，从而实现摄像机网络中的目标跟踪。

本发明目的是通过下述技术方案实现的。

一种适用于摄像机网络下的分布式目标跟踪方法，包括以下步骤：

步骤1、从各个摄像机中得到监控视频，然后利用现有的目标检测技术得到疑似目标的位置坐标；

步骤2、利用坐标变换技术，将目标从摄像机坐标转换到统一的参考平面坐标，这些坐标信息即为各摄像机在k时刻所得到的量测信息其中N_c表示摄像机的个数；

步骤3、在各自摄像机中，根据k时刻的量测信息根据下述公式计算该时刻的信息向量和信息矩阵由于下述公式都是对于摄像机s进行运算，因此省略公式中的s：

S_y,k∣k＝Tria([S_y,k∣k-1 S_i,k])； (2)

其中，Tria表示QR分解运算，和S_y,k∣k-1分别表示用k-1时刻的信息预测k时刻的信息所得到的预测信息向量和预测平方根信息矩阵，通过下式计算：

其中，为用k-1时刻状态预测k时刻的状态所得到状态估计的预测值，P_k∣k-1为k时刻状态误差的协方差矩阵预测值，又P_0∣-1和为初始已知值，所以S_y,k∣k-1和可以随时间递推求出；

i_k和S_i,k分别为k时刻的信息贡献向量和信息贡献矩阵的平方根，通过下面公式计算：

其中，z_k为k时刻的量测信息，P_xz,k∣k-1为k-1时刻的状态和量测值的互协方差矩阵，通过下列公式计算：

其中，D_k为k时刻的量测噪声和过程噪声的互协方差矩阵，D_k≠0，m＝2n_x，n_x为状态向量x_k的维数，X_i,k∣k-1和Z_i,k∣k-1下标中的i代表容积点的序号，i＝1,2,…,m，二者分别为k-1时刻容积卡尔曼滤波器量测更新中对应的容积点和传播的容积点，通过下面公式计算：

Z_i,k∣k-1＝h(X_i,k∣k-1)；

其中，h(·)为已知的观测方程的非线性函数，[1]_i是点集[1]的第i列，而S_k∣k-1为k时刻状态误差的协方差矩阵的平方根，由公式求得；另外，k-1时刻的量测预测值由下面公式计算：

另外，其中，-T表示先转置再求逆运算，下标用于表示针对的平方根计算，其中为考虑相关噪声的量测噪声的方差，其逆为 至此可以求得

步骤4、初始化加权平均一致性算法的输入：

步骤5、取l＝0,1,…,L-1进行L次迭代求加权平均一致值，过程如下：

步骤5.1，广播信息对给s节点的邻居节点；

步骤5.2，节点s收集其所有邻居节点发送过来的信息；

步骤5.3，节点s通过下式融合所有信息对：

其中，加权值π^sj≥0且上标s，j代表节点编号，N_s为节点s与其邻居节点组成的集合，N_s,E表示与s相邻的节点的总个数；

作为优选，所述加权值π^sj取Metropolis权值规则，具体如下：

其中，Δ_s表示节点s的度，即节点s的邻居数，Δ_j表示节点j的度，即节点j的邻居数；

步骤6、设置节点s经过加权平均一致性算法计算后的状态估计为：

步骤7、通过下式预测k+1时刻的信息向量和信息矩阵

其中，和通过下面的公式计算，为了便于表述，公式忽略摄像机的序号s：

其中，S_Q,k为k时刻过程噪声协方差Q_k的平方根，即矩阵通过下述公式计算：

其中，为状态方程的传播容积点，i＝1,2,…,m，由公式 得到，其中，f(·)为对应于系统状态方程的非线性函数，X_i,k∣k为容积点，由公式得到，而和S_k∣k又由公式和得到；

获得信息向量和信息矩阵后，返回步骤1重复上述过程即可得到各时刻的状态估计，即目标跟踪结果，当执行到步骤3时，公式(1)和(2)中的以及Sy_,k∣k-1用本步骤所得结果和代入即可，无需再通过公式(3)和(4)计算。

有益效果

本发明考虑到过程噪声和量测噪声之间的相关噪声，使存在这种相关噪声的系统也能够实现目标跟踪应用；使用平方根容积信息滤波可以使系统避免陷入处理器有限字长的问题，同时结合加权平均一致性算法，使系统可以在分布式环境中应用；本发明所提出的方法能够在提高跟踪精度的同时，提升方法的鲁棒性；本发明可以通过适当改进拓展到其他分布式系统中，在目标跟踪和数据融合的其他应用背景中具有一定的应用前景。

附图说明

图1是本发明所提出的一种适用于摄像机网络下的分布式目标跟踪方法k时刻算法执行流程示意图；

图2是网络连通图以及摄像机FOV；

图3是本发明所提出的方法在某次目标跟踪中的结果示意图；

图4是本发明所提出的方法均值误差和对应的估计误差的方差的结果图。

具体实施方式

下面结合附图和实施例对本发明的优选实施方式进行详细说明。

实施例

考虑一个摄像机网络中有N_C个摄像机(本发明中摄像机被看成网络中的节点，即摄像机、摄像机节点、节点三种表述意思相同)监控着重叠的可视区域(Field of views，FOVs)中的N_T个移动的目标。这N_C个摄像机组成的网络在k时刻可以用无向图G(k)＝(C,E(k),A(k))表示，其中表示摄像机节点的集合，为边的集合，边表示节点间的通信连接，为邻接矩阵，邻接矩阵由0和1元素组成，若对应元素为1说明该两个顶点(摄像机节点)之间存在一条相邻边，并且规定a_ss＝0，s＝1,…,N_C，N_C表示摄像机节点的总个数；Ω_s＝{j∈C∣(s,j)∈E}为节点s的邻居集，即与节点s相邻的节点的集合，(s,j)表示连接任意摄像机节点s与j的一条边。节点s邻居的数量(度)表示为Δ_s＝∑_ja_sj，图G的度矩阵为Δ(k)＝diag{A(k)·1}。

本实施例采用的摄像机s离散时间系统的系统方程表示如下(所有节点的系统方程形式一致)：

其中，f(·)和h(·)分别对应于系统的状态方程和观测方程的非线性函数， 为摄像机s在k时刻的状态向量，n_x为状态向量的维数，为摄像机s在k时刻的测量值，表示摄像机s在k-1时刻的过程噪声，表示摄像机s在k时刻的量测噪声，且与是高斯白噪声，并满足：

和分别是过程噪声和量测噪声的方差，而为这两个噪声的协方差，δ_k,l为克罗内克函数，时间l和k相等时，δ_k,l＝1，否则δ_k,l＝0。通常在文献中会假设而实际情况这种假设不太合理。因此本发明考虑噪声间的协方差，即我们令各摄像机中的目标初始状态为其对应的初始状态预测值为(E为求期望运算)，令初始状态误差的协方差矩阵为P_0∣-1。用上标T表示为转置运算，下标(0∣-1)中0表示初始时刻，初始时刻前面的时刻用-1表示。本发明其他公式中类似下标意义相似，如中的下标表示用k-1时刻的目标估计信息来预测k时刻的目标信息，中的下标表示用k-1时刻的量测信息来修正k时刻的状态估计预测值从而得到的k时刻的最优状态估计。

一种适用于摄像机网络下的分布式目标跟踪方法，如图1所示，包括以下步骤：

步骤1、从各个摄像机中得到监控视频，然后利用现有的目标检测技术(如多尺度形变部件模型，DPM)得到疑似目标的位置坐标。

步骤2、利用坐标变换技术，将目标从摄像机坐标转换到统一的参考平面坐标，这些坐标信息即为各摄像机在k时刻所得到的量测信息

步骤1和步骤2是本发明方法的准备工作，不是本发明的主体部分，其具体实现过程可根据实际需要采用现有相关技术完成。在实施例中，本发明假设这些摄像机已经被矫正过，得到的目标位置对应到同一个参考平面上。

步骤3、在各自摄像机中，收集k时刻节点自身的量测信息其中s表示摄像机序号，1≤s≤N_C，然后计算k时刻的信息向量和平方根信息矩阵

信息向量和平方根信息矩阵通过如下公式进行计算(为了便于表述，本步骤中所有公式忽略摄像机的序号s)：

S_y,k∣k＝Tria([S_y,k∣k-1S_i,k])， (2)

其中，Tria表示QR分解运算，和S_y,k∣k-1分别表示用k-1时刻的信息预测k时刻的信息所得到的预测信息向量和预测平方根信息矩阵，即有：

在这里，为用k-1时刻状态预测k时刻的状态所得到状态估计的预测值，P_k∣k-1为k时刻状态误差的协方差矩阵预测值，又P_0∣-1和为初始已知值，所以S_y,k∣k-1和可以随时间递推求出。又i_k和S_i,k分别为k时刻的信息贡献向量和信息贡献矩阵的平方根，通过下面公式计算：

其中z_k为k时刻的量测信息，P_xz,k∣k-1为k-1时刻的状态和量测值的互协方差矩阵，可以通过下列公式计算：

其中D_k为k时刻的量测噪声和过程噪声的互协方差矩阵(D_k≠0)，m＝2n_x，n_x为状态向量x_k的维数，X_i,k∣k-1和Z_i,k∣k-1(下标中的i代表容积点的序号，i＝1,2,…,m)分别为k-1时刻容积卡尔曼滤波器量测更新中对应的容积点和传播的容积点，它们可以通过下面公式计算：

Z_i,k∣k-1＝h(X_i,k∣k-1)，

其中[1]_i是点集[1]的第i列，而S_k∣k-1为k时刻状态误差的协方差矩阵的平方根，即由求得，在计算S_k∣k-1时可以直接用公式求得，又P_0∣-1已知，所以可以按时刻推移求出S_k∣k-1。另外，k-1时刻的量测预测值由下面公式得到：

至此可以求得P_xz,k∣k-1。

另外(-T表示先转置再求逆运算，下标用于表示针对的平方根计算)，其中为考虑相关噪声的量测噪声的方差，其逆为而又可以表示成：因此，可以先求得然后对其求逆，再对求逆的结果求平方根，至此可以求得从而可以求得步骤3中的和

步骤4、初始化加权平均一致性算法的输入：

中的“0”表示迭代次数，初始时为零。在实施例中，迭代次数为20次。本发明提出的方法一般在迭代5次后算法就达到收敛。

步骤5、取l＝0,1,…,L-1进行L次迭代求加权平均一致值，过程如下：

步骤5.1，广播信息对给s节点的邻居节点(j∈N_s\{s})；

该步骤是方法的节点间通信过程，节点跟其相邻节点之间进行数据交互，从而实现信息的共享。

步骤5.2，节点s收集其所有邻居节点(j∈N_s\{s})发送过来的信息；

步骤5.3，融合所有信息对。

融合节点自身的信息对与接收到的邻居节点的信息对的信息，具体公式如下：

其中加权值π^sj≥0且(上标s，j代表节点编号)，N_s为节点s与其邻居节点组成的集合，由于(s,j)∈E，所以很容易由邻接矩阵A求得与s相邻的节点j的总个数N_s,E。在实施例中，加权值π^sj取Metropolis权值规则，如下：

其中Δ_s为节点s的度，即节点的邻居数。当然，对于π^sj的取值规则不限于上述Metropolis权值规则，本领域技术人员可以根据实际应用背景进行选择，只要满足π^sj≥0且即可。

经过步骤5，最终得到和

步骤6、设置节点s经过加权平均一致性算法计算后的状态估计为：

步骤7、预测k+1时刻的信息向量和信息矩阵

预测k+1时刻的信息向量和信息矩阵通过如下公式进行：

其中和可以通过下面的公式计算(为了便于表述，步骤3中公式忽略摄像机的序号s)：

式中，S_Q,k为k时刻过程噪声协方差Q_k的平方根，即矩阵定义为：

而为状态方程的传播容积点(i＝1,2,…,m)，由公式 得到，其中的f(·)为对应于系统状态方程的非线性函数，X_i,k∣k为容积点，由公式得到，而和S_k∣k又由下面公式和得到。同时和S_y,k∣k由步骤6可获得(将摄像机序号s上标加入对应变量)，至此完成步骤7的计算。

获得信息向量和信息矩阵后，返回步骤1重复上述过程即可得到各时刻的状态估计，即目标跟踪结果，当执行到步骤3时，公式(1)和(2)中的以及S_y,k∣k-1用本步骤所得结果和代入即可，无需再通过公式(3)和(4)计算。

实验结果

本发明的效果可通过以下实验进一步说明。

本实验中，采用上述方法对摄像机网络中的行人进行跟踪。假设1个目标在500m×500m的区域内运动，区域内分布式的布置了9个摄像机。一般来说摄像机的观测区域为扇形区域，但是为了便于仿真，本实验假设每个摄像机的感知区域为其周围的200m×200m区域。网络连通图以及摄像机FOV如图2所示(由于FOVs存在重叠，为了便于显示，图中只标示出了C₁，C₃，C₅，C₇，C₈的FOV，其他摄像机类似)。目标的状态向量由x,y方向的位移和速度，以及一个时间同步因子组成。记为：x_k＝[x′_k y′_k v_x,k v_y,k δ_k]^T。目标的运动模型如下：

其中(x′_k-1,y′_k-1)为目标在参考平面上的位置，(v_x,k-1,v_y,k-1)为目标速度，δ_k-1为连续的两次测量之间的时间间隔。由于目前的时间同步算法都存在误差，本实验的仿真中不假定精确的时间同步，同步误差用一个时间不确定因子e表示，e满足高斯分布。本实验设定(a_x,a_y,e)^T满足高斯分布N(0,diag([1 1 0.01]))。为了方便计算需要独立出过程噪声v_k-1。在这里，对运动模型中的向量(a_x,a_y,e)进行雅可比矩阵计算，得到雅可比矩阵J_v,k-1如下式，

则v_k-1＝J_v,k-1(a_x,a_y,e)^T的方差 本实验中，目标的初始状态x₀随机产生，其中位置坐标根据运动区域随机产生，初始运动速度在10m/s到50m/s之间随机选取，并且目标的初始运动方向从0到2π之间随机产生，时间间隔为1s。初始状态对应的协方差为：P_0∣-1＝diag([10025 100 25 0.01])。另外，初始预测状态信息由真实轨迹的初始值叠加以P_0∣-1为协方差的零均值高斯白噪声组成。

摄像机C_s的测量模型如下：

其中为摄像机C_s在时间k目标在图像平面的像素坐标。为Homography矩阵对应的元素，w_k为符合高斯白噪声的量测噪声。由于Homography矩阵是将不同摄像机的观测平面转换到参考平面上，仿真时不同摄像机使用相同的Homography矩阵并不会影响仿真效果，为简化实验设计，本实验使用相同的Homography矩阵为(取自于APIDIS数据集的C₆摄像机的参数)：

实验中令为v_k-1和之间的相关矩阵，即因此，

量测噪声的方差为：

在实验中，

图3显示的是使用本发明的方法进行目标跟踪时某次目标跟踪的轨迹结果(tracking results)图。从图中可以看出，在本次实验中，本发明的方法能很好的跟踪到目标，这是因为本发明的方法采用了平均一致性算法(图中显示的是5轮迭代的结果)。通过与真实轨迹的对比，本发明提出的方法可以得到比较贴合真实运动的轨迹(Ground Truth)，也就是说该方法适合于多摄像机协同跟踪这一应用。

图4显示了本发明的方法的均值误差(Mean Error)和其对应的方差。从图4中可以看出，本发明提出的方法能有效的跟踪目标，随着一致性迭代次数(Number of consensusiterations)增加，算法逐渐收敛，从图中可以看出仅进行了5轮迭代，算法就收敛到一致平均值，因此本发明方法(SCWF-CN)是非常有效的。在实际使用该方法时，可以在相邻时间间隔内，进行多次迭代。由于迭代只在相邻节点间进行，因此速度可以很快。这样算法的实时性就可以得到保证。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种适用于摄像机网络下的分布式目标跟踪方法，其特征在于，包括以下步骤：

步骤1、从各个摄像机中得到监控视频，然后利用现有的目标检测技术得到疑似目标的位置坐标；

步骤2、利用坐标变换技术，将目标从摄像机坐标转换到统一的参考平面坐标，这些坐标信息即为各摄像机在k时刻所得到的量测信息其中N_c表示摄像机的个数；

步骤3、在各自摄像机中，根据k时刻的量测信息根据下述公式计算该时刻的信息向量和信息矩阵由于下述公式都是对于摄像机s进行运算，因此省略公式中的s：

S_y,k∣k＝Tria([S_y,k∣k-1S_i,k])； (2)

其中，Tria表示QR分解运算，和S_y,k∣k-1分别表示用k-1时刻的信息预测k时刻的信息所得到的预测信息向量和预测平方根信息矩阵，通过下式计算：

其中，为用k-1时刻状态预测k时刻的状态所得到状态估计的预测值，P_k∣k-1为k时刻状态误差的协方差矩阵预测值，又P_0∣-1和为初始已知值，所以S_y,k∣k-1和可以随时间递推求出；

i_k和S_i,k分别为k时刻的信息贡献向量和信息贡献矩阵的平方根，通过下面公式计算：

其中，z_k为k时刻的量测信息，P_xz,k∣k-1为k-1时刻的状态和量测值的互协方差矩阵，通过下列公式计算：

其中，D_k为k时刻的量测噪声和过程噪声的互协方差矩阵，D_k≠0，m＝2n_x，n_x为状态向量x_k的维数，X_i,k∣k-1和Z_i,k∣k-1下标中的i代表容积点的序号，i＝1,2,…,m，二者分别为k-1时刻容积卡尔曼滤波器量测更新中对应的容积点和传播的容积点，通过下面公式计算：

Z_i,k∣k-1＝h(X_i,k∣k-1)；

其中，h(·)为已知的观测方程的非线性函数，[1]_i是点集[1]的第i列，而S_k∣k-1为k时刻状态误差的协方差矩阵的平方根，由 公式求得；另外，k-1时刻的量测预测值由下面公式计算：

另外，其中，-T表示先转置再求逆运算，下标用于表示针对的平方根计算，其中为考虑相关噪声的量测噪声的方差，其逆为至此可以求得

步骤4、初始化加权平均一致性算法的输入：

步骤5、取l＝0,1,…,L-1进行L次迭代求加权平均一致值，过程如下：

步骤5.1，广播信息对给s节点的邻居节点；

步骤5.2，节点s收集其所有邻居节点发送过来的信息；

步骤5.3，节点s通过下式融合所有信息对：

其中，加权值π^sj≥0且上标s，j代表节点编号，N_s为节点s与其邻居节点组成的集合，N_s,E表示与s相邻的节点的总个数；

步骤6、设置节点s经过加权平均一致性算法计算后的状态估计为：

步骤7、通过下式预测k+1时刻的信息向量和信息矩阵

其中，和通过下面的公式计算，为了便于表述，公式忽略摄像机的序号s：

其中，S_Q，k为k时刻过程噪声协方差Q_k的平方根，即矩阵通过下述公式计算：

其中，为状态方程的传播容积点，i＝1,2,…,m，由公式 得到，其中，f(·)为对应于系统状态方程的非线性函数，X_i,k∣k为容积点，由公式得到，而和S_k∣k又由公式 和得到；

获得信息向量和信息矩阵后，返回步骤1重复上述过程即可得到各时刻的状态估计，即目标跟踪结果，当执行到步骤3时，公式(1)和(2)中的以及S_y,k∣k-1用本步骤所得结果和代入即可，无需再通过公式(3)和(4)计算。

2.根据权利要求1所述的一种适用于摄像机网络下的分布式目标跟踪方法，其特征在于，所述加权值π^sj取Metropolis权值规则，具体如下：

其中，Δ_s表示节点s的度，即节点s的邻居数，Δ_j表示节点j的度，即节点j的邻居数。