CN104778690A - 一种基于摄像机网络的多目标定位方法 - Google Patents

Abstract

本发明公开了一种基于摄像机网络的多目标定位方法，属于多媒体传感网技术领域，包括以下步骤：首先，在初始化阶段，通过构建重叠摄像机组、摄像机单应性转换计算、摄像机重叠视域计算、摄像机映射模型计算四个步骤，完成摄像机网络的初始化；其次，在目标定位阶段，完成单个摄像机中的目标检测和跟踪，并通过综合利用摄像机间的拓扑关系、几何约束和目标特征信息实现目标匹配；最后，利用摄像机模型计算目标物理位置实现多目标定位。本发明基于摄像机网络的多目标定位方法能实现多目标的稳定跟踪，具有实现成本低、定位精度高、运行稳定等特点。在战场侦查、安全监控、周界防护等领域具有广阔的应用前景。

Description

一种基于摄像机网络的多目标定位方法

技术领域

本发明涉及的是一种目标定位技术领域的方法，特别是一种基于摄像机网络的多目标定位方法。

背景技术

基于传感器网络的目标定位技术在军事国防、城市管理、环境监测、抢险救灾、防恐反恐等诸多领域有着重要应用。然而，随着监测环境的日趋复杂多变，传统基于标量数据采集处理的传感器网络已不能满足环境全面感知和理解的应用需求，迫切需要将信息量丰富的图像、视频等媒体引入到以无线传感器网络为基础的环境监测活动中来，实现全面的环境监测和精准的目标定位。

目前，基于摄像机网络的目标定位技术研究日益得到重视，并取得了阶段性成果。根据场景中目标的数目不同，已有研究可分为单目标定位和多目标定位。相对于单目标定位，多目标定位研究更具挑战，同时也具有更广泛的应用价值。目前，多目标定位方法研究可以概括为三类：基于特征匹配、基于几何约束、基于拓扑关系。

(1)基于特征匹配的方法。该类方法利用多摄像机之间目标区域的颜色特征、外形特征、运动特征等进行一致性匹配。明安龙等以SIFT特征点表示目标，进行多摄像机目标匹配(文献1.明安龙，马华东，多摄像机之间基于区域SIFT描述子的目标匹配，计算机学报，2008，31(4)：650-661.)，但该方法对摄像机的观测角度有一定的限制，图像分辨率不高，或者非刚性目标都可能导致匹配的特征点难以寻找。另外，由于颜色特征、外形特征、运动特征等信息随着场景光照、位置、摄像机视角的不同而变化，使用这些特征信息进行目标一致性匹配并不是很稳定。

(2)基于几何约束的方法。该类方法利用摄像机的标定信息和三维环境坐标信息，建立多个摄像机监控场景之间的空间映射关系，实现跨摄像机的目标匹配。BlackJ.等人采用基于单应性约束提出了转换误差来实现不同视场中质心之间的对应(文献2.BlackJ.,EllisT.,Multi-cameraImageTracking.ImageandVision Computing,24(11),2006:1256-1267)，但该方法适用于具有重叠区域的多摄像机之间的目标匹配。另外，由于摄像机标定复杂，特征点检测精度低，使得该类方法在大多数实际场景中难以满足。

(3)基于拓扑关系的方法。该类方法利用摄像机之间的目标出入位置、事件连接和转移时间等拓扑关系实现多目标的匹配和定位。Javed等人设计了一种基于Parzen窗和高斯核的混合概率密度估计器(文献3.Javed O,Shafique K,Rasheed Z,et al.Modeling Inter-camera Space-time andAppearance Relationships for Tracking AcrossNon-overlapping Views.Computer Vision and Image Understanding,109(2),2008:146-162.)，来估计由时间间隔、速度和进出观测视域的位置等组成的概率密度函数，估计过程是通过有监督学习方法实现。拓扑关系估计方法难以适应摄像机网络的动态变化，且仅适用于摄像机无重叠视域情况下。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种基于摄像机网络的多目标定位方法，从而实现多目标的连续稳定定位。

为了解决上述技术问题，本发明公开了基于摄像机网络的多目标定位方法，包括以下步骤：

步骤1，构建摄像机临近关系表：对摄像机网络中的第i个摄像机C_i，采用SIFT特征匹配重叠视域检测方法，计算得到所有与摄像机C_i存在视域重叠的摄像机，构成摄像机C_i的视域重叠摄像机组N_i。其中，i＝1,...,M，M为摄像机网络中摄像机的总数目；N_i＝{C_j,...,C_k}，C_j，C_k分别表示与摄像机C_i存在视域重叠的摄像机j和摄像机k；

步骤2，摄像机转换关系计算：对于与C_i存在重叠视域的摄像机C_d，C_d∈N_i，利用地平面单应性约束，采用基于SIFT特征点的转换关系计算方法，建立C_i与C_d之间的单应性转换关系R_i→d；

步骤3，摄像机重叠视域计算：对于与C_i存在重叠视域的摄像机C_d，C_d∈N_i，根据单应性转换约束机制，计算摄像机C_i与摄像机C_d的重叠视域；

步骤4，摄像机映射模型计算：采用基于特征点识别的摄像机映射关系建模方法，建立摄像机C_i的映射关系模型；

步骤5，采集图像：对于摄像机C_i采集的视频Videoⁱ，获取Videoⁱ的首帧图像

步骤6，目标检测：采用混合高斯模型背景建模方法检测图像中的运动目标；

步骤7，目标跟踪：采用基于序列粒子群优化的目标跟踪方法实现视频中的目标跟踪；

步骤8，目标识别：判断摄像机中的目标是否为已匹配目标；如果是未匹配目标，执行步骤9；否则，执行步骤10；

步骤9，目标匹配：采用摄像机网络中的多目标匹配方法，实现目标匹配；

步骤10，目标定位：利用目标跟踪结果计算目标的图像坐标；利用摄像机映射关系模型，计算目标的物理坐标；

步骤11，轨迹拟合：采用卡尔曼滤波轨迹拟合方法对目标的物理坐标进行拟合，得到目标定位结果，并在二维物理平面图上完成目标轨迹标绘；

步骤12，读取视频的下一帧。

步骤4基于特征点识别的摄像机映射关系建模方法的步骤为：

(4-1)对于摄像机网络中的摄像机C_i，选择其采集的视频Videoⁱ中的首帧图像采用SIFT算法(文献1.明安龙，马华东，多摄像机之间基于区域SIFT描述子的目标匹配，计算机学报，31(4)，2008：651-661.)检测中的尺度空间极值点，并通过拟和三维二次函数精确定位极值点，获得每个极值点的图像坐标，其中，i＝1,...,M；

(4-2)从以上极值点中选择不在一条直线上的4个点p₁，p₂，p₃，p₄作为图像特征点，其图像坐标分别为(x₁,y₁)，(x₂,y₂)，(x₃,y₃)，(x₄,y₄)；

(4-3)根据图像特征点坐标，在物理平面图中标定其对应的物理点P₁，P₂，P₃，P₄，其三维坐标为(X₁,Y₁,Z₁)，(X₂,Y₂,Z₂)，(X₃,Y₃,Z₃)，(X₄,Y₄,Z₄)，X,Y,Z分别为三维坐标系x轴、y轴、z轴上的坐标；

(4-4)利用图像坐标(x₁,y₁)，(x₂,y₂)，(x₃,y₃)，(x₄,y₄)和对应的物理坐标(X₁,Y₁,Z₁)，(X₂,Y₂,Z₂)，(X₃,Y₃,Z₃)，(X₄,Y₄,Z₄)，基于摄像机透视投影模型(文献4：唐丽玉，王熠中等，视频图像中监控目标的空间定位方法，福州大学学报，42(1)，2014：55-61.)，建立图像坐标到物理坐标的映射关系模型；

(4-5)对摄像机网络中的每个摄像机C_i都执行(4-1)～(4-4)，得到映射关系模型，i＝1,...,M，完成M个摄像机的映射关系建模；

步骤7中基于序列粒子群优化的目标跟踪方法的步骤为：

(7-1)跟踪初始化：对于摄像机C_i获取的视频Videoⁱ，计算其首帧图像中运动目标的外接矩形其中，为外接矩形左上顶点的坐标，为外接矩形右下顶点的坐标，在区间[-V_max,V_max]范围内，随机初始化目标的运动速度表示x方向速度，表示y方向速度，其中，V_max为目标最大运动速度，V_max取值范围通常为5～20个像素点；

(7-2)生成粒子种群：对于视频Videoⁱ的第t帧图像中运动目标的外接矩形预测生成粒子种群，包含以下步骤：

(7-2-1)以矩形的左上顶点为期望，以Σ为协方差，生成P个左上顶点位置满足正态分布面积与面积一样的矩形，构成初始种群 $A_t^i\left(0\right),A_t^i\left(0\right)=\{X_t^{i,1}\left(0\right),...,X_t^{i,p}\left(0\right),...X_t^{i,p}\left(0\right)\},$ 其中，N()为正态分布， $X_t^{i,p}\left(0\right)=((x_{1,t}^{i,p}\left(0\right),y_{1,t}^{i,p}\left(0\right)),(x_{2,t}^{i,p}\left(0\right),y_{2,t}^{i,p}\left(0\right)))$ 表示第p个矩形，p＝1,2,...,P，P为矩形总数，Σ取值范围为0.01～0.03，P的取值范围为30～60；

(7-2-2)设置中每个矩形的初始速度 $V_t^{i,p}\left(0\right),V_t^{i,p}\left(0\right)=(v_{x,t}^{i,p}\left(0\right),v_{y,t}^{i,p}\left(0\right)),$ 其中， $v_{x,t}^{i,p}\left(0\right)~U[-V_{\max },V_{\max }],v_{y,t}^{i,p}\left(0\right)~U[-V_{\max },V_{\max }],$ 表示和服从[-V_max,V_max]上的均匀分布；

(7-3)粒子种群优化：采用粒子群优化算法对视频Videoⁱ第t+1帧图像中的目标进行跟踪，计算步骤为：

(7-3-1)以作为粒子群优化算法的初始种群，采用目标外接矩形内图像的直方图作为图像特征，以直方图的欧氏距离作为适应度函数，采用粒子群优化算法对初始种群进行H次迭代优化，得到收敛种群其中， $A_t^i\left(H\right)=\{X_t^{i,1}\left(H\right),...,X_t^{i,p}\left(H\right),...X_t^{i,p}\left(H\right)\},X_t^{i,p}\left(H\right)$ 为经H次优化后的矩形， $X_t^{i,p}\left(H\right)=((x_{1,t}^{i,p}\left(H\right),y_{1,t}^{i,p}\left(H\right)),(x_{2,t}^{i,p}\left(H\right),y_{2,t}^{i,p}\left(H\right))),p=\mathrm{1,2},...,P,$ H为最大迭代次数，其中，为折衷计算开销和算法收敛性，H的取值范围为30～100；

(7-3-2)第t+1帧图像中的目标的外接矩形为收敛种群中适应度最高的矩形，计算公式为：

$((x_{1,t+1}^i,y_{1,t+1}^i),(x_{2,t+1}^i,y_{2,t+1}^i))=\arg \max \left(\mathrm{Fitness}\left(((x_{1,t}^{i,p}\left(H\right),y_{1,t}^{i,p}\left(H\right)),(x_{2,t}^{i,p}\left(H\right),y_{2,t}^{i,p}\left(H\right)))\right)\right),$

式中，Fitness()为基于直方图的目标适应度计算函数。

(7-3-1)中采用粒子群优化算法对初始种群进行H次迭代优化的步骤为：

(7-3-1-1)初始状态的种群为 $A_t^i\left(0\right)=\{X_t^{i,1}\left(0\right),...,X_t^{i,p}\left(0\right),...X_t^{i,p}\left(0\right)\},$ 每个矩形的速度为 $V_t^{i,p}\left(0\right),p=\mathrm{1,2},...,P;$

(7-3-1-2)计算种群极值gbest(h)和个体极值pbest(h)，h为当前迭代次数，gbest(h)和pbest(h)的计算方法为：

表示gbest(h)的值为中适应度最大的值，p＝1,2,...,P，Max()函数为取最大值函数，

$\mathrm{pbest}\left(h\right)=\mathrm{Big}(\mathrm{Fitness}\left(X_t^{i,p}\left(h\right)\right),\mathrm{Fitness}\left(X_t^{i,p}(h-1)\right)),$ 表示pbest(h)的值为和适应度较大的值，Big()函数为取较大值函数；

(7-3-1-3)根据第h次迭代结果，计算第h+1次迭代时矩形的速度和位置，计算方法为：

式中，w为惯性权重，取值范围为2～4；分别为加速系数，其中c₁和c₂为常数，取值范围为1～3，rand₁()和rand₂()表示为[0,1]间的随机数；

(7-3-1-4)当h＜H时，重复(7-3-1-1)到(7-3-1-3)；否则迭代终止。

步骤9中采用摄像机网络的多目标匹配方法包括以下步骤：

(9-1)对所有已匹配目标添加标号，组成历史目标队列；

(9-2)对摄像机C_i获取的视频Videoⁱ的第t帧图像中检测到的未匹配目标，判断目标的特征点坐标是否位于临近摄像机组N_i中摄像机的重叠区域，如果位于重叠区域执行(9-3)，否则执行(9-5)，其中，目标特征点坐标的计算方法是：

$(x_{3,t}^I,y_{3,t}^i,)=(\frac{1}{2}(x_{1,t}^i,+x_{2,t}^i,),y_{2,t}^i,),$ 其中，为目标外接矩形左上顶点的坐标，为目标外接矩形右下顶点的坐标；

(9-3)采用基于图像分割加权的空间直方图的目标相似度计算函数，计算摄像机C_i中的目标与摄像机C_d中目标的相似度，C_d∈N_i，如果相似度大于阈值D^F，即则执行(9-4)；否则执行(9-6)；D^F为匹配误差；

(9-4)计算目标的特征点坐标与目标的特征点坐标之间的对应性是否满足 $\sqrt{{(X_0^i-{R_{d\→i}}^{-1}{X}_0^d)}^2}+\sqrt{{(X_0^d-R_{i\→d}{X}_0^i)}^2}\≤D^T,$ 其中，R_d→i，R_i→d表示像机机C_i与摄像机C_d之间的单应性映射关系，D^T为映射误差；如果满足该条件，则目标匹配成功，执行(9-6)，否则执行(9-7)；

(9-5)将摄像机C_i中的目标与历史目标队列中的目标进行匹配，如果发现匹配目标，执行(9-6)，否则执行(9-7)；

(9-6)将新出现的目标赋予与被匹配目标相同的标号；

(9-7)给该目标分配新的目标标号进行跟踪，并将该目标添加到历史目标队列中。

步骤10中利用目标跟踪结果计算目标的图像坐标以及利用摄像机映射关系模型计算目标的物理坐标包括以下步骤：

(10-1)特征点计算，具体方法为：根据跟踪的结果，计算目标的图像坐标计算公式为： $(x_{3,t}^I,y_{3,t}^i,)=(\frac{1}{2}(x_{1,t}^i,+x_{2,t}^i,),y_{2,t}^i,),$ 其中，为目标外接矩形左上顶点的坐标，为目标外接矩形右下顶点的坐标；

(10-2)物理坐标计算，具体方法为：利用目标的图像坐标基于摄像机映射关系模型，计算目标的物理坐标。

本发明与现有技术相比，其显著优点：(1)对摄像机是否存在重叠视域无限制，提高多目标定位方法的适用范围，具有更好的工程应用性；(2)综合利用摄像机间的拓扑关系、几何约束和目标特征信息实现目标匹配，提高了目标匹配的准确性；(3)在运动目标跟踪过程中，采用基于序列粒子群优化的目标跟踪方法进行目标跟踪，相对于传统粒子滤波方法，有效防止了粒子退化现象，具有更好的鲁棒性。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1是本发明基于摄像机网络的多目标定位方法的流程图。

图2是摄像机网络部署图。

图3是序列粒子群优化目标定位方法流程图。

图4是单摄像机多目标跟踪结果图。

图5是摄像机网络中的多目标匹配方法流程图。

图6是摄像机网络中多目标定位结果图。

具体实施方式

本发明公开了一种基于摄像机网络的多目标定位方法，其处理流程如图1所示。包括以下步骤：首先，在初始化阶段，通过构建重叠摄像机、摄像机单应性转换计算、摄像机重叠视域计算、摄像机映射模型计算四个步骤，完成摄像机网络的初始化；其次，在目标定位阶段，完成单个摄像机中的目标检测和跟踪，并通过综合利用摄像机间的拓扑关系、几何约束和目标特征信息实现目标匹配，最终利用摄像机模型计算目标物理位置实现多目标定位。

本实施例中，选择室内某楼层作为实施环境，构建了包括12个摄像机(Cam)的摄像机网络，其部署如图2所示，下面分别介绍各实施例部分的主要流程。

步骤1，构建重叠摄像机临组：对摄像机网络中的第i个摄像机C_i，采用SIFT特征匹配重叠视域检测方法，计算得到所有与摄像机C_i存在视域重叠的摄像机，构成摄像机C_i的视域重叠摄像机组N_i，其中，i＝1,...,M，M为摄像机网络中摄像机的总数目；N_i＝{C_j,...,C_k}，C_j，C_k分别表示与摄像机C_i存在视域重叠的摄像机j和摄像机k；本实施例中取M＝12，如图2所示；

步骤2，摄像机单应性转换计算：对于与C_i存在重叠视域的摄像机C_d，C_d∈N_i，利用地平面单应性约束，采用基于SIFT特征点的转换关系计算方法(文献4：杨俊，战荫伟，基于SIFT及射影变换的多摄像机目标交接，中国体视学与图像分析，1(16)，2011：44-49)，建立C_i与C_d之间的单应性转换关系R_i→d；

步骤3，摄像机重叠视域计算：对于与C_i存在重叠视域的摄像机C_d，C_d∈N_i，根据单应性转换约束机制，计算摄像机C_i与摄像机C_d的重叠视域，

重叠视域计算方法为：利用摄像机C_i与摄像机C_d的单应性映射关系R_i→d，计算摄像机C_i获取的背景图像映射后的像素位置，根据单应性转换约束机制，即像素位置只能在0至分辨率之间，得到的范围限制来计算重叠区域。本实施例中视频的分辨率为320*240；

步骤4，摄像机映射模型计算：采用基于特征点识别的摄像机映射关系建模方法，建立摄像机C_i的映射关系模型，i＝1,...,12，其中，基于特征点识别的摄像机映射关系建模方法的步骤为：

(4-1)对于摄像机网络中的摄像机C_i，选择其采集的视频Videoⁱ中的首帧图像采用SIFT算法(文献1.明安龙，马华东，多摄像机之间基于区域SIFT描述子的目标匹配，计算机学报，31(4)，2008：651-661.)检测中的尺度空间极值点，并通过拟和三维二次函数精确定位极值点，获得每个极值点的图像坐标，其中，i＝1,2,...,12；

(4-2)从以上极值点中选择不在一条直线上的4个点p₁，p₂，p₃，p₄作为图像特征点，其图像坐标分别为(x₁,y₁)，(x₂,y₂)，(x₃,y₃)，(x₄,y₄)；

(4-3)根据图像特征点坐标，在物理平面图中标定其对应的物理点P₁，P₂，P₃，P₄，其三维坐标为(X₁,Y₁,Z₁)，(X₂,Y₂,Z₂)，(X₃,Y₃,Z₃)，(X₄,Y₄,Z₄)；

(4-4)利用图像坐标(x₁,y₁)，(x₂,y₂)，(x₃,y₃)，(x₄,y₄)和对应的物理坐标(X₁,Y₁,Z₁)，(X₂,Y₂,Z₂)，(X₃,Y₃,Z₃)，(X₄,Y₄,Z₄)，基于摄像机透视投影模型(文献4：唐丽玉，王熠中等，视频图像中监控目标的空间定位方法，福州大学学报，42(1)，2014：55-61.)，建立图像坐标到物理坐标的映射关系模型；

(4-5)对摄像机网络中的每个摄像机C_i都执行(4-1)～(4-4)，得到映射关系模型，i＝1,2,...,12，完成12个摄像机的映射关系建模；

步骤5，采集图像：获取视频的一帧图像；

步骤6，目标检测：采用混合高斯模型背景建模方法(文献5.Stauffer C,Grimson WE L.Adaptive background mixture models for real-time tracking.In:Proceedings of IEEEConference on Computer Vision and Pattern Recognition.Colorado,USA,1999:246-252.)检测图像中的运动目标；

步骤7，目标跟踪：采用基于序列粒子群优化的目标跟踪方法实现视频中的目标跟踪，如图3所示，包括以下步骤：

(7-1)跟踪初始化：对于摄像机C_i获取的视频Videoⁱ，计算其首帧图像中运动目标的外接矩形其中，为外接矩形左上顶点的坐标，为外接矩形右下顶点的坐标；在区间[-V_max,V_max]范围内，随机初始化目标的运动速度本实施例中，取V_max＝10；

(7-2)生成粒子种群：对于视频Videoⁱ的第t帧图像中运动目标的外接矩形预测生成粒子种群，包含以下步骤：

(7-2-1)以矩形的左上顶点为期望，以Σ为协方差，生成P个左上顶点位置满足正态分布面积与面积一样的矩形，构成初始种群 $A_t^i\left(0\right),A_t^i\left(0\right)=\{X_t^{i,1}\left(0\right),...,X_t^{i,p}\left(0\right),...X_t^{i,p}\left(0\right)\},$ 其中，N()为正态分布， $X_t^{i,p}\left(0\right)=((x_{1,t}^{i,p}\left(0\right),y_{1,t}^{i,p}\left(0\right)),(x_{2,t}^{i,p}\left(0\right),y_{2,t}^{i,p}\left(0\right)))$ 表示第p个矩形，p＝1,2,...,P。本实施例中，区Σ＝0.02，P＝50；

(7-2-2)设置中每个矩形的初始速度 $V_t^{i,p}\left(0\right),V_t^{i,p}\left(0\right)=(v_{x,t}^{i,p}\left(0\right),v_{y,t}^{i,p}\left(0\right)),$ 其中 $v_{x,t}^{i,p}\left(0\right)~U[-V_{\max },V_{\max }],v_{y,t}^{i,p}\left(0\right)~U[-V_{\max },V_{\max }],$ 表示和服从[-V_max,V_max]上的均匀分布；

步骤7-3，粒子种群优化：采用粒子群优化算法对视频Videoⁱ第t+1帧图像中的目标进行跟踪，计算步骤为：

(7-3-1)以作为粒子群优化算法的初始种群，采用目标外接矩形内图像的直方图作为图像特征，以直方图的欧氏距离作为相似度函数，采用粒子群优化算法对初始种群进行H次迭代优化，得到收敛种群其中， $A_t^i\left(H\right)=\{X_t^{i,1}\left(H\right),...,X_t^{i,p}\left(H\right),...X_t^{i,50}\left(H\right)\},X_t^{i,p}\left(H\right)$ 为经H次优化后的矩形， $X_t^{i,p}\left(H\right)=((x_{1,t}^{i,p}\left(H\right),y_{1,t}^{i,p}\left(H\right)),(x_{2,t}^{i,p}\left(H\right),y_{2,t}^{i,p}\left(H\right))),p=\mathrm{1,2},...,50,$ H为最大迭代次数，为折衷计算代价和算法收敛性，本实施例中取H＝40；

其中，采用粒子群优化算法对初始种群进行H次迭代优化的步骤为：

(7-3-1-1)初始状态的种群为 $A_t^i\left(0\right)=\{X_t^{i,1}\left(0\right),...,X_t^{i,p}\left(0\right),...X_t^{i,50}\left(0\right)\},$ 每个矩形的速度为 $V_t^{i,p}\left(0\right),p=\mathrm{1,2},...,50;$

(7-3-1-2)计算种群极值gbest(h)和个体极值pbest(h)，h为当前迭代次数，gbest(h)和pbest(h)的计算方法为：

表示gbest(h)的值为中相似度最大的值，p＝1,2,...,P，Fitness()为基于图像分割加权的空间直方图目标相似度计算函数(文献6.Hanzi Wang,David Suter,Konrad Schindler,Adaptive object tracking based on aneffective appearance filter,IEEE Transactions on Pattern Analysis and Machine Intelligence,29(9),2007:1661-1667.)，本实施例中，将目标分为上半身和下半身两部分，分别统计直方图，

$\mathrm{pbest}\left(h\right)=\mathrm{Big}(\mathrm{Fitness}\left(X_t^{i,p}\left(h\right)\right),\mathrm{Fitness}\left(X_t^{i,p}(h-1)\right)),$ 表示pbest(h)的值为和相似度较大的值；

(7-3-1-3)根据第h次迭代结果，计算第h+1次迭代时矩形的速度和位置，计算方法为：

式中，w为惯性权重，取值范围为2～4，；分别为加速系数，其中c₁和c₂为常数，取值范围为1～3，rand₁()和rand₂()表示为[0,1]间的随机数。本实施例中，取w＝3，c₁＝c₂＝2；

(7-3-1-4)当h＜H时，重复(7-3-1-1)～(7-3-1-3)，否则迭代终止；

(7-3-2)第t+1帧图像中的目标的外接矩形为收敛种群中相似度最高的矩形，计算公式为：

$((x_{1,t+1}^i,y_{1,t+1}^i),(x_{2,t+1}^i,y_{2,t+1}^i))=\arg \max \left(\mathrm{Fitness}\left(((x_{1,t}^{i,p}\left(H\right),y_{1,t}^{i,p}\left(H\right)),(x_{2,t}^{i,p}\left(H\right),y_{2,t}^{i,p}\left(H\right)))\right)\right),$ 摄像机中多目标的跟踪结果如图4(由于本发明的特殊性，其处理对象为图像，因此只能以灰度图形式提供)所示；

步骤8，目标识别：判断摄像机中的目标是否为已匹配目标；如果是未匹配目标，执行步骤9；否则，执行步骤10；

步骤9，目标匹配：采用摄像机网络中的多目标匹配方法，实现目标匹配，如图5所示，包括以下步骤：

(9-1)对所有已匹配目标添加标号，组成历史目标队列；

(9-2)对摄像机C_i获取的视频Videoⁱ的第t帧图像中检测到的未匹配目标，判断目标的特征点坐标是否位于临近摄像机组N_i中摄像机的重叠区域；如果位于重叠区域执行(9-3)，否则执行(9-5)；

其中，目标特征点坐标的计算方法是：

$(x_{3,t}^I,y_{3,t}^i,)=(\frac{1}{2}(x_{1,t}^i,+x_{2,t}^i,),y_{2,t}^i,);$ 其中，为目标外接矩形左上顶点的坐标，为目标外接矩形右下顶点的坐标；

(9-3)采用基于图像分割加权的空间直方图的目标相似度计算函数，计算摄像机C_i中的目标与摄像机C_d中目标的相似度，C_d∈N_i。如果相似度大于阈值D^F，即则执行(9-4)；否则执行(9-6)；D^F为匹配误差，本实施例中D^F＝0.8；

(9-4)计算目标的特征点坐标与目标的特征点坐标之间的对应性是否满足 $\sqrt{{(X_0^i-{R_{d\→i}}^{-1}{X}_0^d)}^2}+\sqrt{{(X_0^d-R_{i\→d}{X}_0^i)}^2}\≤D^T,$ 其中，R_d→i，R_i→d表示像机机C_i与摄像机C_d之间的单应性映射关系，D^T为映射误差，本实施例中取D^T＝10。

如果满足该条件，则目标匹配成功，执行(9-6)；否则执行(9-7)。

(9-5)将摄像机C_i中的目标与历史目标队列中的目标进行匹配；如果发现匹配目标，执行(9-6)；否则执行(9-7)；

(9-6)将新出现的目标赋予与被匹配目标相同的标号；

(9-7)给该目标分配新的目标标号进行跟踪，并将该目标添加到历史目标队列中；

步骤10，目标定位：利用目标跟踪结果计算目标的图像坐标；利用摄像机映射关系模型，计算目标的物理坐标，步骤如下：

(10-1)特征点计算，具体方法为：根据跟踪的结果，计算目标的图像坐标计算公式为： $(x_{3,t}^I,y_{3,t}^i,)=(\frac{1}{2}(x_{1,t}^i,+x_{2,t}^i,),y_{2,t}^i,);$ 其中，为目标外接矩形左上顶点的坐标，为目标外接矩形右下顶点的坐标；

(10-2)物理坐标计算，具体方法为：利用目标的图像坐标基于摄像机映射关系模型，计算目标的物理坐标；

步骤11，轨迹拟合：采用卡尔曼滤波轨迹拟合方法(文献7.朱明强,侯建军,刘颖,苏军峰，一种基于卡尔曼数据平滑的分段曲线拟合室内定位算法，北京交通大学学报，36(5)，2012：95-99.)对目标的物理坐标进行拟合，得到目标定位结果，并在二维物理平面图上完成目标轨迹标绘；

步骤12，读取视频的下一帧。

基于以上步骤可以实现基于摄像机网络的多目标定位，结果如图6所示，在图6的左下角定位了两个目标。

本发明提供了一种基于摄像机网络的多目标定位方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (5)

1.一种基于摄像机网络的多目标定位方法，其特征在于，包括以下步骤：

步骤1，构建重叠摄像机组：对摄像机网络中的第i个摄像机C_i，采用SIFT特征匹配重叠视域检测方法，计算得到所有与摄像机C_i存在视域重叠的摄像机，构成摄像机C_i的视域重叠摄像机组N_i，其中，i＝1,...,M，M为摄像机网络中摄像机的总数目，N_i＝{C_j,...,C_k}，C_j和C_k分别表示与摄像机C_i存在视域重叠的第j个摄像机C_j和第k个摄像机C_k；

步骤2，摄像机单应性转换计算：对于与摄像机C_i存在重叠视域的摄像机C_d，C_d∈N_i，利用地平面单应性约束，采用基于SIFT特征点的转换关系计算方法，建立C_i与C_d之间的单应性转换关系R_i→d；

步骤3，摄像机重叠视域计算：对于摄像机C_d，根据单应性转换约束机制，计算摄像机C_i与摄像机C_d的重叠视域；

步骤4，摄像机映射模型计算：采用基于特征点识别的摄像机映射关系建模方法，建立摄像机C_i的映射关系模型；

步骤5，采集图像：对于摄像机C_i采集的视频Videoⁱ，获取Videoⁱ的首帧图像

步骤6，目标检测：采用混合高斯模型背景建模方法检测图像中的运动目标；

步骤7，目标跟踪：采用基于序列粒子群优化的目标跟踪方法实现视频中的目标跟踪；

步骤8，目标识别：判断摄像机中的目标是否为已匹配目标，如果是未匹配目标，执行步骤9，否则，执行步骤10；

步骤9，目标匹配：采用摄像机网络中的多目标匹配方法，实现目标匹配；

步骤10，目标定位：利用目标跟踪结果计算目标的图像坐标，利用摄像机映射关系模型计算目标的物理坐标；

步骤11，轨迹拟合：采用卡尔曼滤波轨迹拟合方法对目标的物理坐标进行拟合，得到目标定位结果，并在二维物理平面图上完成目标轨迹标绘；

步骤12，读取视频的下一帧。

2.根据权利要求1所述的一种基于摄像机网络的多目标定位方法，其特征在于，步骤4基于特征点识别的摄像机映射关系建模方法的步骤为：

(4-1)对于摄像机网络中的摄像机C_i，选择其采集的视频Videoⁱ中的首帧图像采用SIFT算法检测首帧图像中的尺度空间极值点，并通过拟和三维二次函数定位极值点，获得每个极值点的图像坐标，其中，i＝1,...,M；

(4-2)从以上极值点中任意选择不在一条直线上的4个点p₁，p₂，p₃，p₄作为图像特征点，其图像坐标分别为(x₁,y₁)，(x₂,y₂)，(x₃,y₃)，(x₄,y₄)；

(4-3)根据图像特征点坐标，在物理平面图中标定其对应的物理点P₁，P₂，P₃，P₄，其三维坐标为(X₁,Y₁,Z₁)，(X₂,Y₂,Z₂)，(X₃,Y₃,Z₃)，(X₄,Y₄,Z₄)；X,Y,Z分别为三维坐标系x轴、y轴、z轴上的坐标；

(4-4)利用图像坐标(x₁,y₁)，(x₂,y₂)，(x₃,y₃)，(x₄,y₄)和对应的物理坐标(X₁,Y₁,Z₁)，(X₂,Y₂,Z₂)，(X₃,Y₃,Z₃)，(X₄,Y₄,Z₄)，基于摄像机透视投影模型建立图像坐标到物理坐标的映射关系模型；

(4-5)对摄像机网络中的每个摄像机C_i都执行(4-1)～(4-4)，得到映射关系模型，完成M个摄像机的映射关系建模。

3.根据权利要求2所述的一种基于摄像机网络的多目标定位方法，其特征在于，步骤7中基于序列粒子群优化的目标跟踪方法的步骤为：

(7-1)跟踪初始化：对于摄像机C_i获取的视频Videoⁱ，计算其首帧图像中运动目标的外接矩形其中，为外接矩形左上顶点的坐标，为外接矩形右下顶点的坐标，在区间[-V_max,V_max]范围内，随机初始化目标的运动速度 表示x方向速度，表示y方向速度，其中，V_max为目标最大运动速度，V_max取值范围为5～20个像素点；

(7-2)生成粒子种群：对于视频Videoⁱ的第t帧图像 中运动目标的外接矩形预测生成粒子种群，包含以下步骤：

(7-2-1)以矩形的左上顶点为期望，以Σ为协方差，生成P个左上顶点位置满足正态分布面积与面积一样的矩形，构成初始种群 $A_t^i\left(0\right)=\{X_t^{i,1}\left(0\right),...,X_t^{i,p}\left(0\right),...X_t^{i,P}\left(0\right)\},$ 其中，N()为正态分布， $X_t^{i,p}\left(0\right)=((x_{1,t}^{i,p}\left(0\right),y_{1,t}^{i,p}\left(0\right)),(x_{2,t}^{i,p}\left(0\right),y_{2,t}^{i,p}\left(0\right)))$ 表示第p个矩形，p＝1,2,...,P，P为矩形总数，Σ取值范围为0.01～0.03，P的取值范围为30～60；

(7-2-2)设置初始种群中每个矩形的初始速度 表示x方向速度，表示y方向速度，其中，表示和服从[-V_max,V_max]上的均匀分布；

(7-3)粒子种群优化：采用粒子群优化算法对视频Videoⁱ第t+1帧图像中的目标进行跟踪，计算步骤为：

(7-3-1)以初始种群作为粒子群优化算法的初始种群，采用目标外接矩形内图像的直方图作为图像特征，以直方图的欧氏距离作为适应度函数，采用粒子群优化算法对初始种群进行H次迭代优化，得到收敛种群其中， $A_t^i\left(H\right)=\{X_t^{i,1}\left(H\right),...,X_t^{i,p}\left(H\right),...X_t^{i,P}\left(H\right)\},$ 为经H次优化后的矩形， $X_t^{i,p}\left(H\right)=((x_{1,t}^{i,p}\left(H\right),y_{1,t}^{i,p}\left(H\right)),(x_{2,t}^{i,p}\left(H\right),y_{2,t}^{i,p}\left(H\right))),$ 为外接矩形左上顶点坐标优化H次后的值，为外接矩形右下顶点坐标优化H次后的值，其中，p＝1,2,...,P，H为最大迭代次数，H的取值范围为30～100；

(7-3-2)第t+1帧图像中的目标的外接矩形为收敛种群中适应度最高的矩形，计算公式为：

$((x_{1,t+1}^i,y_{1,t+1}^i),(x_{2,t+1}^i,y_{2,t+1}^i))=\arg \max \left(\mathrm{Fitness}\left(((x_{1,t}^{i,p}\left(H\right),y_{1,t}^{i,p}\left(H\right)),(x_{2,t}^{i,p}\left(H\right),y_{2,t}^{i,p}\left(H\right)))\right)\right),$ 式中，Fitness()为基于直方图的目标适应度计算函数。

4.根据权利要求3所述的一种基于摄像机网络的多目标定位方法，其特征在于，(7-3-1)中采用粒子群优化算法对初始种群进行H次迭代优化的步骤为：

(7-3-1-1)初始状态的种群为 $A_t^i\left(0\right)=\{X_t^{i,1}\left(0\right),...,X_t^{i,p}\left(0\right),...X_t^{i,P}\left(0\right)\},$ 每个矩形的速度为p＝1,2,...,P；

(7-3-1-2)计算种群极值gbest(h)和个体极值pbest(h)，h为当前迭代次数，gbest(h)和pbest(h)的计算方法为：

$\mathrm{gbest}\left(h\right)=\mathrm{Max}\left(\mathrm{Fitness}\left(X_t^{i,p}\left(h\right)\right)\right),$ 表示gbest(h)的值为中适应度最大的值，p＝1,2,...,P，Max()函数为取最大值函数，

$\mathrm{pbest}\left(h\right)=\mathrm{Big}(\mathrm{Fitness}\left(X_t^{i,p}\left(h\right)\right),\mathrm{Fitness}\left(X_t^{i,p}(h-1)\right)),$ 表示pbest(h)的值为和中适应度较大的值，Big()函数为取较大值函数；

(7-3-1-3)根据第h次迭代结果，计算第h+1次迭代时矩形的速度和位置，计算方法为：

式中，w为惯性权重，取值范围为2～4；分别为加速系数，其中c₁和c₂为常数，取值范围为1～3，rand₁()和rand₂()表示为[0,1]间的随机数；

(7-3-1-4)当h＜H时，重复(7-3-1-1)～(7-3-1-3)，否则迭代终止。

5.根据权利要求4所述的一种基于摄像机网络的多目标定位方法，其特征在于，步骤9中采用摄像机网络的多目标匹配方法包括以下步骤：

(9-1)对所有已匹配目标添加标号，组成历史目标队列；

(9-2)对摄像机C_i获取的视频Videoⁱ的第t帧图像中检测到的未匹配目标，判断目标的特征点坐标是否位于临近视域重叠摄像机组N_i中摄像机的重叠区域，如果位于重叠区域执行(9-3)，否则执行(9-5)，其中，目标特征点坐标的计算方法是： $(x_{3,t}^i,y_{3,t}^i,)=(\frac{1}{2}(x_{1,t}^i,+x_{2,t}^i,),y_{2,t}^i,),$ 为目标外接矩形左上顶点的坐标，为目标外接矩形右下顶点的坐标；

(9-3)采用基于图像分割加权的空间直方图的目标相似度计算函数，计算摄像机C_i中的目标与摄像机C_d中目标的相似度，C_d∈N_i，如果相似度大于阈值D^F，即则执行(9-4)；否则执行(9-6)；D^F为匹配误差；

(9-4)计算目标的特征点坐标与目标的特征点坐标之间的对应性是否满足公式：

$\sqrt{{(X_0^i-{R_{d\→i}}^{-1}{X}_0^d)}^2}+\sqrt{{(X_0^d-R_{i\→d}{X}_0^i)}^2}\≤D^T,$

其中，R_d→i、R_i→d表示摄像机C_i与摄像机C_d相互之间的单应性映射关系，D^T为映射误差；如果满足该条件，则目标匹配成功，执行(9-6)，否则执行(9-7)；

(9-5)将摄像机C_i中的目标与历史目标队列中的目标进行匹配，如果发现匹配目标，执行(9-6)，否则执行(9-7)；

(9-6)将新出现的目标赋予与被匹配目标相同的标号；

(9-7)给该目标分配新的目标标号进行跟踪，并将该目标添加到历史目标队列中。