CN111754552A - 一种基于深度学习的多摄像头协同目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的多摄像头协同目标跟踪方法，其特征在于采用Faster R‑CNN进行目标检测方法，通过图像坐标与平面地理空间坐标的映射关系获取目标的真实位置信息，实现多摄像头视频监控场景下的目标检测与跟踪，具体包括：构建视频监控系统的空间数据模型、映射模型的构建、基于深度学习的目标检测和多摄像头协同目标跟踪。本发明与现有技术相比具有通过筛选一个摄像头承担目标跟踪任务，实现在多摄像头视频监控场景下对特定目标的识别、定位和跟踪，提升和改善视频监控系统的智能化程度，较好解决了图像信息离散和信息难以整合，实现对特定目标的识别、定位和跟踪的问题。

Description

一种基于深度学习的多摄像头协同目标跟踪方法

技术领域

本发明涉及视频监控系统技术领域，具体涉及一种基于深度学习的多摄像头协同目标跟踪方法。

背景技术

目前对监控视频的分析主要基于视频本身，目标检测大多数采用基于计算机视觉(Computer Vision)的图像处理方法，该方法对复杂场景十分敏感，极易影响目标检测效果。此外，基于计算机视觉的目标检测方法无法直接将某种特定目标从众多移动目标中提取出来，因此该方法缺乏针对性的检测。而基于深度学习的目标检测方法不仅不受限于目标的运动状态，还可实现对特定目标的检测。随着GPU计算能力越来越强大，基于深度学习的实时目标检测已经实现，将深度学习目标检测方法与智能视频监控系统相结合的研究思路已经形成。

现有技术的多摄像头监控系统中各个摄像头相互独立，搜集到的图像信息是离散的，难以实现信息整合，无法实现对特定目标的识别、定位和跟踪。如何调度最佳视角的摄像头，分配拍摄目标工作，实现多摄像头监控系统的目标跟踪，获取目标的位置及移动轨迹信息，是当前智能监控视频系统急需解决的问题。

发明内容

本发明的目的是针对现有技术不足而提供的一种基于深度学习的多摄像头协同目标跟踪方法，利用深度学习方法实现对特定目标的识别，通过图像坐标与平面地理空间坐标的映射关系获取目标的真实位置信息，通过筛选一个摄像头承担目标跟踪任务，实现在多摄像头视频监控场景下的目标检测与跟踪，以提升和改善视频监控系统的智能化程度。

实现本发明目的具体技术方案是：一种基于深度学习的多摄像头协同目标跟踪方法，其特点是采用Faster R-CNN进行目标检测方法，通过图像坐标与平面地理空间坐标的映射关系获取目标的真实位置信息，实现多摄像头视频监控场景下的目标检测与跟踪，具体包括以下步骤：

(一)构建视频监控系统的空间数据模型

采用矢量数据建立下述视频监控环境的空间数据模型：

a)监控环境的三维空间表达

采用自定义的O-XYZ三维坐标表示三维的监控环境，其中，坐标原点O可设为监控环境中的某一特征点；XOY平面表示二维的监控地面；Z轴表示高度信息。

b)视频位置与视域

视频位置是用于描述视频对象拍摄位置的地理空间信息，摄像头分散在监控环境的各个角落，通过上述定义的O-XYZ坐标系，以(X,Y,Z)点坐标描述各个摄像头的点位信息(Location)；视频位置还包括摄像头的方位角A(Azimuth)、俯仰角α(Pitch)和横滚角κ_a(Roll)等姿态信息；视频视域一般为监控环境中的一部分，可根据摄像头内外参数进行定义。

c)目标空间位置及轨迹信息

目标在监控环境中的位置用点对象(X,Y,Z)表达，在监控视频中，目标位置随时间的变化产生位移，并产生动态信息这些动态信息有效地表达了目标在监控环境中的运动特征变化情况，采用带有时间信息的一系列点对象来描述在连续视频序列中的目标轨迹的表达。

(二)映射模型的构建

探索监控视频图像与平面地理空间的映射关系，摄像头拍摄监控视频的过程实际上是将三维的空间信息通过相机成像投射到二维的图像上的过程。相机成像过程分为刚体变换、透视变换、畸变校正和数字化图像四步，在成像过程中涉及的四大坐标系为：世界坐标系、相机坐标系、像平面坐标系和像素坐标系。通过相机标定，获取各个摄像头的内外参数，综合摄影测量学和计算机视觉两个领域的相机模型，总结基于目标高程Z_h的像素坐标(x,y)与地理空间平面坐标(X,Y,Z_h)的转换关系。将视频图像目标检测获取目标物体的像素坐标，通过构建像素坐标(x,y)与地理空间平面坐标(X,Y,Z_h)的转换关系构建映射模型，然后变换矩阵H的逆矩阵，即可获得目标在地理空间的平面直角坐标，所述映射模型由下述(1)式构建：

其中：s₁＝(fa₁-u₀a₃)(-X_s)+(fb₁-u₀b₃)(-Y_s)+(fc₁-u₀c₃)(-Z_s)；s₂＝(-fa₂-v₀a₃)(-X_s)+(-fb₂-v₀b₃)(-Y_s)+(-fc₂-v₀c₃)(-Z_s)；s₃＝(-a₃)(-X_s)+(-b₃)(-Y_s)+(-c₃)(-Z_s)；λ为相机坐标系中在Z_c方向的坐标值。

由上述(1)式可知像素坐标与地理空间平面坐标的转换实质为设置高度Z_h的几何映射，其中变换矩阵H是可逆的。

(三)基于深度学习的目标检测

采用Faster R-CNN深度学习的目标检测方法用于对特定目标的检测，Faster R-CNN目标检测方法分为四个模块，分别为特征提取模块、建议区域提取模块、兴趣区域池化模块和目标分类与边框回归模块。通过构建特定目标的PASCAL VOC标准数据集，利用深度学习框架Caffe进行模型训练，训练得到的模型用于视频帧的目标检测，获得检测目标的类别名称、识别概率以及该目标的外包围框信息，并以外包围框的中心点坐标表征该目标的像素坐标。

(四)多摄像头协同目标跟踪

根据步骤三获得的目标像素坐标系和步骤二计算的映射模型，通过筛选一个摄像头承担目标跟踪任务，获得目标在真实空间的坐标，实现多个摄像头之间目标跟踪任务的交接，以持续对目标进行跟踪，并绘制目标的轨迹地图。

本发明与现有技术相比具有调度最佳视角的摄像头，分配拍摄目标工作，将各个摄像头搜集到的离散图像信息进行整合，通过筛选一个摄像头承担目标跟踪任务，实现在多摄像头视频监控场景下对特定目标的识别、定位和跟踪，大大提升和改善视频监控系统的智能化程度，较好解决了智能监控视频系统中各个摄像头相互独立，搜集到的图像信息是离散的，难以实现信息整合，无法实现对特定目标的识别、定位和跟踪的问题。

附图说明

图1为本发明操作流程图；

图2为多摄像头目标跟踪任务分配算法流程图。

具体实施方式

参阅附图1，本发明利用GIS空间建模与分析、摄影测量技术以及深度学习目标检测等相关技术和方法，以地理空间信息和监控视频作为主要数据源，将前沿的深度学习算法引入视频监控系统，从GIS的视角对多摄像头视频监控系统进行智能化改进，具体包括以下步骤：

步骤1：结合摄像头位置信息及监控空间信息，构建视频监控系统的空间数据模型。

步骤2：计算摄像头的内外参数，探索视频图像像素坐标与真实平面地理坐标之间的映射关系，得到两坐标系的转换模型。

步骤3：构建特定目标的标准数据集，利用Faster R-CNN网络模型进行训练，对于视频监控实时图像，逐帧进行目标检测，得到的结果为目标外包围框的中心点坐标，用于表征目标在图像坐标系中的位置。

步骤4：根据步骤3获得的目标的像素坐标系和步骤2计算的映射模型，即可获得目标在真实空间的坐标，即实现目标定位。根据制定的多摄像头协同目标跟踪的方案，获得承担目标跟踪任务的摄像头，实现多个摄像头之间目标跟踪任务的交接，最终绘制目标的轨迹地图。

以下通过具体实施例对本发明作进一步的详细说明。

实施例1

步骤1：构建视频监控系统的空间数据模型

采用矢量数据建立视频监控环境的空间数据模型，并将该空间数据模型分为监控环境的三维空间表达、视频位置与视域和目标空间位置及轨迹信息三部分内容：

1)监控环境的三维空间表达

采用自定义的O-XYZ三维坐标表示三维的监控环境，坐标原点O可设为监控环境中的某一特征点，XOY平面表示二维的监控地面，Z轴表示高度信息。监控环境中的三维物体映射到二维监控地面上可抽象表达成点、线、面对象，如体积较小监控目标可用点对象表达；门可抽象为线对象；较大的障碍物，比如桌子、沙发等可抽象为面对象。

2)视频位置与视域

视频位置是用于描述视频对象拍摄位置的地理空间信息，摄像头分散在监控环境的各个角落，通过上述定义的O-XYZ坐标系，以(X,Y,Z)点坐标描述各个摄像头的点位信息(Location)；视频位置还包括摄像头的方位角A(Azimuth)、俯仰角α(Pitch)和横滚角κ_a(Roll)等姿态信息。

视频视域一般为监控环境中的一部分，可根据摄像头内外参数进行定义。假设摄像头拍摄过程中处于水平位置，即俯仰角、横滚角均为0°，其平面视域为扇形。扇形平面视域包含的特征参数有：①顶点P，即摄像头点位；②半径R，为拍摄图像的最远可视距离；③朝向d，表示摄像头拍摄方位，可依据方位角A表达；④摄像机视场角θ。

3)目标空间位置及轨迹信息

目标在监控环境中的位置用点对象(X,Y,Z)表达；在监控视频中，目标位置随时间的变化产生位移，并产生动态信息这些动态信息有效地表达了目标在监控环境中的运动特征变化情况，采用带有时间信息的一系列点对象来描述在连续视频序列中的目标轨迹的表达。

步骤2：探索监控视频图像与平面地理空间的映射关系

摄像头拍摄监控视频的过程实际上是将三维的空间信息通过相机成像投射到二维的图像上的过程。相机成像过程分为刚体变换、透视变换、畸变校正和数字化图像四步，在成像过程中涉及的四大坐标系为：世界坐标系、相机坐标系、像平面坐标系和像素坐标系。监控图像与平面空间的映射即为像素坐标与世界坐标的映射，摄影测量学和计算机视觉分别构建了图像数据与地理空间数据互相映射的数学模型，对于同一固定位置的相机拍摄的图像，其内外参数是确定的。为了统一两种模型的内外参数，将摄影测量学的相机模型参数带入计算机视觉相机模型公式中，得到下述(2)式：

其中：λ为相机坐标系中在Z_c方向的坐标值；K为内参矩阵；R为旋转矩阵；T为平移矩阵；R和T共同构成外参矩阵。

一般情况下监控覆盖区域较小，可将监控视频拍摄的地面近似为一个或多个平面。对于不同地面存在不同高度的问题，可针对不同地平面赋值相应的高度Z坐标，即对于监控地面的世界坐标系转换为平面地理空间直角坐标系，实现目标监控区域与其对应的二维地理空间坐标转换。将上述(2)式中表示世界坐标系中某平面高度的Z坐标改为Z_h，假设图像坐标轴正交即α＝0，焦距在横纵坐标上相同即f＝f_x≈f_y，整理得到下述(1)式构建的映射模型：

其中：s₁＝(fa₁-u₀a₃)(-X_s)+(fb₁-u₀b₃)(-Y_s)+(fc₁-u₀c₃)(-Z_s)；

s₂＝(-fa₂-v₀a₃)(-X_s)+(-fb₂-v₀b₃)(-Y_s)+(-fc₂-v₀c₃)(-Z_s)

s₃＝(-a₃)(-X_s)+(-b₃)(-Y_s)+(-c₃)(-Z_s)；

由上述(1)式可知像素坐标与地理空间平面坐标的转换实质为设置高度Z_h的几何映射，其中变换矩阵H是可逆的。通过视频图像目标检测获取目标物体的像素坐标，以及变换矩阵H的逆矩阵即可获得目标在地理空间的平面直角坐标。

监控视频图像与平面地理空间信息的映射关系由相机的内部参数和外部参数共同确定，建立映射模型数据结构实质上就是建立相机内外参数属性数据结构。对于每个相机而言，内部参数包括：①主点坐标(x₀，y₀)；②焦距(f_x，f_y)；③坐标轴倾斜参数s；外部参数包括：①相机在世界坐标系下的位置(X_C,Y_C,Z_C)；②世界坐标系与相机坐标系之间的旋转关系，通过方位角A、俯仰角α和横滚角κ_a表达。

步骤3：基于深度学习方法的目标检测：

采用Faster R-CNN进行目标检测。Faster R-CNN是一种深度学习网络，发展自R-CNN，该系列的改进脉络是R-CNN→SPP-Net→Fast R-CNN→Faster R-CNN。Faster R-CNN将特征提取、候选框回归、目标分类等任务集成到一个网络中，实现了真正意义上的端到端的目标检测流程，仍然延续了R-CNN的先选取推荐区域再进行目标检测的“两步走”思路。通过目标检测识别特定目标，可获得该目标的类别明、识别概率以及该目标的外包围框坐标信息。并以外包围框的中心点表征该目标在图像中的位置，获取该目标的像素坐标。

步骤4：多摄像头协同目标跟踪：

通过步骤3获得的目标像素坐标，以及根据步骤2构建的映射模型，即可获得该目标在监控区域平面的真实位置。假设多摄像头视频监控系统中包括n个摄像头，分别为C1、C2…Cn；监控目标共有m个，分别为O1、O2…Om。本发明提出多摄像头协同目标跟踪的方法考虑到以下四个因素：

①可见性Vij：Vij表示摄像头Ci拍摄的画面中是否包含目标Oj；Vij＝0表示未拍摄到目标Oj；Vij＝1表示监控视频图像中检测到该目标。

②距离Dij：Dij表示摄像头Ci与目标Oj在世界坐标系中的距离。

③可视面积Sij：Sij表示摄像头Ci拍摄到的目标Oj在图像中所占的像素面积。

④距离常量阈值d。

参阅附图2，该算法先考虑目标与摄像头的位置，当目标与多个摄像头间的距离之差小于设定的距离阈值d时，则引入视觉特征的目标可视面积的比较。对于每一个时刻，多摄像头的目标交接任务分配算法如下：

算法输入：目标Oj中心点和多摄像头监控系统中各个摄像头C1、C2…Cn在监控区域中的三维空间坐标。

算法输出：被分配目标跟踪任务的摄像头ID。

算法过程如下步骤：

1)对于每一个追踪目标Oj，首先根据可见性Vij筛选所有监控画面能检测到目标的摄像头，并将摄像头ID存储到集合{C}中。

2)若集合{C}为空，则无调度任务，返回空值；若{C}中仅有一个元素Ci，即仅有摄像头Ci检测到目标，则返回值为摄像头Ci。若{C}中元素超过1个，共有k个，则进入第3)步。

3)计算目标Oj中心点坐标与集合{C}中所有k个摄像头的世界坐标系距离，将这些距离D1j、D2j…Dkj从小到大排序，为了后续描述方便，排序后的距离重命名为d1、d2…dk。

4)分别计算d2…dk与最短距离d1之差，分别为d2’…dk’，比较d2’…dk’与距离阈值d的大小。若d2’>d，则返回与Oj距离最短的摄像头ID；否则，比较dp’与d的大小(p＝2、3…k)，若dp’≤d，则将dp对应的摄像头ID保存到集合{S}中，最后将d1对应的摄像头ID也保存到集合{S}中。

5)计算集合{S}中所有摄像头拍摄的监控目标Oj的像素面积，即可视面积。返回值为像素面积最大的摄像头ID。

本发明提出一种基于位置和视觉特征的多摄像头协同策略，通过筛选一个摄像头承担目标跟踪任务，实现多摄像头的目标交接，以持续对目标进行跟踪，大大减少了用户人工判读的工作强度，进一步提升视频监控系统的智能化程度。

以上只是对本发明作进一步说明，并非用以限制本发明专利，凡为本发明等效实施，均应包含于本发明专利的权利要求范围之内。

Claims (1)

1.一种基于深度学习的多摄像头协同目标跟踪方法，其特征在于采用FasterR-CNN进行目标检测方法，通过图像坐标与平面地理空间坐标的映射关系获取目标的真实位置信息，实现多摄像头视频监控场景下的目标检测与跟踪，具体包括以下步骤：

(一)构建视频监控系统的空间数据模型

采用矢量数据建立下述视频监控环境的空间数据模型：

a)监控环境的三维空间表达

采用自定义的O-XYZ三维坐标表示三维的监控环境，其中，坐标原点O可设为监控环境中的某一特征点；XOY平面表示二维的监控地面；Z轴表示高度信息；

b)视频位置与视域

通过O-XYZ坐标系，以(X，Y，Z)点坐标描述各摄像头的点位信息和视域，所述点位信息包括视频位置的摄像头方位角A、俯仰角α和横滚角κ_a的姿态信息；所述视域为监控环境中的一部分，可根据摄像头内外参数进行定义；

c)目标空间位置及轨迹信息

采用带有时间信息的点对象(X，Y，Z)描述目标在监控环境中的位置，以及连续视频序列中的目标轨迹；

(二)映射模型的构建

将视频图像目标检测获取目标物体的像素坐标，通过构建像素坐标(x，y)与地理空间平面坐标(X，Y，Z_h)的转换关系构建映射模型，然后变换矩阵H的逆矩阵，即可获得目标在地理空间的平面直角坐标，所述映射模型由下述(1)式构建：

其中：s₁＝(fa₁-u₀a₃)(-X_s)+(fb₁-u₀b₃)(-Y_s)+(fc₁-u₀c₃)(-Z_s)；s₂＝(-fa₂-v₀a₃)(-X_s)+(-fb₂-v₀b₃)(-Y_s)+(-fc₂-v₀c₃)(-Z_s)；s₃＝(-a₃)(-X_s)+(-b₃)(-Y_s)+(-c₃)(-Z_s)；λ为相机坐标系中在Z_c方向的坐标值；

(三)基于深度学习的目标检测

采用特征提取模块、建议区域提取模块、兴趣区域池化模块和目标分类与边框回归模块构建特定目标的PASCAL VOC标准数据集，利用深度学习框架Caffe进行模型训练，将训练得到的模型用于视频帧的目标检测，获得检测目标的类别名称、识别概率以及该目标的外包围框信息，并以外包围框的中心点坐标表征该目标的像素坐标；

(四)多摄像头协同目标跟踪

根据步骤三获得的目标像素坐标系和步骤二计算的映射模型，通过筛选一个摄像头承担目标跟踪任务，获得目标在真实空间的坐标，实现多个摄像头之间目标跟踪任务的交接，以持续对目标进行跟踪，并绘制目标的轨迹地图。

Images