CN106846374A - 多摄像头场景下车辆的轨迹计算方法 - Google Patents

Abstract

本发明提供一种多摄像头场景下车辆的轨迹计算方法，包括：采用卷积神经网络识别摄像机采集的车辆监控视频，获取目标车辆的识别信息，识别信息包括：目标车辆的型号、品牌、实际运行方向以及目标车辆的倾斜角度，并将目标车辆所在位置用矩阵框标注；根据矩阵框与跟踪器保存区域的重合面积对目标车辆进行跟踪，获取目标车辆的运动信息，运动信息包括目标车辆的出现位置、离开位置以及目标车辆的运行方向和轨迹；根据目标车辆的运动信息、摄像机的安装位置和道路连通关系标定摄像机网络的拓扑结构；通过贝叶斯估计对摄像机网络中的目标车辆的轨迹进行关联。本发明提高了多摄像头场景下车辆的轨迹计算的准确率。

Description

多摄像头场景下车辆的轨迹计算方法

技术领域

本发明涉及车辆轨迹计算技术领域，尤其涉及一种多摄像头场景下车辆的轨迹计算方法。

背景技术

在目前的智能交通系统中，对车辆的识别和跟踪一直是一个核心的环节，也是一个难点，对单摄像头下的车辆追踪的研究很多。

现有的车辆轨迹计算一般都拘泥于利用车辆本身的属性如转弯角度等来估计车辆的行驶轨迹，计算结果准确率不够高。

发明内容

本发明提供了一种多摄像头场景下车辆的轨迹计算方法，解决上述技术问题。

本发明一种多摄像头场景下车辆的轨迹计算方法，包括：

采用卷积神经网络识别摄像机采集的车辆监控视频，获取目标车辆的识别信息，所述识别信息包括：所述目标车辆的型号、品牌、实际运行方向以及所述目标车辆的倾斜角度，并将目标车辆用矩阵框标注；

根据所述矩阵框与跟踪器保存区域的重合面积对所述目标车辆进行跟踪，获取所述目标车辆的运动信息，所述运动信息包括所述目标车辆的出现位置、离开位置以及所述目标车辆的运行方向和轨迹；

根据所述目标车辆的运动信息、摄像机的安装位置和道路连通关系标定摄像机网络的拓扑结构；

通过贝叶斯估计对所述摄像机网络中的所述目标车辆的轨迹进行关联。

进一步地，所述根据所述矩阵框与跟踪器保存区域的重合面积对所述目标车辆进行跟踪，获取所述目标车辆的运动信息之后，还包括：

采用卡尔曼滤波器和匈牙利匹配算法更新所述跟踪器。

进一步地，所述根据所述矩阵框与跟踪器保存区域的重合面积对所述目标车辆进行跟踪，获取所述目标车辆的运动信息，包括：

判断目标车辆的矩阵框与跟踪器中保存的区域是否重叠，若是，则按照重叠面积率将跟踪器排序，若否，则判断下一辆目标车辆；

选取重叠面积率最大的区域对应的跟踪器确定所述目标车辆的运行方向；

判断所述跟踪器中的车辆运行方向与所述目标车辆的实际运行方向是否相同，若是，则确定所述跟踪器中保存的车辆为所述目标车辆，若否，则跟踪下一辆目标车辆。

进一步地，所述根据所述目标车辆的运动信息、摄像机的安装位置和道路连通关系标定摄像机网络的拓扑结构，包括：

根据摄像机中目标车辆的出现位置、离开位置信息确定所述目标车辆对应所述摄像机的出现区域和消失区域，并将所述出现区域和所述消失区域做为摄像机网络中的节点；

根据所述摄像机的安装位置和道路连通关系判断任意两个所述节点之间是否连通；

根据所述节点之间的连通关系确定摄像机网络的拓扑结构。

进一步地，所述通过贝叶斯估计对所述摄像机网络中的所述目标车辆的轨迹进行关联，包括：

将目标车辆在任一摄像机中的出现区域和消失区域分别划分在不同的子图单元中；

根据道路连通关系判断所述子单元是否连通，若是，则根据所述目标车辆的识别信息关联所述出现区域和所述消失区域。

本发明实现了在监控摄像头网络下将目标车辆的轨迹完整的计算出来。能够在多个摄像头下准确跟踪目标车辆，并通过拓扑网络将目前车辆将要出现的范围大大减少，将多个摄像头下与目标车辆相似的车辆经目标关联算法进行关联找到目标车辆，将各个摄像头下目标车辆的轨迹相加得到完整轨迹。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种多摄像头场景下车辆的轨迹计算方法流程图；

图2为本发明摄像机网络拓扑结构示意图；

图3为本发明整体算法流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明一种多摄像头场景下车辆的轨迹计算方法流程图，如图1所示，本实施例的方法包括：

步骤101、采用卷积神经网络识别摄像机采集的车辆监控视频，获取目标车辆的识别信息，所述识别信息包括：所述目标车辆的型号、品牌、实际运行方向以及所述目标车辆的倾斜角度，并将目标车辆用矩阵框标注；

具体来说，(1)建立卷积神经网络，将图像和标注好的标签输入到卷积神经网络中，在卷积最后一层得到特征图；所述标签内容为车型，车的品牌，车的倾斜角度。(2)在最后卷积得到的特征图上进行滑动扫描，滑动的网络每次与特征图上n*n的窗口全连接，然后映射到一个低维向量；(3)最后将所述低维向量送入到全连接层。

步骤102、根据所述矩阵框与跟踪器保存区域的重合面积对所述目标车辆进行跟踪，获取所述目标车辆的运动信息，所述运动信息包括所述目标车辆的出现位置、离开位置以及所述目标车辆的运行方向和轨迹；

步骤103、根据所述目标车辆的运动信息、摄像机的安装位置和道路连通关系标定摄像机网络的拓扑结构；

步骤104、通过贝叶斯估计对所述摄像机网络中的所述目标车辆的轨迹进行关联。

进一步地，所述根据所述矩阵框与跟踪器保存区域的重合面积对所述目标车辆进行跟踪，获取所述目标车辆的运动信息之后，还包括：

采用卡尔曼滤波器和匈牙利匹配算法更新所述跟踪器。

具体来说，使用目标车辆的信息更新跟踪器，包括更新卡尔曼滤波器和匈牙利匹配算法。当所有的车辆都与跟踪器匹配完成后，遍历所有的追踪器，所有追踪器中的未匹配次数小于3次，使用卡尔曼滤波器对追踪器中的车辆位置进行预测，若预测结果仍在检测区域内，则认为当前帧出现漏检，使用预测值更新跟踪器若大于3次，则认为当前追踪器对应的车辆已经驶离检测区域，删除此追踪器。

遍历所有的车辆，找出与所有跟踪器都未匹配成功的车辆，使用匈牙利匹配算法，将上一帧中的追踪器中记录的车辆质心与当前帧的车辆质心做匈牙利匹配，得到车辆与跟踪器的最大匹配。再使用前面得到的已经匹配成功的车辆和追踪器与新得出的匹配做比较，如果车辆匹配的追踪器中记录的车辆质心一样，则确定匹配成功，不一样则以使用重叠面积率匹配得到的结果为准。当没有找到车辆匹配的追踪器时，以新得到的匹配为准，从而得到最大的匹配。

进一步地，所述根据所述矩阵框与跟踪器保存区域的重合面积对所述目标车辆进行跟踪，获取所述目标车辆的运动信息，包括：

判断目标车辆的矩阵框与跟踪器中保存的区域是否重叠，若是，则按照重叠面积率将跟踪器排序，若否，则判断下一辆目标车辆；

选取重叠面积率最大的区域对应的跟踪器确定所述目标车辆的运行方向；

判断所述跟踪器中的车辆运行方向与所述目标车辆的实际运行方向是否相同，若是，则确定所述跟踪器中保存的车辆为所述目标车辆，若否，则跟踪下一辆目标车辆。

进一步地，所述根据所述目标车辆的运动信息、摄像机的安装位置和道路连通关系标定摄像机网络的拓扑结构，包括：

根据摄像机中目标车辆的出现位置、离开位置信息确定所述目标车辆对应所述摄像机的出现区域和消失区域，并将所述出现区域和所述消失区域做为摄像机网络中的节点；

根据所述摄像机的安装位置和道路连通关系判断任意两个所述节点之间是否连通；

根据所述节点之间的连通关系确定摄像机网络的拓扑结构。

具体来说，根据该摄像机中检测到的目标出现与离开的位置信息，得到目标出现区域或目标消失区域，并将它们看做不同的节点，对任意一对结点(p_i,p_j)，p_i∈C_m,p_j∈C_n,i≠j,C_m≠C_n，用变量L_i,j＝{0,1}表示摄像机间的物理连通关系，其中0表示两个摄像机之间物理上直接不可达，1表示两个摄像机物理上是可达的，摄像机网络包含n个摄像机，把它们分别记为C₁,C₂,...,C_n。

(1)根据车辆的车型，车的品牌，车的倾斜角度等特征在多个摄像机的监控视频中捕获到的所有目标中寻找，找到属于同一个车辆的目标，并将它们彼此关联起来。令表示一次关联，指明(O_i,a,O_j,b)是现实世界中的同一辆车，并且目标a先与目标b出现。

(2)使用下式计算后验概率：

先验概率定义为目标从摄像机C_i到C_j的概率用p(C_i,C_j)表示。若假定目标的出现是均匀分布的，则全概率p_i,j(O_i,a,O_j,b)为一个不变的尺度参数，O_i,a(app)为车辆的车辆的车型，车的品牌，车的倾斜角度等特征，O_i,a(st)为子图下的摄像机之间拓扑关系。

(3)根据求得的后验概率，取后验概率最大的目标，将其在不同摄像头轨迹加在一起。

(4)重复(1)～(3)步，即完成目标关联。

运动目标在相邻帧之间的运动变化缓慢，可近似认为是匀速运动，由运动学公式S_k＝S_k-1+(Δt)v_k-1，v_k＝v_k-1，其中Δt表示相邻帧时间间隔可得出这时的卡尔曼滤波器的状态向量可表示为：

x(k)、y(k)表示目标的中心点坐标；v_x(k)、v_y(k)分别是目标中心在X轴、Y轴方向的运动速度。根据状态向量以及匀速运动的运动学特性、可得出其状态转移矩阵为：

由于只能观测到目标中心点的位置信息，故观测向量可表示为：

这里，和表示第k帧图像的检测模板中目标的矩形框中心点坐标值，其观测矩阵为：那么状态方程和观测方程可分别描述为：

这里，ξ(k-1)和η(k)分别是4*1维和2*1维的系统噪声和观测噪声向量，两者互不相关，且都是均值为0的白噪声系列，系统噪声的协方差矩阵Q可设定为：

观测噪声η(k)的协方差R则为

和为观测噪声中两个分量的方差，这里设定观测噪声的协方差矩阵就是2*2的单位阵。误差协方差矩阵的初始值可设定为

状态向量的初始值可设定为

通常令两帧的时间间隔Δt＝1，则可得到状态向量的初始值x₀。有了初始值以及第二章提到的预测、修正过程，就可以预测视频序列中车辆位置变化情况。跟踪的轨迹并非直线，是有一定弧度的曲线，所以在使用卡尔曼滤波器进行预测时，根据曲线的弧度可以预测出下一位置，但是跟实际结果有一定偏差，经过不断修正后，精度提高，但还是有一定的误差，所以当车辆连续被检测不出的时候，误差会越来越大，导致当车辆再次出现时，丢失车辆。所以在这里使用匈牙利匹配算法算法。

匈牙利算法是基于Hall定理中充分性证明的思想，是部图匹配最常见的算法，核心思想是寻找增广路径，是一种用增广路径求二分图最大匹配的算法。需要从二分图中找出一条路径，让路径的起点和终点都是还没有匹配过的点，并且路径经过的连线是一条没被匹配、一条已经匹配过，再下一条没被匹配。找到这样的路径后，显然路径里没被匹配的连线比已经匹配了的连线多一条，于是修改匹配图，去掉路径里所有匹配过的连线匹配关系，把没有匹配的连线变成匹配状态，这样匹配数增加1个。不断执行上述操作，直到找不到这样的路径为止。本实施例算法流程如图3所示。

其中，步骤(1)利用SURF算子获取车辆语义信息为车辆的品牌和型号，使用SURF算法将目标车辆的头部信息同特征库中车型信息进行比对，从而获得车辆的品牌型号信息，具体来说，在对目标车辆进行类型匹配的过程中，会先针对车灯边缘进行匹配，将存有车型，车辆颜色，车辆出厂年份等的数据库作为特征库，将提取到的车灯边缘与特征库中样本进行比对，如果存在一个对比结果远大于其他的对比值，系统将此目标车辆认定为匹配结果最大值对应的车辆类型；否则，将目标车辆的车头区域与特征库中的车头区域特征进行对比，并统计各项匹配结果，选取结果值最大的车辆类型作为匹配结果，然后将此结果进行加权，得出相似度，并认定目标车辆类型。

步骤(2)人工标定摄像机网络的拓扑结构指的是摄像机的安装位置和道路连通关构建拓扑关系，根据摄像机中检测到的目标出现与离开的位置信息，得到该视域中的多个目标出现区域或目标消失区域，并将它们分别看作不同的节点，如图2所示，对任意一对结点(p_i,p_j)，p_i∈C_m,p_j∈C_n,i≠j,C_m≠C_n，用变量L_i,j＝{0,1}表示摄像机间的物理连通关系，其中0表示这两个摄像机间物理上直接不可达，而1表示这两个摄像机间物理上是可以直达的。摄像机内部的目标转移则用虚线边表示。

步骤(3)将贝叶斯方法应用于多摄像机之间的目标关联指的是针对多个摄像机下的目标跟踪问题，解决方法是利用贝叶斯估计框架，把目标关联求解建模为求取最大后验估计的问题，该方法的具体实现如下：

假设非重叠域多摄像机网络包含n个摄像机，把它们分别记为C₁,C₂,...,C_n，在某段时间内，摄像机C_i捕捉到m_i个目标，将这些目标记为O_i＝{O_i,1,O_i,2,O_i,3,...O_i,m}。对捕获到的每个目标O_i,a进行关联特征提取，得到目标的表现特征O_i,a(app)，对摄像机网络拓扑进行估计，得到目标的时空特征O_i,a(st)假设目标的表现特征与目标的时空特征是彼此独立的。系统要实现的功能就是在多摄像机捕获到的所有目标之中寻找，找到属于同一个车辆的目标，并将它们彼此关联起来。令表示一次关联，指明(O_i,a,O_j,b)是现实世界中的同一辆车，并且目标a先与目标b出现。那么可以把多摄像机目标关联问题建模为寻找一个关联集合的问题，其需要满足的条件如下：

当且仅当O_i,a和O_j,b是现实世界中的同一车辆；

每个目标最多拥有一个前继目标和一个后继目标，即对所有的有假设为目标关联算法得到

的一个解，假定每次关联都是独立的，则有：其中是捕获目标O_i,a和O_j,b后，关联发生的概率。根据贝叶斯理论有：引入目标的外观特征O_i,a(app)和目标的时空特征O_i,a(st)，可得到：

这样，多摄像机间的目标关联问题就被建模为在解空间Δ内寻找最大的后验概率K*，

先验概率定义为目标从摄像机C_i到C_j的概率,用p(C_i,C_j)表示。若假定目标的出现是均匀分布的，则全概率p_i,j(O_i,a,O_j,b)为一个不变的尺度参数。

进一步地，所述通过贝叶斯估计对所述摄像机网络中的所述目标车辆的轨迹进行关联，包括：

将目标车辆在任一摄像机中的出现区域和消失区域分别划分在不同的子图单元中；

根据道路连通关系判断所述子单元是否连通，若是，则根据所述目标车辆的识别信息关联所述出现区域和所述消失区域。

具体来说，所述将摄像机网络进行子图划分，如图2所示，在一个摄像机视域中，如果某个出现的结点q_i只与唯一的消失区域p_j相连，去掉它们之间连接的虚线，则就可以将其划分到不同的子图单元中去，最终整个摄像机网络可以转变成一个非连通图，可以把每一个连通子图看做一个子图单元。这样做的好处是均衡负载，既不破坏摄像机网络的整体结构，又能使各个子图单元中计算出的轨迹通过简单相加就能形成车辆的轨迹。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (5)

1.一种多摄像头场景下车辆的轨迹计算方法，其特征在于，包括：

采用卷积神经网络识别摄像机采集的车辆监控视频，获取目标车辆的识别信息，所述识别信息包括：所述目标车辆的型号、品牌、实际运行方向以及所述目标车辆的倾斜角度，并将目标车辆用矩阵框标注；

根据所述矩阵框与跟踪器保存区域的重合面积对所述目标车辆进行跟踪，获取所述目标车辆的运动信息，所述运动信息包括所述目标车辆的出现位置、离开位置以及所述目标车辆的运行方向和轨迹；

根据所述目标车辆的运动信息、摄像机的安装位置和道路连通关系标定摄像机网络的拓扑结构；

通过贝叶斯估计对所述摄像机网络中的所述目标车辆的轨迹进行关联。

2.根据权利要求1所述的方法，其特征在于，所述根据所述矩阵框与跟踪器保存区域的重合面积对所述目标车辆进行跟踪，获取所述目标车辆的运动信息之后，还包括：

采用卡尔曼滤波器和匈牙利匹配算法更新所述跟踪器。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述矩阵框与跟踪器保存区域的重合面积对所述目标车辆进行跟踪，获取所述目标车辆的运动信息，包括：

判断目标车辆的矩阵框与跟踪器中保存的区域是否重叠，若是，则按照重叠面积率将跟踪器排序，若否，则判断下一辆目标车辆；

选取重叠面积率最大的区域对应的跟踪器确定所述目标车辆的运行方向；

判断所述跟踪器中的车辆运行方向与所述目标车辆的实际运行方向是否相同，若是，则确定所述跟踪器中保存的车辆为所述目标车辆，若否，则跟踪下一辆目标车辆。

4.根据权利要求1所述的方法，其特征在于，所述根据所述目标车辆的运动信息、摄像机的安装位置和道路连通关系标定摄像机网络的拓扑结构，包括：

根据摄像机中目标车辆的出现位置、离开位置信息确定所述目标车辆对应所述摄像机的出现区域和消失区域，并将所述出现区域和所述消失区域做为摄像机网络中的节点；

根据所述摄像机的安装位置和道路连通关系判断任意两个所述节点之间是否连通；

根据所述节点之间的连通关系确定摄像机网络的拓扑结构。

5.根据权利要求4所述的方法，其特征在于，所述通过贝叶斯估计对所述摄像机网络中的所述目标车辆的轨迹进行关联，包括：

将目标车辆在任一摄像机中的出现区域和消失区域分别划分在不同的子图单元中；

根据道路连通关系判断所述子单元是否连通，若是，则根据所述目标车辆的识别信息关联所述出现区域和所述消失区域。