CN105761507A - 一种基于三维轨迹聚类的车辆计数方法 - Google Patents

Abstract

本发明公开了一种基于三维轨迹聚类的车辆计数方法，具体包括利用摄像机采集道路的视频图像，利用灭点的方法建立二维图像坐标与三维世界坐标之间的关系，求得转移矩阵M；在视频图像中确定检测线和检测区域，提取视频图像的背景图像；获取视频图像上的多条运行轨迹；选取符合粗聚类条件的运行轨迹进行粗聚类，将所选取的运行轨迹分成多个类，并将所选取的运行轨迹标记为已聚类；对在步骤四中被标记为已聚类的运行轨迹进行细聚类。本发明的方法不受工程应用上的环境限制，具有较高的稳定性和检测精度，且易于实现，能有效地对视野范围内的车辆进行实时准确的检测，因此具有广阔的应用前景。

Description

一种基于三维轨迹聚类的车辆计数方法

技术领域

本发明属于视频检测技术领域，具体涉及一种基于三维轨迹聚类的车辆计数方法。

背景技术

由于经济的快速发展，车辆数目明显增多，道路交通通行能力下降，通过使用高新技术提高路网的通行能力，对现有道路进行有效的管理，为道路建设提供有效的数据是十分必要的。其中，对某一段路进行车辆检测，统计一段时间内的车流量，将该路段的车流量信息发送给管理部门或者是其他终端客户可以达到舒缓交通，管理交通的目的。

基于视频的车辆检测以及车流量统计，由于具备高效的实时检测性能，安装维护方便的优势得到了越来越多的关注。目前常用的基于视频的车辆检测软件以及车流量统计使用范围受到限制，只有在交通畅通，场景简单的情况下才能够有较高的检测率，在实际场景中，往往无法达到预期的效果。

发明内容

针对上述现有技术中存在的问题或缺陷，本发明的目的在于，提供一种基于三维轨迹聚类的车辆计数方法。

为了实现上述目的，本发明采用如下技术方案：

一种基于三维轨迹聚类的车辆计数方法，包括以下步骤：

步骤一，利用摄像机采集道路的视频图像，建立视频图像的二维图像坐标与三维世界坐标之间的关系，求得转移矩阵M；

步骤二，在视频图像中确定检测线和检测区域，提取视频图像的背景图像；

步骤三，获取视频图像上的多条运动目标产生的运行轨迹；

步骤四，选取符合粗聚类条件的运行轨迹进行粗聚类，将所选取的运行轨迹分成多个类，并将所选取的运行轨迹标记为已聚类；

步骤五，对在步骤四中被标记为已聚类的运行轨迹进行细聚类，将被标记为已聚类的运行轨迹分成N类，车辆计数结果为N。

具体地，所述步骤三中的获取视频图像上的多条运行轨迹的实现方法包括：

获取视频图像中的所有运动目标，针对运动目标提取特征点，对特征点采用模板匹配的方法进行跟踪，得到所有运动目标的运行轨迹。

具体地，所述步骤四中符合粗聚类条件的运动轨迹指的是：穿过所述检测线，且特征点的个数大于10的运动轨迹。

具体地，所述步骤四中的粗聚类的实现方式包括：

将所有符合粗聚类条件的运行轨迹上的最后跟踪的一个特征点映射到XY0平面上，XY0平面是指，在XYZ坐标系中，Z＝0的平面；其中X是沿与车道线垂直的方向，Y是沿与车道线平行的方向，Z是沿垂直于路面的方向；计算所有特征点中任意两个特征点在X方向的距离d_X和在Y方向的距离d_Y，若d_X＜A，A＝1.5m，且d_Y＜B，B＝3m，则这两个特征点所在的运行轨迹属于同一类；未与其他特征点归为一类的特征点单独归为一类，该特征点所在的运行轨迹单独归为一类。

具体地，所述步骤五的细聚类的实现方式包括：

步骤5.1，对步骤四中被标记为已聚类的运行轨迹中即将要离开检测区域的一条运行轨迹所在的类进行类内部处理，将被标记为已聚类的运行轨迹重新分成多个类；

步骤5.2，对步骤5.1重新分成的多个类进行类间处理，将被标记为已聚类的运行轨迹分成N'类，车辆计数结果增加N'；

步骤5.3，判断被标记为已聚类的运行轨迹中是否存在即将离开检测区域的运行轨迹，如果是，返回步骤5.1，如果否，结束。

具体地，所述步骤5.1的具体实现方式包括：

步骤5.1.1，求取即将离开检测区域的运行轨迹所在类中的所有运行轨迹的速度，确定该类中代表轨迹，以及代表轨迹的速度即代表速度；

步骤5.1.2，求取即将离开检测区域的运行轨迹所在类中的每条运行轨迹上最后跟踪的一个特征点的三维信息；

步骤5.1.3，利用模型的方法，将不属于即将离开检测区域的运行轨迹所在类的运行轨迹剔出，将剔出的运行轨迹放在同一个类内；

步骤5.1.4，对剔出的运行轨迹所形成类进行类内部处理，即返回步骤5.1.1重复执行，直至没有运行轨迹被剔出，将被标记为已聚类的运行轨迹重新分成多个类。

具体地，所述步骤5.2的具体实现方式包括：

步骤5.2.1，选取两个类，求取两个类中所有运行轨迹的速度中的最低速度，将该最低速度作为参考速度V_min ^*，并将具有该参考速度V_min ^*的运行轨迹作为参考轨迹，参考轨迹所在的类作为参考类，另一个类为所求类；

步骤5.2.2，求出参考轨迹和所求类中的所有运行轨迹上最开始跟踪的15个特征点的三维信息；

步骤5.2.3，将所求类中的所有运行轨迹与参考轨迹均进行相对运动约束的判断，若所求类中的2/3的运行轨迹与参考轨迹满足相对运动约束条件，则将两个类进行合并；否则不做合并处理；

步骤5.2.4，重新选取两个类，返回步骤5.2.1，直至所有的类处理结束，删除步骤5.1中即将离开检测区域的运行轨迹所在的类，最终将被标记为已聚类的运行轨迹分成N类，车辆计数结果增加N。

与现有技术相比，本发明具有以下技术效果：本发明的基于三维轨迹聚类的车辆计数算法，与现有技术相比，不受工程应用上的环境限制，具有较高的稳定性和检测精度，且易于实现，能有效地对视野范围内的车辆进行实时准确的检测，因此具有广阔的应用前景。

以下结合附图和具体实施方式对本发明的内容作进一步详细地说明。

附图说明

图1为视频图像中的一帧图像；

图2为获取的背景图像；

图3为目标区域提取的特征点结果图；

图4为提取的运动轨迹结果图；

图5为车辆检测计数结果图；

图6为相对运动约束条件示意图；

图7是本发明的方法流程图。

具体实施方式

本发明的基于三维轨迹聚类的车辆计数方法，通过对车辆的行驶轨迹进行聚类达到车辆检测的目的。利用摄像机对道路进行拍摄，得到视频图像，视频图像沿正时间序列包括第一帧图像、第二帧图像…第n帧图像(n为自然数)。参见图7，本发明的方法具体包括以下步骤：

步骤一，利用灭点的方法建立视频图像的二维图像坐标与三维世界坐标之间的关系，求得转移矩阵M。由于摄像机的安装位置是固定的，摄像机的图像视频始终获取的是二维图像；摄像机在三维世界中的坐标是已知的，因此可以得到摄像机拍摄的二维图像所在实际位置与三维世界坐标之间的关系。三维世界坐标是在二维世界坐标的基础上根据右手定则增加z轴而形成的。

步骤二，针对采集到的视频图像利用多帧图像平均法提取背景图像，在视频图像中确定一条垂直于道路的检测线，检测线是人工确定的，检测线的纵向坐标为170(像素)，视频图像的大小为720*288，坐标原点在左上角。同时，在视频图像中确定检测区域，检测区域指的是需要检测的车道区域，检测区域为一个矩形区域，宽度包括要检测的车道，长度取60m。

步骤三，针对视频图像中的每一帧图像，减去背景图像，得到每一帧图像中对应的运动目标，对所有的运动目标利用Moravec算子提取特征点，并采用模板匹配的方法对特征点进行跟踪，得到运动目标的运行轨迹，并记录运行轨迹上每个特征点的二维图像坐标信息，即像素坐标信息；此处需要说明的是，一帧图像中可能包含多个运动目标，在该帧图像上的每个运动目标均表示一个要检测的车辆，因此，在对特征点进行跟踪后，得到多条运动目标产生的运行轨迹。

步骤四，选取符合粗聚类条件的运行轨迹进行粗聚类，将所选取的运行轨迹分成多个类，并将所选取的运行轨迹标记为已聚类；具体实现方式为：

当检测到多条运行轨迹中的某个运行轨迹穿过检测线，且该运行轨迹上的特征点的个数大于10时，则将该运行轨迹上的最后跟踪的一个特征点映射到XY0平面上，利用公式(1)得到该特征点在XYZ平面上的坐标(X,Y,0)，XY0平面是指，在XYZ坐标系中，Z＝0的平面；其中X是沿与车道线垂直的方向，Y是沿与车道线平行的方向，Z是沿垂直于路面的方向；(X,Y,0)为该特征点在XY0平面上的坐标：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=M\left[\begin{array}{c}X\\ Y\\ 0\\ 1\end{array}\right]---\left(1\right)$

公式(1)表示的像素点到空间点的转换关系；其中，(u,v)为特征点的像素坐标，(X，Y，0)为特征点在XY0面上的坐标，M为3*4转移矩阵。

满足穿过检测线且该运行轨迹上的特征点的个数大于10的运行轨迹可能存在多条，则得到多个映射到XYZ面上的特征点(Z＝0)，对所有映射到XYZ面上的特征点所在的运行轨迹进行粗聚类，具体实现方法为：计算所有映射到XYZ面上特征点中的任意两个特征点在X方向的距离d_X和在Y方向的距离d_Y；若两个特征点在X方向的距离d_X＜A(A＝1.5m)，且在Y方向的距离d_Y＜B(B＝3m)，则将这两个特征点属于同一类，归为一类的多个特征点分别所在的运行轨迹属于同一类；在进行粗聚类后，对于未与其他特征点归为一类的特征点单独归为一类，该特征点所在的运行轨迹单独归为一类；对所有映射到XYZ面上的特征点所在的运行轨迹均标记为已聚类，则其他运行轨迹未被标记为已聚类。

步骤五，对所有被标记为已聚类的运行轨迹进行细聚类，最终将被标记为已聚类的运行轨迹分成N，车辆计数结果加N，实现方法包括以下步骤：

步骤5.1，对即将离开检测区域的某条运行轨迹所在的类先进行类内部处理，将被标记为已聚类的运行轨迹重新分成多个类。具体实现方法如下：

步骤5.1.1，采用线性拟合的方法求出该即将离开检测区域的运行轨迹所在类中的所有运行轨迹的速度，求取所有运行轨迹的速度中的最低速度，将该最低速度作为该类的代表速度V_min，并将具有该最低速度的运行轨迹作为代表轨迹；

步骤5.1.2，将代表轨迹的高度设为零，运行轨迹的高度指的是运行轨迹上的特征点的Z坐标的值，同一条运行轨迹上的各个特征点的Z坐标的值相同；利用公式(2)求出该类内其他运行轨迹的高度h：

$\frac{V_{\min }}{V}=\frac{H-h}{H}---\left(2\right)$

其中，V表示该类内其他运行轨迹的速度，H表示代表轨迹的高度，h表示该类内其他运行轨迹的高度。

利用公式(2)求出的该类内其他运行轨迹的高度h，再利用公式(3)求该类内每条运行轨迹最后跟踪的一个特征点的三维信息：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=M\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]---\left(3\right)$

其中，M表示3*4的转移矩阵，(u,v,1)为特征点的像素坐标，(X,Y，Z,1)为特征点对应的世界坐标值，其中，X,Y,Z表示特征点的三维信息，其中的Z即为该类内其他运行轨迹的高度h。

步骤5.1.3，利用模型的方法，将不属于该类的运行轨迹剔除，具体实现方法为：获取3种不同车型的车辆的尺寸信息，小型车：长3.5m,宽2.5m，高1.5m；中型车：长5m,宽3.5m,高2m；大型车：长8m,宽4m,高2.5m。将步骤5.1.2求出的该类内每条运行轨迹最后跟踪的一个特征点的三维信息与代表轨迹中最后跟踪的一个特征点的三维信息分别相减，得到三维方向的差值D_X，D_Y和D_Z，若0＜D_Z＜1.5m，0＜D_X＜3.5m且0＜D_Y＜2.5m，或者0＜D_Z＜2m，0＜D_X＜5m，且0＜D_Y＜3.5m，或者0＜D_Z＜2.5m，0＜D_X＜8m且0＜D_Y＜4m，则相对应的两条运行轨迹属于同一辆车的运行轨迹，否则不属于同一辆车的运行轨迹，并将不属于同一辆车的运行轨迹剔出，将剔出的运行轨迹放在一个类内。

步骤5.1.4，对剔出的运行轨迹所形成类进行类内部处理，即返回步骤5.1.1重复执行，直至没有运行轨迹被剔出，最终将被标记为已聚类的运行轨迹重新分成多个类。

步骤5.2，对步骤5.1重新分成的多个类进行类间处理。

步骤5.2.1，选取两个类，求取两个类中所有运行轨迹的速度中的最低速度，将该最低速度作为参考速度V_min ^*，并将具有该参考速度V_min ^*的运行轨迹作为参考轨迹，参考轨迹所在的类作为参考类；

步骤5.2.2，将参考轨迹的高度设为零，利用公式(4)求出两个类中除参考类以外的类中的所有运行轨迹的高度h^*：

$\frac{{V_{\min }}^{*}}{V^{*}}=\frac{H^{*}-h^{*}}{H^{*}}---\left(4\right)$

其中，V^*表示所求类内所有运行轨迹的速度，H^*表示参考轨迹的高度，h^*表示所求类内所有运行轨迹的高度。

利用公式(3)求出参考轨迹和所求类中所有运行轨迹上最开始跟踪的15个特征点的三维信息，公式(3)中的Z等于h^*。

步骤5.2.3，将所求类的每条运行轨迹与参考轨迹均进行相对运动约束的判断，参见图6，相对运动约束条件为：A1B1-A2B2＝A2B2-A3B3＝…A14B14-A15B15＝0，其中，A1,A2…A15分别表示所求类内运行轨迹的15个特征点的三维信息，B1,B2…B15分别表示参考轨迹的15个特征点的三维信息，若所求类中的2/3的运行轨迹与参考轨迹满足所述相对运动约束条件，则将两个类进行合并；否则不做合并处理。

步骤5.2.4，重新选取两个类，返回步骤5.2.1，直至所有的类处理结束，删除步骤5.1中即将离开检测区域的运行轨迹所在的类，最终将被标记为已聚类的运行轨迹分成N'类，车辆计数结果增加N'；

步骤5.3，判断被标记为已聚类的运行轨迹中是否存在即将离开检测区域的运行轨迹，如果是，返回步骤5.1，如果否，结束。

本发明的方法结束后，最终将被标记为已聚类的运行轨迹分成N类，车辆计数结果为N。

实施例：

实施例采用上海外环某一路段的实时路况视频图像，视频采样频率是20帧/秒，图像大小为720×288。

图1所示为视频图像中的一帧图像；图2为提取到的背景图像；图3中的交叉线为提取到的特征点；图4中的连线表示运行轨迹；

图5表示车辆检测得到的计数结果，其中图5中的(a)和(b)分别表示车辆计数结果为15和16时的实时视频场景图。

Claims (7)

1.一种基于三维轨迹聚类的车辆计数方法，其特征在于，包括以下步骤：

步骤一，利用摄像机采集道路的视频图像，建立视频图像的二维图像坐标与三维世界坐标之间的关系，求得转移矩阵M；

步骤二，在视频图像中确定检测线和检测区域，提取视频图像的背景图像；

步骤三，获取视频图像上的多条运动目标产生的运行轨迹；

步骤四，选取符合粗聚类条件的运行轨迹进行粗聚类，将所选取的运行轨迹分成多个类，并将所选取的运行轨迹标记为已聚类；

步骤五，对在步骤四中被标记为已聚类的运行轨迹进行细聚类，将被标记为已聚类的运行轨迹分成N类，车辆计数结果为N。

2.如权利要求1所述的基于三维轨迹聚类的车辆计数方法，其特征在于，所述步骤三中的获取视频图像上的多条运行轨迹的实现方法包括：

获取视频图像中的所有运动目标，针对运动目标提取特征点，对特征点采用模板匹配的方法进行跟踪，得到所有运动目标的运行轨迹。

3.如权利要求2所述的基于三维轨迹聚类的车辆计数方法，其特征在于，所述步骤四中符合粗聚类条件的运动轨迹指的是：穿过所述检测线，且特征点的个数大于10的运动轨迹。

4.如权利要求3所述的基于三维轨迹聚类的车辆计数方法，其特征在于，所述步骤四中的粗聚类的实现方式包括：

将所有符合粗聚类条件的运行轨迹上的最后跟踪的一个特征点映射到XY0平面上，XY0平面是指，在XYZ坐标系中，Z＝0的平面；其中X是沿与车道线垂直的方向，Y是沿与车道线平行的方向，Z是沿垂直于路面的方向；计算所有特征点中任意两个特征点在X方向的距离d_X和在Y方向的距离d_Y，若d_X＜A，A＝1.5m，且d_Y＜B，B＝3m，则这两个特征点所在的运行轨迹属于同一类；未与其他特征点归为一类的特征点单独归为一类，该特征点所在的运行轨迹单独归为一类。

5.如权利要求1所述的基于三维轨迹聚类的车辆计数方法，其特征在于，所述步骤五的细聚类的实现方式包括：

步骤5.1，对步骤四中被标记为已聚类的运行轨迹中即将要离开检测区域的一条运行轨迹所在的类进行类内部处理，将被标记为已聚类的运行轨迹重新分成多个类；

步骤5.2，对步骤5.1重新分成的多个类进行类间处理，将被标记为已聚类的运行轨迹分成N'类，车辆计数结果增加N'；

步骤5.3，判断被标记为已聚类的运行轨迹中是否存在即将离开检测区域的运行轨迹，如果是，返回步骤5.1，如果否，结束。

6.如权利要求5所述的基于三维轨迹聚类的车辆计数方法，其特征在于，所述步骤5.1的具体实现方式包括：

步骤5.1.1，求取即将离开检测区域的运行轨迹所在类中的所有运行轨迹的速度，确定该类中代表轨迹，以及代表轨迹的速度即代表速度；

步骤5.1.2，求取即将离开检测区域的运行轨迹所在类中的每条运行轨迹上最后跟踪的一个特征点的三维信息；

步骤5.1.3，利用模型的方法，将不属于即将离开检测区域的运行轨迹所在类的运行轨迹剔出，将剔出的运行轨迹放在同一个类内；

步骤5.1.4，对剔出的运行轨迹所形成类进行类内部处理，即返回步骤5.1.1重复执行，直至没有运行轨迹被剔出，将被标记为已聚类的运行轨迹重新分成多个类。

7.如权利要求5所述的基于三维轨迹聚类的车辆计数方法，其特征在于，所述步骤5.2的具体实现方式包括：

步骤5.2.1，选取两个类，求取两个类中所有运行轨迹的速度中的最低速度，将该最低速度作为参考速度V_min ^*，并将具有该参考速度V_min ^*的运行轨迹作为参考轨迹，参考轨迹所在的类作为参考类，另一个类为所求类；

步骤5.2.2，求出参考轨迹和所求类中的所有运行轨迹上最开始跟踪的15个特征点的三维信息；

步骤5.2.3，将所求类中的所有运行轨迹与参考轨迹均进行相对运动约束的判断，若所求类中的2/3的运行轨迹与参考轨迹满足相对运动约束条件，则将两个类进行合并；否则不做合并处理；

步骤5.2.4，重新选取两个类，返回步骤5.2.1，直至所有的类处理结束，删除步骤5.1中即将离开检测区域的运行轨迹所在的类，最终将被标记为已聚类的运行轨迹分成N类，车辆计数结果增加N。