CN110443142A - 一种基于路面提取与分割的深度学习车辆计数方法 - Google Patents

Abstract

本发明公开了一种基于路面提取与分割的深度学习车辆计数方法，具体包括利用摄像机采集道路的视频图像，利用数字图像处理方法获取道路路面区域并使用分割策略将路面分割成“近端”、“远端”两部分，将分割后的路面区域送入深度学习网络进行车辆目标的检测，并对检测结果进行持续跟踪获取车辆二维轨迹，利用车辆二维轨迹统计某一道路方向的不同类别车辆的流量，达到车辆计数的目的。该方法对于路面远处的小型车辆检测精度较高，为精准的车辆计数提供了数据基础。本发明的方法可应用于多种交通场景，具有较高的稳定性和计数精度，能有效地对图像视野中道路范围的车辆进行准确的检测与持续的跟踪，从而实现车辆的计数，具有广阔的应用前景。

Description

一种基于路面提取与分割的深度学习车辆计数方法

技术领域

本发明属于视频检测技术领域，具体涉及一种基于路面提取与分割的深度学习车辆计数方法。

背景技术

公路的智能化监管在智能交通领域越来越受到关注。我国经济的正处于飞速发展的阶段，车辆日益增多带来了严重的交通拥堵，降低了道路的通行能力。因此，使用较新的科技方法，对道路进行智能化管理，提供道路交通流元数据是十分必要的。对监控摄像头监测的道路范围进行车辆的检测并统计车流量，从而为交通管理部门等相关行业提供数据，达到了公路智能管理与控制的目的。

利用监控视频进行车辆的检测与车流量统计，不需安装额外的检测硬件或设施，成本低廉且具有较高的检测性能，拥有巨大的市场潜力。目前，基于监控视频的车辆检测方法对车辆的检测精度不高，尤其是对于路面的远处的小型车辆存在检测不到等问题，从而无法在实际场景中达到预期效果。

发明内容

针对现有技术中的缺陷和不足，本发明提供了一种基于路面提取与分割的深度学习车辆计数方法，解决目前基于监控视频的车辆检测方法对车辆的检测精度不高，尤其是对于路面的远处的小型车辆存在检测不到等问题。

为达到上述目的，本发明采取如下的技术方案：

本发明提供一种基于路面提取与分割的深度学习车辆计数方法，该方法包括如下步骤：

步骤一，运用数字图像处理方法对交通视频进行处理，提取完整的路面区域图像；

步骤二，利用提取的道路路面区域，使用分割策略将路面分割为“近端”“远端”两部分，得到路面提取分割后的交通图像；

步骤三，使用深度学习目标检测算法，分别对分割后的路面区域进行车辆检测，得到路面“近端”及“远端”的车辆图像位置及车辆类别；

步骤四，使用跟踪算法，并利用步骤三得到的车辆图像位置及车辆类别，获取车辆目标轨迹；

步骤五，在步骤二得到的路面提取分割后的交通图像中确定检测线位置；

步骤六，统计与步骤五中的检测线相交的轨迹，即为车辆计数结果。

本发明还包括如下技术特征：

具体的，所述步骤一具体包括以下步骤：

步骤1.1，取输入的交通视频的多个连续帧，采用高斯混合建模方法，提取出交通场景背景图像，消除路面中车辆行驶的影响；

步骤1.2，对步骤1.1中提取的交通场景背景图像，采用数字滤波器对背景图像进行平滑处理得到交通图像，再对该交通图像进行平滑滤波，得到滤波后的图像；

步骤1.3，对步骤1.2滤波后的图像，采用漫水填充算法，分离出路面区域；

步骤1.4，对步骤1.3提取的路面区域，进行孔洞填充及形态学膨胀操作，从而提取完整的路面区域图像。

具体的，所述步骤二具体包括以下步骤：

步骤2.1，将步骤一得到的路面区域图像，对其生成最小外接矩形，排除路面区域图像中全为0的像素行、全为0的像素列；

步骤2.2，在步骤2.1得到的图像的左上角建立直角坐标系，并按图像的高度等分为五份，将临近坐标轴原点的部分区域定义为路面的“似远端”，剩下的区域为路面的“似近端”；“似近端”与“似远端”有一定像素长度的重叠；

步骤2.3，在“似近端”、“似远端”内分别对图像的像素值进行按列搜索，某列像素值全部为0的区域，则认为是无效区域；排除无效区域后，所保留的区域即为路面的“近端”、“远端”。

具体的，所述步骤三中使用深度学习目标检测算法，分别对分割后的路面区域进行车辆检测的具体方法：将路面的“近端”、“远端”两部分图像送入深度学习网络进行车辆的检测，，可得到路面“近端”及“远端”的车辆图像位置及车辆类别，将“近端”和“远端”两个区域的车辆图像位置车辆类别合并。

具体的，所述步骤四中使用跟踪算法的方法包括以下步骤：

步骤4.1，对步骤三检测到的车辆图像位置对应的车辆目标框，使用ORB算法提取车辆目标框中的特征点，并使用该车辆目标框中的特征点在下一帧图像中预测该车辆的位置，给出车辆预测框，并采用步骤三中的深度学习目标检测算法对该下一帧图像进行检测，得到该下一帧图像的车辆检测框；

步骤4.2，判断步骤4.1中得到的车辆预测框与所述的下一帧图像的车辆检测框是否满足中心点的最短距离T的要求，若满足，则说明同一车辆目标在相邻两帧之间匹配成功，若不满足，则匹配失败；

步骤4.3，当在步骤4.2匹配成功时，则生成车辆目标轨迹，生成的车辆目标轨迹为步骤4.1中车辆目标框与下一帧图像的车辆检测框的中心点的连线；当目标轨迹连续多帧未更新，则删除该轨迹；若连续多帧在步骤4.2中都匹配失败时，删除该车辆预测框。

具体的，所述步骤五中在路面提取分割后的交通图像中确定检测线位置的方法：利用步骤2.2建立的直角坐标系，该检测线放置于交通图像按图像的高等分的1/2处。

具体的，所述步骤六中统计经过检测线的轨迹的方法：当目标的轨迹与检测线相交时，则统计该目标的信息，计入当前车流量；该目标的信息包括：车辆类别、车辆驶向或驶离摄像机方向的不同类别的车的数量。

本发明与现有技术相比，有益的技术效果是：

本发明的一种基于路面提取与分割的深度学习车辆计数方法，与现有技术相比，不受工程应用上的环境限制，可适用于多种交通场景与监控摄像机角度，对于道路远处的小目标车辆检测效果好，方法稳定检测精度较高。实际工程应用时，使用摄像机采集交通场景视频，易于操作与实现，能有效地对视野范围内的车辆进行持久的检测与跟踪，从而获取精确的车辆计数结果，具有广阔的应用前景。

附图说明

图1为交通视频图像中的一帧图像；

图2为步骤一、步骤二路面区域提取、分割的流程图；

图3为步骤一的路面区域提取过程；

图4为步骤一的路面区域提取结果；

图5为步骤二的路面区域分割示意图；

图6为步骤三车辆目标检测的示意图；

图7为步骤三的车辆目标检测结果；

图8为步骤四的跟踪算法流程图；

图9为步骤四的目标特征提取结果；

图10为步骤六车辆计数的示意图；

图11是本发明的方法流程图。

具体实施方式

本发明公开了一种基于路面提取与分割的深度学习车辆计数方法，通过对交通图像进行路面分割再使用深度学习算法达到精准车辆检测与跟踪，从而进行车辆计数的目的。利用摄像机对道路进行拍摄或使用道路监控视频，视频图像按时间顺序包括连续的多帧图像。参见图11，本发明的方法具体包括以下步骤：

步骤一，运用数字图像处理方法对交通视频进行处理，提取完整的路面区域图像；具体实现方法包括以下步骤：

步骤1.1，取输入的视频图像的第1帧至第500帧图像，视频图像的大小为1920*1080。采用高斯混合建模方法，图像中像素点的值在某一时间范围内围绕某一中心值呈高斯分布，对每帧图像中的各个像素点进行统计。若像素点偏离中心值较远，则该像素点属于前景，若像素点的值与中心值偏离的程度在一定方差范围内，则认为该像素点属于背景。从而消除道路中的车辆，获得完整的交通图像背景图像；

步骤1.2，对于提取的交通图像背景图像，采用3*3内核的高斯滤波器对背景图像进行平滑处理，再采用MeanShfit均值漂移算法对输入图像进行色彩层面的平滑滤波，中和色彩分布相近的颜色，侵蚀面积较小的颜色区域；

步骤1.3，对滤波后的图像，采用漫水填充算法，手动选择路面区域中的一个点作为种子点，并用种子点的像素值填充相邻的连续路面区域，分离出路面区域；

步骤1.4，对分离出的路面区域，进行形态学膨胀操作及孔洞的填充，从而完整的提取路面区域。

步骤二，利用提取的道路路面区域，使用分割策略将路面分割为“近端”“远端”两部分，得到路面提取分割后的交通图像；具体实现方法包括以下步骤：

步骤2.1，对步骤1.4得到的完整的路面区域，除去像素值为0的无效区域，生成最小外界矩形；

步骤2.2，对步骤2.1中的矩形图像的左上顶点作为原点，横轴为x轴，纵轴为y轴，建立直角坐标系。同时，对该矩形图像的y轴五等分。临近坐标轴原点的1/5区域定义为路面的“似远端”，除此之外的4/5区域定义为路面的“似近端”。“似近端”与“似远端”有100像素长度的重叠，避免车辆经过两个不同区域时出现断裂；

步骤2.3，在“似近端”与“似远端”两个图像区域内，对图像的像素值逐列进行搜索，若有某列或多列图像的像素值均为0，则删除该区域。所保留得到的两个图像区域，即为路面的“近端”、“远端”；

步骤三，对分割后的路面“近端”、“远端”两个区域，同时放入YOLOv3(You OnlyLook Once vision 3)深度网络进行车辆的检测。该方法为本领域常规方法。检测得到路面“近端”及“远端”的车辆图像位置及车辆类别(轿车、客车、货车)。本步骤进行车辆检测所使用的车辆检测模型，是由自行标注的车辆数据集进行深度网络的训练得到的。

步骤四，对车辆目标检测框进行持续跟踪，使用跟踪算法，获取车辆的二维行驶轨迹；具体实现方法包括以下步骤：

步骤4.1，使用ORB特征点提取算法，提取车辆目标框中的多个特征点，并使用这些特征点在该连续视频的一下帧图像中寻找匹配的位置，即该车辆在下一帧图像的预测位置(二维矩形框)，即车辆预测框；

步骤4.2，对该下一帧图像进行车辆目标检测，得到下一帧图像的车辆检测框，将该车辆检测框与步骤4.1中得到的车辆预测框的中心点进行最小距离T的计算，其公式为式1：

其中，(x₁,y₁),(x₂,y₂)分别为矩形车辆预测框的中心点位置及车辆检测框的中心点位置。当T小于40时，认为同一车辆目标在相邻两帧间匹配成功，分则匹配失败；

步骤4.3，若步骤4.2中车辆目标匹配成功，则持续画出该车辆的二维轨迹，当目标轨迹连续10帧没有更新，则认为该目标已离开当前道图像帧，删除该轨迹。若步骤4.2中车辆目标连续10帧都匹配失败时，则认为目标已不存在于视频场景中，删除该预测框；

步骤五，在步骤二得到的路面提取分割后的交通图像中确定一条垂直于道路的检测线，检测线是人工确定的，利用步骤2.2建立的直角坐标系，在图像y轴的1/2处放置该检测线。

步骤六，统计与步骤五中的检测线相交的轨迹，获得该轨迹的产生方向，作为车辆的行驶方向(驶向摄像机、驶离摄像机)，同时获得步骤3所得到的该车辆的类别(轿车、客车、货车)，进行某一段时间内的不同方向的不同类别的车辆的流量统计。

本发明的整个过程结束后，即完成了交通场景下的车辆计数，计数信息包括某段时间内的某一方向的某类别车型的流量。

遵从上述技术方案，以下给出本发明的具体实施例，需要说明的是本发明并不局限于以下具体实施例，凡在本申请技术方案基础上做的等同变换均落入本发明的保护范围。下面结合实施例对本发明做进一步详细说明。

实施例1：

实施例采用沪昆高速(G60)杭金衢段的多个监控视频的实时路况图像，视频采样频率是25帧/秒，图像大小为1920×1080。

图1所示为三个不同交通视频中的一帧图像；图3为路面区域提取的过程；图4为三个不同交通场景下路面区域提取的结果；图5为路面分割的方式及结果，右图中注明“重叠区域”的区域为路面“近端”、“远端”所重叠的100像素长度部分，右图中虚线表示图像按y轴五等分，左图是路面区域分割的结果；图5右上为分割后得到的路面“远端”区域，右下为分割后得到的路面“远端”区域。图6为车辆目标检测的示意图，将路面“近端”区域、“远端”区域放入YOLOv3深度学习网络，得到车辆目标的检测结果；图7为路面“近端”区域、“远端”区域车辆目标检测的结果，并将其合并显示到一张图像上(左上角图)；图9为ORB算法提取车辆特征并在下一帧图像中进行成功匹配的结果；图10为车辆轨迹通过检测线进行计数的结果，检测线位置在图中标明。

Claims (7)

1.一种基于路面提取与分割的深度学习车辆计数方法，其特征在于，该方法包括如下步骤：

步骤一，运用数字图像处理方法对交通视频进行处理，提取完整的路面区域图像；

步骤二，利用提取的道路路面区域，使用分割策略将路面分割为“近端”“远端”两部分，得到路面提取分割后的交通图像；

步骤三，使用深度学习目标检测算法，分别对分割后的路面区域进行车辆检测，得到路面“近端”及“远端”的车辆图像位置及车辆类别；

步骤四，使用跟踪算法，并利用步骤三得到的车辆图像位置及车辆类别，获取车辆目标轨迹；

步骤五，在步骤二得到的路面提取分割后的交通图像中确定检测线位置；

步骤六，统计与步骤五中的检测线相交的轨迹，即为车辆计数结果。

2.如权利要求1所述的基于路面提取与分割的深度学习车辆计数方法，其特征在于，所述步骤一具体包括以下步骤：

步骤1.1，取输入的交通视频的多个连续帧，采用高斯混合建模方法，提取出交通场景背景图像，消除路面中车辆行驶的影响；

步骤1.2，对步骤1.1中提取的交通场景背景图像，采用数字滤波器对背景图像进行平滑处理得到交通图像，再对该交通图像进行平滑滤波，得到滤波后的图像；

步骤1.3，对步骤1.2滤波后的图像，采用漫水填充算法，分离出路面区域；

步骤1.4，对步骤1.3提取的路面区域，进行孔洞填充及形态学膨胀操作，从而提取完整的路面区域图像。

3.如权利要求1所述的基于路面提取与分割的深度学习车辆计数方法，其特征在于，所述步骤二具体包括以下步骤：

步骤2.1，将步骤一得到的路面区域图像，对其生成最小外接矩形，排除路面区域图像中全为0的像素行、全为0的像素列；

步骤2.2，在步骤2.1得到的图像的左上角建立直角坐标系，并按图像的高度等分为五份，将临近坐标轴原点的部分区域定义为路面的“似远端”，剩下的区域为路面的“似近端”；“似近端”与“似远端”有一定像素长度的重叠；

步骤2.3，在“似近端”、“似远端”内分别对图像的像素值进行按列搜索，某列像素值全部为0的区域，则认为是无效区域；排除无效区域后，所保留的区域即为路面的“近端”、“远端”。

4.如权利要求1所述的基于路面提取与分割的深度学习车辆计数方法，其特征在于，所述步骤三中使用深度学习目标检测算法，分别对分割后的路面区域进行车辆检测的具体方法：将路面的“近端”、“远端”两部分图像送入深度学习网络进行车辆的检测，，可得到路面“近端”及“远端”的车辆图像位置及车辆类别，将“近端”和“远端”两个区域的车辆图像位置车辆类别合并。

5.如权利要求1所述的基于路面提取与分割的深度学习车辆计数方法，其特征在于，所述步骤四中使用跟踪算法的方法包括以下步骤：

步骤4.1，对步骤三检测到的车辆图像位置对应的车辆目标框，使用ORB算法提取车辆目标框中的特征点，并使用该车辆目标框中的特征点在下一帧图像中预测该车辆的位置，给出车辆预测框，并采用步骤三中的深度学习目标检测算法对该下一帧图像进行检测，得到该下一帧图像的车辆检测框；

步骤4.2，判断步骤4.1中得到的车辆预测框与所述的下一帧图像的车辆检测框是否满足中心点的最短距离T的要求，若满足，则说明同一车辆目标在相邻两帧之间匹配成功，若不满足，则匹配失败；

步骤4.3，当在步骤4.2匹配成功时，则生成车辆目标轨迹，生成的车辆目标轨迹为步骤4.1中车辆目标框与下一帧图像的车辆检测框的中心点的连线；当目标轨迹连续多帧未更新，则删除该轨迹；若连续多帧在步骤4.2中都匹配失败时，删除该车辆预测框。

6.如权利要求1所述的基于路面提取与分割的深度学习车辆计数方法，其特征在于，所述步骤五中在路面提取分割后的交通图像中确定检测线位置的方法：利用步骤2.2建立的直角坐标系，该检测线放置于交通图像按图像的高等分的1/2处。

7.如权利要求1所述的基于路面提取与分割的深度学习车辆计数方法，其特征在于，所述步骤六中统计经过检测线的轨迹的方法：当目标的轨迹与检测线相交时，则统计该目标的信息，计入当前车流量；该目标的信息包括：车辆类别、车辆驶向或驶离摄像机方向的不同类别的车的数量。