CN113762135A - 一种基于视频的交通拥堵检测方法及装置 - Google Patents

Abstract

一种基于视频的交通拥堵检测方法，包括步骤依次为，目标检测、特征点提取、特征点跟踪、交通流热度计算、拥堵检测。所述目标检测步骤，包括接收道路交通视频，从该交通视频的图像中提取出检测目标；所述特征点提取步骤，从所述检测目标上提取特征点；所述特征点跟踪步骤，从所述交通视频的序列图像中获取所述特征点轨迹；所述交通流热度计算步骤，计算所述交通视频的序列图像中每个像素被所述检测目标的特征点轨迹所扫过的频率、次数、持续时间和间隔时间，从而获得量化的交通流热度图；所述拥堵检测步骤，对所述交通流热度图提取高热度点分布的位置、大小和纵深，根据高热度点判定交通拥堵事件的存在与否。

Description

一种基于视频的交通拥堵检测方法及装置

技术领域

本发明属于交通技术领域，特别涉及一种基于视频的交通拥堵检测方法及装置。

背景技术

近年来，我国公路网规模持续增加，为了更好的提高交通态势和突发事件的感知能力、不断提高公路管理的信息化水平，藉由公路交通管理和视频监控技术本身的快速发展，以及两者日益紧密的结合，视频监控在国家路网的现代化建设和管理中得到全面推广，诸多道路逐步实现视频监控全程覆盖，产生了大量的交通视频数据。由此带来了一个新的问题，如何管理这些交通视频数据？

海量的视频数据仅仅依靠传统的人力监管不但效率低下，在科技先行、大数据驱动的现实面前已经显得力不从心，不断提高道路监控和交通管理的自动化、智能化水平是目前智能交通的发展方向。

发明内容

本发明实施例之一，一种用于视频交通事件检测系统的交通拥堵检测方法，包括步骤：

目标检测步骤，包括接收道路交通视频，通过深度学习目标检测模型从该交通视频的图像中提取出检测目标；

特征点提取步骤，从所述检测目标上提取特征点；

特征点跟踪步骤，从所述交通视频的序列图像中获取所述特征点轨迹；

交通流热度计算步骤，计算所述交通视频的序列图像中每个像素被所述检测目标的特征点轨迹所扫过的频率、次数、持续时间和间隔时间，从而获得量化的交通流热度图；

拥堵检测步骤，对所述交通流热度图提取高热度点分布的位置、大小和纵深，根据高热度点判定交通拥堵事件的存在与否。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1根据本发明实施例之一的交通拥堵检测方法原理流程示意图。

图2本发明实施例之一的实例中打标示意图。

图3本发明实施例之一的实例中深度学习训练过程图。

图4本发明实施例之一的实例中车辆目标AI检测结果图。

图5本发明实施例之一的实例中车辆特征点提取结果图。

图6本发明实施例之一的实例中车辆特征点跟踪结果图。

图7本发明实施例之一的实例中交通流热度平面图。

图8本发明实施例之一的实例中交通流热度三维图。

图9本发明实施例之一的实例中交通流高热度位置提取示意图。

具体实施方式

视频交通事件检测系统就是通过先进的计算机模式识别、视频图像处理、人工智能、轨迹跟踪等方法，对前端摄像机视频图像进行实时分析和处理，自动进行目标检测、跟踪，并对交通流量、交通状态和突发事件等进行检测的装置。

交通拥堵检测作为视频交通事件检测系统的重要内容，不仅能够及时感知交通态势，为交通调度、优化提供有效的数据支撑，更能快速发现道路交通突发状况、异常事件及事故，提高响应速度，避免事故或二次事故的发生，是提升交通感知自动化和智能化的重要手段，是智能交通领域研究的热点。

交通拥堵检测主要是对车的密度和速度进行检测，有一种交通视频检测方式，是通过对图像进行一系列的画线标定，通过背景学习、目标提取、目标分割等手段，得到单个目标的坐标位置、速度、车辆尺寸等量化信息，综合分析得到量化的道路平均速度和占有率进行拥堵检测。该方法可能存在，目标识别不够准确，图像标定过程较为繁琐，只适用于固定场景，对摄像机偏移、云台和球机的转动不能自适应。同时，以单个目标为研究对象，不仅在目标提取、目标分割等关键步骤上存在技术瓶颈，还容易出现误判误检。因此这种方式普适性和准确性可能较差。

根据一个或者多个实施例，一种用于视频交通事件检测系统的交通拥堵检测方法，以提供视频交通事件检测系统中交通拥堵的判定依据。

如图1所示，一种用于视频交通事件检测系统的交通拥堵检测方法，所述的检测方法采用道路监控视频图像对道路交通异常事件进行检测，包括的步骤依次为目标检测、特 征点提取、特征点跟踪、交通流热度计算、拥堵检测。

所述的目标检测是指采用基于网格回归边框检测的深度学习检测方法，对道路交通中的人、车进行检测，从而提取出目标在视频图像中的位置、大小和分类。该步基本思路为：1)准备样本；2)打标；3)训练；4)检测。

所述的特征点提取就是在目标检测结果的基础上先选取兴趣区域，然后在兴趣区域内检测特征点的过程。

所述的特征点跟踪就是根据特征点在相邻图像帧中的灰度、位置的关联特性，计算特征点在下一帧中的新位置，从而实现特征点在时间序列上的位置跟踪，获取特征点运动轨迹。

所述的交通流热度计算，是指通过计算视频图像每个像素被车辆跟踪轨迹所扫过的频率、次数、持续时间和间隔时间来量化得到交通流热力分布图。

所述的拥堵检测是指对交通流热度图进行高通滤波，提取高热度点分布的位置、大小和纵深，最终实现拥堵事件判定。

与现有技术相比，采用本发明实施例具有以下的技术效果：

1.本发明实施例是基于深度学习的车辆目标检测方法，是一种高度智能、多特征多层次训练的目标整体识别方法，具有很高的检测准确性，并且能够随着样本集的逐步扩充不断提升训练质量，提高检测精度。基于Shi-Tomasi算子的特征点检测和光流跟踪方法，不仅提取的特征点多，而且跟踪距离远、跟踪时间长，跟踪轨迹能较好的反映交通流特性。

2.本发明实施例的交通拥堵检测方法，通过对实时图像的车辆目标进行检测，并通过对车辆目标的特征点提取和跟踪来计算交通流热度，然后通过对交通流热度分布图的特征进行计算和分析实现交通拥堵的检测。检测方法全程不需要任何标定，适用于任何场景摄像机，具有很好的普适性。

根据一个或者多个实施例，一种用于视频交通事件检测系统的交通拥堵检测方法，所述的检测方法采用道路监控视频图像对道路交通异常事件进行检测，包括的步骤依次为目标检测、特征点提取、特征点跟踪、交通流热度计算、拥堵检测。

所述的目标检测是指采用基于网格回归边框检测的深度学习检测方法，对道路交通中的人、车进行检测，从而提取出目标在视频图像中的位置、大小和分类。该步骤的实施过程包括：

1)准备样本。

从道路监控视频中截取数张彩色图片，保存为BMP或JPG格式，将所得的图片分成两类，分别为正样本和负样本。

其中，S表示样本集，P₁ ⁿ表示正样本图片集，是指包含检测目标的样本图片，为了得到较好的检测效果，正样本数n＞3000为宜，

为负样本图片集，是指不包含检测目标或容易误判为检测目标的的样本图片，负样本图片数量根据需要进行调整，不宜大于正样本图片的十分之一。

2)打标。

用专用工具对样本集图片进行打标，打标的过程就是将要检测的目标用矩形框框选，并添加相应的类型标签，得到每一张图片对应的含有目标信息的TXT文本，用于后续程序训练过程中，从标定文件中读取图片和图片中目标的种类、关联位置等信息进行计算。打标输出结果如下：

其中，p表示样本图片，L(p)表示打标函数，右边矩阵表示输出的TXT文本格式。cn表示图片p中第n个目标的种类，

xn、yn分别表示第n个目标在图片中x方向和y方向的相对起始位置，wn和hn分别表示第n目标的相对宽度和相对高度，xn、yn、wn和hn取值范围为0.0～1.0。

3)训练。

输入样本图片和对应的打标输出文件，采用基于DARKNET的训练框架进行训练，生成目标权重文件。

4)检测。

输入检测参数配置文件、训练生成的权重文件，输入待检测的图像，即可进行目标检测，输出检测结果。

其中，D(f,P,w)表示C++调用函数接口，f表示配置文件，P表示待检测图片，w表示训练得到的权重文件，on、rn、xn、yn、wn和hn分别表示检测结果中第n个目标的种类、置信度、横向、纵向坐标位置、宽度和高度。

所述的特征点提取就是在目标检测结果的基础上先选取兴趣区域，然后在兴趣区域内检测特征点的过程。

选取兴趣区域的目的是将特征点检测的范围控制在车辆目标框范围内，只提取车辆上的特征点。兴趣区域为图片大小的二维矩阵，R_xy表示矩阵第y行第x列对应元素的值，p_xy表示对应的目标检测图片第y行第x列对应的像素，O表示目标像素点集合，兴趣区域设置函数如下：

提取特征点是指在目标图片的兴趣区域内，按照一定的算法计算得出利于跟踪的特征明显的角点，这些角点信息丰富，且能够从当前图像帧和下一图像帧重复提取并进行串联跟踪。设F(p_s,m)为特征点提取函数，其具体实现如下：

F(p_s,m)＝dotToTrack(p_s,c,n,q,d,m,3,0,0.04) (5)

其中，p_s为输入图像，m为兴趣区域矩阵，c为输出角点向量，n为最大角点数目，q为质量水平系数，d为两特征点之间的最小距离，小于该距离的点将被忽略。

所述的特征点跟踪就是根据特征点在相邻图像帧中的灰度、位置的关联特性，计算特征点在下一帧中的新位置，从而实现特征点在时间序列上的位置跟踪，获取特征点运动轨迹。

采用光流跟踪法进行特征点跟踪，这是一种利用具有金字塔迭代Lucas-Kanade方法计算稀疏特征集的光流匹配跟踪方法。函数为：

F(img,p1)＝FlowTrack(img,p1,p2,st,er,winSize,l) (6)

其中，img为输入图片，p1为上一帧特征点位置向量，p2为跟踪得到的新的特征点向量，st为输出状态向量，er为输出误差矢量，winSize为每个金字塔层的搜索窗口的大小，l为基于0的最大金字塔等级数。

所述的交通流热度计算，是指通过计算视频图像每个像素被车辆跟踪轨迹所扫过的频率、次数、持续时间和间隔时间来量化得到交通流热力分布图。

单帧图像热度点计算就是对当前图像帧的跟踪点或新检出的特征点为瞬时热力撒点，按照小邻域插值算法，计算瞬时热力分布图。已知某特征点坐标位置为p₀(x₀,y₀)，则该点小邻域瞬时热度值计算公式如下：

其中，h(x,y)为图像第y行第x列对应的瞬时热度，σ为邻域范围阈值。

在时间序列上对瞬时热度进行叠加，并加入一定的热度损失函数，得到交通流热度分布函数。设P(x,y)为交通流对应某点的坐标，则交通流热度值计算公式如下：

H(x,y,t_h,t_i)＝kt_h-at_i (8)

其中，H(x,y,t_h,t_i)为点P(x,y)对应的交通流热度值，t_h为h(x,y)瞬时热度为1时的持续时间，t_i为瞬时热度为0的时间，k为热度值增长系数，a为热度值衰减系数。

所述的拥堵检测是指对交通流热度图进行高通滤波，提取高热度点分布的位置、大小和纵深，最终实现拥堵事件判定。

已知交通流热度分布函数为H(x,y,t_h,t_i)，设定热度阈值，对交通流热度图进行高通滤波，得到高热量分布图，公式如下：

其中，(x,y)为坐标点位置，F(x,y)为高通滤波结果，σ为热度阈值。

提取高热度分布图的分布特征，计算其位置、大小和纵深。

位置是指高热量分布点密集区域的上、下、左、右的边框坐标和中心位置，分别采用逐行、逐列扫描的方式寻找区域起始位置。当连续几行或几列的高热度点数均超过特定阈值时，确定为起始位置；当连续几行高热度点数由高转低小于特定阈值时，确定为结束位置。

大小是指计算区域面积，假定区域上、下、左、右的坐标分别为y1，y2，x1，x2，则面积S计算公式如下：

S＝|x1-x2|×|y1-y2| (10)

纵深是指高热度区域在横向和纵向及上面的空间跨度，即区域对角线长度，设D为区域纵深，其计算公式如下：

根据计算结果，并设定好相应的阈值，即可判断道路是否拥堵。

其中，B(y1,y2,S,D)为判定函数，a为上、下起始位置差，b为面积阈值，c为纵深阈值。0表示交通畅通，1表示交通拥堵。

值得说明的是，虽然前述内容已经参考若干具体实施方式描述了本发明创造的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (10)

1.一种基于视频的交通拥堵检测方法，其特征在于，该检测方法包括步骤依次为，目标 检测、特征点提取、特征点跟踪、交通流热度计算、拥堵检测，

所述目标检测步骤，包括接收道路交通视频，从该交通视频的图像中提取出检测目标；

所述特征点提取步骤，从所述检测目标上提取特征点；

所述特征点跟踪步骤，从所述交通视频的序列图像中获取所述特征点轨迹；

所述交通流热度计算步骤，计算所述交通视频的序列图像中每个像素被所述检测目标的特征点轨迹所扫过的频率、次数、持续时间和间隔时间，从而获得量化的交通流热度图；

所述拥堵检测步骤，对所述交通流热度图提取高热度点分布的位置、大小和纵深，根据高热度点判定交通拥堵事件的存在与否。

2.根据权利要求1所述的交通拥堵检测方法，其特征在于，所述目标检测步骤中，通过目标检测模型从所述交通视频图像中提取出所述检测目标在所述交通视频图像中的位置、大小和分类。

3.根据权利要求1所述的交通拥堵检测方法，其特征在于，所述特征点提取步骤，包括在所述检测目标上选取兴趣区域，然后在兴趣区域内提取特征点。

4.根据权利要求1所述的交通拥堵检测方法，其特征在于，所述特征点跟踪步骤，根据所述特征点在相邻图像帧中的灰度、位置的关联特性，计算所述特征点在下一帧中的位置，从而实现特征点在时间序列上的位置跟踪，获取特征点运动轨迹。

5.根据权利要求2所述的交通拥堵检测方法，其特征在于，所述目标检测模型的训练过程包括样本准备、打标、训练、实测，其中，

样本准备包括：

从道路交通视频中截取多张图片，分成两类，分别为正样本和负样本，

其中，S表示样本集，

表示正样本图片集，是指包含所述检测目标的样本图片，

为负样本图片集，是指不包含所述检测目标或容易误判为所述检测目标的的样本图片，

打标包括：

对样本集图片进行打标，即对所述样本集图片中被提取的所述检测目标添加类型标签，从而得到，

其中，p表示样本图片，L(p)表示打标函数，cn表示图片p中第n个目标的种类；xn、yn分别表示第n个检测目标在样本图片中x方向和y方向的相对起始位置，wn和hn分别表示第n检测目标的相对宽度和相对高度；

训练包括：

对所述目标检测模型进行训练，生成目标权重文件；

实测包括：

根据所述目标权重文件，输入待检测的道路交通视频图像，进行目标检测，输出检测结果为，

其中，D(f,P,w)表示检测结果，f表示配置文件，P表示待检测图片，w表示训练得到的目标权重文件，on、rn、xn、yn、wn和hn分别表示检测结果中第n个检测目标的种类、置信度、横向、纵向坐标位置、宽度和高度。

6.根据权利要求1至5任一所述的交通拥堵检测方法，其特征在于，所述检测目标为车辆。

7.根据权利要求6所述的交通拥堵检测方法，其特征在于，

所述的特征点提取步骤中，

将车辆目标框作为兴趣区域，提取车辆上的特征点，设兴趣区域为图片大小的二维矩阵，R_xy表示矩阵第y行第x列对应元素的值，p_xy表示对应的目标检测图片第y行第x列对应的像素，O表示目标像素点集合，兴趣区域设置函数如下：

在目标图片的兴趣区域内，计算得出利于跟踪的特征明显的角点。

8.根据权利要求6所述的交通拥堵检测方法，其特征在于，

所述的交通流热度计算步骤中，

设当前图像帧的跟踪点或新检出的特征点为瞬时热力撒点，按照小邻域插值算法，计算瞬时热力分布图，

若已知某特征点坐标位置为p₀(x₀,y₀)，则该点小邻域瞬时热度值计算公式如下：

其中，h(x,y)为图像第y行第x列对应的瞬时热度，σ为邻域范围阈值，

在时间序列上对瞬时热度进行叠加，并加入热度损失函数，得到交通流热度分布函数，

设P(x,y)为交通流对应某点的坐标，则交通流热度值计算公式如下：

H(x,y,t_h,t_i)＝kt_h-at_i (8)

其中，H(x,y,t_h,t_i)为点P(x,y)对应的交通流热度值，t_h为h(x,y)瞬时热度为1时的持续时间，t_i为瞬时热度为0的时间，k为热度值增长系数，a为热度值衰减系数。

9.根据权利要求8所述的交通拥堵检测方法，其特征在于，

所述的拥堵检测步骤中，

已知交通流热度分布函数为H(x,y,t_h,t_i)，设定热度阈值，对交通流热度图进行高通滤波，得到高热量分布图，公式如下：

其中，(x,y)为坐标点位置，F(x,y)为高通滤波结果，σ为热度阈值，

提取高热度分布图的分布特征，计算其位置、大小和纵深，这里，

位置是指高热量分布点密集区域的上、下、左、右的边框坐标和中心位置，分别采用逐行、逐列扫描的方式寻找区域起始位置，

当连续几行或几列的高热度点数均超过特定阈值时，确定为起始位置；当连续几行高热度点数由高转低小于特定阈值时，确定为结束位置，

大小是指计算区域面积，假定区域上、下、左、右的坐标分别为y1，y2，x1，x2，则面积S计算公式如下：

S＝|x1-x2|×|y1-y2| (10)

纵深是指高热度区域在横向和纵向及上面的空间跨度，即区域对角线长度，设D为区域纵深，其计算公式如下：

根据计算结果，并设定好相应的阈值，即可判断道路是否拥堵，

其中，B(y1,y2,S,D)为判定函数，a为上、下起始位置差，b为面积阈值，c为纵深阈值，0表示交通畅通，1表示交通拥堵。

10.一种基于视频的交通拥堵检测装置，其特征在于，所述装置包括存储器；以及

耦合到所述存储器的处理器，该处理器被配置为执行存储在所述存储器中的指令，所述处理器依次执行操作：目标检测、特征点提取、特征点跟踪、交通流热度计算、拥堵检测，

所述目标检测步骤，包括接收道路交通视频，从该交通视频的图像中提取出检测目标；

所述特征点提取步骤，从所述检测目标上提取特征点；

所述特征点跟踪步骤，从所述交通视频的序列图像中获取所述特征点轨迹；

所述交通流热度计算步骤，计算所述交通视频的序列图像中每个像素被所述检测目标的特征点轨迹所扫过的频率、次数、持续时间和间隔时间，从而获得量化的交通流热度图；

所述拥堵检测步骤，对所述交通流热度图提取高热度点分布的位置、大小和纵深，根据高热度点判定交通拥堵事件的存在与否。

Images