CN110969875A

CN110969875A - 一种用于道路交叉口交通管理的方法及系统

Info

Publication number: CN110969875A
Application number: CN201911317612.2A
Authority: CN
Inventors: 曹泉; 何小晨; 刘绍兵
Original assignee: Shenzhen Hit Traffic Electronic Technology Co ltd
Current assignee: Shenzhen Hit Traffic Electronic Technology Co ltd
Priority date: 2019-12-19
Filing date: 2019-12-19
Publication date: 2020-04-07
Anticipated expiration: 2039-12-19
Also published as: CN110969875B

Abstract

本发明涉及视频监控领域，一种用于道路交叉口交通管理的方法、系统及终端，所述的一种用于交叉口交通管理的方法包括：获取拍摄的视频；将拍摄的视频进行视频帧配准生成配准帧；对配准帧进行处理生成路口背景图；通过配准帧获取路口交通流参数；对路口背景图进行路口丈量。本发明提供一种用于道路交叉口交通管理的方法、系统及终端可以方便地在合成底图上丈量任意两点的实际距离。

Description

一种用于道路交叉口交通管理的方法及系统

技术领域

本发明涉及视频监控领域，具体涉及一种用于道路交叉口交通管理的方法及系统。

背景技术

中国城市规模的迅猛发展，促使城市车辆增多、交通网络日趋复杂。在城市交通网为人们生活带来便捷的同时，车多路繁的状况亦给交通增加了很大的压力，更是为交通控制和管理带来更多的难题。

在交通管理中，路口是最复杂，也是重要性最高的。路口的交通控制设计是否合理，对城市交通的顺畅程度起了非常重要的作用。路口的交通控制设计一般由交通设计院完成，需要众多的参数支持，一方面需要在路口场地进行实际丈量，另一方面路口不同方向的交通流OD（交通起止点）信息需要通过人工计数的方式获取。工作量比较大，而且准确性难以保证。另外车头时距、车辆加速度、转弯半径等等参数的获取则更加困难。

目前国内的智能交通产业偏重于车载定位及违章检测等方面的应用，而对路口的交通流量分析却鲜有涉及，利用无人机视频进行交通流量分析方面的论文和专利也甚是少有。本发明正是基于以上背景，研究一种通过无人机拍摄路口全景视频，用于辅助路口测绘及路口交通控制设计。

为此，本发明提出一种用于道路交叉口交通管理的方法、系统及终端。

发明内容

本发明解决的技术问题是，提供了一种用于道路交叉口交通管理的方法及、系统及终端。所述的一种用于道路交叉口交通管理的方法、系统及终端，可以方便地在合成底图上丈量任意两点的实际距离。

为了解决上述技术问题，本发明提供的技术方案为：

一种用于道路交叉口交通管理的方法，包括：

获取拍摄的视频；

将拍摄的视频进行视频帧配准生成配准帧；

对配准帧进行处理生成路口背景图；

通过配准帧获取路口交通流参数；

对路口背景图进行路口丈量。

优选地，所述的视频帧配准方法包括：

确定基准帧与待匹配帧；

将待匹配帧通过深度学习模型生成二值化蒙板；

在二值化蒙板上，进行基准帧与待匹配帧之间的特征点提取与匹配，生成特征点组合；

根据特征点组合计算待匹配帧到基准帧的投影映射矩阵；

根据投影映射矩阵对待匹配帧进行投影变换，转换为配准帧。通过对拍摄的视频的每一帧进行校正，可以有效的克服无人机在拍摄时的抖动与转动，方便后续的背景图的生成。在此步骤中，根据匹配好的特征点组合，计算待配准帧到基准帧的投影映射矩阵利用的是RANSAC算法，使用这种算法的优点在于增加计算的准确度。

优选地，所述的深度学习模型的训练方法包括：

获取样本并进行标定，所述的样本为不同场景以及不同光照条件下的交通目标图像；

调节深度学习卷积神经网络的结构和参数进行测试；

获取无法正确识别的正负样本图；

将无法识别的正负样本图进行再次训练；

对深度学习模型的网络结构进行加速与优化。由于运动中的交通目标的特征点会影响视频帧的匹配，本方法所述的通过深度学习模型进行处理的方法检测交通目标，通过获取抠除交通目标的二值化蒙板的方式将交通目标的特征点筛除掉，从而能够很大程度上提高视频帧匹配的准确性。

进一步优选地，所述的根据特征点组合计算待匹配帧到基准帧的投影映射矩阵，使用了RANSAC算法进行错误匹配的筛选。

优选地，所述的路口背景图是利用混合高斯算法，将多个配准帧进行累计并去除运动目标后，生成的路口背景图。

优选地，所述的通过视频帧获取路口交通流参数的方法包括：

使用深度学习网络对车辆进行检测识别，定位到每一个车辆的位置与大小；

在配准帧中对车辆进行跟踪，生成跟踪链；

根据跟踪链，对经过检测区域的车辆进行计算和统计，得出交通参数。其中，所述的交通参数包括：流量，PCU（当量交通量），行驶方向，车头时距，车头间距，速度，密度，延误等交通参数。

优选地，所述的使用辅助软件进行路口丈量，包括：

载入路口背景图，将背景图调节到适应尺寸；

根据已实际丈量的线段对路口背景图进行长度标定；

计算路口背景图的像素长度比例，所述的像素长度比例=长度值/线段像素；

计算起止点的长度。

一种用于道路交叉口交通管理的系统，包括：

视频获取模块：所述的视频获取模块获取拍摄的视频；

视频帧配准模块：所述的配准模块用于将拍摄的视频进行视频帧配准生成配准帧；

背景图生成模块：所述的背景图生成模块用于对配准帧进行处理生成路口背景图；

交通流参数检测模块：所述的交通流参数检测模块用于通过配准帧获取路口交通流参数；

丈量模块：所述的丈量模块用于对路口背景图进行路口丈量。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序指令，该程序指令适于由处理器加载并执行一种用于道路交叉口交通管理的方法。

一种移动终端，包括处理器以及存储器，所述的处理器用于执行存储器中存储的程序，以实现一种用于道路交叉口交通管理的方法。

与现有技术相比，本发明具有的有益效果为：相较于现有技术的通过人工方式对路口场地进行丈量，本发明通过无人机航拍，对无人机获取的视频进行处理后生成路口背景图的方法，可以在路口背景图中进行路口场地的丈量，可以更加准确方便的获取到需要的丈量数据。该方法提供的测距工具可以方便地在合成底图上丈量任意两点的实际距离，为交通路口测绘提供了准确的数据。同时该方法生成的合成地图可用于包含交通组织图纸、功能区图纸、交通设施图纸等的辅助设计。方案的具体的操作过程为：在无人机的拍摄的视频中，通过确定拍摄视频的基准帧与待匹配帧；在基准帧与待匹配帧之间进行特征点提取与匹配；根据匹配结果将待匹配帧转换为配准帧这样一系列的处理，克服了视频在拍摄过程中的抖动与转动。对视频帧处理完成后，利用混合高斯背景算法对连续的视频帧进行处理，能够更加准确快速的对道路的背景进行获取。生成的生成路口的无车辆背景图，可用于包含交通组织图纸、功能区图纸、交通设施工程图纸等的辅助设计，对经过检测区域的车辆进行计算和统计，量化当前路段的交通行驶状况，得出包括流量、当前交通量、行驶方向、车头时距、车头间距、速度、密度、延误等在内的交通参数。本发明所述的方法为路口交通控制设计提供的更加准确的数据支撑。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是本发明所述的一种用于道路交叉口交通管理的方法的流程示意图；

图2是本发明所述的视频帧配准方法的流程示意图；

图3是本发明所述的基准帧图像示意图；

图4是本发明所述的待匹配帧图像示意图；

图5是本发明所述的二值化蒙板图像示意图；

图6是本发明所述的配准帧图像示意图；

图7是本发明所述的路口背景图示意图；

图8是本发明所述的背景图进行路口丈量的方法流程示意图；

图9是本发明所述的一种用于道路交叉口交通管理系统的结构图。

具体实施方式

现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本流程图，因此其仅显示与本发明有关的流程。

实施例1

如图1所示，本发明是一种用于道路交叉口交通管理的方法，所述的方法具体为：

S1.获取拍摄的视频；

S2.将拍摄的视频进行视频帧配准生成配准帧；

S3.对配准帧进行处理生成路口背景图；

S4.通过配准帧获取路口交通流参数；

S5.对路口背景图进行路口丈量。

步骤S1：获取拍摄的视频。所述的视频是通过无人机进行拍摄的，无人机视频需要专业人员操控无人机从目标交通设施的上空进行俯视拍摄。从高空采集的道路路段或交叉口视频，一般4K~6K分辨率，不能低于4K（3840*2160）像素。一般在早晚高峰期各取20~30分钟进行拍摄，全路口拍摄高度一般为150~200米，根据路口的大小进行调整，经过多次的测试，其中的150~200米为最佳的拍摄高度。如果需要检测行人及非机动车，需要在50米高度在多个行人过街的位置进行拍摄。

步骤S2：将拍摄的视频进行视频帧配准生成配准帧。无人机拍摄过程中，虽然无人机内置的软件有稳定防抖的模块，但是拍摄出的视频往往还是会有抖动及累积转动的情况。要想在无人机视频中获取边缘清晰锐利的背景图，并且准确地检测视频中交通目标的位置，首先需要对视频中的每一帧进行配准。

步骤S3：对配准帧进行处理生成路口背景图；所述的路口背景图是利用混合高斯算法，将多个配准帧进行累计并去除运动目标后，生成的路口背景图。利用混合高斯背景算法对连续的视频配准帧进行处理，即可以获得没有车辆行人等交通目标的路口背景图。需要指出的是，利用二值化蒙板，只更新背景道路上的像素点，不更新当前帧中检测为交通目标的像素点，可以大大提升背景图获取的效果和速度。

步骤S4：通过配准帧获取路口交通流参数，所述的通过视频帧获取路口交通流参数的方法包括：

在配准帧中对车辆进行跟踪，生成跟踪链；

步骤S5：对路口背景图进行路口丈量。所述的使用辅助软件进行路口丈量，如图8所示背景图进行路口丈量的方法包括：

S31.载入路口背景图，将背景图调节到适应尺寸。

S32.根据已实际丈量的线段对路口背景图进行长度标定；

S33.计算路口背景图的像素长度比例；

S34.计算起止点的长度。

步骤S31：载入路口背景图，将背景图调节到适应尺寸。在软件界面上载入所需的路口背景图，背景图在软件界面上可以通过快捷键或者鼠标滚轮进行缩放。

步骤S32：根据已实际丈量的线段对路口背景图进行长度标定；将软件设置为标定模式，在图上点击选取线段的起止点，并且输入长度。在没有实际丈量线段的情况下，可以选取标准的道路六九线，或者车道宽度等已知距离进行估算。

步骤S33：计算路口背景图的像素长度比例；即一个像素表示的实际空间长度，由长度值除以线段像素数得到。所述的计算路口背景图的像素长度比例=长度值/线段像素。

步骤S4：计算起止点的长度。，在图上点击选取需要丈量的线段的起止点，软件根据像素长度比例，计算所需丈量线段的长度，并显示输出。

实施例2

如图2所示，一种视频帧配准方法的流程示意图，所述的方法为：

S21.确定基准帧与待匹配帧；

S22.将待匹配帧通过深度学习模型生成二值化蒙板；

S23.在二值化蒙板上，进行基准帧与待匹配帧之间的特征点提取与匹配，生成特征点组合；

S24.根据特征点组合计算待匹配帧到基准帧的投影映射矩阵；

S25.根据投影映射矩阵对待匹配帧进行投影变换，转换为配准帧。

步骤S21：确定基准帧与待匹配帧。所述的基准帧为确定一帧图像作为基准帧，一般取视频的第一针作为基准帧。所述的待匹配帧为为其他视频帧，即需要配准的任意一帧图像为待匹配帧。

步骤S22：将待匹配帧通过深度学习模型生成二值化蒙板；其中所述的深度学习模型为事先训练好的深度学习目标检测模型进行交通目标检测，生成交通目标的二值化蒙板。

步骤S23：在二值化蒙板上，进行基准帧与待匹配帧之间的特征点提取与匹配，生成特征点组合；在基准帧和待配准帧之间，进行特征点提取与匹配，特征点提取在二值化蒙板上执行，即特征点不能在检测到的交通目标上，只能在背景道路上。特征点提取与匹配的算法可以选用经典的SIFT及SURF算法。

步骤S24：根据特征点组合计算待匹配帧到匹配帧的投影映射矩阵；理论上只需四组特征点就可以计算映射矩阵，当特征点组合较多时，可以使用RANSAC算法进行错误匹配的筛选，增加计算的准确度。

步骤S25：根据投影映射矩阵对待匹配帧进行投影变换，转换为配准帧。其中，所述的根据特征点组合计算待匹配帧到匹配帧的投影映射矩阵，使用了RANSAC算法进行错误匹配的筛选。

针对步骤S21~步骤S25进行进一步的详细的说明：如图3~图7所示，其中的图3~图7举例说明了通过本发明所述的步骤S21~S25：其中，图3是基准帧，图4是待匹配帧图像，图4与图3对比可以看出，待匹配帧发生了转动转动，是因为无人机在拍摄的过程中发生了转动，图5是经过抠除了交通目标的二值化蒙板，图6是经过投影变换的配准帧，经过处理后，其拍摄角度位置已经和基准帧一致，图7是多个配准帧经过混合高斯算法得到的路口背景图，可以看到除去路面上长期停放的车辆，其他运动目标已经清除干净。

其中，所述的深度学习模型采用SSD模型进行交通目标的检测，所述的该深度模型经过预先的训练。

所述的训练模型的训练的方法包括：

调节深度学习卷积神经网络的结构和参数进行测试；

获取无法正确识别的正负样本图；

将无法识别的正负样本图进行再次训练；

对深度学习模型的网络结构进行加速与优化。

实施例3

如图9所示，本发明提供了一种用于道路交叉口交通管理系统：

视频获取模块1：所述的视频获取模块获取拍摄的视频；

视频帧配准模块2：所述的配准模块用于将拍摄的视频进行视频帧配准生成配准帧；

背景图生成模块3：所述的背景图生成模块用于对配准帧进行处理生成路口背景图；

交通流参数检测模块4：所述的交通流参数检测模块用于通过配准帧获取路口交通流参数；

丈量模块5：所述的丈量模块用于对路口背景图进行路口丈量。

所述的视频获取模块1：用于获取拍摄的视频。所述的视频是通过无人机进行拍摄的，无人机视频需要专业人员操控无人机从目标交通设施的上空进行俯视拍摄。从高空采集的道路路段或交叉口视频，一般4K~6K分辨率，不能低于4K（3840*2160）像素。一般在早晚高峰期各取20~30分钟进行拍摄，全路口拍摄高度一般为150~200米，根据路口的大小进行调整，经过多次的测试，其中的150~200米为最佳的拍摄高度。如果需要检测行人及非机动车，需要在50米高度在多个行人过街的位置进行拍摄。

所述的配准模块2：用于将拍摄的视频进行视频帧配准生成配准帧。无人机拍摄过程中，虽然无人机内置的软件有稳定防抖的模块，但是拍摄出的视频往往还是会有抖动及累积转动的情况。要想在无人机视频中获取边缘清晰锐利的背景图，并且准确地检测视频中交通目标的位置，首先需要对视频中的每一帧进行配准。

所述的背景图生成模块3：用于对配准帧进行处理生成路口背景图。所述的路口背景图是利用混合高斯算法，将多个配准帧进行累计并去除运动目标后，生成的路口背景图。利用混合高斯背景算法对连续的视频配准帧进行处理，即可以获得没有车辆行人等交通目标的路口背景图。需要指出的是，利用二值化蒙板，只更新背景道路上的像素点，不更新当前帧中检测为交通目标的像素点，可以大大提升背景图获取的效果和速度。

所述的交通流参数检测模块4：用于通过配准帧获取路口交通流参数。所述的通过视频帧获取路口交通流参数的方法包括：

在配准帧中对车辆进行跟踪，生成跟踪链；

根据跟踪链，对经过检测区域的车辆进行计算和统计，得出交通参数。其中，所述的交通参数包括：流量，PCU（当量交通量），行驶方向，车头时距，车头间距，速度，密度，延误等交通参数。在本模块中，使用深度学习网络对所述无人机传输回来的视频图像中的车辆进行识别，并定位到每一个车辆的位置与大小；然后确认每一辆行驶的车辆所对应的跟踪链并对其进行跟踪；对经过所述检测区域的车辆进行各项数据的计算和统计，量化当前路段的交通行驶状况, 自动按照方向和左、直、右、调头生成车辆的各项交通流统计数据并将其传送到客户端。

所述的丈量模块5：用于对路口背景图进行路口丈量。所述的使用辅助软件进行路口丈量。

上列详细说明是针对本发明可行实施例的具体说明，以上实施例并非用以限制本发明的专利范围，凡未脱离本发明所为的等效实施或变更，均应包含于本案的专利范围中。

Claims

1.一种用于道路交叉口交通管理的方法，其特征在于，包括：

获取拍摄的视频；

将拍摄的视频进行视频帧配准生成配准帧；

对配准帧进行处理生成路口背景图；

通过配准帧获取路口交通流参数；

对路口背景图进行路口丈量。

2.根据权利要求1所述的一种用于道路交叉口交通管理的方法，其特征在于，所述的视频帧配准方法包括：

确定基准帧与待匹配帧；

将待匹配帧通过深度学习模型生成二值化蒙板；

根据特征点组合计算待匹配帧到基准帧的投影映射矩阵；

根据投影映射矩阵对待匹配帧进行投影变换，转换为配准帧。

3.根据权利要求2所述的一种用于道路交叉口交通管理的方法，其特征在于，所述的深度学习模型的训练方法包括：

调节深度学习卷积神经网络的结构和参数进行测试；

获取无法正确识别的正负样本图；

将无法识别的正负样本图进行再次训练；

对深度学习模型的网络结构进行加速与优化。

4.根据权利要求2所述的一种用于道路交叉口交通管理的方法，其特征在于，所述的根据特征点组合计算待匹配帧到基准帧的投影映射矩阵，使用了RANSAC算法进行错误匹配的筛选。

5.根据权利要求1所述的一种用于道路交叉口交通管理的方法，其特征在于，所述的路口背景图是利用混合高斯算法，将多个配准帧进行累计并去除运动目标后，生成的路口背景图。

6.根据权利要求1所述的一种用于道路交叉口交通管理的方法，其特征在于，所述的通过视频帧获取路口交通流参数的方法包括：

在配准帧中对车辆进行跟踪，生成跟踪链；

根据跟踪链，对经过检测区域的车辆进行计算和统计，得出交通参数。

7.根据权利要求1所述的一种用于道路交叉口交通管理的方法，其特征在于，所述的使用辅助软件进行路口丈量，包括：

载入路口背景图，将背景图调节到适应尺寸；

根据已实际丈量的线段对路口背景图进行长度标定；

计算起止点的长度。

8.一种用于道路交叉口交通管理的系统，其特征在于，包括：

视频获取模块：所述的视频获取模块获取拍摄的视频；

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序指令，该程序指令适于由处理器加载并执行权利要求1~7任一项所述的方法。

10.一种移动终端，其特征在于，包括处理器以及存储器，所述的处理器用于执行存储器中存储的程序，以实现权利要求1~7任一项所述的方法。