CN109658688A - 基于深度学习的路口交通流的检测方法及装置 - Google Patents

Abstract

本发明公开了一种基于深度学习的路口交通流的检测方法及装置，方法包括：无人机将路口的视频图像传输到主机；进行标定，配置监测区域和统计区域；当前图像产生偏移时，将其修正成初始图像中各个标记区域所在的位置；构建混合高斯分布背景模型对初始图像进行处理为背景图像，将当前图像与背景图像进行分析，与前一帧进行相同处理的图像进行差值运算；使用深度学习网络对车辆进行识别，定位到每一个车辆的位置与大小；配合深度学习模型的检测结果和前景图，对行驶的车辆进行跟踪；对经过检测区域的车辆进行数据的计算和统计，量化当前路段的交通行驶状况并传送到客户端。本发明能提高检测的准确度、对干扰信息与无人机的飘动具备一定的鲁棒性。

Description

基于深度学习的路口交通流的检测方法及装置

技术领域

本发明涉及智能交通领域，特别涉及一种基于深度学习的路口交通流的检测方法及装置。

背景技术

目前，现有交通监控主要依赖于交警路面巡逻、定点摄像头监控等，所呈现的视角比较狭隘，图像不够清晰。当发生拥堵事件、事故时，很难获取到第一手现场的图像和资料，同时还存在着众多的监控漏洞及死角。

在智能交通领域，无人机参与城市交通能够发挥自己的专长和优势，帮助公安城市交管部门共同解决大众城市交通顽疾。不仅可以从微观上进行实施监控、交通流调控、交通事故现场指挥，还能够从宏观上确保城市交通发展规划贯彻落实，实现区域管控，确保交通畅通。然而，现有的相关无人机监测中，无人机所拍摄路口信息主要还是依靠人眼来判断当前交通情况，或是采用前景判别运动物体，而此类方法由于无人机本身在高空无法精确定点在一个位置，这会造成大量的干扰信息，无法准确的统计出路空中各个路口的车辆数与车辆的运行情况。

目前大部分无人机针对交通行业的应用都集中在大范围监控，应对突发事件等领域，而无人机针对路口测绘、非人目标及行为轨迹跟踪、路口交通组织策略评估等领域确鲜有人研究。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种能提高检测的准确度、对干扰信息与无人机的飘动具备一定的鲁棒性的基于深度学习的路口交通流的检测方法及装置。

本发明解决其技术问题所采用的技术方案是：构造一种基于深度学习的路口交通流的检测方法，包括如下步骤：

A)无人机对路口进行俯视拍摄，并把获取的视频图像实时传输到主机；

B)所述主机对最初获取的初始图像进行标定，配置所述初始图像的监测区域和统计区域；

C)通过计算所述初始图像和当前图像的有效光流点，判断所述当前图像是否产生了偏移，如是，将所述当前图像修正成所述初始图像中各个标记区域所在的位置，执行本步骤D)；否则，执行步骤D)；

D)通过构建混合高斯分布背景模型对所述初始图像进行处理，并将其作为背景图像，然后将所述当前图像与所述背景图像进行分析处理，并与前一帧进行相同处理的图像进行差值运算；

E)使用深度学习网络对所述无人机传输回来的视频图像中的车辆进行识别，并定位到每一个车辆的位置与大小；

F)配合深度学习模型的检测结果和前景图作为辅助前提，确认每一辆行驶的车辆所对应的跟踪链并对其进行跟踪；

G)对经过所述检测区域的车辆进行各项数据的计算和统计，量化当前路段的交通行驶状况并将其传送到客户端。

在本发明所述的基于深度学习的路口交通流的检测方法中，所述步骤E)进一步包括：

E1)收集不同场景和时间的初始图像作为样本，并对所述样本进行人工标定；

E2)针对无人机视觉的特点，调节所述深度学习网络的结构与参数；

E3)完成对所述深度学习模型的训练后，针对测试结果较难正确识别的正负样本图，重新对其标记后再次训练，并在保证准确率的前提下进一步对所述深度学习模型的结构进行加速优化；

E4)所述深度学习模型检测俯视视角下各个角度的车辆。

在本发明所述的基于深度学习的路口交通流的检测方法中，所述步骤G)进一步包括：

G1)根据车辆跟踪的结果，计算出每个方向的左、直、右及掉头的单车时长、单车车头时距、平均时长和平均车头时距；

G2)针对每一个路口的车辆的行为进行计分析，得到原始的真实的路口行为数据；

G3)自动按照方向和左、直、右、调头生成车辆通过路口时间、车辆加速时间、车头时距、车流量、车型和饱和时速数据，并传送到所述客户端。

本发明还涉及一种实现上述基于深度学习的路口交通流的检测方法的装置，包括：

视频图像传输单元：用于使无人机对路口进行俯视拍摄，并把获取的视频图像实时传输到主机；

区域标定单元：用于使所述主机对最初获取的初始图像进行标定，配置所述初始图像的监测区域和统计区域；

图像偏移修正单元：用于通过计算所述初始图像和当前图像的有效光流点，判断所述当前图像是否产生了偏移，如是，将所述当前图像修正成所述初始图像中各个标记区域所在的位置；否则，进入前景计算单元；

前景计算单元：用于通过构建混合高斯分布背景模型对所述初始图像进行处理，并将其作为背景图像，然后将所述当前图像与所述背景图像进行分析处理，并与前一帧进行相同处理的图像进行差值运算；

车辆检测单元：用于使用深度学习网络对所述无人机传输回来的视频图像中的车辆进行识别，并定位到每一个车辆的位置与大小；

车辆跟踪单元：用于配合深度学习模型的检测结果和前景图作为辅助前提，确认每一辆行驶的车辆所对应的跟踪链并对其进行跟踪；

数据统计单元：用于对经过所述检测区域的车辆进行各项数据的计算和统计，量化当前路段的交通行驶状况并将其传送到客户端。

在本发明所述的装置中，所述车辆检测单元进一步包括：

样本收集标定模块：用于收集不同场景和时间的初始图像作为样本，并对所述样本进行人工标定；

深度学习网络调节模块：用于针对无人机视觉的特点，调节所述深度学习网络的结构与参数；

训练加速优化模块：用于完成对所述深度学习模型的训练后，针对测试结果较难正确识别的正负样本图，重新对其标记后再次训练，并在保证准确率的前提下进一步对所述深度学习模型的结构进行加速优化；

车辆俯视视角检测模块：用于使所述深度学习模型检测俯视视角下各个角度的车辆。

在本发明所述的装置中，所述数据统计单元进一步包括：

参数计算模块：用于根据车辆跟踪的结果，计算出每个方向的左、直、右及掉头的单车时长、单车车头时距、平均时长和平均车头时距；

路口行为数据获取模块：用于针对每一个路口的车辆的行为进行计分析，得到原始的真实的路口行为数据；

参数传送模块：用于自动按照方向和左、直、右、调头生成车辆通过路口时间、车辆加速时间、车头时距、车流量、车型和饱和时速数据，并传送到所述客户端。

实施本发明的基于深度学习的路口交通流的检测方法及装置，具有以下有益效果：由于依靠无人机飞至路口中心，对路口进行俯视拍摄并把获取的图像传输到主机进行实时识别分析，主机对最初获取的初始图像进行标定，配置初始图像的监测区域和统计区域；当前图像发生偏移时，将当前图像修正成初始图像中各个标记区域所在的位置；通过构建混合高斯分布背景模型对初始图像进行处理，并将其作为背景图像，然后将当前图像与背景图像进行分析处理，并与前一帧进行相同处理的图像进行差值运算；使用深度学习网络对无人机传输回来的视频图像中的车辆进行识别，并定位到每一个车辆的位置与大小，也就是获得当前路口所处的位置；配合深度学习模型的检测结果和前景图作为辅助前提，确认每一辆行驶的车辆所对应的跟踪链并对其进行跟踪；对经过检测区域的车辆进行各项数据的计算和统计，量化当前路段的交通行驶状况并将其传送到客户端，以达到协助调控交通的作用，因此能提高检测的准确度、对干扰信息与无人机的飘动具备一定的鲁棒性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于深度学习的路口交通流的检测方法及装置一个实施例中方法的流程图；

图2为所述实施例中使用深度学习网络对无人机传输回来的视频图像中的车辆进行识别，并定位到每一个车辆的位置与大小的具体流程图；

图3为所述实施例中对经过检测区域的车辆进行各项数据的计算和统计，量化当前路段的交通行驶状况并将其传送到客户端的具体流程图；

图4为所述实施例中装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明基于深度学习的路口交通流的检测方法及装置实施例中，其基于深度学习的路口交通流的检测方法的流程图如图1所示。图1中，该基于深度学习的路口交通流的检测方法包括如下步骤：

步骤S01无人机对路口进行俯视拍摄，并把获取的视频图像实时传输到主机：本步骤中，无人机飞至路口中心，对路口进行俯视拍摄，并把获取的视频图像实时传输到主机。

步骤S02主机对最初获取的初始图像进行标定，配置初始图像的监测区域和统计区域：本步骤中，主机对最初获取的初始图像进行标定，也就是主机初次从无人机获取视频图像时，对初次获取的视频图像进行标定，配置初始图像的监测区域和统计区域。这些标定的区域能有效提高检测的准确性，同时能提供像素距离与真实路面距离的转换比例，从而做到精确的统计车辆的运行状况。

步骤S03通过计算初始图像和当前图像的有效光流点，判断当前图像是否产生了偏移：正常情况下，图像会因无人机在高空受风力影响而造成偏移，本步骤中，通过计算初始图像和当前图像的有效光流点，判断当前图像是否产生了偏移，如果判断的结果为是，则执行步骤S04；否则，执行步骤S05。

步骤S04将当前图像修正成初始图像中各个标记区域所在的位置：如果上述步骤S03的判断结果为是，则执行本步骤。本步骤中，将当前图像修正成初始图像中各个标记区域所在的位置。执行完本步骤，执行步骤S05。

步骤S05通过构建混合高斯分布背景模型对初始图像进行处理，并将其作为背景图像，然后将当前图像与背景图像进行分析处理，并与前一帧进行相同处理的图像进行差值运算：本步骤中，通过构建混合高斯分布背景模型对初始图像进行处理，并将其作为背景图像，然后将当前图像与背景图像进行分析处理，并与前一帧进行相同处理的图像进行差值运算，与处理后的背景图像比较后，找出移动中的车辆。

步骤S06使用深度学习网络对无人机传输回来的视频图像中的车辆进行识别，并定位到每一个车辆的位置与大小：使用车辆检测器对无人机传输回来的视频图像进行识别定位，此处用的车辆检测器是一种深度学习网络SSD(Singler shot multibox detector)。以往的深度学习网络(如：Fast-RCNN)只能做到分类图片，但SSD学习网络具备检测定位目标位置的能力。本步骤中，使用深度学习网络对无人机传输回来的视频图像中的车辆进行识别，并定位到每一个车辆的位置与大小。

步骤S07配合深度学习模型的检测结果和前景图作为辅助前提，确认每一辆行驶的车辆所对应的跟踪链并对其进行跟踪：本步骤中，配合深度学习模型的检测结果和前景图作为辅助前提，通过一定的逻辑处理确认每一辆行驶的车辆所对应的跟踪链，并对每一辆检测到的车辆进行跟踪，确认每一辆行驶车辆对应的跟踪链，保证链的生成、更新和消除的准确性。本发明能区分出车辆的大小及车辆准确的位置，能准确地记录车辆的形式状况。

步骤S08对经过检测区域的车辆进行各项数据的计算和统计，量化当前路段的交通行驶状况并将其传送到客户端：本步骤中，对经过检测区域的车辆进行各项数据的计算和统计，量化当前路段的交通行驶状况，并将其传送到客户端。本发明的方法能提高检测的准确度、对干扰信息与无人机的飘动具备一定的鲁棒性。

对于本实施例而言，上述步骤S05还可进一步细化，其细化后的流程图如图2所示。图2中，上述步骤S05进一步包括：

步骤S51收集不同场景和时间的初始图像作为样本，并对样本进行人工标定：本步骤中，收集不同场景和时间的初始图像作为样本，并对样本进行人工标定。

步骤S52针对无人机视觉的特点，调节深度学习网络的结构与参数：本步骤中，针对无人机视觉的特点，调节深度学习网络的结构与参数。

步骤S53完成对深度学习模型的训练后，针对测试结果较难正确识别的正负样本图，重新对其标记后再次训练，并在保证准确率的前提下进一步对深度学习模型的结构进行加速优化：本步骤中，完成对深度学习模型的训练后，针对测试结果较难正确识别的正负样本图，重新对其标记后再次训练，并在保证准确率的前提下进一步对深度学习模型的结构进行加速优化。

步骤S54深度学习模型检测俯视视角下各个角度的车辆：本步骤中，深度学习模型检测俯视视角下各个角度的车辆，也就是深度学习模型支持俯视视角下360度的车辆。

对于本实施例而言，上述步骤S08还可进一步细化，其细化后的流程图如图3所示。图3中，上述步骤S08进一步包括：

步骤S81根据车辆跟踪的结果，计算出每个方向的左、直、右及掉头的单车时长、单车车头时距、平均时长和平均车头时距：本步骤中，根据车辆跟踪的结果，计算出每个方向的左、直、右及掉头的单车时长、单车车头时距、平均时长和平均车头时距，这些数据既包括单点数据，也包括统计数据，同时还分大中小车型。

步骤S82针对每一个路口的车辆的行为进行计分析，得到原始的真实的路口行为数据：本步骤中，上述单点数据和统计数据能够针对每一个路口的车辆的行为进行计分析，得到原始的真实的路口行为数据。

步骤S83自动按照方向和左、直、右、调头生成车辆通过路口时间、车辆加速时间、车头时距、车流量、车型和饱和时速数据，并传送到客户端：本步骤中，自动按照方向和左、直、右、调头生成车辆通过路口时间、车辆加速时间、车头时距、车流量、车型(车辆的大小)和饱和时速数据。

本发明的方法检测效率较高，可达到平均25ms每帧的速率来处理一张高清图片，通过适当的部署无人机的飞行位置，即可对整个路口进行实时监测与分析处理。对高清路口图像的检测准确率较高，设备实施较为容易，只需无人机与主机，部署非常简便，只需有供电和网络，可节省大量人力和资源。

本发明还涉及一种实现上述基于深度学习的路口交通流的检测方法的装置，该装置的结构示意图如图4所示。图4中，该装置包括视频图像传输单元1、区域标定单元2、图像偏移修正单元3、前景计算单元4、车辆检测单元5、车辆跟踪单元6和数据统计单元7；其中，视频图像传输单元1用于使无人机对路口进行俯视拍摄，并把获取的视频图像实时传输到主机；区域标定单元2用于使主机对最初获取的初始图像进行标定，配置初始图像的监测区域和统计区域；图像偏移修正单元3用于通过计算初始图像和当前图像的有效光流点，判断当前图像是否产生了偏移，如是，将当前图像修正成初始图像中各个标记区域所在的位置；否则，进入前景计算单元。

前景计算单元4用于通过构建混合高斯分布背景模型对初始图像进行处理，并将其作为背景图像，然后将当前图像与背景图像进行分析处理，并与前一帧进行相同处理的图像进行差值运算；车辆检测单元5用于使用深度学习网络对无人机传输回来的视频图像中的车辆进行识别，并定位到每一个车辆的位置与大小；车辆跟踪单元6用于配合深度学习模型的检测结果和前景图作为辅助前提，确认每一辆行驶的车辆所对应的跟踪链并对其进行跟踪；数据统计单元7用于对经过检测区域的车辆进行各项数据的计算和统计，量化当前路段的交通行驶状况并将其传送到客户端。本发明的装置能提高检测的准确度、对干扰信息与无人机的飘动具备一定的鲁棒性。

本实施例中，车辆检测单元5进一步包括样本收集标定模块51、深度学习网络调节模块52、训练加速优化模块53和车辆俯视视角检测模块54；其中，样本收集标定模块51用于收集不同场景和时间的初始图像作为样本，并对样本进行人工标定；深度学习网络调节模块52用于针对无人机视觉的特点，调节深度学习网络的结构与参数；训练加速优化模块53用于完成对深度学习模型的训练后，针对测试结果较难正确识别的正负样本图，重新对其标记后再次训练，并在保证准确率的前提下进一步对深度学习模型的结构进行加速优化；车辆俯视视角检测模块54用于使深度学习模型检测俯视视角下各个角度的车辆。

本实施例中，数据统计单元7进一步包括参数计算模块71、路口行为数据获取模块72和参数传送模块73；其中，参数计算模块71用于根据车辆跟踪的结果，计算出每个方向的左、直、右及掉头的单车时长、单车车头时距、平均时长和平均车头时距；路口行为数据获取模块72用于针对每一个路口的车辆的行为进行计分析，得到原始的真实的路口行为数据；参数传送模块73用于自动按照方向和左、直、右、调头生成车辆通过路口时间、车辆加速时间、车头时距、车流量、车型和饱和时速数据，并传送到客户端。

本发明的装置检测效率较高，可达到平均25ms每帧的速率来处理一张高清图片，通过适当的部署无人机的飞行位置，即可对整个路口进行实时监测与分析处理。对高清路口图像的检测准确率较高，设备实施较为容易，只需无人机与主机，部署非常简便，只需有供电和网络，可节省大量人力和资源。

总之，本发明通过控制无人机飞向指定路口中央的高空处，拍摄当前路口视频，将获得视频图像导入主机中，由区域标定、图像偏移修正、前景计算、车辆检测、车辆跟踪和数据统计，由粗到细的检测方案，逐步精确到安全检测，可得出可信度较高的统计交通流数据。本发明不单单通过前景判断运动物体来统计车流数据，而是结合前景和深度学习模型检测来准确判定每一辆车辆跟踪的情况；方案较为简便，极易实施。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于深度学习的路口交通流的检测方法，其特征在于，包括如下步骤：

A)无人机对路口进行俯视拍摄，并把获取的视频图像实时传输到主机；

B)所述主机对最初获取的初始图像进行标定，配置所述初始图像的监测区域和统计区域；

C)通过计算所述初始图像和当前图像的有效光流点，判断所述当前图像是否产生了偏移，如是，将所述当前图像修正成所述初始图像中各个标记区域所在的位置，执行本步骤D)；否则，执行步骤D)；

D)通过构建混合高斯分布背景模型对所述初始图像进行处理，并将其作为背景图像，然后将所述当前图像与所述背景图像进行分析处理，并与前一帧进行相同处理的图像进行差值运算；

E)使用深度学习网络对所述无人机传输回来的视频图像中的车辆进行识别，并定位到每一个车辆的位置与大小；

F)配合深度学习模型的检测结果和前景图作为辅助前提，确认每一辆行驶的车辆所对应的跟踪链并对其进行跟踪；

G)对经过所述检测区域的车辆进行各项数据的计算和统计，量化当前路段的交通行驶状况并将其传送到客户端。

2.根据权利要求1所述的基于深度学习的路口交通流的检测方法，其特征在于，所述步骤E)进一步包括：

E1)收集不同场景和时间的初始图像作为样本，并对所述样本进行人工标定；

E2)针对无人机视觉的特点，调节所述深度学习网络的结构与参数；

E3)完成对所述深度学习模型的训练后，针对测试结果较难正确识别的正负样本图，重新对其标记后再次训练，并在保证准确率的前提下进一步对所述深度学习模型的结构进行加速优化；

E4)所述深度学习模型检测俯视视角下各个角度的车辆。

3.根据权利要求2所述的基于深度学习的路口交通流的检测方法，其特征在于，所述步骤G)进一步包括：

G1)根据车辆跟踪的结果，计算出每个方向的左、直、右及掉头的单车时长、单车车头时距、平均时长和平均车头时距；

G2)针对每一个路口的车辆的行为进行计分析，得到原始的真实的路口行为数据；

G3)自动按照方向和左、直、右、调头生成车辆通过路口时间、车辆加速时间、车头时距、车流量、车型和饱和时速数据，并传送到所述客户端。

4.一种实现如权利要求1所述的基于深度学习的路口交通流的检测方法的装置，其特征在于，包括：

视频图像传输单元：用于使无人机对路口进行俯视拍摄，并把获取的视频图像实时传输到主机；

区域标定单元：用于使所述主机对最初获取的初始图像进行标定，配置所述初始图像的监测区域和统计区域；

图像偏移修正单元：用于通过计算所述初始图像和当前图像的有效光流点，判断所述当前图像是否产生了偏移，如是，将所述当前图像修正成所述初始图像中各个标记区域所在的位置；否则，进入前景计算单元；

前景计算单元：用于通过构建混合高斯分布背景模型对所述初始图像进行处理，并将其作为背景图像，然后将所述当前图像与所述背景图像进行分析处理，并与前一帧进行相同处理的图像进行差值运算；

车辆检测单元：用于使用深度学习网络对所述无人机传输回来的视频图像中的车辆进行识别，并定位到每一个车辆的位置与大小；

车辆跟踪单元：用于配合深度学习模型的检测结果和前景图作为辅助前提，确认每一辆行驶的车辆所对应的跟踪链并对其进行跟踪；

数据统计单元：用于对经过所述检测区域的车辆进行各项数据的计算和统计，量化当前路段的交通行驶状况并将其传送到客户端。

5.根据权利要求4所述的实现如权利要求1所述的基于深度学习的路口交通流的检测方法的装置，其特征在于，所述车辆检测单元进一步包括：

样本收集标定模块：用于收集不同场景和时间的初始图像作为样本，并对所述样本进行人工标定；

深度学习网络调节模块：用于针对无人机视觉的特点，调节所述深度学习网络的结构与参数；

训练加速优化模块：用于完成对所述深度学习模型的训练后，针对测试结果较难正确识别的正负样本图，重新对其标记后再次训练，并在保证准确率的前提下进一步对所述深度学习模型的结构进行加速优化；

车辆俯视视角检测模块：用于使所述深度学习模型检测俯视视角下各个角度的车辆。

6.根据权利要求5所述的实现如权利要求1所述的基于深度学习的路口交通流的检测方法的装置，其特征在于，所述数据统计单元进一步包括：

参数计算模块：用于根据车辆跟踪的结果，计算出每个方向的左、直、右及掉头的单车时长、单车车头时距、平均时长和平均车头时距；

路口行为数据获取模块：用于针对每一个路口的车辆的行为进行计分析，得到原始的真实的路口行为数据；

参数传送模块：用于自动按照方向和左、直、右、调头生成车辆通过路口时间、车辆加速时间、车头时距、车流量、车型和饱和时速数据，并传送到所述客户端。