CN108694829A - 基于无人机群移动平台的交通流量识别监测网络和方法 - Google Patents

Abstract

本发明公开了一种基于无人机群移动平台的交通流量识别监测网络和方法，包括无人机群移动平台、双目云台和中控台，中控台布置在车内，在车顶安装的双目云台能够360°监测车周围的情况，无人机固定在车顶上部可自由收缩的封闭机箱内，在机箱里面放置无线充电器，当无人机落在车顶上面可实现对无人机充电。该无人机群移动平台具有灵活性高、方便快捷的优点，可随时随地识别监测任意一条道路。本发明利用Fast RCNN具有训练速度快，测试时间少，所需空间少的优点，利用无人机监测范围广、灵活性高、成本低等优点，获取交通流速度快、交通流信息连续、检测范围大且不需要消耗大量的人力和物力，达到对道路交通流快速准确地识别。

Description

基于无人机群移动平台的交通流量识别监测网络和方法

技术领域

本发明涉及道路交通领域，特别涉及一种基于无人机群移动平台的道路交通流量识别方法。

背景技术

随着经济的快速发展和城镇化水平的不断提高，人们对交通的需求越来越高，汽车已成为人们出行首选交通工具。因此，城市汽车数量不断增加，目前，交通拥堵已成为各大城市迫切需要解决的问题。解决交通拥堵问题首先需要了解各个时刻道路的交通流情况。交通管理部门依据交通流量的数据制定疏通交通的相关策略。比如宏观上建设新道路，制定城市交通管理策略。微观上交通枢纽红绿灯的设置，红绿灯的时长优化都需城市交通管理部门对交通流量的时空分布做到心中有数。

然而如何及时实时获取城市的交流时空分布是一个亟待解决的问题。现有的交通流的获取方法有：通过手机中地图获取道路交通流信息；通过人去数每个路口的车流量去获取交通流信息；通过仪器去测得道路交通流信息。这些获取交通流的方法速度慢、交通流信息不连续、检测范围小且需要消耗大量的人力和物力。

交通流量自动识别的关键是目标车辆、行人的自动跟踪与识别。现有目标跟踪方法有：区域卷积神经网络(Region Convolutional Neural Network，简称RCNN)目标追踪与识别法和空间金字塔池化网络(Spatial Pyramid Pooling Network，简称SPPnet))目标追踪与识别法。RCNN的不足是：训练模型是多管道级；对于分类和回归训练是从每个图片的每个目标候选框提取特征，因此训练时间长、训练所需空间大；在测试时，RCNN从每个测试图片的每个目标候选框提取特征，导致目标测试速度慢。SPPnet的不足是：先经多个卷积层得到特征图(Feature map)，然后从提取的特征图对每个候选框进行分类，虽然相比RCNN，SPPnet通过共享计算加快了训练和测试速度，但由于SPPnet仍然为多管道，并且SPPnet不能更新金字塔池化层之前的卷积，这限制了深层网络的准确性。为修正RCNN和SPPnet的缺点，2015年，Ross Girshick提出了一种Fast Rcnn神经网络，该网络将分类器整合到网络中，相比RCNN和SPPnet，Fast RCNN具有更高精度的目标检测，训练时使用的多任务损失，训练时可以更新所有的网络参数，特征储存不需要磁盘空间，因此Fast RCNN具有训练速度快，测试时间少，所需空间少的优点。

无人机具有监测范围广、灵活性高、成本低等优点，因此现在无人机被广泛应用在监测信息方面，如监测道路交通路况、监测一些人不容易到达的地方等；但无人机由于电量低而续航时间比较短，这一缺点又限制了无人机的发展。

发明内容

为实现对城市道路交通流的检测，本发明的目的是提供一种基于无人机群移动平台的交通流量识别监测网络和方法。

传统的室内道路交通流监测平台灵活性低且不能迅速前往路上解决交通问题，本发明的目的之一，是提供一种无人机群移动平台，该移动平台具有灵活性高、方便快捷的优点，可随时随地识别监测任意一条道路。

一种无人机群移动平台，包括机箱、无人机天线、无人机和无线充电器，无人机天线安装在车顶，并且无人机天线与中控台相连；无人机固定在车顶上部可自由收缩的封闭机箱内，在机箱里面放置无线充电器，当无人机落在车顶上面可实现对无人机充电，在机箱内设有小齿轮、大齿轮和齿条。

综合考虑RCNN、SPPnet、FAST RCNN的优点，本发明的目的之二，是提供一种交通流量识别监测网络，达到对道路交通流快速准确地识别。

一种交通流量识别监测网络，其特征是包括车、无人机群移动平台、双目云台和中控台，其中中控台包括电源、开关、电子控制单元、电机、无人机路径规划传输画面车载电脑、无人机传输画面车载电脑、双目云台传输画面车载电脑，中控台布置在车内；在车顶安装的双目云台能够360°监测车周围的情况；无人机群移动平台包括机箱、无人机天线、无人机和无线充电器，无人机天线安装在车顶，并且无人机天线与中控台相连；无人机固定在车顶上部可自由收缩的封闭机箱内，在机箱里面放置无线充电器，当无人机落在车顶上面可实现对无人机充电，在机箱内设有小齿轮、大齿轮和齿条；开关闭合控制电机的正反转电路，传递给电子控制单元一个信号来控制电机的运转，电机将动力传递给小齿轮，小齿轮再经过大齿轮实现减速，大齿轮将动力传递给齿条，齿条与机箱盖镶合且推动机箱盖的开闭。

无人机具有监测范围广、灵活性高、成本低等优点，但无人机最大的缺点在于由于电池电量的限制导致飞行时间短，因此，本发明设计无人机群且在车顶安装无线充电器，这样不仅可以解决无人机飞行时间短的缺点，也可以利用多个无人机不间断工作实现对道路交通流的实时检测。

如何实现无人机平稳放在车顶，同时达到无人机可自由飞行，并且实现交通路况不间断传递。

无人机车顶的布置步骤为：

步骤1：车顶固定一个上部可自由收缩的封闭结构，上部的收缩靠齿轮齿条机构来实现，闭合开关，传递给中控台的电子控制单元(ECU)一个信号，ECU设置好电机的运转状况来实现装载无人机机箱盖的开闭(闭合开关，电机正转实现无人机机箱盖打开，无人机离开汽车，电机反转，无人机机箱盖闭合)

步骤2：车顶上部每个装载无人机机箱里面放置无线充电器，当无人机落在上面可实现对无人机充电，克服每个无人机电量不足导致飞行时间短的缺点，并实现将道路交通状况不间断传入车内屏幕上；

步骤3：车顶安装双目云台，360°监测车周围的情况；

步骤4:将无人机天线安装在汽车车顶，并且天线与中控台相连。车内空间布置：

车内主要布置中控台，中控台上有三个大屏幕，分别显示无人机传输画面，双目云台传输画面，无人机路径画面。

本发明的目的之三，是提供一种交通流量识别方法，包括以下步骤：

步骤1：无人机先将实时的道路交通路况图片传送到中控台无人机传输画面屏幕上，然后再将这些实时路况图片传递给交通流量识别监测网络；

步骤2：将步骤1得到的实时路况图片经过五个卷基层和池化层得到道路交通路况图片的特征图；

步骤3：将步骤2得到的道路交通路况图片经过选择性筛选算法(SelectiveSeach，简称SS)，筛选出车辆的候选框；

步骤4:从步骤2中得到的道路交通路况图片的特征图中找到步骤3筛选出来的车辆候选框的特征图；

步骤5：将步骤4得到的车辆候选框的特征图经过金字塔池化层得到固定大小的车辆候选框特征图；

步骤6：将步骤5得到的车辆候选框特征图，经过两个全连接层，将二维车辆候选框特征图变为一维车辆候选框特征图；

步骤7：将步骤6得到的一维车辆候选框特征图分别经由各自的全连接层，一个全连接层进行对车辆候选框进行分类，实现对不同车辆的识别；一个全连接层对车辆候选框进行精确定位，使选择性筛选得到的车辆候选框更加准确；

步骤8：采用多任务损失函数(Multi-task loss)计算损失，这里的损失包括分类损失和回归损失。对于分类损失，输出K+1维数组的概率P(K表示识别图像的分类，即步骤3中候选框的种类，这里”1”表示背景)，每个车辆候选框特征图输出离散型概率分布为

P＝(P₀,P₁,...,P_k)

这里，P由K+1类的全连接层利用Softmax计算出。

回归损失层用于调整候选框的位置，输出边界回归的回归位移，输出4×K维度组t(K表示识别图像的分类，t表示分别属于K类时应该平移缩放的参数)

这里，k表示类别的索引，是相对于候选框尺度不变的平移，是指对数空间中相对于候选框的高与宽。

分类损失层评估分类损失函数，由车辆类别的真实分类u对应的概率决定：

L_cls(P,u)＝-logP_u

这里，u表示车辆类别的真时分类，P表示K+1维数组的概率

回归损失层评估检测框定位的损失函数，比较真实分类对应的预测平移参数

分别表示第u个车辆类别真时分类的候选框横坐标和纵坐标，分别表示第u个车辆类别真时分类的候选框的宽与高

真实平移缩放参数为

v＝(v_x,v_y,v_w,v_h)

v_x,v_y表示真时平移候选框的横坐标与纵坐标，v_w,v_h表示真时平移候选的框的宽与高

预测平移与真时平移的差别为

其中，smooth L₁损失函数为

最后，总损失函数为

车辆的真时类别u<1，u为背景，否则u为前景；L_cls(P,u)为分类损失函数，L_loc(t^u,v)为评估检测框定位的损失函数；λ控制分类损失和回归损失的平衡，一般取λ＝1。

艾弗森括号指数函数为

步骤9：通过ROI池化层反向传播，ROI反向传播层通过计算每个输入变量X_i的损失函数偏导数：

其中，L为总损失函数，x_i是候选框特征图池化层第i个激活输入；y_rj表示第r个候选框特征图池层的第j个输出；x^*(r,j)＝argmax(x_i')i'∈R(r,j)，R(r,j)表示y_rj最大的池化的子窗口中的输入索引集合；

步骤10：经过交通流量识别网络连续对无人机拍摄路口交通画面中车辆的识别，选择车辆的中点得到不同车辆的轨迹图，然后根据不同车辆的轨迹图统计出交通流。

本发明的优点是：

本发明利用Fast RCNN具有训练速度快，测试时间少，所需空间少的优点，利用无人机监测范围广、灵活性高、成本低等优点，获取交通流速度快、交通流信息连续、检测范围大且不需要消耗大量的人力和物力。

附图说明

图1是本发明的车辆外观示意图。

图2是本发明的放置无人机装置的结构和工作原理图。

图3是本发明的车辆里面布局示意图。

图4是本发明的对道路交通监测流程图。

图5是本发明的处理交通信息网络示意图。

图6是本发明的处理交通信息网络流程图。

图7是交通流的统计图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

搭建如图1、图2、图3的无人机群的道路交通监测移动平台。本移动平台是基于江淮星锐的改装车。

图1是车辆的外部构造，外部主要是对车顶进行改造，对车顶的改造主要包括三部分：放置无人机的机箱12、双目云台11、无线充电器14、天线10。

图2是固定在车顶上部可自由收缩的封闭结构机箱12及其工作原理图。在封闭结构机箱12内设有小齿轮5、大齿轮6、齿条8、机箱盖7；开关2闭合控制电机4的正反转电路，传递给中控台9的电子控制单元ECU 3一个信号，ECU设置好电机4的运转状况来实现装载无人机的机箱盖7的开闭，电机4将动力传递给小齿轮5，小齿轮5再经过大齿轮6实现减速，大齿轮将动力传递给齿条8，齿条8与机箱盖7镶合且推动机箱盖7的开闭。

图3是车辆的内部构造图，内部构造主要分为驾驶舱、工作区、配电区，中控台9是整车的灵魂，中控台9主要包括无人机路径规划传输画面车载电脑、无人机传输画面车载电脑、双目云台传输画面车载电脑，三台车载电脑显示屏分别显示无人机路径画面、无人机传输画面、双目云台传输画面。

图4是基于无人机群的道路交通监测移动平台的整体工作流程。按下按钮，装载无人机装置的机箱盖7打开，通过遥控器操纵无人机13对道路交通情况进行监测，无人机13将道路交通情况传到汽车中控台的三个显示屏上，然后经中控台中的交通流量识别网络，达到对路口直行、左转和右转的车辆进行统计；双目云台11将拍摄到的车周围的环境也分别传到三个显示屏上，交警根据这些信息合指挥交通。对于已经训练好的程序，交警可以直接在地图上规划好无人机13的路线，无人机13可以自动去监测所规划道路的交通情况。

图5和图6分别是交通流量图片处理系统的网络结构图和流程图。具体系统过程如下：

步骤1：将图5中的图片传到交通流识别系统，图片大小为227×227×3；

步骤2：通过选择性删选(Seletive search)将图片分成3个候选框(RegionProposal)，分别是图5中的公交车、出租车、白色轿车，输出这3个候选框；

步骤3：将图5中的道路交通图片经过5层卷积层得到特征图(Feature map)。输入图片大小为227×227×3，第一层使用96个11×11的卷积核，无边缘处理方式，滑动步长为4个像素，最大池化采用3×3的卷积核和滑动步长为2个像素，激活函数采用RELU，最终输出96个27×27的道路交通状况图片特征图；第二层卷积采用256个5×5的卷积核，边缘处理方式为“Same”,最大池化采用3×3的卷积核，滑动步长为2个像素，激活函数采用RELU，最终输出256个13×13的道路交通状况图片特征图；第三层采用384个3×3的卷积核，滑动步长为1个像素，边缘处理方式为“Same”,激活函数采用RELU，最终输出384个13×13的道路交通状况图片特征图；第四层采用384个3×3的卷积核，滑动步长为1个像素，边缘处理方式为“Same”，激活函数采用RELU，输出384个13×13的道路交通状况图片特征图；第五层采用256个3×3的卷积核，边缘处理方式为“Same”，最大池化层采用2×2的卷积核和滑动步长为2个像素，激活函数采用RELU，输出256个13×13的道路交通状况图片特征图。经过5层卷积层，得到道路交通状况图片的256个6×6的特征图；

步骤4：将步骤2得到的公交车、出租车和白色轿车3个候选框，在步骤3得到的256个特征图中找到这3个候选框对应的特征图，然后对找到的3个特征图进行空间金字塔池化。在空间金字塔池化时，将得到的对应特征图分成4×4、2×2、1×1的三张子图，经过最大池化，得到(16+4+1)×3维度的特征图。

步骤5：将步骤4得到的(16+4+1)×3二维特征图经过两个全连接层变成一维特征图。在两个全连接层中，激励函数使用ReLU，同时随机使一些隐层节点失效防止过拟合，随机系数选取0.5，即使一半的隐层节点失效；

步骤6：将步骤5得到的63个特征向量分别经过全连接层进行分类和边框回归。分类采用的激励函数为Softmax，经过这个全连接层，把63个特征向量分成三类，即实现了对公交车、出租车和白色轿车的辨别；边框回归主要是调整候选框的位置，使选择性删选的结构更准确；

步骤7：采用多任务损失函数(Multi-task loss)计算损失，这里的损失是分类损失和回归损失。对于分类损失，输出3+1维数组的概率P(“3”表示识别图像的分类，这里“1”表示图像背景)，每个候选框特征图输出离散型概率分布为

P＝(P₀,P₁,P₃P₂)

这里，P由3+1类的全连接层利用Softmax计算出。

回归损失层用于调整候选框的位置，输出边界回归的回归位移，输出4×3维度组t(K表示识别图像的分类，t表示分别属于K类时应该平移缩放的参数)

这里，k表示类别的索引，是相对于候选框尺度不变的平移，是指对数空间中相对于候选框的高与宽。

Loss_cls层评估分类损失函数，由车辆类别的真实分类u对应的概率决定：

L_cls(P,u)＝-logP_u

这里，u表示车辆类别的真时分类，P输出3+1维数组的概率

Loss_bbox评估检测框定位的损失函数，比较真实分类对应的预测平移参数

分别表示第u个车辆类别真时分类的候选框横坐标和纵坐标，分别表示第u个车辆类别真时分类的候选框的宽与高

真实平移缩放参数为

v＝(v_x,v_y,v_w,v_h)

v_x,v_y表示真时平移候选框的横坐标与纵坐标，v_w,v_h表示真时平移候选的框的宽与高

预测平移与真时平邑的差别为

其中，smooth L₁损失函数为

最后，总损失函数为

车辆的真时类别u<1，u为背景，否则u为前景；L_cls(P,u)为分类损失函数，L_loc(t^u,v)为评估检测框定位的损失函数；λ控制分类损失和回归损失的平衡，一般取λ＝1。

艾弗森括号指数函数为

步骤8：通过ROI池化层反向传播，ROI反向传播层通过计算每个输入变量X_i的损失函数偏导数：

其中，L为总损失函数，x_i是候选框特征图池化层第i个激活输入；y_rj表示第r个候选框特征图池层的第j个输出；x^*(r,j)＝argmax(x_i')i'∈R(r,j)，R(r,j)表示y_rj最大的池化的子窗口中的输入索引集合；

步骤9：根据图7，统计出每个交通路口车辆。图7是经过交通流量识别网络得到的车辆轨迹图，绘制出了一个路口右转、左转和直行车的轨迹图，记录5分钟内这个路口的车辆轨迹图，对每一个车辆轨迹做如下处理：当车辆碰到A线时，表示右转，对五分钟碰到A线的次数进行累加得到五分钟这条路进行右转的车辆数，同理得到五分钟这个路口直行和左转的车辆数。

以上所述，仅是本发明的较佳实例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所做的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。

Claims (2)

1.一种基于无人机群移动平台的交通流量识别监测网络，其特征是包括车、无人机群移动平台、双目云台(11)和中控台(9)，所述中控台(9)包括电源(1)、开关(2)、电子控制单元(3)、电机(4)、无人机路径规划传输画面车载电脑、无人机传输画面车载电脑、双目云台传输画面车载电脑，中控台(9)布置在车内；在车顶安装的双目云台(11)能够360°监测车周围的情况；无人机群移动平台包括机箱(12)、无人机天线(10)、无人机(13)和无线充电器(14)，无人机天线(10)与中控台(9)相连，无人机(13)固定在车顶上部可自由收缩的封闭机箱(12)内，在机箱(12)里面放置无线充电器(14)，当无人机(13)落在车顶上面可实现对无人机充电，在机箱(12)内设有小齿轮(5)、大齿轮(6)和齿条(8)；开关(2)闭合控制电机(4)的正反转电路，传递给电子控制单元(3)一个信号来控制电机(4)的运转，电机(4)将动力传递给小齿轮(5)，小齿轮(5)再经过大齿轮(6)实现减速，大齿轮(6)将动力传递给齿条(8)，齿条(8)与机箱盖(7)镶合且推动机箱盖(7)的开闭。

2.如权利要求1所述的基于无人机群移动平台的交通流量监测网络，其特征是所述监测网络的识别方法包括以下步骤：

步骤1：无人机先将实时的道路交通路况图片传送到中控台无人机传输画面屏幕上，然后再将这些实时路况图片传递给交通流量识别监测网络；

步骤2：将步骤1得到的实时路况图片经过五个卷基层和池化层得到道路交通路况图片的特征图；

步骤3：将步骤2得到的道路交通路况图片经过选择性筛选算法，筛选出车辆的候选框；

步骤4:从步骤2中得到的道路交通路况图片的特征图中找到步骤3筛选出来的车辆候选框的特征图；

步骤5：将步骤4得到的车辆候选框的特征图经过金字塔池化层得到固定大小的车辆候选框特征图；

步骤6：将步骤5得到的车辆候选框特征图，经过两个全连接层，将二维车辆候选框特征图变为一维车辆候选框特征图；

步骤7：将步骤6得到的一维车辆候选框特征图分别经由各自的全连接层，一个全连接层进行对车辆候选框进行分类，实现对不同车辆的识别；一个全连接层对车辆候选框进行精确定位，使选择性筛选得到的车辆候选框更加准确；

步骤8：采用多任务损失函数计算损失，这里的损失包括分类损失和回归损失，对于分类损失，输出K+1维数组的概率P，其中K表示识别图像的分类，即步骤3中候选框的种类，1表示图象的背景，每个车辆候选框特征图输出离散型概率分布为

P＝(P₀,P₁,...,P_k)

这里，P由K+1类的全连接层利用Softmax计算出；

回归损失层用于调整候选框的位置，输出边界回归的回归位移，输出4×K维度组t，其中K表示识别图像的分类，t表示分别属于K类时应该平移缩放的参数

这里，k表示类别的索引，是相对于候选框尺度不变的平移，是指对数空间中相对于候选框的高与宽；

分类损失层评估分类损失函数，由车辆类别的真实分类u对应的概率决定：

L_cls(P,u)＝-logP_u

这里，u表示车辆类别的真时分类，P表示K+1维数组的概率

回归损失层评估检测框定位的损失函数，比较真实分类对应的预测平移参数

分别表示第u个车辆类别真时分类的候选框横坐标和纵坐标，分别表示第u个车辆类别真时分类的候选框的宽与高

真实平移缩放参数为

v＝(v_x,v_y,v_w,v_h)

v_x,v_y表示真时平移候选框的横坐标与纵坐标，v_w,v_h表示真时平移候选的框的宽与高

预测平移与真时平移的差别为

其中，smooth L₁损失函数为

最后，总损失函数为

车辆的真时类别u<1，u为背景，否则u为前景；L_cls(P,u)为分类损失函数，L_loc(t^u,v)为评估检测框定位的损失函数；λ控制分类损失和回归损失的平衡，λ＝1；

艾弗森括号指数函数为

步骤9：通过ROI池化层反向传播，ROI反向传播层通过计算每个输入变量X_i的损失函数偏导数：

其中，L为总损失函数，x_i是候选框特征图池化层第i个激活输入；y_rj表示第r个候选框特征图池层的第j个输出；x^*(r,j)＝argmax(x_i')i'∈R(r,j)，R(r,j)表示y_rj最大的池化的子窗口中的输入索引集合；

步骤10：经过交通流量识别网络连续对无人机拍摄路口交通画面中车辆的识别，选择车辆的中点得到不同车辆的轨迹图，然后根据不同车辆的轨迹图统计出交通流。