CN111341097B - 一种基于无人机视频的交通数据采集方法 - Google Patents

Abstract

本发明公开了一种基于无人机视频的交通数据采集方法：首先进行道路特征点选取和测量；然后进行无人机拍摄，再对无人机拍摄的视频进行图像预处理，将世界坐标与图像坐标进行单应性变换；然后进行图像匹配；再进行车辆目标检测，实现多目标跟踪，最后进行交通参数的计算，得到车辆的交通数据。本发明的基于无人机视频的交通数据采集方法既能发挥无人机机动灵活的优势，又能保证交通参数提取的准确性、可靠性，具有很强的可行性和实用性。

Description

一种基于无人机视频的交通数据采集方法

技术领域

本发明涉及交通信息采集领域，具体涉及一种基于无人机视频的交通数据采集方法。

背景技术

交通监测是智慧交通的基础，交通监测主要依赖于各类检测设备，主要分为两类：固定型交通检测器(如微波、雷达等)和移动型交通检测设备(GPS，浮动车等)。然而，固定型交通检测器布设数量有限、且仅能获取断点数据，难以准确评估连续路段的交通状态；移动型检测设备受抽样率的影响，在可靠性方面有一定局限性。

无人机通过搭载高清摄像机和通讯设备，可实现定点、巡航等机动、灵活的交通实时、连续监测。无人机视频监测集成了固定型检测器和移动型检测器的特点，根据应用场景需求，可定点、可移动，且视频信息量大、可溯源；无人机视频结合计算机图像处理技术，可大范围获取交通流量、车辆轨迹、速度等交通参数；因此，利用无人机视频监测提取交通参数信息已经引起了国内外许多学者的注意。但是，基于图像处理技术，将每帧的静态信息检测、跟踪，转变为动态的交通参数，仍存在以下局限：

①无人机视频车辆检测和跟踪的精度不足，通常小于90％；

②无人机视频交通参数提取精度缺乏有效的实地验证；

③运动车辆参数，如速度、轨迹等信息，输出结果可靠性差，难以满足实际交通数据采集需求。

上述局限性问题的存在，使得无人机监测优势难以充分发挥；因此，如何机动灵活、实时准确、高可靠性的获取目标区域的交通参数，是智慧交通需要解决的关键性问题之一。

发明内容

针对现有技术中存在的问题，本发明的目的在于一种基于无人机视频的交通数据采集方法，能发挥无人机机动灵活的优势，又能保证交通参数提取的准确性、可靠性，具有很强的可行性和实用性。

为了达到上述目的，本发明采用以下技术方案予以实现。

一种基于无人机视频的交通数据采集方法，包括以下步骤：

步骤1，道路特征点选取和测量：选取K(K≥20)个特征点，使K(K≥20)个特征点在图像中形成棋盘格；测量每个特征点的世界坐标，记为：C_k＝[u_k,v_k,p_k]；

步骤2，无人机视频拍摄：根据监测范围场景，无人机在高空进行视频拍摄；

步骤3，对无人机拍摄的视频进行图像预处理：将世界坐标与图像坐标进行单应性变换；

步骤4，对无人机拍摄的视频进行图像匹配：

步骤5，车辆目标检测：采用YOLO v3车辆检测模型，将输入图像分为S×S个网格，当某个检测目标中心落在所述网格中时，所述网格负责预测所述检测目标，得到检测目标结点集N＝{N_i，i＝1,2,...,I}和目标轨迹集T＝{T_j，j＝1,2,...,m}；

步骤6，多目标跟踪：采用Deep-Sort多目标跟踪算法，实现数据关联；

步骤7，交通参数计算：根据车辆在不同帧中的位置和时间间隔，得到车辆的交通数据。

本发明技术方案的特点和进一步的改进在于：

(1)步骤1中，所述选取K(K≥20)个特征点为从道路标线中选取或人工粘贴标记。

(2)步骤3包括以下子步骤：

子步骤3.1，根据K(K≥20)个特征点的世界坐标和参考帧中的图像坐标，计算单应性矩阵T：

其中，[u,v,p]为世界坐标，[x₀,y₀,z₀]为参考帧N₀的图像坐标；

子步骤3.2，再根据所述单应性矩阵，进行无人机拍摄的视频图像的世界坐标与图像坐标的单应性变换。

(3)步骤4包括以下子步骤：

子步骤4.1，确定旋转位移矩阵W；

子步骤4.2，根据所述旋转位移矩阵W，标定第n帧与参考帧之间的对应关系，完成图像匹配。

进一步的，子步骤4.1具体为：根据K(K≥20)个特征点，采用下式确定旋转位移矩阵W：

其中，[x_n,y_n,z_n]为第n帧的图像坐标，[x₀,y₀,z₀]为参考帧N₀的图像坐标。

(4)步骤6包含以下子步骤：

子步骤6.1，将当前帧目标检测结点集N＝{N_i，i＝1,2,...,I}和目标轨迹集T＝{T_j，j＝1,2,...,m}作为数据输入，对车辆历史轨迹进行卡尔曼预测，得到轨迹j在第n帧的预测结点集

子步骤6.2，计算当前帧预测结点集

与检测目标结点集N的IOU匹配度，IOU＝(r_ij)_n×m；其中，

子步骤6.3，通过匈牙利指派算法得到IOU最大的唯一匹配，进行数据关联。

(5)步骤7中，所述车辆的交通数据包含速度和轨迹，其中，

纵向速度采用下式进行计算：

横向速度采用下式进行计算：

[x_n,y_n]为车辆在第n帧的横向坐标和纵向坐标，θ为间隔帧数，为了保证输出速度的平顺性θ≥5；△t为相邻两帧时间间隔。

与现有技术相比，本发明的有益效果为：

本发明提供的基于无人机视频的交通数据采集方法，既能发挥无人机机动灵活的优势，又能保证交通参数提取的准确性、可靠性，整体准确率达98％，具有很强的可行性和实用性。

附图说明

下面结合附图和具体实施例对本发明做进一步详细说明。

图1为本发明提供的基于无人机视频的交通数据采集方法的一种实施例的流程示意图。

具体实施方式

下面将结合实施例对本发明的实施方案进行详细描述，但是本领域的技术人员将会理解，下列实施例仅用于说明本发明，而不应视为限制本发明的范围。

参考图1，本发明实施例提供一种基于无人机视频的交通数据采集方法，包括以下步骤：

步骤1，道路特征点选取和测量：选取K(K≥20)个特征点，使K(K≥20)个特征点在图像中形成棋盘格；测量每个特征点的世界坐标，记为：C_k＝[u_k,v_k,p_k]。

具体的，道路特征点主要是为了实现图像坐标和世界坐标的转换，可从道路标线中选取或采用人工粘贴标记点的方式。

步骤2，无人机视频拍摄：根据监测范围场景，无人机在高空进行视频拍摄。

拍摄时，选择无风、天气良好的时间段进行高空拍摄，飞行高度在100m～300m之间。

步骤3，对无人机拍摄的视频进行图像预处理：将世界坐标与图像坐标进行单应性变换。

该步骤主要是建立世界坐标与图像坐标之间的单应性变换，具体如下：

子步骤3.1，根据K(K≥20)个特征点的世界坐标和参考帧中的图像坐标，计算单应性矩阵T：

其中，[u,v,p]为世界坐标，[x₀,y₀,z₀]为参考帧N₀的图像坐标。

由于图像坐标为二维坐标，无人机飞行高度远远大于路面坡度差，此时坐标系转化为单平面转换，故三维坐标中高程方向的参数可取1；此时转换关系变为下式：

然后将已知的K(K≥20)个特征点的世界坐标和参考帧中的图像坐标代入上述公式中，即可求得单应性矩阵T。

子步骤3.2，再根据所述单应性矩阵T，进行无人机拍摄的视频图像的世界坐标与图像坐标的单应性变换。

步骤4，对无人机拍摄的视频进行图像匹配：

理想状态下单应性矩阵T适用于所有帧图像；但是，外业无人机拍摄过程不可避免会发生微小的偏移或抖动，因此，需要旋转位移矩阵W来标定第n帧与参考帧N₀之间的对应关系，即为图像匹配过程。具体如下：

子步骤4.1，根据K(K≥20)个特征点，采用下式确定旋转位移矩阵W：

其中，[x_n,y_n,z_n]为第n帧的图像坐标，[x₀,y₀,z₀]为参考帧N₀的图像坐标。

根据步骤3可知，三维坐标中高程方向的参数可取1，上述公式即转换为：

根据K(K≥20)个特征点，可得到多个方程组，从而求得第n帧与参考帧N₀之间的旋转位移矩阵W。

子步骤4.2，根据所述旋转位移矩阵W，标定第n帧与参考帧N₀之间的对应关系，完成图像匹配。

步骤5，车辆目标检测：采用YOLO v3车辆检测模型，将输入图像分为S×S个网格，当某个检测目标中心落在所述网格中时，所述网格负责预测所述检测目标，得到检测目标结点集N＝{N_i，i＝1,2,...,I}和检测目标轨迹集T＝{T_j，j＝1,2,...,m}。

具体的，本发明实施例采用YOLO v3车辆检测模型，将输入图像分为S×S个网格，当某个检测目标中心落在所述网格中时，则该网格就负责预测该目标；然后，对每个网格预测B个边框(Bounding Box)，每一个box包含五个信息：中心点坐标(x_c，y_c)、高度(h)、宽度(w)及可信度(Confidence)；同时，在每个网格中预测C个类别概率值；则得到S×S×B个目标预测窗口和S×S×B×(5+C)个预测参数，通过阈值筛选和非最大抑制(NMS)去除多余窗口；得到检测目标结点集N＝{N_i，i＝1,2,...,I}和检测目标轨迹集T＝{T_j，j＝1,2,...,m}。

步骤6，多目标跟踪：采用Deep-Sort多目标跟踪算法，实现数据关联。

子步骤6.1，将当前帧检测目标结点集N＝{N_i，i＝1,2,...,I}和检测目标轨迹集T＝{T_j，j＝1,2,...,m}作为数据输入，对每条轨迹进行卡尔曼预测，得到轨迹j在第n帧的预测结点集

子步骤6.2，计算当前帧预测结点集

与检测目标结点集N的IOU匹配度，IOU＝(r_ij)_I×m；其中，

子步骤6.3，设置IOU阈值，通过匈牙利指派算法得到IOU最大的唯一匹配，进行数据关联。

具体为：本实施例设置IOU阈值为50％；首先判断子步骤6.2计算得到的IOU与IOU阈值进行对比，对每个大于IOU阈值的检测节点N分配唯一轨迹目标，且优先将检测节点分配给临近几帧连续出现的轨迹目标；其中，每条轨迹均有存储数值δ，(轨迹匹配成功，δ为0，不成功，δ记为1)；当某条轨迹δ累计值大于设定的δ阈值(本实施例δ阈值设为30)，则认为该条轨迹终止。

步骤7，交通参数计算：根据车辆在不同帧中的位置和时间间隔，得到车辆的交通数据。

具体的，所述车辆的交通数据包含速度和轨迹。

其中，

纵向速度采用下式进行计算：

横向速度采用下式进行计算：

[x_n,y_n]为车辆在第n帧的横向坐标和纵向坐标，θ为间隔帧数，为了保证输出速度的平顺性θ≥5；△t为相邻两帧时间间隔。

最后，本发明实施例利用高精度GNSS-RTK定位和车载OBD组合验证本发明提供的基于无人机视频的交通数据采集方法的准确性，共进行7组不同飞行高度、不同行驶速度验证试验。验证试验表明：视频识别算法目标检测精度为90.88％、追踪精度为98.9％，提取的车辆速度参数整体绝对误差在±3km/h以内、相对误差在2％以内，整体准确率达98％。结果证明了本发明无人机视频交通数据采集的可靠性和准确性。

虽然，本说明书中已经用一般性说明及具体实施方案对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (4)

1.一种基于无人机视频的交通数据采集方法，其特征在于，包括以下步骤：

步骤1，道路特征点选取和测量：选取K个特征点，使K个特征点在图像中形成棋盘格；测量每个特征点的世界坐标，记为：C_k＝[u_k,v_k,p_k]，其中，K≥20；

步骤2，无人机视频拍摄：根据监测范围场景，无人机在高空进行视频拍摄；

步骤3，对无人机拍摄的视频进行图像预处理：将世界坐标与图像坐标进行单应性变换；

子步骤3.1，根据K个特征点的世界坐标和参考帧中的图像坐标，计算单应性矩阵T：

其中，[u,v,p]为世界坐标，[x₀,y₀,z₀]为参考帧N₀的图像坐标；

子步骤3.2，再根据所述单应性矩阵，进行无人机拍摄的视频图像的世界坐标与图像坐标的单应性变换；

步骤4，对无人机拍摄的视频进行图像匹配：

子步骤4.1，确定旋转位移矩阵W；

子步骤4.2，根据所述旋转位移矩阵W，标定第n帧与参考帧之间的对应关系，完成图像匹配；

步骤5，车辆目标检测：采用YOLO v3车辆检测模型，将输入图像分为S×S个网格，当某个检测目标中心落在所述网格中时，所述网格负责预测所述检测目标，得到检测目标结点集N＝{N_i，i＝1,2,...,I}和检测目标轨迹集T＝{T_j，j＝1,2,...,m}；

根据K个特征点，采用下式确定旋转位移矩阵W：

其中，[x_n,y_n,z_n]为第n帧的图像坐标，[x₀,y₀,z₀]为参考帧N₀的图像坐标；

步骤6，多目标跟踪：采用Deep-Sort多目标跟踪算法，实现数据关联；

步骤7，交通参数计算：根据车辆在不同帧中的位置和时间间隔，得到车辆的交通数据。

2.根据权利要求1所述的基于无人机视频的交通数据采集方法，其特征在于，步骤1中，所述选取K个特征点为从道路标线中选取或人工粘贴标记。

3.根据权利要求1所述的基于无人机视频的交通数据采集方法，其特征在于，步骤6包含以下子步骤：

子步骤6.1，将当前帧检测目标结点集N＝{N_i，i＝1,2,...,I}和检测目标轨迹集T＝{T_j，j＝1,2,...,m}作为数据输入，对每条轨迹进行卡尔曼预测，得到轨迹j在第n帧的预测结点集

子步骤6.2，计算当前帧预测结点集

与检测目标结点集N的IOU匹配度，IOU＝(r_ij)_I×m；其中，

N_j指的是轨迹j对应的当前帧检测目标结点集；

子步骤6.3，设置IOU阈值，并通过匈牙利指派算法得到IOU最大的唯一匹配，进行数据关联。

4.根据权利要求1所述的基于无人机视频的交通数据采集方法，其特征在于，步骤7中，所述车辆的交通数据包含速度和轨迹，其中，

纵向速度采用下式进行计算：

横向速度采用下式进行计算：

[x_n,y_n]为车辆在第n帧的横向坐标和纵向坐标，θ为间隔帧数，为了保证输出速度的平顺性θ≥5；△t为相邻两帧时间间隔。

Images