CN110751099B - 一种基于深度学习的无人机航拍视频轨迹高精度提取方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的无人机航拍视频车辆轨迹高精度提取方法，有如下步骤：首先利用神经网络和深度学习算法对所需提取目标的特征进行训练，同时训练YOLOv3和R‑CNN模型；采用YOLOv3和R‑CNN融合的方式进行目标检测，其中YOLOv3负责快速检测，R‑CNN负责局部复检校核，这样融合了YOLOv3的迅速和RCNN的位置准确性，使得算法鲁棒性得到保证；接下来利用单一车辆的速度位移关系，构建简单时间序列模型，对坐标关联算法进行轨迹提取；轨迹重构算法利用车辆行驶轨迹的位置连续、速度连续、加速度连续特性，对初步轨迹进行拼接、去噪、平滑等一系列处理；最后对轨迹进行整理提取速度、加速度、车头时距、车头间距、间隙等一系列交通流参数。由于深度学习针对特征进行提取，故目标在不同环境下算法的适应性同样很好，并且同类目标训练权重具有可移植性，使得轨迹提取的鲁棒性得到了较好的保证，而鲁棒丰富的高精度轨迹对当前交通流研究具有很大的意义。

Description

一种基于深度学习的无人机航拍视频轨迹高精度提取方法

技术领域

本发明属于交通流和智能交通技术领域，对无人机航拍的道路状况视频，基于深度学习和数据关联的方法，提出了一种高精度提取航拍视频中车辆轨迹的方法。

背景技术

高分辨率的车辆轨迹为当前交通流研究提供了至关重要的数据支撑。从车辆轨迹时空图中，我们可以得到许多交通流参数，其中除了宏观下的平均速度、车流量及车流密度，还可以得到一些微观的车辆信息，例如单个车辆速度、加速度、车头时距、道路占有率等。而这些参数对于车辆跟驰，车辆换道等交通流理论的研究都具有至关重要的意义。

然而，现有的高分辨率轨迹数据十分有限，且随着交通流理论研究的深入，很多轨迹数据已经无法满足研究的范围或精度要求。其中最著名的车辆轨迹数据集是由美国联邦公路管理局发布的NGSIM数据集，其利用加于高层建筑物顶端的固定摄像头采集车辆图像，以0.1s每帧的频率完成四段道路的车辆轨迹采样与提取，样本包含了瞬时速度，加速度，车辆位置坐标，车长及车辆类型等信息，该数据集发布之后就一直被广泛使用。然而该数据集存在着路段长度不足，车流情况单一，车辆种类单一，轨迹数据中速度与加速度数据错误等局限，导致其已无法满足今后交通流研究的需要。而这些局限的产生与该数据集固定摄像头的采集方式以及落后的轨迹提取方法关系密切。

近年来，无人机作为交通数据采集的新方式大大扩展了交通数据采集的范围与并提高了轨迹分辨率。研究人员可以在许可条件下，使用无人机携带高分辨率相机实时拍摄任意区段任意时段的交通流视频。然而由于无人机飞行高度较高，采集范围较广，无人机航拍视频中的车辆目标往往具有数量多，尺寸较小，特征不明显，准确位置坐标难以确定的特点，这些难点是以前的轨迹提取方法不曾考虑到的，在传统轨迹提取方法的基础上，需要大量的手动提取操作，所以从无人机视频中提取车辆的轨迹是一项新颖具有挑战性的工作。

发明内容

针对现有技术的不足，本发明提出一种基于深度学习算法对无人机航拍视频中车辆进行自动高精度识别，并对车辆行驶行为轨迹进行提取，去噪，同时提取一些必要的交通流参数，从而形成用于交通流研究分析的关键数据集。

技术方案：一种基于深度学习的无人机航拍视频轨迹高精度提取方法，包括以下步骤：

S10：获取目标特征信息，制作数据集，取所述数据集中一部分作为训练集，其余部分作为测试集，在训练集上同步训练YOLOv3和R-CNN模型，在测试集上测试YOLOv3和R-CNN模型性能，最终得到基础权重的YOLOv3和R-CNN模型；所述数据集包括已标注的图片和目标位置坐标；

S20：读入无人机航拍视频流，获取当前视频帧；

S30：采用训练好的YOLOv3对当前视频帧进行初检，得到初检结果；采用R-CNN模型对初检结果进行局部复检校核，得到复检结果；所述初检结果和复检结果包括检测框像素坐标x，y，检测框长宽l，w；

S40：判断无人机航拍视频流是否结束，若结束，则进行S50，否则获取下一帧视频帧，执行S30；

S50：利用单一车辆运行的速度位移关系，构建时间序列模型对复检结果进行预测，寻找可关联且未关联的目标坐标，进行坐标关联，生成初始轨迹；

S60：对初始轨迹进行去噪、拼接、平滑处理，得到高精度车辆行驶轨迹。

进一步的，所述YOLOv3采用darknet53神经网络框架进行训练与检测；在训练过程中，训练集中的图片被缩放成统一大小后，分批送入darknet53神经网络框架中进行逻辑回归预测；

R-CNN模型使用Alexnet网络；

YOLOv3和R-CNN训练效果均由损失值来评估，进行一次迭代后的训练效果损失(loss)表示如下：

loss＝loss_xy+loss_wh+loss_confidence+loss_class

其中，loss_xy表示检测框中心点误差，loss_wh为检测框长宽的误差，loss_confidence表征检测框置信度误差，loss_class表示检测框分类的误差；

当loss值收敛至不再变化时，YOLOv3和R-CNN模型可以投入使用。

进一步的，所述S10的数据集包括深色车辆和大型车辆的强化数据集，取所述强化数据集中一部分作为强化训练集，所述强化数据集其余部分作为强化测试集，在强化训练集上同步训练YOLOv3和R-CNN模型，在测试集上测试YOLOv3和R-CNN模型性能，最终得到强化权重的YOLOv3和R-CNN模型；所述强化数据集包括已标注的深色车辆和大型车辆的图片和目标位置坐标。

进一步的，所述S30具体包括：

S31：采用训练好的YOLOv3对当前视频帧进行初检，得到初检结果及其置信度，判断置信度是否大于设定确定值T，若大于，则确定为正确检测，否则进行S32；

S32：采用R-CNN模型对初检结果进行局部复检校核，得到复检结果及其置信度，判断置信度是否达到确定阈值TU，若达到，则确定该目标为存在目标，否则判断该置信度是否大于TD，若大于，则将该目标作为不确定目标保留，否则否认YOLOv3的检测结果，使用R-CNN的检测结果；

S33：当前视频帧检测结束后，按照YOLOv3自带的分类器置信度输出，对检测结果进行检查，如果存在一区域检测置信度较低，或某一区域的检测结果平均置信度低于某一阈值TT，此时对该区域进行R-CNN复检，以最外缘低阈值点为边界点，框选矩形，作为R-CNN的局部检测区域，调用R-CNN复检。

进一步的，当采用基础权重的YOLOv3和R-CNN模型得到的检测结果和采用强化权重的YOLOv3和R-CNN模型得到的检测结果有所重叠时，采用如下规则筛除重叠检测框坐标：

对于两个检测框(x₁,y₁,l₁,w₁)，(x₂,y₂,l₂,w₂)，若两个检测框同时满足以下条件：

|x₁-x₂|＜(l₁/2+l₂/2)/2

|y₁-y₂|＜(w₁/2+w₂/2)/2

则判定这两个检测框为重复框，保留置信度高的一个检测框，对另一个检测框进行剔除。

进一步的，所述S50具体包括以下步骤：

S51：以选定检测框坐标所在帧作为当前帧，向过去第1帧至过去第I帧搜索，若存在符合如下公式的检测框：

则判定为已存在轨迹，跳过该选定检测框，将下一个检测框作为选定框重复S51进行判断；若不存在满足上述条件的检测框，则判定选定检测框是新出现的检测框，并执行S52；式中，i为搜索帧数目，x_-1为上一帧纵向位置，x₀为当前帧纵向位置，y_-1为上一帧横向位置，y₀为当前帧横向位置，V_max为理论每帧最大行车速度；

S52：将已选定检测框坐标所在帧作为当前帧，向未来第1帧至未来第J帧搜索，每次搜索的帧为第j帧，若在J帧中存在J/2以上的帧搜索到符合要求的检测框，则执行S53：

|x_j-1+v_j-x_j|＜l_h(0＜j≤J)

|y_j-1-y_j|＜w_h(0＜j＜J)

其中，v_j为第j帧计算得到的车辆速度，利用过去的车辆速度与当前帧帧差速度的加权平均得到，l_h代表x方向容许偏差，w_h代表y方向容许偏差；

若不符合上述公式，则判定该轨迹为误检产生的过短轨迹，将其筛除，返回S51，进行下一检测框的判定；

S53：对满足S52的检测框坐标进行持续数据关联，选定检测框作为当前帧，并向未来帧进行搜索，j为搜索帧，若满足如下条件，则持续关联坐标：

|x_j-1+(n+1)v_j-1-x_j|＜l_h

|y_j-1-y_j|＜w_h

式中，l_h代表x方向容许偏差，w_h代表y方向容许偏差，x_j-1，y_j-1表示搜索帧的前一帧的纵向和横向位置，v_j-1代表搜索帧前一帧的速度，x_j，y_j表示搜索帧的纵向和横向位置；

若连续不满足上述公式，记不满足次数为n，最大不满足次数为N，若n＝N次，则判定轨迹结束，停止关联，得到初步轨迹，若n<N次，则对轨迹进行插值补全并继续关联。

进一步的，所述过去第I帧中的I取值不超过5；所述未来第J帧中的J取值为[4,8]，所述lh和wh的取值为检测框长宽的1/2。

进一步的，所述S60具体包括以下步骤：

S61：根据初始轨迹的开始和结束位置，判断该初始轨迹与其他轨迹是否有重叠，根据判断情况分为完整轨迹、重复轨迹、误检轨迹和破碎轨迹；完整轨迹不作处理；重复轨迹保留最长的一条轨迹，删除其余短的重复轨迹；误检轨迹根据以下规则剔除；

其中，(x₁,y₁)和(x_end,y_end)代表一条轨迹的起止点位置，p代表轨迹持续的帧长度；

破碎轨迹根据以下步骤进行拼接处理：

首先，按照如下规则选择两段可拼接的破碎轨迹：

0＜f＜f_u

0＜△x＜V_max*F

△y＜w_h

其中，(Δx,△y)所选择的两破碎轨迹的破碎处两点间距，F表示破碎缺失的帧数；满足该要求的两段破碎轨迹作为拼接的备选破碎轨迹；

其次，选择两段满足拼接要求的破碎轨迹按照如下规则进行拼接：

y_f＝f₃(x_f)

其中f表示正在拼接的帧数(f<F)，(x_f,y_f)表示补全点的坐标，(x_e,y_e,l_e,w_e)表示前段轨迹的末点坐标位置及长宽，(x_s,y_s,l_s,w_s)表示后段轨迹的首点坐标位置及长宽；

最后，将拼接完成的轨迹再次分类，判断其是否为完整轨迹，还是仍为破碎轨迹等待下一次拼接；

S62：将S61中的完整轨迹采用EEMD信号处理方法进行去噪处理。

进一步的，还包括S70：基于高精度车辆行驶轨迹提取交通流参数，所述交通流参数包括车辆速度、车辆加速度、车头时距、车头间距和前后车间隙，分别表示为：

其中v表示车辆速度，△x表示所求速度帧位置与前一帧实际位置之差，△t表示相邻帧的时间间隔；a表示车辆加速度，△v表示所求加速度当前帧速度与前一帧速度之差；gap表示前后车间隙，x前，l前依次分别表示前车的纵向位置和车长，x后，l后依次分别表示后车的纵向位置和车长；space_headway表示车头间距；time_headway表示车头时距。

有益效果：本发明提出基于深度学习的无人机航拍视频轨迹高精度提取方法，采用深度学习算法和数据关联算法对无人机航拍视频中车辆进行自动高精度识别和车辆行驶行为轨迹进行提取，利用EEMD及三次插值拟合对轨迹补全和去噪，保证轨迹高精度情况下不流失细节，同时提取一些必要的交通流参数，从而形成用于交通流研究分析的关键数据集。相较于之前的NGSIM数据集的提取，本发明更加快捷并有更少的人工操作，对提取出丰富的高精度无人机航拍视频轨迹数据和以后的微观交通流研究具有重要意义。

附图说明

图1为发明的流程示意图；

图2为去噪对车辆位置、速度、加速度的修正；

图3为框架提取的交通流参数与NGSIM轨迹数据提取的参数对照；

图4为时空轨迹图。

具体实施方式

现结合实施例和说明书附图进一步说明本发明。

实施例：

本实施例的基于深度学习的无人机航拍视频轨迹高精度提取方法，对无人机视频有一定的要求，无人机视频分辨率应当至少满足分辨率不低于1280×720、帧率20～30帧/s、飞行高度小于250m、无人机视频的拍摄高度应保证视频的图像序列中目标车辆在全图中的占比与训练集中目标车辆在全图中的占比相差在5％以内，以保证训练权重与检测视频的适应性，具体包括以下几个步骤：

步骤1：针对目标特征的深度学习，具体分为以下两个步骤：

基础训练集及权重生成：

制作针对所提取车辆目标特征的深度学习训练集，我们采用了基于CNN的YOLOv3算法。需要标注的图片及目标位置坐标，采用高斯背景建模的检测结果对无人机航拍视频进行训练集制作，通过对高斯背景建模结果噪点消除，保留正确的结果，作为深度学习的训练集，生成基础权重。

我们实验使用的目标视频具体信息如下表：

视频信息	测试视频参数
		交通状态	拥堵
帧率	24fps
		分辨率	4096×2160
路段长度	386m
		时长	333s
拍摄高度	280m

R-CNN我们采用了Alexnet网络的默认参数，训练样本数目和YOLOv3保持一致。

以下是我们采用YOLOv3训练的参数表

YOLOv3使用了darknet53神经网络框架进行训练与检测。在训练过程中，训练图片首先被缩放成统一大小，之后被分批送入darknet53中进行逻辑回归预测，每一批图片的训练效果以平均交并集比IoU表示。

而R-CNN使用Alexnet网络，其特征提取部分包含了5个卷积层、2个全连接层，该网络训练完毕后提取特征，每个输入候选框图片都能得到一个4096维的特征向量，训练效果也以平均交并集比IoU表示。

其中重合面积表示预测框与真值框重合部分，合并面积表示预测框和真值框全部占有的部分，可见IoU可以表示模型检测待定目标的好坏程度。进行一次迭代后的训练效果以损失(loss)表示，

loss＝loss_xy+loss_wh+loss_confidence+loss_class

其中，loss_xy表示检测框中心点误差，loss_wh为检测框长宽的误差，loss_confidence表征检测框置信度误差，loss_class表示检测框分类的误差；我们的框架中只有一种分类，因此class几乎为0，loss₀表示上一次迭代的loss值，而最终图片的检测效果是所有迭代后loss值的叠加。

本例中loss值基础训练集收敛至2以下，强化训练集收敛至0.8，我们视作其效果良好，并将其投入使用。

强化训练集制作及权重生成

考虑到深色车辆和大型车辆的样本量较少，利用手工标注少量深色车辆与大型车辆样本，单独制作了深色车辆和大型车辆的初始强化训练集。为保证训练集的丰富性，我们利用训练权重的检测结果作为新的训练目标，如此迭代，对训练集有效扩增，生成样本充足的强化训练集。对深色目标车辆和大型目标车辆进行强化训练，生成强化权重。

步骤2：利用训练权重高精度检测航拍视频。具体分为以下两个步骤：

神经网络多重检测：

利用步骤1生成的目标特征训练得到的YOLOv3和R-CNN的基础权重和强化权重，借助神经网络对待提取视频进行目标检测。分别利用基础权重和强化权重检测目标视频，收集基础权重和强化权重的检测结果。

检测时先使用YOLOv3进行初检，如果检测的置信度大于某个确定值T，则确定其为正确检测，若检测的置信度小于该确定值T，则说明该目标准确性及位置精度均有待考量，则调用R-CNN进行复检，此时若R-CNN检测结果置信度达到确定阈值TU，则确定该目标为存在目标，若该目标的R-CNN置信度小于TU，大于TD，则对目标作为不确定目标暂时保留，若该目标R-CNN置信度小于TD，则否认YOLOv3的检测结果，使用R-CNN的检测结果。这三个阈值T，TU，TD为人工设定。

在此实验中，我们取T＝0.3，TU＝0.15，TD＝0.05。

每一帧检测结束后，对检测结果进行检查，如果存在一区域检测置信度较低，或某一区域检测率低于某一阈值TT，此时对该区域进行R-CNN复检，以最外缘低阈值点为边界点，框选矩形，作为R-CNN的局部检测区域，调用R-CNN复检。如此初检复检安排，融合了YOLOv3的检测迅速优势，并利用R-CNN复检弥补了其位置精度不高的缺陷，在提高检测速度的情况下使得准确率得到保证。

每一帧输出检测结果包括检测框像素坐标x，y，检测框长宽l，w，输出顺序按照检测置信度进行排序。

检测结果叠加：

由于基础权重和强化权重的检测结果有所重叠，我们使用如下规则筛除重叠坐标。对于两个检测框(x₁,y₁,l₁,w₁)，(x₂,y₂,l₂,w₂)，如果他们同时满足以下条件：

|x₁-x₂|＜(l₁/2+l₂/2/2

|y₁-y₂|＜)w₁/2+w₂/2)/2

我们则判定这两检测框为重复框，我们会保留置信度较高的一个检测框，对重复框进行剔除。经过此步骤之后，检测结果中应包含完整的初步的目标车辆检测框，还会残留部分重复检测框以及误检框，多余检测框带来的负面影响我们将在数据关联部分消除。

实例中按照上述步骤，进行基础训练权重检测和强化训练结果检测，并将其合并作为最终检测结果。检测效果如下表所示：

可见，强化训练及R-CNN复检对基础训练的检测效果有一定补全效果，提升了最终检测精度。而少部分漏检在允许范围内，可以通过数据关联及轨迹重构步骤进行补全。

步骤3：对检测结果数据关联生成初始轨迹，此步骤的思路是利用车辆运行的速度位移关系，构造简易时间序列模型对车辆位置进行预测并搜索，在预测区域寻找可关联且未关联的车辆坐标，将此轨迹关联并输出，以此循环关联坐标。具体包括以下子步骤：

判定是否为已存在轨迹：

以选定检测框坐标所在帧作为当前帧，向过去第1帧至过去第I帧搜索，每次搜索帧为第i帧，若存在符合如下公式的检测框，

(i为搜索帧数目)

则判定为已存在轨迹，跳过选定检测框，将下一个检测框作为选定框重复判断。若不存在满足上述条件的检测框，则判定选定检测框是新出现的检测框。

关于搜索帧数目I的说明。I值越大，算法能承担的丢失帧数就越多，重复轨迹数目会减少，同时误判的可能性也会增大。建议I取值不超过5，由于是5帧左右的时间车辆正好走过半个车长，此时坐标点不超出车辆检测框覆盖区域，错误概率较小。

判定是否为连续轨迹：

将已选定检测框坐标所在帧作为当前帧，向未来第1帧至未来第J帧搜索，每次搜索的帧为第j帧，若在J帧中存在J/2以上的帧搜索到符合要求的检测框，则判定为该检测框构成的轨迹连续，可以继续关联生成轨迹。

|x_j-1+v_j-x_j|＜l_h(0＜j≤J)(l_h代表x方向容许偏差)

|y_j-1-y_j|＜w_h(0＜j＜J)(w_h代表y方向容许偏差)

其中，v_j为第j帧计算得到的车辆速度，利用过去的车辆速度与当前帧帧差速度的加权平均得到。

若不符合上述公式，则判定该轨迹为误检产生的过短轨迹，将其筛除，并返回3.1，进行下一检测框的判定。

关于搜索帧数J的确定。J的值越大，算法能够承受目标间断性检测的能力越强，同时也越容易错误关联，若J值过小，则可能将误检产生的短轨迹也判定为连续轨迹，错误轨迹数目增多。考虑到速度变化范围，建议J取值为[4,8]。

关于l_h和w_h取值的确定。l_h和w_h代表x和y方向的容许偏差，用于判断是否为所需检测框，建议取值为车辆检测框长宽的1/2。

关联坐标生成轨迹：

此步骤对满足3.2步骤条件的检测框坐标进行持续数据关联。选定满足3.2条件的检测框作为当前帧，并向未来帧进行搜索，j为搜索帧，若满足如下条件，则持续关联坐标。

|x_j-1+(n+1)v_j-1-x_j|＜l_h(l_h代表x方向容许偏差)

|y_j-1-y_j|＜w_h(w_h代表y方向容许偏差)

若连续不满足上述公式n＝N次，则判定轨迹结束，停止关联。若n<N次，则对轨迹进行插值补全并继续关联。

步骤4：对初步轨迹去噪拼接平滑，具体分为以下两个步骤：

拼接间断轨迹：

首先将关联完成的轨迹进行分类。根据轨迹开始和结束位置，是否与其他轨迹有完全重叠，分为完整轨迹，重复轨迹，误检轨迹和破碎轨迹。完整轨迹不作处理；重复轨迹保留最长的一条轨迹，删除其余短的重复轨迹；误检轨迹根据以下规则剔除；

其中(x₁,y₁)和(x_end,y_end)代表一条轨迹的起止点位置，p代表轨迹持续的帧长度。

而破碎轨迹在此步骤进行拼接处理。

首先按照如下规则选择两段可拼接的破碎轨迹。

0＜f＜f_u

0＜△x＜V_max*F

△y＜w_h

其中，(Δx,△y)所选择的两破碎轨迹的破碎处两点间距，F表示破碎缺失的帧数。满足该要求的两段破碎轨迹作为拼接的备选破碎轨迹。

选择两段满足拼接要求的破碎轨迹按照如下规则进行拼接。

y_f＝f₃(x_f)

其中f表示正在拼接的帧数(f<F)，(x_f,y_f)表示补全点的坐标，(x_e,y_e,l_e,w_e)表示前段轨迹的末点坐标位置及长宽，(x_s,y_s,l_s,w_s)表示后段轨迹的首点坐标位置及长宽。

将拼接完成的轨迹再次分类，判断其是否为完整轨迹，还是仍为破碎轨迹等待下一次拼接。

本例中，关联结果和轨迹重构结果如下表。

由此可见，少量的漏检影响在此步骤被消除。

轨迹噪声去除：

将步骤4.1中拼接完成的完整轨迹在此步骤进行去噪处理。此步骤中去噪采用EEMD信号处理方法，其主要原理如下。

EEMD将轨迹作为信号的形式输入分解为多个不同强度的信号的合成，分解信号个数为轨迹长度的1/倍，这些分解信号被称作IMF，其被视作有效信号与噪声信号的叠加。

X_i(t)＝x(t)+w_i(t)

其中，X_i(t)为轨迹信号，x(t)为有效信号，w_i(t)为噪声信号。

我们设置能量阈值，对每个分解信号进行筛选。每个分解信号的能量表示为：

其中num表示该信号总共包含的散点数，c_j(k)表示分解信号的点集。

如果该分解信号能量满足

log₂E_j＞0

我们则认为该信号为有效信号。有效信号叠加成为x(t)。

本例中，我们对轨迹去噪后的结果，利用速度加速度监测进行评估。速度加速度对比图如图2，可以证明平滑方法的合理性。

步骤5：提取交通流参数：

对提取出的轨迹按照以下公式进行速度、加速度、间隙、车头间距、车头时距等交通流参数提提取。同时，轨迹的速度加速度可以对去噪合理性进行检验。

本例使用该方法框架提取轨迹中提取的交通参数与NGSIM提取的交通参数进行对比。对比效果如图3，可以证明本方法提取轨迹的合理性。

最终提取得到的轨迹绘成时空轨迹图，如图4。

Claims (8)

1.一种基于深度学习的无人机航拍视频轨迹高精度提取方法，其特征在于：包括以下步骤：

S10：获取目标特征信息，制作数据集，取所述数据集中一部分作为训练集，其余部分作为测试集，在训练集上同步训练YOLOv3和R-CNN模型，在测试集上测试YOLOv3和R-CNN模型性能，最终得到基础权重的YOLOv3和R-CNN模型；所述数据集包括已标注的图片和目标位置坐标；

S20：读入无人机航拍视频流，获取当前视频帧；

S30：采用训练好的YOLOv3对当前视频帧进行初检，得到初检结果；采用R-CNN模型对初检结果进行局部复检校核，得到最终检测结果；所述初检结果和复检结果包括检测框像素坐标x，y，检测框长宽l，w；

S40：判断无人机航拍视频流是否结束，若结束，则进行S50，否则获取下一帧视频帧，执行S30；

S50：利用单一车辆运行的速度位移关系，构建时间序列模型对最终检测结果进行预测，寻找可关联且未关联的目标坐标，进行坐标关联，生成初始轨迹；

S60：对初始轨迹进行去噪、拼接、平滑处理，得到高精度车辆行驶轨迹；

其中，所述S50具体包括以下步骤：

S51：以选定检测框坐标所在帧作为当前帧，向过去第1帧至过去第I帧搜索，若存在符合如下公式的检测框：

则判定为已存在轨迹，跳过该选定检测框，将下一个检测框作为选定框重复S51进行判断；若不存在满足上述条件的检测框，则判定选定检测框是新出现的检测框，并执行S52；式中，i为搜索帧数目，x_-1为上一帧纵向位置，x₀为当前帧纵向位置，y_-1为上一帧横向位置，y₀为当前帧横向位置，V_max为理论每帧最大行车速度；

S52：将已选定检测框坐标所在帧作为当前帧，向未来第1帧至未来第J帧搜索，每次搜索的帧为第j帧，若在J帧中存在J/2以上的帧搜索到符合要求的检测框，则执行S53：

|x_j-1+v_j-x_j|＜l_h (0＜j≤J)

|y_j-1-y_j|＜w_h (0＜j＜J)

其中，v_j为第j帧计算得到的车辆速度，利用过去的车辆速度与当前帧帧差速度的加权平均得到，l_h代表x方向容许偏差，w_h代表y方向容许偏差；

若不符合上述公式，则判定该轨迹为误检产生的过短轨迹，将其筛除，返回S51，进行下一检测框的判定；

S53：对满足S52的检测框坐标进行持续数据关联，选定检测框作为当前帧，并向未来帧进行搜索，j为搜索帧，若满足如下条件，则持续关联坐标：

|x_j-1+(n+1)v_j-1-x_j|＜l_h

|y_j-1-y_j|＜w_h

式中，l_h代表x方向容许偏差，w_h代表y方向容许偏差，x_j-1，y_j-1表示搜索帧的前一帧的纵向和横向位置，v_j-1代表搜索帧前一帧的速度，x_j，y_j表示搜索帧的纵向和横向位置；

若连续不满足上述公式，记不满足次数为n，最大不满足次数为N，若n＝N次，则判定轨迹结束，停止关联，得到初步轨迹，若n<N次，则对轨迹进行插值补全并继续关联；

其中，所述S60具体包括以下步骤：

S61：根据初始轨迹的开始和结束位置，判断该初始轨迹与其他轨迹是否有重叠，根据判断情况分为完整轨迹、重复轨迹、误检轨迹和破碎轨迹；完整轨迹不作处理；重复轨迹保留最长的一条轨迹，删除其余短的重复轨迹；误检轨迹根据以下规则剔除；

其中，(x₁,y₁)和(x_end,y_end)代表一条轨迹的起止点位置，p代表轨迹持续的帧长度；

破碎轨迹根据以下步骤进行拼接处理：

首先，按照如下规则选择两段可拼接的破碎轨迹：

0＜f＜f_u

0＜Δx＜V_max*F

Δy＜w_h

其中，(Δx,Δy)所选择的两破碎轨迹的破碎处两点间距，F表示破碎缺失的帧数；满足该要求的两段破碎轨迹作为拼接的备选破碎轨迹；

其次，选择两段满足拼接要求的破碎轨迹按照如下规则进行拼接：

y_f＝f₃(x_f)

其中f表示正在拼接的帧数(f<F)，(x_f,y_f)表示补全点的坐标，(x_e,y_e,l_e,w_e)表示前段轨迹的末点坐标位置及长宽，(x_s,y_s,l_s,w_s)表示后段轨迹的首点坐标位置及长宽；

最后，将拼接完成的轨迹再次分类，判断其是否为完整轨迹，还是仍为破碎轨迹等待下一次拼接；

S62：将S61中的完整轨迹采用EEMD信号处理方法进行去噪处理。

2.根据权利要求1所述的一种基于深度学习的无人机航拍视频轨迹高精度提取方法，其特征在于：所述YOLOv3采用darknet53神经网络框架进行训练与检测；在训练过程中，训练集中的图片被缩放成统一大小后，分批送入darknet53神经网络框架中进行逻辑回归预测；

R-CNN模型使用Alexnet网络；

YOLOv3和R-CNN训练效果均由损失值来评估，进行一次迭代后的训练效果损失(loss)表示如下：

loss＝loss_xy+loss_wh+loss_confidence+loss_class

其中，loss_xy表示检测框中心点误差，loss_wh为检测框长宽的误差，loss_confidence表征检测框置信度误差，loss_class表示检测框分类的误差；

当loss值收敛至不再变化时，YOLOv3和R-CNN模型可以投入使用。

3.根据权利要求1所述的一种基于深度学习的无人机航拍视频轨迹高精度提取方法，其特征在于：所述S10的数据集包括深色车辆和大型车辆的强化数据集，取所述强化数据集中一部分作为强化训练集，所述强化数据集其余部分作为强化测试集，在强化训练集上同步训练YOLOv3和R-CNN模型，在测试集上测试YOLOv3和R-CNN模型性能，最终得到强化权重的YOLOv3和R-CNN模型；所述强化数据集包括已标注的深色车辆和大型车辆的图片和目标位置坐标。

4.根据权利要求1或3所述的一种基于深度学习的无人机航拍视频轨迹高精度提取方法，其特征在于：所述S30具体包括：

S31：采用训练好的YOLOv3对当前视频帧进行初检，得到初检结果及其置信度，判断置信度是否大于设定确定值T，若大于，则确定为正确检测，将该初检结果作为最终检测结果，否则进行S32；

S32：采用R-CNN模型对初检结果进行局部复检校核，得到复检结果及其置信度，判断置信度是否达到确定阈值TU，若达到，则确定该目标为存在目标，否则判断该置信度是否大于TD，若大于，则将该目标作为不确定目标保留，否则否认YOLOv3的检测结果，使用R-CNN的检测结果作为最终检测结果。

5.根据权利要求4所述的一种基于深度学习的无人机航拍视频轨迹高精度提取方法，其特征在于：在所述S32之后，还包括：

S33：当前视频帧检测结束后，按照YOLOv3自带的分类器置信度输出，对最终检测结果进行检查，如果存在一区域检测置信度较低，或某一区域的检测结果平均置信度低于某一阈值TT，此时对该区域进行R-CNN复检，以最外缘低阈值点为边界点，框选矩形，作为R-CNN的局部检测区域，调用R-CNN复检。

6.根据权利要求4所述的一种基于深度学习的无人机航拍视频轨迹高精度提取方法，其特征在于：当采用基础权重的YOLOv3和R-CNN模型得到的检测结果和采用强化权重的YOLOv3和R-CNN模型得到的检测结果有所重叠时，采用如下规则筛除重叠检测框坐标：

对于两个检测框(x₁,y₁,l₁,w₁)，(x₂,y₂,l₂,w₂)，若两个检测框同时满足以下条件：

|x₁-x₂|＜(l₁/2+l₂/2)/2

|y₁-y₂|＜(w₁/2+w₂/2)/2

则判定这两个检测框为重复框，保留置信度高的一个检测框，对另一个检测框进行剔除。

7.根据权利要求1所述的一种基于深度学习的无人机航拍视频轨迹高精度提取方法，其特征在于：所述过去第I帧中的I取值不超过5；所述未来第J帧中的J取值为[4,8]，所述l_h和w_h的取值为检测框长宽的1/2。

8.根据权利要求1所述的一种基于深度学习的无人机航拍视频轨迹高精度提取方法，其特征在于：还包括S70：基于高精度车辆行驶轨迹提取交通流参数，所述交通流参数包括车辆速度、车辆加速度、车头时距、车头间距和前后车间隙，分别表示为：

其中v表示车辆速度，△x表示所求速度帧位置与前一帧实际位置之差，△t表示相邻帧的时间间隔；a表示车辆加速度，△v表示所求加速度当前帧速度与前一帧速度之差；gap表示前后车间隙，x前，l前依次分别表示前车的纵向位置和车长，x后，l后依次分别表示后车的纵向位置和车长；space_headway表示车头间距；time_headway表示车头时距。

Images