CN110007675A - 一种基于行车态势图的车辆自动驾驶决策系统及基于无人机的训练集制备方法 - Google Patents

Abstract

本发明涉及一种基于行车态势图的车辆自动驾驶决策系统及基于无人机的训练集制备方法。该车辆自动驾驶决策系统包括感知层、决策层、控制层以及安全模块，采用行车态势图和卷积神经网络可对周围行车环境进行既准确客观又考虑周围驾驶人心理的感知，经过训练后的以卷积神经网络为主体的学习算法模型可以得到与人类驾驶习惯契合度很高的驾驶决策，提高行车安全性与驾乘舒适性。本发明一并提出的基于无人机的训练数据集制备方法可以简便高效生成大量带标签的行车态势图序列供驾驶决策系统中的学习算法模型训练使用。

Description

一种基于行车态势图的车辆自动驾驶决策系统及基于无人机 的训练集制备方法

技术领域

本发明涉及交通技术领域，特别是涉及一种基于行车态势图的车辆自动驾驶决策系统及基于无人机的训练集制备方法。

背景技术

自动驾驶作为未来车辆智能化发展的必然趋势将对人们的出行乃至生活方式带来极大变革，因而受到社会各界的广泛关注，近年来越来越多的新理论新技术被提出以期实现安全可靠的无人驾驶技术。自动驾驶是一项融合计算机、汽车动力学、人工智能等多领域的复杂综合工程技术，其总体可分为环境感知、决策规划和运动控制三大部分。其中决策规划部分是自动驾驶的核心部分，其通过环境感知部分获取的周围环境态势做出换道、跟驰等驾驶行为决策，并生成对应的轨迹交由运动控制部分进行轨迹跟踪最终实现安全可靠的无人自主驾驶。

现阶段的决策规划系统过于关注驾驶行为和轨迹的安全性，而忽略了驾驶过程中的“人性”，即驾驶行为中可能存在的冒险、赌气、谦让等因素，未来很长一段时间内道路交通系统中都将是自动驾驶车辆和有人驾驶车辆共存的状态，如果自动驾驶车辆的决策规划系统不对驾驶行为中的“人性”加以考虑，很可能发生诸如换道时目标车道后方车辆不“谦让”发生碰撞等事故。这样的担忧并非空穴来风，2016年2月14日，谷歌公司一辆无人驾驶汽车在街头测试时试图绕开道路上的沙袋、向左并入道路中央时，却意外与左侧车道内一辆从后方驶来的公共汽车相撞，这起事故中的公共汽车并未因自动驾驶车辆的换道行为而做出“谦让”，显然谷歌无人车的决策规划系统并未发现后方驾驶员的异常，从而导致了事故的发生。除了“人性”之外，现阶段的决策规划系统对于轨迹规划方面也缺乏“舒适性”的考虑，生成的目标轨迹可能成功避开了所有的障碍物，但却是频繁转弯、频繁启停的轨迹，造成乘员身体的不适感，也将对无人驾驶的普及造成极大阻碍。

不论是跟周围车辆驾驶员在“人性”上的博弈，还是对乘员乘车“舒适性”的考量，都要求自动驾驶车辆的决策规划系统做出更加“以人为本”的决策。而这种“以人为本”的决策规划很难依靠当前被广泛应用的有限状态机实现，学习算法在这方面显现了独特的优势。相较于依靠复杂臃肿又不尽完善的人工设定规则，诸如深度学习等的学习算法通过大规模数据的训练，可以从中提取、归纳、学习到人类驾驶员的“人性化”驾驶行为以及符合乘员舒适性要求的运动轨迹。

然而现阶段基于学习算法的决策规划研究也并不尽如人意，尽管它们在某些特定场景下的效果非常出色，却无法兼容训练场景外的其他场景，这决定了在全工况全时空前提下它们无法被单独使用。一种可行的方案是将学习算法与有限状态机相结合，不同场景如十字路口、丁字路口即是不同的状态，不同的状态对应在相应场景下训练的学习算法。这样的设计很巧妙，但容易发现这种决策规划系统需要很多训练完善的学习算法模型，这将占用极大的储存空间，同时有限状态机中的有些场景并不容易明确划分，如何解决状态划分“灰色地带”的合理决策问题也并非易事。这已成了急需解决的技术问题。

发明内容

本发明所要解决的技术问题是提供一种自动驾驶车辆决策系统，以解决现有驾驶决策系统缺乏“人性”且泛化能力弱的问题，实现对周围有人驾驶车辆运动趋势的有效分析并显著提高行车安全性以及舒适性，同时针对带标签数据集获取困难的问题提供一种基于无人机航拍视频的获取驾驶决策系统内学习算法模型训练集的简易方法。

本申请是通过如下技术方案实现的：

一种基于行车态势图的车辆自动驾驶决策系统，该车辆自动驾驶决策系统包括感知层、决策层、控制层以及安全模块，其特征在于：

所述感知层对视频进行抽象化处理，获取行车态势图序列X，并将所获取的行车态势图序列X传输到决策层进行处理；

所述决策层接收行车态势图序列X，提取行车态势图序列X中的空间特征和运动特征，并将提取的所述空间特征与所述运动特征进行特征融合，得到融合后的特征图Fusion_conv5，将所述融合后的特征图Fusion_conv5输入Net_high卷积神经网络以从低级特征中提取感兴趣的高级特征并得到参考航迹点参数Δx、Δy、Δv和Δα，并进行轨迹拟合以及轨迹更迭；

所述安全模块接收所述感知层的数据进行安全检测以及轨迹更正，具体包括：

从感知系统处获得周围交通参与者的速度值后计算其加速度，当发现其加速度发生突变时以其突变后的加速度计算碰撞危险区域，根据碰撞危险区域修正参考轨迹从而避免碰撞；

所述轨迹更正的具体过程为先沿原轨迹减速行驶，驾驶决策系统根据当前状态重新规划轨迹，之后车辆按照新轨迹行驶；

其中，所述Net_high卷积神经网络为两层卷积层和三层全连接层的结构；

所述感知层对视频进行抽象化处理，具体包括，先截取感兴趣区，然后获取车辆对象，对其进行跟踪获得轨迹参数，最后对图中各物体尺寸进行度量，经过图像处理，获得驾驶决策代入车在决策起始帧对应时刻后0.5s、1.0s和1.5s时对应的行车关键参数，所有交通参与者的位置和外形尺寸，以及交通标线和道路边界的位置和尺寸。

进一步的，所述空间特征是指行车态势图中各个组成元素之间的相对位置关系，通过AlexNet卷积神经网络提取行车态势图中各个交通参与者之间距离、速度、与车道线距离特征，所述空间特征的提取仅限当前时刻tn对应的行车态势图；

在提取所述行车态势图中的空间特征之前，还包括将行车态势图转化为灰度图，并将本车车速、周围车辆车速归一化到取值区间为[0,255]的对应“T”字形、三角形的灰度值，生成速度灰度态势图，所述速度灰度态势图通过图形区分不同的交通参与者。

进一步的，提取所述运动特征具体包括：

使用基于多项式展开的双帧运动估计得到相邻态势图的光流，并将提取的光流数据归一化到取值区间[0,255]中，生成光流灰度图，再通过AlexNet卷积神经网络提取相邻态势图间的运动特征；

所述光流灰度图序列Y表达了交通参与者的运动随时间变化的过程，将所述光流灰度图序列Y中所有光流灰度图在AlexNet卷积神经网络conv5层的像素层数据取均值得到序列整体的运动特征，融合后的特征层以Y_conv5指代。

进一步的，将提取的所述空间特征与所述运动特征进行特征融合，得到融合后的特征图Fusion_conv5，具体包括：

将所述速度灰度态势图的conv5层特征图与所述光流灰度图Y_conv5的对应位置特征图通过如下公式实现对齐并加权求和：

F_fusion＝w_spaceF_space+w_motionF_motion

其中F_space为速度灰度态势图的conv5层特征图的像素层数据矩阵，F_motion为光流灰度图Y_conv5特征图的像素层数据矩阵，F_fusion为融合后的特征图Fusion_conv5的像素层数据矩阵，w_space和w_motion分别为空间特征和运动特征所占权重，且满足w_space+w_motion＝1。

进一步的，将所述融合后的特征图Fusion_conv5输入Net_high卷积神经网络以从低级特征中提取感兴趣的高级特征并得到参考航迹点参数，具体包括：

Fusion_conv5输入Net_high后经过2层卷积层提取其中更高级的与输出参数关系紧密的特征，随后通过3层全连接层后再经softmax函数得到各个取值的概率，选取概率最大值作为输出值；

所述参考航迹点参数Δx、Δy、Δv和Δα的具体含义如下：

Δx：未来本车中心与当前本车中心在当前态势图坐标系下的横坐标之差，取值范围为[-6000cm,6000cm]，精度为2cm；

Δy：未来本车中心与当前本车中心在当前态势图坐标系下的纵坐标之差，取值范围为[-6000cm,6000cm]，精度为2cm；

Δv：未来本车速度值与当前本车速度值之差，取值范围为[-120km/h,120km/h]，精度为0.1km/h；

Δα：未来本车速度方向与当前本车速度方向在当前态势图坐标系下之差，取值范围为[-360°,360°]，精度为0.5°。

进一步的，所述的轨迹拟合具体过程为：

通过Net_high模型获得未来0.5s、1.0s和1.5s时对应的三个参考航迹点后与当前实际航迹点共四个节点可以获得Δx和Δy随时间变化的散点图((Δt)_i,(Δx)_i)和((Δt)_i,(Δy)_i)(i＝0,1,2,3)，通过多项式方程可以分别拟合得到Δx-Δt和Δy-Δt的函数表达式Δx＝f(Δt)和Δy＝g(Δt)，得到Δx和Δy随时间变化的拟合曲线后即可通过求导得到任意时刻车辆在X轴和Y轴的分速度，继而求得车辆任意时刻的速度和航向角；

Δx-Δt和Δy-Δt除了由参考航迹点控制拟合外，通过Net_high模型得到的同一时刻速度与航向角可以求得对应时刻车辆在X轴和Y轴的分速度V_{Δt_x}和V_{Δt_y}，在X轴和Y轴上的分速度分别对应Δx-Δt和Δy-Δt对应散点处曲线的斜率，因此对于Δx-Δy和Δy-Δt的拟合其实可转化为一类带有附加导数条件的多项式拟合；

使用五次多项式对Δx-Δt和Δy-Δt进行拟合，拟合得到的轨迹除了需要满足航迹参考点坐标、速度值和方向的要求外，还要考虑现实环境对于轨迹的客观制约，若不符合约束条件则需要添加矫形航迹参考点以约束轨迹。

进一步的，所述若不符合约束条件则需要添加矫形航迹参考点以约束轨迹，具体包括：

对于Δx-Δt的拟合，设

其中a_k(k＝0,1,2,…,5)为待定系数，曲线经过点((Δt)_i,(Δx)_i)(i＝0,1,…,n)，在对应点处的斜率为f(Δt)的一阶导数为下述公式：

根据最小二乘法可知f(Δt)应使下式取值最小：

为使上式取I得最小值，由多元函数求极值的必要条件可得到下面的公式：

其中j＝0,1,2,…,5，该公式是关于a_k(k＝0,1,2,…,5)的线性方程组，用下述矩阵公式表示为：

其中，n代表样本个数，典型值为n＝4，根据克莱姆法则，该式存在唯一解，即a_k(k＝0,1,2,…,5)，从而得到唯一的Δx＝f(Δt)。

进一步的，所述的矫形航迹参考点的生成方法为将超出约束部分中距离约束距离最远的点按垂直于约束的方向平移至约束区内，平移后的位置距离约束距离为Δd，Δd为满足小于处于约束区内的已有参考点与约束间的距离最小值的随机值。

进一步的，所述轨迹更迭的具体过程为：

当行驶1s后以当前位置重新规划后续行驶轨迹；

在重新规划前车辆控制模块根据Δx-Δt和Δy-Δt的指导改变本车位置后，本车坐标系位置发生变化，后续航迹也需要同步进行坐标更新；

假设本车经上次决策后行驶时长为δt(0<t<1s)，对于Δx-Δt，坐标系的坐标轴正方向保持不变，其轨迹函数更新为f(Δt+δt)。

一种基于无人机的训练集制备方法，该训练集制备方法应用于如权利要求1至9之一所述的车辆自动驾驶决策系统中，其特征在于：

无人机飞行至路段上空后，调整姿态和摄像头角度直至摄像头正对地面，随后将拍摄的视频发送至地面控制站，地面控制站接收到航拍视频后首先对视频图像进行截取，在截取后的航拍图序列中，通过帧间差分法获取车辆，从中随机选取一辆车作为驾驶决策代入车，其余车辆作为互动者；

通过基于Camshift算法的车辆跟踪算法对驾驶决策代入车进行跟踪，以某一帧为决策起始帧分别计算0.5s、1.0s和1.5s后对应帧中驾驶决策代入车的行车关键参数的变化情况，所述行车关键参数包括与当前位置横坐标改变量Δx、与当前位置纵坐标改变量Δy、与当前速度值的改变量Δv以及与当前航向角的改变量Δα；

获得代入车行车关键参数后，对态势图构成的要素的尺寸进行测量，采用分块背景建模对视频帧进行处理得到背景图，对其进行边缘检测后得到连通的像素点，这些连通的像素点即为交通标线和道路边界，行车态势图中通过连通的像素点的长度确定它们的尺寸，以备生成行车态势图时绘制对应尺寸的交通标线和道路边界；

利用背景图与对应视频帧进行差分得到背景差分图，随后对差分图进行膨胀和腐蚀操作，得到的二值图中由像素值255连通的区域即为车辆所占区域，围绕其建立最小外接矩形即可知车辆的外形尺寸；

获得驾驶决策代入车在决策起始帧对应时刻后0.5s、1.0s和1.5s时对应的行车关键参数，所有交通参与者的位置和外形尺寸，以及交通标线和道路边界的位置和尺寸，根据这些数据来构成带标签的行车态势图序列作为所述车辆自动驾驶决策系统中学习算法模型的训练集。

与现有技术相比，本发明的优点在于：

1)采用行车态势图和卷积神经网络可对周围行车环境进行既准确客观又考虑周围驾驶人心理的感知，经过训练后的以卷积神经网络为主体的学习算法模型可以得到与人类驾驶习惯契合度很高的驾驶决策，提高行车安全性与驾乘舒适性。

2)本发明一并提出的基于无人机的训练数据集制备方法可以简便高效生成大量带标签的行车态势图序列供驾驶决策系统中的学习算法模型训练使用。

3)本发明所提出的行车态势图很好地解决了基于学习算法的车辆驾驶决策系统泛化能力弱的缺点，因为无论什么场景皆可抽象为相同规格的行车态势图交由相同的学习算法模型进行处理。

所以综合而言，本发明对于提高车辆自动驾驶系统的总体性能具有极大的意义。

附图说明

图1是本发明提供的车辆自动驾驶决策系统的框架图；

图2是本发明提供的基于无人机的训练集制备的原理；

图3是本发明中的行车态势图；

图4是本发明中的参考航迹点生成示意图；

图5是本发明中的Net_high结构示意图；

图6是本发明中的基本可行域；

图7是本发明中的实际可行区域；

图8是本发明中的轨迹拟合示意图；

图9是本发明中的矫形航迹参考点的生成示意图；

图10是本发明中的安全检定及轨迹修正示例图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

下面将结合附图和实例对本发明作进一步的详细说明。

本发明的车辆自动驾驶决策系统，借助感知层从车辆传感器、车联网数据共享等处获取的环境感知数据进行多源数据融合而生成的车辆处局部交通场景下的行车态势图，从决策前的一段固定长度时间内的一系列行车态势图中均匀抽取固定数量态势图，构成决策参考态势图序列，并输入由卷积神经网络为主体构成的决策系统以得到本车参考航迹点，最后进行拟合以得到期望行车轨迹，并交由车辆控制器进行轨迹跟踪。安全模块时刻监控车辆的行驶安全，若有紧急状况则修正期望轨迹，确保车辆驶离危险区域。

现有的车辆自动驾驶决策系统主要有基于规则算法和基于学习算法两大类。基于规则算法的系统提取驾驶环境中的关键参数如与左右车道的距离、与前方车辆的距离等，通过与人工设定的规则匹配进行行为决策。然而实际驾驶环境复杂多变，不仅涉及到周围车辆、行人等交通参与者的干扰，更重要的是道路类型以及周围建筑物、绿植等固定设施造成可行区域也在不断变化，人力很难建立完备的规则库用以解决复杂多变的驾驶状况。基于学习算法的决策系统虽然可以从大量训练数据中学习人类驾驶员的驾驶经验，但却存在泛化能力差的缺点，在某一场景下表现优越的学习模型在另一场景可能就会失效。

因此本发明提出行车态势图的解决方案，本发明考虑将无人机航拍作为一种简易数据采集手段以大量生成行车态势图序列数据集。无人机飞行至某路段上空后调整姿态和摄像头角度直至摄像头正对地面，随后将拍摄的视频发送至地面控制站，控制站运用图像处理技术对视频进行抽象化处理得到行车态势图序列构成训练数据集。行车态势图为通过多传感器融合生成表征周围驾驶环境的示意图，可以形象化地将其理解为航空无人机俯拍的照片，而且这张照片与真实世界的比例尺为1:400。

行车态势图中邻居车辆被缩小为对应尺寸的等腰锐角三角形，顶角指向行车方向，本车被缩小为对应尺寸的“T”字形，最长边指向行车方向。考虑到车辆行驶过程中一般沿道路前进，驾驶决策涉及的要素集中在道路上，因此行车态势图被设计为长边与“T”字形长边平行的矩形以减少道路两侧建筑物等无关物体对学习模型训练及决策的干扰，态势图长为14cm宽为10cm。

驾驶决策系统由感知层得到行车态势图序列X后首先提取序列中的空间特征和运动特征。空间特征指的是图中各个组成元素之间的相对位置关系，通过AlexNet卷积神经网络提取行车态势图中各个交通参与者之间距离、速度、与车道线距离等特征。空间特征的提取仅限当前时刻t_n对应的行车态势图，序列X内其他态势图并不参与卷积提取，同时为降低决策系统处理难度，在提取空间特征前将行车态势图转化为灰度图，并将本车车速、周围车辆车速(单位km/h)归一化到取值区间为[0,255]的对应“T”字形、三角形的灰度值，称其为“速度灰度态势图”以示区别。此时速度灰度态势图通过图形区分不同的交通参与者，除了本发明目前涉及到的三角形和“T”字形，系统还可以用“V”字形等各种其他带有方向指向性的图形来表征行人、非机动车等交通参与者的尺寸和运动方向。同时通过态势图中图形的灰度值可以知悉交通参与者的运动速度大小，由此将当前时刻各个驾驶决策要素的位置关系、速度关系等都成功且完备地集合在一张图上。

然而仅有当前时刻各个决策要素之间的相互关系虽然可实现安全驾驶，避免碰撞，但却很难实现自动驾驶的拟人化。为实现自动驾驶的拟人化，便要分析序列X内相邻态势图之间的运动变化关系，借助Gunnar Farneback提出的基于多项式展开的双帧运动估计得到相邻态势图的光流，并将提取的光流数据归一化到取值区间为[0,255]转化为灰度图(称其为“光流灰度图”)，进而通过AlexNet卷积神经网络提取相邻态势图之间的运动特征。光流灰度图序列Y表达了交通参与者的运动随时间变化的过程，通过对序列Y的卷积计算提取交通参与者运动变化的特征，可供后续深度神经网络学习其中蕴含的交通参与者的行动意图，由此实现通晓“人性”的驾驶决策系统。

为了分析交通参与者的运动变化过程，不能像提取空间特征时只选取某一帧进行分析，可将序列Y中所有光流灰度图在AlexNet卷积神经网络conv5层的像素层数据取均值得到序列整体的运动特征，融合后的特征层以Y_conv5指代。

行车态势图序列X的空间特征与运动特征分别提取完成后，二者需要进行特征融合后才可输入接下来的更深层次的卷积神经网络，从而在空间和运动两方面分析当前交通态势，并学习得到期望轨迹关键点的各项参数。本发明对速度灰度态势图和光流灰度图序列Y的卷积计算特征提取均只进行至conv5层，随后将速度灰度态势图的conv5层特征图与Y_conv5的对应位置特征图对齐并加权求和。

设F_space和F_motion分别为速度灰度态势图的conv5层特征图和Y_conv5特征图的像素层数据矩阵，则融合后的特征图Fusion_conv5的像素层数据矩阵F_fusion通过下述公式(1)计算：

F_fusion＝w_spaceF_space+w_motionF_motion

其中w_space和w_motion分别为空间特征和运动特征所占权重，且满足w_space+w_motion＝1。

行车态势图序列X的空间特征和运动特征被提取并融合后得到特征图Fusion_conv5，将Fusion_conv5进一步输入不同的卷积神经网络以从低级特征中提取感兴趣的高级特征，并得到期望轨迹参考点的参数Δx，Δy，Δv和Δα，关键点选择为未来0.5s、1.0s和1.5s时的轨迹点，上述各参数含义如下：

·Δx：未来本车中心与当前本车中心在当前态势图坐标系下的横坐标之差，取值范围为[-6000cm,6000cm]，精度为2cm；

·Δy：未来本车中心与当前本车中心在当前态势图坐标系下的纵坐标之差，取值范围为[-6000cm,6000cm]，精度为2cm；

·Δv：未来本车速度值与当前本车速度值之差，取值范围为[-120km/h,120km/h]，精度为0.1km/h；

·Δα：未来本车速度方向与当前本车速度方向在当前态势图坐标系下之差(设逆时针变化为正)，取值范围为[-360°,360°]，精度为0.5°。

将此提取高级特征并生成关键点的参数的卷积神经网络模型设为Net_high，Net_high结构为两层卷积层和三层全连接层。特征图Fusion_conv5输入卷积神经网络模型Net_high后，经过2层卷积层提取其中更高级的与输出参数关系紧密的特征，随后通过3层全连接层后再经softmax函数得到各个取值的概率，选取概率最大值作为输出值。

鉴于学习算法模型的输出具有一定随机性，为保证航迹参考点切实可行，本发明所提自动驾驶决策系统通过可行域对参考点进行修正，基本可行域为受约束的多边形，其满足：与道路边界或者白色实线等交通标线保持安全距离Δx_saferoad，在对向车道的距离应当不超过Δy_{retrogradelimit}，鉴于本发明所提驾驶决策系统生成的相邻两个航迹参考点之间的时间差仅为0.5s，为保证转向的可行性与舒适性，下一参考点与当前参考点之间的连线与当前速度方向之间的角度不应超过45°。

车辆行驶过程中的可行区域不仅受交通标线、道路边界、建筑物等静态物体的影响，其他车辆、非机动车、行人等交通参与者也会对车辆的可行区域造成动态影响，本发明所提决策系统根据其余交通参与者的当前车速推导其下一时间步的可能位置，并设置碰撞危险区域，自动驾驶车辆在基本可行域的基础上排除其他交通参与者的碰撞危险区后即为最终可行域。若下一参考点位于最终可行域内则符合现实环境要求，否则认为参考点不可行，须对此问题参考点进行修正。本发明采用一种简单的参考点修正方法，即将问题参考点以距离其最近的可行域边界线为轴作轴对称变换，变换后的参考点速度大小与方便与原问题参考点保持不变，若轴变换后的参考点仍不位于可行域内则继续选取距离新参考点最近的可行域边界为轴作轴变换直至参考点落于可行域内。

通过Net_high模型获得未来0.5s、1.0s和1.5s时对应的三个参考航迹点后与当前实际航迹点共四个节点可以获得Δx和Δy随时间变化的散点图((Δt)_i,(Δx)_i)和((Δt)_i,(Δy)_i)(i＝0,1,2,3)，通过多项式方程可以分别拟合得到Δx-Δt和Δy-Δt的函数表达式Δx＝f(Δt)和Δy＝g(Δt)，得到Δx和Δy随时间变化的拟合曲线后即可通过求导得到任意时刻车辆在X轴和Y轴的分速度，继而求得车辆任意时刻的速度和航向角。Δx-Δt和Δy-Δt除了由参考航迹点控制拟合外，通过Net_high模型得到的同一时刻速度与航向角可以求得对应时刻车辆在X轴和Y轴的分速度V_{Δt_x}和V_{Δt_y}，在X轴和Y轴上的分速度分别对应Δx-Δt和Δy-Δt对应散点处曲线的斜率，因此对于Δx-Δt和Δy-Δt的拟合其实可转化为一类带有附加导数条件的多项式拟合。

鉴于驾驶决策系仅规划未来1.5s轨迹，因此车辆轨迹不会复杂，因此本发明选择五次多项式对Δx-Δt和Δy-Δt进行拟合。拟合得到的轨迹除了需要尽量满足航迹参考点坐标、速度值和方向的要求外，还要考虑现实环境对于轨迹的客观制约，比如轨迹不能过于靠近道路边界，不能跨越实线等等。若不符合约束条件则需要添加矫形航迹参考点以约束轨迹。以Δx-Δt的拟合为例，设下述公式(2)

其中a_k(k＝0,1,2,…,5)为待定系数，曲线经过点((Δt)_i,(Δx)_i)(i＝0,1,…,n)，在对应点处的斜率为f(Δt)的一阶导数为下述公式(3)：

根据最小二乘法可知f(Δt)应使下式(4)取值最小：

为使式(4)取得最小值，由多元函数求极值的必要条件可得到下面的公式(5)：

即得到下面公式(6)：

其中j＝0,1,2,…,5。式(6)是关于a_k(k＝0,1,2,…,5)的线性方程组，用矩阵公式(7)表示为：

式(7)中n代表样本个数，一般情况下n＝4，由克莱姆法则可以证明该式存在唯一解，即唯一的a_k(k＝0,1,2,…,5)，从而得到唯一的Δx＝f(Δt)。同理可得Δy-Δt的函数g(Δt)。若拟合后的轨迹不符合约束条件则增加样本点个数，使得式(7)中的n增加，但这并不影响式(7)解的唯一性。而所述的矫形航迹参考点的生成方法为将超出约束部分中距离约束距离最远的点按垂直于约束的方向平移至约束区内，平移后的位置距离约束距离为Δd，Δd为满足小于处于约束区内的已有参考点与约束间的距离最小值的随机值。

本发明所提自动驾驶决策系统为适应更广泛的行车环境，以当前本车所处位置为坐标原点，本车行驶方向为Y轴正向，Y轴顺时针旋转90度为X轴正方向建立直角坐标系，以Δx-Δt和Δy-Δt确定行车轨迹。本发明所提决策系统对未来1.5s内的行车轨迹进行规划，为保证决策的时效性与连续性，当行驶1s后以当前位置重新规划后续行驶轨迹，因此决策系统的实际规划周期为1s。在重新规划前车辆控制模块根据Δx-Δt和Δy-Δt的指导改变本车位置后，本车坐标系位置发生变化，后续航迹也需要同步进行坐标更新。假设本车经上次决策后行驶时长为δt(0<t<1s)，以Δx-Δt为例，为减轻车载计算模块的负载，坐标系的坐标轴正方向保持不变，其轨迹函数更新为f(Δt+δt)。

期望轨迹是学习模型在对当前行车态势图序列X经过特征提取后结合人类资深驾驶员以往驾驶经验得到的结果，因此已经实现拟人化预测其他驾驶员的驾驶行为及生成符合驾乘人员生理/心理特征的行车轨迹的目标，原则上无需另外添加预测模块，也无需分析加速度等情况以优化轨迹。但鉴于现实环境复杂多变，为防万一，需要另外设置安全检定及轨迹修正模块以确保轨迹的安全性并及时在紧急状况发生时改出危险区域。

鉴于本发明所提驾驶决策系统的实际规划周期为1s，虽然规划周期很短，但并不意味着不会有突发情况发生，周围驾驶员因接听手机或者其他事件的干扰导致行车速度或者方向突变的情况经常发生在实际生活中。若自动驾驶车辆没有对外界紧急情况作出应对，仍然按照原先规划的轨迹行驶则很有可能与周围车辆发生碰撞。决策系统从感知系统处获得周围交通参与者的速度值后计算其加速度，当发现其加速度发生突变时以其突变后的加速度计算碰撞危险区域，根据碰撞危险区域修正参考轨迹从而避免碰撞。所述的修正参考轨迹的具体过程为先沿原轨迹减速行驶，驾驶决策系统根据当前状态重新规划轨迹，之后车辆按照新轨迹行驶。

本发明所提驾驶决策系统基于多传感器融合后生成的态势图序列进行轨迹规划，模型训练过程中所需的大批次态势图序列的生成尚无简单易行的方法。鉴于态势图与无人机俯拍图之间存在很多相似性，本发明考虑将无人机航拍作为一种简易数据采集手段以大量生成行车态势图序列数据集。无人机飞行至某路段上空后调整姿态和摄像头角度直至摄像头正对地面，随后将拍摄的视频发送至地面控制站，控制站运用图像处理技术对视频进行抽象化处理得到行车态势图序列。

所述的使用图像处理技术对视频进行抽象化处理的具体过程为先截取感兴趣区，通过帧间差分法获取的车辆中随机选取一辆车作为驾驶决策代入车(即行车态势图中“T”字型表示的本车)，其余车辆作为互动者(即态势图中的三角形表示的其他车辆)。通过已有的基于Camshift算法的车辆跟踪算法等对驾驶决策代入车进行跟踪，以某一帧为决策起始帧(即行车态势图序列的最后一帧)分别计算0.5s、1.0s和1.5s后对应帧中驾驶决策代入车的行车关键参数(与当前位置横坐标改变量Δx、与当前位置纵坐标改变量Δy、与当前速度值的改变量Δv以及与当前航向角的改变量Δα)变化情况。通过标定已知目标的长度获得图像像素与实际长度的比例得到实际地面物体与视频帧中的物体之间的比例尺。采用分块背景建模对视频帧进行处理得到背景图，对其进行边缘检测后得到连通的像素点，这些连通的像素点即为交通标线和道路边界，通过连通的像素点的长度确定它们的尺寸。利用背景图与对应视频帧进行差分得到背景差分图，随后对差分图进行膨胀和腐蚀操作，得到的二值图中由像素值255连通的区域即为车辆所占区域，围绕其建立最小外接矩形得到车辆的外形尺寸。经过一系列的图像处理，可获得驾驶决策代入车在决策起始帧对应时刻后0.5s、1.0s和1.5s时对应的行车关键参数，所有交通参与者的位置和外形尺寸，以及交通标线和道路边界的位置和尺寸。根据这些数据便可构成带标签的行车态势图序列作为驾驶决策系统中学习算法模型的训练集。

在本发明一种基于行车态势图的车辆自动驾驶决策系统及基于无人机的训练集制备方法实施例中，本发明所提自动驾驶决策系统的框架和基于无人机的训练集制备方法原理图分别如图1和图2所示。

图1中决策系统接收感知层生成的决策参考态势图序列X后借助卷积神经网络提取图序列中的空间特征及运动特征，经过特征融合后再通过另一组卷积神经网络得到未来几个时间点(本文选择未来0.5s、1.0s及1.5s)的航迹参考点的关键运动参数(与当前位置横坐标改变量Δx、与当前位置纵坐标改变量Δy、与当前速度值的改变量Δv以及与当前航向角的改变量Δα)，通过轨迹拟合得到期望运动轨迹，并交由自动驾驶控制器对轨迹进行跟踪。为保证轨迹的安全性，安全模块时刻检测感知数据，若有危险紧急状况则修正期望轨迹改出危险区域。

图2中无人机飞行至某路段上空后调整姿态和摄像头角度直至摄像头正对地面，随后将拍摄的视频发送至地面控制站，控制站运用图像处理技术对视频进行抽象化处理得到带标签的行车态势图序列数据集。

本实施例中对于本发明所提车辆驾驶决策系统中的态势图，以本车为坐标原点，行车态势图中各边与本车的距离具体如图3所示。自动驾驶车辆行驶过程中，由图1可知驾驶决策系统由感知层得到行车态势图序列X后首先提取序列中的空间特征和运动特征。空间特征提取为通过AlexNet卷积神经网络提取行车态势图中各个交通参与者之间距离、速度、与车道线距离等特征。空间特征的提取仅限当前时刻t_n对应的行车态势图，序列X内其他态势图并不参与卷积提取，同时为降低决策系统处理难度，在提取空间特征前将行车态势图转化为灰度图，并将本车车速、周围车辆车速(单位km/h)归一化到取值区间为[0,255]的对应“T”字形、三角形的灰度值，称其为“速度灰度态势图”以示区别。同时借助GunnarFarneback提出的基于多项式展开的双帧运动估计得到相邻态势图的光流，并将提取的光流数据归一化到取值区间为[0,255]转化为灰度图(称其为“光流灰度图”)，进而通过AlexNet卷积神经网络提取相邻态势图间的运动特征，最后将序列Y中所有光流灰度图在AlexNet卷积神经网络conv5层的像素层数据取均值得到序列整体的运动特征，融合后的特征层以Y_conv5指代。

将速度灰度态势图的conv5层特征图与Y_conv5的对应位置特征图对齐并加权求和后如图4所示将其进一步输入不同的卷积神经网络以从低级特征中提取感兴趣的高级特征并得到期望轨迹参考点的参数Δx，Δy，Δv和Δα，关键点选择为未来0.5s、1.0s和1.5s时的轨迹点。将此提取高级特征并生成关键点的参数的卷积神经网络模型设为Net_high，Net_high结构如图5所示。Fusion_conv5输入Net_high后经过2层卷积层提取其中更高级的与输出参数关系紧密的特征，随后通过3层全连接层后再经softmax函数得到各个取值的概率，选取概率最大值作为输出值。

为保证航迹参考点切实可行，本发明所提自动驾驶决策系统通过可行域对参考点进行修正，基本可行域如图6所示。自动驾驶车辆在基本可行域的基础上排除其他交通参与者的碰撞危险区后即为最终可行域。若下一参考点位于最终可行域内则符合现实环境要求，否则认为参考点不可行，须对此问题参考点进行修正。本发明采用一种简单的参考点修正方法，即将问题参考点以距离其最近的可行域边界线为轴作轴对称变换，变换后的参考点速度大小与方便与原问题参考点保持不变，若轴变换后的参考点仍不位于可行域内则继续选取距离新参考点最近的可行域边界为轴作轴变换直至参考点落于可行域内。

通过Net_high模型获得未来0.5s、1.0s和1.5s时对应的三个参考航迹点后与当前实际航迹点共四个节点可以获得Δx和Δy随时间变化的散点图((Δt)_i,(Δx)_i)和((Δt)_i,(Δy)_i)(i＝0,1,2,3)，如图8所示通过多项式方程可以分别拟合得到Δx-Δt和Δy-Δt的函数表达式Δx＝f(Δt)和Δy＝g(Δt)，得到Δx和Δy随时间变化的拟合曲线后即可通过求导得到任意时刻车辆在X轴和Y轴的分速度，继而求得车辆任意时刻的速度和航向角。本发明选择五次多项式对Δx-Δt和Δy-Δt进行拟合。拟合得到的轨迹除了需要尽量满足航迹参考点坐标、速度值和方向的要求外，还要考虑现实环境对于轨迹的客观制约，比如轨迹不能过于靠近道路边界，不能跨越实线等等。图8所示场景下的轨迹限制为X_limit1<Δx<X_limit2，因此拟合后的f(Δt)在任意Δt取值下其函数值Δx均不得超过区间[X_limit1,X_limit2]，若不符合约束条件则需要添加矫形航迹参考点以约束轨迹。本发明按图9所示选取增加的样本点，将超出约束部分中距离约束距离最远的点按垂直于约束的方向平移至约束区内，平移后的位置距离约束距离为Δd，Δd为满足0<Δd<Δd1<Δd2的随机值。

自动驾驶车辆每行驶1s即以当前位置重新规划后续行驶轨迹，在重新规划前车辆控制模块根据Δx-Δt和Δy-Δt的指导改变本车位置后，本车坐标系位置发生变化，后续航迹也需要同步进行坐标更新。假设本车经上次决策后行驶时长为δt(0<t<1s)，以Δx-Δt为例，为减轻车载计算模块的负载，坐标系的坐标轴正方向保持不变，其轨迹函数更新为f(Δt+δt)。

行驶过程中若遇紧急情况，车辆先沿原轨迹减速行驶，驾驶决策系统根据当前状态重新规划轨迹，之后车辆按照新轨迹行驶。如图10举例展示了本发明所提驾驶决策系统在超车中途遇到前方车辆加速的处理过程。驾驶决策系统原本规划的轨迹如图10(a)所示，但超车中途原本应当被超过的车辆却加速行驶，如图10(b)所示安全检测模块以目标车辆加速后的速度推算得出按原先轨迹继续行驶会发生碰撞事故，因此决策系统如图10(c)所示在原轨迹的基础上减速，并立即通过决策系统中的学习算法模型重新计算新轨迹，之后如图10(d)所示按照新轨迹行驶。

在自动驾驶系统投入使用前，使用本发明提出的基于无人机的训练集制备方法采集的带标签训练数据对自动驾驶系统中的学习算法模型进行训练。本实施例中关于本发明所提基于无人机的训练集制备方法的具体过程为地面控制站接收到航拍视频后首先对视频图像进行截取。无人机在高空悬停俯拍地面交通，航拍图中除了与生成行车态势图相关的局部路段上的交通参与者外，路旁的建筑物等皆与驾驶决策无关，应当只截取局部图像将它们去除以降低训练过程中的无关干扰。在截取后的航拍图序列中通过帧间差分法获取车辆，从中随机选取一辆车作为驾驶决策代入车(即行车态势图中“T”字型表示的本车)，其余车辆作为互动者(即态势图中的三角形表示的其他车辆)。通过已有的基于Camshift算法的车辆跟踪算法等对驾驶决策代入车进行跟踪，以某一帧为决策起始帧(即行车态势图序列的最后一帧)分别计算0.5s、1.0s和1.5s后对应帧中驾驶决策代入车的行车关键参数(与当前位置横坐标改变量Δx、与当前位置纵坐标改变量Δy、与当前速度值的改变量Δv以及与当前航向角的改变量Δα)变化情况。当然这些值都应当以真实世界的尺寸来衡量而并非图像中的像素，这涉及到实际地面物体与视频帧中的物体之间的比例尺，而比例尺可通过标定已知目标的长度获得图像像素与实际长度的比例。

获得代入车行车关键参数后还需要对态势图构成的要素的尺寸进行测量，采用分块背景建模对视频帧进行处理得到背景图，对其进行边缘检测后得到连通的像素点，这些连通的像素点即为交通标线和道路边界，行车态势图中并不需要对它们进行区分，只需要通过连通的像素点的长度确定它们的尺寸即可，以备生成行车态势图时绘制对应尺寸的交通标线和道路边界。利用背景图与对应视频帧进行差分得到背景差分图，随后对差分图进行膨胀和腐蚀操作，得到的二值图中由像素值255连通的区域即为车辆所占区域，围绕其建立最小外接矩形即可知车辆的外形尺寸。

至此经过一系列的图像处理，可获得驾驶决策代入车在决策起始帧对应时刻后0.5s、1.0s和1.5s时对应的行车关键参数，所有交通参与者的位置和外形尺寸，以及交通标线和道路边界的位置和尺寸。根据这些数据便可构成带标签的行车态势图序列作为驾驶决策系统中学习算法模型的训练集。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现，相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。

需要说明的是，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种基于行车态势图的车辆自动驾驶决策系统，该车辆自动驾驶决策系统包括感知层、决策层、控制层以及安全模块，其特征在于：

所述感知层对视频进行抽象化处理，获取行车态势图序列X，并将所获取的行车态势图序列X传输到决策层进行处理；

所述决策层接收行车态势图序列X，提取行车态势图序列X中的空间特征和运动特征，并将提取的所述空间特征与所述运动特征进行特征融合，得到融合后的特征图Fusion_conv5，将所述融合后的特征图Fusion_conv5输入Net_high卷积神经网络以从低级特征中提取感兴趣的高级特征并得到参考航迹点参数Δx、Δy、Δv和Δα，并进行轨迹拟合以及轨迹更迭；

所述安全模块接收所述感知层的数据进行安全检测以及轨迹更正，具体包括：

从感知系统处获得周围交通参与者的速度值后计算其加速度，当发现其加速度发生突变时以其突变后的加速度计算碰撞危险区域，根据碰撞危险区域修正参考轨迹从而避免碰撞；

所述轨迹更正的具体过程为先沿原轨迹减速行驶，驾驶决策系统根据当前状态重新规划轨迹，之后车辆按照新轨迹行驶；

其中，所述Net_high卷积神经网络为两层卷积层和三层全连接层的结构；

所述感知层对视频进行抽象化处理，具体包括，先截取感兴趣区，然后获取车辆对象，对其进行跟踪获得轨迹参数，最后对图中各物体尺寸进行度量，经过图像处理，获得驾驶决策代入车在决策起始帧对应时刻后0.5s、1.0s和1.5s时对应的行车关键参数，所有交通参与者的位置和外形尺寸，以及交通标线和道路边界的位置和尺寸。

2.根据权利要求1所述的车辆自动驾驶决策系统，其特征在于：

所述空间特征是指行车态势图中各个组成元素之间的相对位置关系，通过AlexNet卷积神经网络提取行车态势图中各个交通参与者之间距离、速度、与车道线距离特征，所述空间特征的提取仅限当前时刻t_n对应的行车态势图；

在提取所述行车态势图中的空间特征之前，还包括将行车态势图转化为灰度图，并将本车车速、周围车辆车速归一化到取值区间为[0,255]的对应“T”字形、三角形的灰度值，生成速度灰度态势图，所述速度灰度态势图通过图形区分不同的交通参与者。

3.根据权利要求1所述的车辆自动驾驶决策系统，其特征在于，提取所述运动特征具体包括：

使用基于多项式展开的双帧运动估计得到相邻态势图的光流，并将提取的光流数据归一化到取值区间[0,255]中，生成光流灰度图，再通过AlexNet卷积神经网络提取相邻态势图间的运动特征；

所述光流灰度图序列Y表达了交通参与者的运动随时间变化的过程，将所述光流灰度图序列Y中所有光流灰度图在AlexNet卷积神经网络conv5层的像素层数据取均值得到序列整体的运动特征，融合后的特征层以Y_conv5指代。

4.根据权利要求1所述的车辆自动驾驶决策系统，其特征在于，将提取的所述空间特征与所述运动特征进行特征融合，得到融合后的特征图Fusion_conv5，具体包括：

将所述速度灰度态势图的conv5层特征图与所述光流灰度图Y_conv5的对应位置特征图通过如下公式实现对齐并加权求和：

F_fusion＝w_spaceF_space+w_motionF_motion

其中F_space为速度灰度态势图的conv5层特征图的像素层数据矩阵，F_motion为光流灰度图Y_conv5特征图的像素层数据矩阵，F_fusion为融合后的特征图Fusion_conv5的像素层数据矩阵，w_space和w_motion分别为空间特征和运动特征所占权重，且满足w_space+w_motion＝1。

5.根据权利要求1所述的车辆自动驾驶决策系统，其特征在于，将所述融合后的特征图Fusion_conv5输入Net_high卷积神经网络以从低级特征中提取感兴趣的高级特征并得到参考航迹点参数，具体包括：

Fusion_conv5输入Net_high后经过2层卷积层提取其中更高级的与输出参数关系紧密的特征，随后通过3层全连接层后再经softmax函数得到各个取值的概率，选取概率最大值作为输出值；

所述参考航迹点参数Δx、Δy、Δv和Δα的具体含义如下：

Δx：未来本车中心与当前本车中心在当前态势图坐标系下的横坐标之差，取值范围为[-6000cm,6000cm]，精度为2cm；

Δy：未来本车中心与当前本车中心在当前态势图坐标系下的纵坐标之差，取值范围为[-6000cm,6000cm]，精度为2cm；

Δv：未来本车速度值与当前本车速度值之差，取值范围为[-120km/h,120km/h]，精度为0.1km/h；

Δα：未来本车速度方向与当前本车速度方向在当前态势图坐标系下之差，取值范围为[-360°,360°]，精度为0.5°。

6.根据权利要求1所述的车辆自动驾驶决策系统，其特征在于，所述的轨迹拟合具体过程为：

通过Net_high模型获得未来0.5s、1.0s和1.5s时对应的三个参考航迹点后与当前实际航迹点共四个节点可以获得Δx和Δy随时间变化的散点图((Δt)_i,(Δx)_i)和((Δt)_i,(Δy)_i)(i＝0,1,2,3)，通过多项式方程可以分别拟合得到Δx-Δt和Δy-Δt的函数表达式Δx＝f(Δt)和Δy＝g(Δt)，得到Δx和Δy随时间变化的拟合曲线后即可通过求导得到任意时刻车辆在X轴和Y轴的分速度，继而求得车辆任意时刻的速度和航向角；

Δx-Δt和Δy-Δt除了由参考航迹点控制拟合外，通过Net_high模型得到的同一时刻速度与航向角可以求得对应时刻车辆在X轴和Y轴的分速度V_{Δt_x}和V_{Δt_y}，在X轴和Y轴上的分速度分别对应Δx-Δt和Δy-Δt对应散点处曲线的斜率，因此对于Δx-Δt和Δy-Δt的拟合其实可转化为一类带有附加导数条件的多项式拟合；

使用五次多项式对Δx-Δt和Δy-Δt进行拟合，拟合得到的轨迹除了需要满足航迹参考点坐标、速度值和方向的要求外，还要考虑现实环境对于轨迹的客观制约，若不符合约束条件则需要添加矫形航迹参考点以约束轨迹。

7.根据权利要求1所述的车辆自动驾驶决策系统，其特征在于，所述若不符合约束条件则需要添加矫形航迹参考点以约束轨迹，具体包括：

对于Δx-Δt的拟合，设

其中a_k(k＝0,1,2,…,5)为待定系数，曲线经过点((Δt)_i,(Δx)_i)(i＝0,1,…,n)，在对应点处的斜率为V_{(Δt)i_x}。f(Δt)的一阶导数为下述公式：

根据最小二乘法可知f(Δt)应使下式取值最小：

为使上式取I得最小值，由多元函数求极值的必要条件可得到下面的公式：

其中j＝0,1,2,…,5，该公式是关于a_k(k＝0,1,2,…,5)的线性方程组，用下述矩阵公式表示为：

其中，n代表样本个数，典型值为n＝4，根据克莱姆法则，该式存在唯一解，即a_k(k＝0,1,2,…,5)，从而得到唯一的Δx＝f(Δt)。

8.根据权利要求1所述的车辆自动驾驶决策系统，其特征在于，

所述的矫形航迹参考点的生成方法为将超出约束部分中距离约束距离最远的点按垂直于约束的方向平移至约束区内，平移后的位置距离约束距离为Δd，Δd为满足小于处于约束区内的已有参考点与约束间的距离最小值的随机值。

9.根据权利要求1所述的基于行车态势图的车辆自动驾驶决策系统及基于无人机的训练集制备方法，其特征在于，所述轨迹更迭的具体过程为：

当行驶1s后以当前位置重新规划后续行驶轨迹；

在重新规划前车辆控制模块根据Δx-Δt和Δy-Δt的指导改变本车位置后，本车坐标系位置发生变化，后续航迹也需要同步进行坐标更新；

假设本车经上次决策后行驶时长为δt(0<t<1s)，对于Δx-Δt，坐标系的坐标轴正方向保持不变，其轨迹函数更新为f(Δt+δt)。

10.一种基于无人机的训练集制备方法，该训练集制备方法应用于如权利要求1至9之一所述的车辆自动驾驶决策系统中，其特征在于：

无人机飞行至路段上空后，调整姿态和摄像头角度直至摄像头正对地面，随后将拍摄的视频发送至地面控制站，地面控制站接收到航拍视频后首先对视频图像进行截取，在截取后的航拍图序列中，通过帧间差分法获取车辆，从中随机选取一辆车作为驾驶决策代入车，其余车辆作为互动者；

通过基于Camshift算法的车辆跟踪算法对驾驶决策代入车进行跟踪，以某一帧为决策起始帧分别计算0.5s、1.0s和1.5s后对应帧中驾驶决策代入车的行车关键参数的变化情况，所述行车关键参数包括与当前位置横坐标改变量Δx、与当前位置纵坐标改变量Δy、与当前速度值的改变量Δv以及与当前航向角的改变量Δα；

获得代入车行车关键参数后，对态势图构成的要素的尺寸进行测量，采用分块背景建模对视频帧进行处理得到背景图，对其进行边缘检测后得到连通的像素点，这些连通的像素点即为交通标线和道路边界，行车态势图中通过连通的像素点的长度确定它们的尺寸，以备生成行车态势图时绘制对应尺寸的交通标线和道路边界；

利用背景图与对应视频帧进行差分得到背景差分图，随后对差分图进行膨胀和腐蚀操作，得到的二值图中由像素值255连通的区域即为车辆所占区域，围绕其建立最小外接矩形即可知车辆的外形尺寸；

获得驾驶决策代入车在决策起始帧对应时刻后0.5s、1.0s和1.5s时对应的行车关键参数，所有交通参与者的位置和外形尺寸，以及交通标线和道路边界的位置和尺寸，根据这些数据来构成带标签的行车态势图序列作为所述车辆自动驾驶决策系统中学习算法模型的训练集。