CN112721950A - 一种基于深度学习的自主车辆控制方法及系统 - Google Patents

Abstract

本发明涉及一种自动驾驶的技术领域，揭露了一种基于深度学习的自主车辆控制方法，包括：获取车辆位置图像，并利用基于逆透视映射的鸟瞰图生成算法对所述车辆位置图像处理，生成车辆位置鸟瞰图；利用区域生长法处理鸟瞰图，分割出车辆可行区域以及车辆行驶道路的盲区起始点；根据车辆可行区域，利用车辆轨迹生成算法生成当前时刻车辆的轨迹；将当前时刻车辆的状态、轨迹以及盲区区域作为输入，利用基于深度学习的车辆策略控制模型进行下一时刻车辆路径的规划，得到若干候选路径；根据安全路径筛选条件对候选路径进行筛选。本发明还提供了一种基于深度学习的自主车辆控制系统。本发明实现了车辆的自动驾驶。

Description

一种基于深度学习的自主车辆控制方法及系统

技术领域

本发明涉及自动驾驶的技术领域，尤其涉及一种基于深度学习的自主车辆控制方法及系统。

背景技术

随着科技的发展与深度学习技术的研究，人工智能领域在近些年来取得了惊人的成就，而这些技术也逐渐渗透进了生活中的方方面面，其中就包括人们日常出行所依赖的交通工具。自动驾驶技术毫无疑问是人工智能在汽车领域进军的主要阵地。

自动驾驶，是一项旨在借助传感器收集车身与路面环境信息，依靠计算机视觉、数据融合等人工智能技术来实现车身在没有任何人类的主动操作下，能够自动规划路径并安全控制车身运动的技术，它囊括了计算机视觉、雷达技术、数据融合、机械控制、路径规划、优化理论等许多交叉学科领域。

现有自主车辆控制方法存在潜在交通危险场景单一的问题，其主要针对能见度限制的交叉路口，但实际存在的潜在交通危险场景远不止这一种；当前多数针对自主车辆控制方法的研究聚焦于给定模型的参数进行策略优化，缺乏面对复杂运行环境和多样运营需求的鲁棒性、适应性以及自学习性。

鉴于此，如何确定车辆驾驶过程中的潜在交通危险场景，并根据所确定的潜在交通危险场景进行车辆控制路径规划，成为本领域技术人员亟待解决的问题。

发明内容

本发明提供一种基于深度学习的自主车辆控制方法，通过利用结合鸟瞰图和区域生长算法的车辆位置确定算法得到当前车辆所处的位置，并利用车辆轨迹生成算法生成当前时刻车辆的轨迹，从而利用基于深度学习的车辆策略控制模型进行下一时刻车辆路径的规划。

为实现上述目的，本发明提供的一种基于深度学习的自主车辆控制方法，包括：

获取车辆位置图像，并利用基于逆透视映射的鸟瞰图生成算法对所述车辆位置图像处理，生成车辆位置鸟瞰图；

利用区域生长法处理鸟瞰图，分割出车辆可行区域以及车辆行驶道路的盲区起始点；

根据车辆可行区域，利用车辆轨迹生成算法生成当前时刻车辆的轨迹；

将当前时刻车辆的状态、轨迹以及盲区区域作为输入，利用基于深度学习的车辆策略控制模型进行下一时刻车辆路径的规划，得到若干候选路径；

设置安全路径筛选条件，并根据安全路径筛选条件对候选路径进行筛选，筛选得到的路径即为车辆后续时刻的路径。

可选地，所述利用基于逆透视映射的鸟瞰图生成算法对所述车辆位置图像处理，包括：

在本发明一个具体实施例中，本发明在车辆上方设置若干摄影机，摄影机所拍摄的图像即为车辆位置图像；

所述基于逆透视映射的鸟瞰图生成算法流程为：

若摄影机的分辨率为M×N，角孔径为2α，将摄影机所拍摄得到的车辆位置图像转换为鸟瞰图，其中(x，y，z)为摄影机中的三维图像，(u，v)为转换后的鸟瞰图：

v(x，y，0)＝k_N(ψ(x，y，0)-θ+α)

其中：

γ和θ为摄像机的偏航角和倾斜角。

可选地，所述利用区域生长法处理鸟瞰图，包括：

在鸟瞰图中选取四连通区域，生长准则为从所有待分析的像素点中选择一个像素点，该点的灰度值和已经分割好区域灰度均值的差的绝对值是最小的；

在本发明一个具体实施例中，生长停止条件为：所有待分析的邻域像素点和已经分割好的区域像素点的灰度值距离大于0.06；

区域生长结果图中的白色像素对应原始图像中的可行区域，即车辆视野前方的可行驶道路。

可选地，所述分割出车辆行驶道路的盲区起始点，包括：

由于遮挡物会在车辆的可行区域内造成遮挡，导致鸟瞰图上车辆的可行区域会形成一个向内凹的豁口，因此本发明利用Canny算子提取可行区域的轮廓，对提取出的轮廓信息进行遍历，寻找轮廓中的凸包；

将这些凸包用连接线连接起来，绘制出凹区域；

求解出每个凹区域内轮廓上的凹点距离相对应的连接线上最远的点，该点即为所需的盲区与遮挡物交界的起始点。

可选地，所述利用车辆轨迹生成算法生成当前时刻车辆的轨迹，包括：

1)在车辆可行区域内定义车辆参考路径，本发明将其设置为车辆可行区域空间内一组离散的点r_s，这些离散的点构成道路参考线；s是表示沿参考路径纵向移动距离的变量，结合横向位移变量d，状态(s，d)构成路径轨迹图中的一个坐标点；

2)将当前车辆在鸟瞰图中的位置(x₀，y₀)转换为路径轨迹图中的起始点(s₀，d₀)：

s₀＝arg min(x₀-r_s)

d₀＝(x₀-r(s₀))^Tn_r(s₀)

其中：

n_r(s₀)为路径s₀的法向量；

3)获取车辆当前的航向角θ₀、纵向速度v₀、曲率k₀和加速度a₀，在本发明一个实施例中，本发明在车辆中设置速度控制器用来获取上述车辆参数；

4)生成车辆在车辆轨迹中连接初始状态i₀和期望的最终状态i_f：

i₀＝(s0，s′₀，d₀，d′₀)^T

i_f＝(s_f，s′_f，d_f，d′_f)^T

s′₀，s′_f为连接初始状态和最终状态的期望纵向速度；

d′₀，d′_f为连接初始状态和最终状态的期望横向速度；

连接初始状态和期望的最终状态，连接结果即为当前时刻车辆的候选轨迹。

可选地，所述利用基于深度学习的车辆策略控制模型进行下一时刻车辆路径的规划，包括：

1)将车辆当前速度v_t、车辆位置x_t、盲区区域和车辆轨迹s作为基于深度学习的车辆策略控制模型的输入，网络输出层的每个神经元的输出值对应下一步动作(a^j，b^j，v′_j)的概率，其中a表示加/减速，b表示方向；在本发明一个具体实施例中，车辆在盲区区域选择减速动作；

2)采用动作选取策略生成车辆控制指令，即以β的概率随机选择(a^j，b^j，v′_j)的组合，并以1-β的概率选取神经网络输出最大概率值对应的动作action＝arg max p((a^j，b^j，v′_j)|i_t)；

若t时刻最终输出的车辆控制指令为action_t，则该动作选取策略为：

其中：

|A(i_t)|为输出动作空间中组合(a^j，b^j，v′_j)的数量；

3)评估控制策略轨迹，所述车辆控制策略轨迹可表示为：

τ＝{i₁，a₁，r₁，...，i_k，a_k，r_k}

其中：

i_k表示控制策略轨迹中k时刻车辆状态；

a_k表示k时刻车辆的控制动作；

r_k为k时刻车辆采取动作a_k后获得的奖励值；

所述每一步奖励值r_k的计算公式为：

其中：

λ为奖励值中准时性的权重系数；

s为t时刻车辆所形式距离；

v为车辆速度；

F为车辆牵引力；

x为车辆位置；

4)基于策略梯度法的更新规则对神经网络的参数进行更新：

根据最终的神经网络参数，输出k条车辆运行轨迹作为候选路径。

可选地，所述安全路径筛选条件为：

(1)允许的最大纵向加速度a_max；

(2)允许的最大曲率k_max；

(3)允许的最大向心加速度c_max；

超过上述任意限制的候选路径将被筛除；最终筛选得到的距离长度最小的路径即为车辆后续时刻的路径。

此外，为实现上述目的，本发明还提供一种基于深度学习的自主车辆控制系统，所述系统包括：

车辆位置确定装置，用于获取车辆位置图像，并利用基于逆透视映射的鸟瞰图生成算法对所述车辆位置图像处理，生成车辆位置鸟瞰图；

车辆处理器，用于利用区域生长法处理鸟瞰图，分割出车辆可行区域以及车辆行驶道路的盲区起始点，同时根据车辆可行区域，利用车辆轨迹生成算法生成当前时刻车辆的轨迹；

自主车辆控制装置，用于将当前时刻车辆的状态、轨迹以及盲区区域作为输入，利用基于深度学习的车辆策略控制模型进行下一时刻车辆路径的规划，得到若干候选路径，从而根据安全路径筛选条件对候选路径进行筛选，筛选得到的路径即为车辆后续时刻的路径。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有自主车辆控制程序指令，所述自主车辆控制程序指令可被一个或者多个处理器执行，以实现如上所述的基于深度学习的自主车辆控制的实现方法的步骤。

相对于现有技术，本发明提出一种基于深度学习的自主车辆控制方法，该技术具有以下优势：

首先，由于遮挡物会在车辆的可行区域内造成遮挡，导致鸟瞰图上车辆的可行区域会形成一个向内凹的豁口，因此本发明利用Canny算子提取可行区域的轮廓，对提取出的轮廓信息进行遍历，寻找轮廓中的凸包，然后将这些凸包用连接线连接起来，绘制出凹区域；求解出每个凹区域内轮廓上的凹点距离相对应的连接线上最远的点，该点即为所需的盲区与遮挡物交界的起始点；根据所确定的盲区区域，在后续车辆路径规划中选择在盲区区域进行减速处理，提高自主车辆控制的安全性。

同时本发明提出一种基于深度学习的车辆策略控制模型进行下一时刻车辆路径的规划，将车辆当前速度v_t、车辆位置x_t、盲区区域和车辆轨迹s作为基于深度学习的车辆策略控制模型的输入，网络输出层的每个神经元的输出值对应下一步动作(a^j，b^j，v′_j)的概率，其中a表示加/减速，b表示方向，为避免陷入局部最优策略，采用动作选取策略生成车辆控制指令，即以β的概率随机选择(a^j，b^j，v′_j)的组合，并以1-β的概率选取神经网络输出最大概率值对应的动作action＝arg max p((a^j，b^j，v′_j)|i_t)；若t时刻最终输出的车辆控制指令为action_t，则该动作选取策略为：

其中：|A(i_t)|为输出动作空间中组合(a^j，b^j，v′_j)的数量；同时评估控制策略轨迹，所述车辆控制策略轨迹可表示为：

τ＝{i₁，a₁，r₁，...，i_k，a_k，r_k}

其中：i_k表示控制策略轨迹中k时刻车辆状态；a_k表示k时刻车辆的控制动作；r_k为k时刻车辆采取动作a_k后获得的奖励值；所述每一步奖励值r_k的计算公式为：

其中：λ为奖励值中准时性的权重系数；s为t时刻车辆所形式距离；v为车辆速度；F为车辆牵引力；x为车辆位置；并基于策略梯度法的更新规则对神经网络的参数进行更新：

根据最终的神经网络参数，输出k条车辆运行轨迹作为候选路径；相较于传统算法，本发明所述基于深度学习的车辆策略控制模型通过对车辆运行历史数据的持续学习，不断优化神经网络参数，同时采取动作选取策略生成车辆控制指令，即以β的概率随机选择(a^j，b^j，v′_j)的组合，并以1-β的概率选取神经网络输出最大概率值对应的动作，将车辆能耗E_t作为策略控制模型的奖励值，其值越大，奖励值越低，实现在每个离散时间点，根据当前车辆的状态(a^j，b^j，v′_j)选择下一时间点车辆的动作，得到若干下一时间点可行的车辆动作，通过循环执行上述步骤，得到若干车辆从当前所在位置到目的位置的动作策略路径，通过计算不同动作策略路径的车辆能耗，将车辆能耗最小的动作策略路径作为最终的车辆路径，在减少自主车辆控制能耗的基础上实现自主车辆控制。

附图说明

图1为本发明一实施例提供的一种基于深度学习的自主车辆控制方法的流程示意图；

图2为本发明一实施例提供的一种基于深度学习的自主车辆控制系统的结构示意图；

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

通过利用结合鸟瞰图和区域生长算法的车辆位置确定算法得到当前车辆所处的位置，并利用车辆轨迹生成算法生成当前时刻车辆的轨迹，从而利用基于深度学习的车辆策略控制模型进行下一时刻车辆路径的规划。参照图1所示，为本发明一实施例提供的基于深度学习的自主车辆控制方法示意图。

在本实施例中，基于深度学习的自主车辆控制方法包括：

S1、获取车辆位置图像，并利用基于逆透视映射的鸟瞰图生成算法对所述车辆位置图像处理，生成车辆位置鸟瞰图。

首先，本发明获取车辆位置图像，在本发明一个具体实施例中，本发明在车辆上方设置若干摄影机，摄影机所拍摄的图像即为车辆位置图像；

所述基于逆透视映射的鸟瞰图生成算法流程为：

若摄影机的分辨率为M×N，角孔径为2α，将摄影机所拍摄得到的车辆位置图像转换为鸟瞰图，其中(x，y，z)为摄影机中的三维图像，(u，v)为转换后的鸟瞰图：

v(x，y，0)＝k_N(ψ(x，y，0)-θ+α)

其中：

γ和θ为摄像机的偏航角和倾斜角。

S2、利用区域生长法处理鸟瞰图，分割出车辆可行区域以及车辆行驶道路的盲区起始点。

进一步地，本发明利用区域生长法处理鸟瞰图，详细地，本发明在鸟瞰图中选取四连通区域，生长准则为从所有待分析的像素点中选择一个像素点，该点的灰度值和已经分割好区域灰度均值的差的绝对值是最小的；在本发明一个具体实施例中，生长停止条件为：所有待分析的邻域像素点和已经分割好的区域像素点的灰度值距离大于0.06；区域生长结果图中的白色像素对应原始图像中的可行区域，即车辆视野前方的可行驶道路。

由于遮挡物会在车辆的可行区域内造成遮挡，导致鸟瞰图上车辆的可行区域会形成一个向内凹的豁口，因此本发明利用Canny算子提取可行区域的轮廓，对提取出的轮廓信息进行遍历，寻找轮廓中的凸包，然后将这些凸包用连接线连接起来，绘制出凹区域；求解出每个凹区域内轮廓上的凹点距离相对应的连接线上最远的点，该点即为所需的盲区与遮挡物交界的起始点。

S3、根据车辆可行区域，利用车辆轨迹生成算法生成当前时刻车辆的轨迹。

进一步地，根据所述车辆可行区域，本发明利用车辆轨迹生成算法生成当前时刻车辆的轨迹，所述车辆轨迹生成算法流程为：

1)在车辆可行区域内定义车辆参考路径，本发明将其设置为车辆可行区域空间内一组离散的点r_s，这些离散的点构成道路参考线；s是表示沿参考路径纵向移动距离的变量，结合横向位移变量d，状态(s，d)构成路径轨迹图中的一个坐标点；

2)将当前车辆在鸟瞰图中的位置(x₀，y₀)转换为路径轨迹图中的起始点(s₀，d₀)：

s₀＝arg min(x₀-r_s)

d₀＝(x₀-r(s₀))^Tn_r(s₀)

其中：

n_r(s₀)为路径s₀的法向量；

3)获取车辆当前的航向角θ₀、纵向速度v₀、曲率k₀和加速度a₀，在本发明一个实施例中，本发明在车辆中设置速度控制器用来获取上述车辆参数；

4)生成车辆在车辆轨迹中连接初始状态i₀和期望的最终状态i_f：

i₀＝(s₀，s′₀，d₀，d′₀)^T

i_f＝(s_f，s′_f，d_f，d′_f)^T

s′₀，s′_f为连接初始状态和最终状态的期望纵向速度；

d′₀，d′_f为连接初始状态和最终状态的期望横向速度；

连接初始状态和期望的最终状态，连接结果即为当前时刻车辆的候选轨迹。

S4、将当前时刻车辆的状态和轨迹作为输入，利用基于深度学习的车辆策略控制模型进行下一时刻车辆路径的规划，得到若干候选路径。

进一步地，本发明将当前时刻车辆的状态和轨迹作为输入，利用基于深度学习的车辆策略控制模型进行下一时刻车辆路径的规划，所述利用基于深度学习的车辆策略控制模型进行下一时刻车辆路径规划的流程为：

1)将车辆当前速度v_t、车辆位置x_t、盲区区域以及车辆轨迹s作为基于深度学习的车辆策略控制模型的输入，网络输出层的每个神经元的输出值对应下一步动作(a^j，b^j，v′_j)的概率，其中a表示加/减速，b表示方向；在本发明一个具体实施例中，车辆在盲区区域选择减速动作；

2)采用动作选取策略生成车辆控制指令，即以β的概率随机选择(a^j，b^j，v′_j)的组合，并以1-β的概率选取神经网络输出最大概率值对应的动作action＝arg max p((a^j，b^j，v′_j)|i_t)；

若t时刻最终输出的车辆控制指令为action_t，则该动作选取策略为：

其中：

|A(i_t)|为输出动作空间中组合(a^j，b^j，v′_j)的数量；

3)评估控制策略轨迹，所述车辆控制策略轨迹可表示为：

τ＝{i₁，a₁，r₁，...，i_k，a_k，r_k}

其中：

i_k表示控制策略轨迹中k时刻车辆状态；

a_k表示k时刻车辆的控制动作；

r_k为k时刻车辆采取动作a_k后获得的奖励值；

所述每一步奖励值r_k的计算公式为：

其中：

λ为奖励值中准时性的权重系数；

s为t时刻车辆所形式距离；

v为车辆速度；

F为车辆牵引力；

x为车辆位置；

4)基于策略梯度法的更新规则对神经网络的参数进行更新：

根据最终的神经网络参数，输出k条车辆运行轨迹作为候选路径。

S5、设置安全路径筛选条件，并根据安全路径筛选条件对候选路径进行筛选，筛选得到的路径即为车辆后续时刻的路径。

进一步地，本发明设置安全路径筛选条件，所述安全路径筛选条件如下所示：

(1)允许的最大纵向加速度a_max；

(2)允许的最大曲率k_max；

(3)允许的最大向心加速度c_max；

超过上述任意限制的候选路径将被筛除；最终筛选得到的距离长度最小的路径即为车辆后续时刻的路径。

下面通过一个算法实验来说明本发明的具体实施方式，并对发明的处理方法进行测试。本发明算法的硬件测试环境为：Inter(R)Core(TM)i7-6700K CPU，软件为Matlab2018a；对比方法为基于YOLOv3的车辆控制方法以及基于Faster-rcnn的车辆控制方法。

在本发明所述算法实验中，本发明利用不同的车辆控制方法对车辆进行控制，将车辆自动驾驶的安全程度作为不同方法的评价指标。

根据实验结果，基于YOLOv3的车辆控制方法的车辆驾驶安全程度为76.35％，基于Faster-rcnn的车辆控制方法的车辆驾驶安全程度为80.12％，本发明所述方法的车辆驾驶安全程度为84.11％，相较于对比算法，本发明所提出的基于深度学习的自主车辆控制方法具有更高的车辆自动驾驶安全性。

发明还提供一种基于深度学习的自主车辆控制系统。参照图2所示，为本发明一实施例提供的基于深度学习的自主车辆控制系统的内部结构示意图。

在本实施例中，所述基于深度学习的自主车辆控制系统1至少包括车辆位置确定装置11、车辆处理器12、自主车辆控制装置13，通信总线14，以及网络接口15。

其中，车辆位置确定装置11可以是PC(Personal Computer，个人电脑)，或者是智能手机、平板电脑、便携计算机等终端设备，也可以是一种服务器等。

车辆处理器12至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。车辆处理器12在一些实施例中可以是基于深度学习的自主车辆控制系统1的内部存储单元，例如该基于深度学习的自主车辆控制系统1的硬盘。车辆处理器12在另一些实施例中也可以是基于深度学习的自主车辆控制系统1的外部存储设备，例如基于深度学习的自主车辆控制系统1上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)等。进一步地，车辆处理器12还可以既包括基于深度学习的自主车辆控制系统1的内部存储单元也包括外部存储设备。车辆处理器12不仅可以用于存储安装于智能道路交通追踪管理系统1的应用软件及各类数据，还可以用于暂时地存储已经输出或者将要输出的数据。

自主车辆控制装置13在一些实施例中可以是一中央处理器(Central ProcessingUnit，CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行车辆处理器12中存储的程序代码或处理数据，例如自主车辆控制程序指令等。

通信总线14用于实现这些组件之间的连接通信。

网络接口15可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该系统1与其他电子设备之间建立通信连接。

可选地，该系统1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在基于深度学习的自主车辆控制系统1中处理的信息以及用于显示可视化的用户界面。

图2仅示出了具有组件11-15以及基于深度学习的自主车辆控制系统1，本领域技术人员可以理解的是，图1示出的结构并不构成对基于深度学习的自主车辆控制系统1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

在图2所示的装置1实施例中，车辆处理器12中存储有自主车辆控制程序指令；自主车辆控制装置13执行车辆处理器12中存储的自主车辆控制程序指令的步骤，与基于深度学习的自主车辆控制方法的实现方法相同，在此不作类述。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有自主车辆控制程序指令，所述自主车辆控制程序指令可被一个或多个处理器执行，以实现如下操作：

获取车辆位置图像，并利用基于逆透视映射的鸟瞰图生成算法对所述车辆位置图像处理，生成车辆位置鸟瞰图；

利用区域生长法处理鸟瞰图，分割出车辆可行区域以及车辆行驶道路的盲区起始点；

根据车辆可行区域，利用车辆轨迹生成算法生成当前时刻车辆的轨迹；

将当前时刻车辆的状态、轨迹以及盲区区域作为输入，利用基于深度学习的车辆策略控制模型进行下一时刻车辆路径的规划，得到若干候选路径；

设置安全路径筛选条件，并根据安全路径筛选条件对候选路径进行筛选，筛选得到的路径即为车辆后续时刻的路径。

需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种基于深度学习的自主车辆控制方法，其特征在于，所述方法包括：

获取车辆位置图像，并利用基于逆透视映射的鸟瞰图生成算法对所述车辆位置图像处理，生成车辆位置鸟瞰图；

利用区域生长法处理鸟瞰图，分割出车辆可行区域以及车辆行驶道路的盲区起始点；

根据车辆可行区域，利用车辆轨迹生成算法生成当前时刻车辆的轨迹；

将当前时刻车辆的状态、轨迹以及盲区区域作为输入，利用基于深度学习的车辆策略控制模型进行下一时刻车辆路径的规划，得到若干候选路径；

设置安全路径筛选条件，并根据安全路径筛选条件对候选路径进行筛选，筛选得到的路径即为车辆后续时刻的路径。

2.如权利要求1所述的一种基于深度学习的自主车辆控制方法，其特征在于，所述利用基于逆透视映射的鸟瞰图生成算法对所述车辆位置图像处理，包括：

若摄影机的分辨率为M×N，角孔径为2α，将摄影机所拍摄得到的车辆位置图像转换为鸟瞰图，其中(x，y，z)为摄影机中的三维图像，(u，v)为转换后的鸟瞰图：

其中：

γ和θ为摄像机的偏航角和倾斜角。

3.如权利要求2所述的一种基于深度学习的自主车辆控制方法，其特征在于，所述利用区域生长法处理鸟瞰图，包括：

在鸟瞰图中选取四连通区域，生长准则为从所有待分析的像素点中选择一个像素点，该点的灰度值和已经分割好区域灰度均值的差的绝对值是最小的；

所有待分析的邻域像素点和已经分割好的区域像素点的灰度值距离大于0.06时停止生长；

区域生长结果图中的白色像素对应原始图像中的可行区域，即车辆视野前方的可行驶道路。

4.如权利要求3所述的一种基于深度学习的自主车辆控制方法，其特征在于，所述分割出车辆行驶道路的盲区起始点，包括：

利用Canny算子提取可行区域的轮廓，对提取出的轮廓信息进行遍历，寻找轮廓中的凸包；

将这些凸包用连接线连接起来，绘制出凹区域；

求解出每个凹区域内轮廓上的凹点距离相对应的连接线上最远的点，该点即为所需的盲区与遮挡物交界的起始点。

5.如权利要求4所述的一种基于深度学习的自主车辆控制方法，其特征在于，所述利用车辆轨迹生成算法生成当前时刻车辆的轨迹，包括：

1)在车辆可行区域内定义车辆参考路径，将其设置为车辆可行区域空间内一组离散的点r_s，这些离散的点构成道路参考线；s是表示沿参考路径纵向移动距离的变量，结合横向位移变量d，状态(s，d)构成路径轨迹图中的一个坐标点；

2)将当前车辆在鸟瞰图中的位置(x₀，y₀)转换为路径轨迹图中的起始点(s₀，d₀)：

s₀＝arg min(x₀-r_s)

d₀＝(x₀-r(s₀))^Tn_r(s₀)

其中：

n_r(s₀)为路径s₀的法向量；

3)获取车辆当前的航向角θ₀、纵向速度v₀、曲率k₀和加速度a₀；

4)生成车辆在车辆轨迹中连接初始状态i₀和期望的最终状态i_f：

i₀＝(s₀，s′₀，d₀，d′₀)^T

i_f＝(s_f，s_f，d_f，d_f)^T

s′₀，s′_f为连接初始状态和最终状态的期望纵向速度；

d′₀，d′_f为连接初始状态和最终状态的期望横向速度；

连接初始状态和期望的最终状态，连接结果即为当前时刻车辆的候选轨迹。

6.如权利要求5所述的一种基于深度学习的自主车辆控制方法，其特征在于，所述利用基于深度学习的车辆策略控制模型进行下一时刻车辆路径的规划，包括：

1)将车辆当前速度v_t、车辆位置x_t、盲区区域和车辆轨迹s作为基于深度学习的车辆策略控制模型的输入，网络输出层的每个神经元的输出值对应下一步动作(a^j，b^j，v′_j)的概率，其中a表示加/减速，b表示方向；

2)采用动作选取策略生成车辆控制指令，即以β的概率随机选择(a^j，b^j，v′_j)的组合，并以1-β的概率选取神经网络输出最大概率值对应的动作action＝arg max p((a^j，b^j，v′_j)|i_t)；

若t时刻最终输出的车辆控制指令为action_t，则该动作选取策略为：

其中：

|A(i_t)|为输出动作空间中组合(a^j，b^j，v′_j)的数量；

3)评估控制策略轨迹，所述车辆控制策略轨迹可表示为：

τ＝{i₁，a₁，r₁，...，i_k，a_k，r_k}

其中：

i_k表示控制策略轨迹中k时刻车辆状态；

a_k表示k时刻车辆的控制动作；

r_k为k时刻车辆采取动作a_k后获得的奖励值；

所述每一步奖励值r_k的计算公式为：

其中：

λ为奖励值中准时性的权重系数；

s为t时刻车辆所形式距离；

v为车辆速度；

F为车辆牵引力；

x为车辆位置；

4)基于策略梯度法的更新规则对神经网络的参数进行更新：

根据最终的神经网络参数，输出k条车辆运行轨迹作为候选路径。

7.如权利要求6所述的一种基于深度学习的自主车辆控制方法，其特征在于，所述安全路径筛选条件为：

(1)允许的最大纵向加速度a_max；

(2)允许的最大曲率k_max；

(3)允许的最大向心加速度c_max；

超过上述任意限制的候选路径将被筛除；最终筛选得到的距离长度最小的路径即为车辆后续时刻的路径。

8.一种基于深度学习的自主车辆控制系统，其特征在于，所述系统包括：

车辆位置确定装置，用于获取车辆位置图像，并利用基于逆透视映射的鸟瞰图生成算法对所述车辆位置图像处理，生成车辆位置鸟瞰图；

车辆处理器，用于利用区域生长法处理鸟瞰图，分割出车辆可行区域以及车辆行驶道路的盲区起始点，同时根据车辆可行区域，利用车辆轨迹生成算法生成当前时刻车辆的轨迹；

自主车辆控制装置，用于将当前时刻车辆的状态、轨迹以及盲区区域作为输入，利用基于深度学习的车辆策略控制模型进行下一时刻车辆路径的规划，得到若干候选路径，从而根据安全路径筛选条件对候选路径进行筛选，筛选得到的路径即为车辆后续时刻的路径。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有自主车辆控制程序指令，所述自主车辆控制程序指令可被一个或者多个处理器执行，以实现如权利要求1至7中任一项所述的一种基于深度学习的自主车辆控制的实现方法的步骤。

Images