CN111273676B - 一种端到端自动驾驶的方法及系统 - Google Patents

一种端到端自动驾驶的方法及系统 Download PDF

Info

Publication number
CN111273676B
CN111273676B CN202010214185.1A CN202010214185A CN111273676B CN 111273676 B CN111273676 B CN 111273676B CN 202010214185 A CN202010214185 A CN 202010214185A CN 111273676 B CN111273676 B CN 111273676B
Authority
CN
China
Prior art keywords
vector
automobile
image
information
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010214185.1A
Other languages
English (en)
Other versions
CN111273676A (zh
Inventor
李子聪
欧秉坤
吴元清
鲁仁全
叶燕燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202010214185.1A priority Critical patent/CN111273676B/zh
Publication of CN111273676A publication Critical patent/CN111273676A/zh
Application granted granted Critical
Publication of CN111273676B publication Critical patent/CN111273676B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/0285—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks and fuzzy logic
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/042—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a parameter or coefficient is automatically adjusted to optimise the performance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/048—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators using a predictor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/027—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Health & Medical Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Electromagnetism (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种端到端自动驾驶的方法及系统，其中方法包括步骤：获取道路环境的RGB图像信息、获取三轴的加速度计信息；对RGB图像平移、拉伸、旋转、归一化处理，得到的图像为三维矩阵；构建包括5个卷积操作块、2个第一全连接层、向量拼接层、3个第二全连接层、softmax层的端到端神经网络模型，并对其进行训练；将图像输入5个卷积操作块，输出第一向量；将加速度计信息输入2个第一全连接层，输出二向量；将第一向量与第二向量通过向量拼接层进行拼接，得到第三向量：将第三向量输入3个第二全连接层，得到第四向量、神经元；将第四向量输入softmax层进行分类，得出汽车方向盘的输出角度；所述神经元的输出拟合汽车油门的大小；将方向盘的输出角度、汽车油门的大小作为汽车控制信息。

Description

一种端到端自动驾驶的方法及系统
技术领域
本发明涉及自动驾驶技术领域，更具体的，涉及一种端到端自动驾驶的方法及系统。
背景技术
现今自动驾驶方案主要分为两大主流方案：基于规则(rule based solution)的方案以及端到端(end-to-end)的方案。
基于规则方案的主体需要人工去搭建，从车辆开始是一个闭环：从车辆到车上的传感器(radar、LiDAR以及camera等)，综合在一起获取信息，这些信息经过感知层、经过特殊的处理(包括深度学习网络)，最终会提取出道路、行人和车辆等各种信息。在感知到的信息基础之上，再加入高精地图等一些静态信息，当动态和静态信息结合在一起后，就会形成一个比较完备的世界模型(Wodel Model)——对外部环境的完备描述。
在此基础之上，我们就进入到决策模块，考虑到驾驶舒适性，这一步主要是演绎推理(reasoning)的一些过程，最终会产生一些决策，决策再往下就到了车厂比较擅长的领域——车辆控制，需要给车辆一些控制信号。
在这样一个基于规则的方案系统里面，其实有一个非常复杂的架构，如此庞大的系统，容易衍生出各种问题：
(1)系统复杂性。这样一个系统，需要人工设计上千个模块，从0到1是非常艰难的，其系统的复杂度不亚于一个操作系统。
(2)高精地图的成本很高。在构建世界模型的时候，需要高精地图的辅助，而高精地图本身的广铺、更新都是极其大的成本。
(3)车载硬件计算能力要求非常高。在这样一个系统里面，有不同的感知、决策模块，每一个模块都会使用深度学习的优化手段。一个综合的复杂系统里面，可能需要几个甚至是十几个深度学习的神经网络，每一个的计算成本都极其巨大。
从输入端(传感器的原始数据)直接映射到输出端(控制信号)，在这个过程中，没有高精地图、没有人工设计的专家规则、没有复杂的传感器，能够在从未见过的道路上做训练。通常，端到端驾驶模型使用一个深度神经网络来完成这种映射，网络的所有参数为联合训练而得。传统的端到端自动驾驶系统一般利用汽车前视摄像头所拍摄到的实时图像，传送到端到端模型，即神经网络模型进行训练或直接推理，所带来的不足包括部分自动驾驶汽车所使用的前视摄像头信息单一，导致神经网络模型只能依赖单一信息进行预测计算，系统鲁棒性较低。
发明内容
本发明为了解决目前自动驾驶汽车使用前视摄像头信息单一，导致神经网络模型只能依赖单一信息进行预测计算，系统鲁棒性较低的问题，提出一种端到端自动驾驶的方法及系统，其能在控制端到端自动驾驶系统的成本的前提下，弥补前视摄像头所带来的视野不足的问题，从而提高行车安全性。
为实现上述本发明目的，采用的技术方案如下：一种端到端自动驾驶的方法，所述的方法包括步骤如下：
S1：获取驾驶室正前方的道路环境的RGB图像信息、并获取三轴的加速度计信息；
S2：对得到的RGB图像进行平移、拉伸、旋转处理，之后再经过归一化处理，将图像所有像素点除以最大像素值，使得图像每个像素点的值控制在0～1之间，经过处理之后的图像为三维矩阵；
S3：构建包括5个卷积操作块、2个第一全连接层、向量拼接层、3个第二全连接层、softmax层的端到端神经网络模型；并对端到端神经网络模型进行训练；
S4：将处理后的图像、加速度计信息输入训练完成后的端到端神经网络模型，具体将处理后的图像输入5个卷积操作块，输出一个维度的第一向量；将加速度计信息输入2个第一全连接层，输出一个维度的第二向量；
S5：将第一向量与第二向量通过向量拼接层实现在第二维度上进行拼接，得到第三向量；
S6：将第三向量输入3个第二全连接层，得到一个维度的第四向量、一个维度的神经元；将第四向量输入softmax层进行分类，得出汽车方向盘的输出角度；所述神经元的输出拟合汽车油门的大小；
S7：将汽车方向盘的输出角度、拟合汽车油门的大小信息作为汽车控制信息，实现对汽车控制。
优选地，步骤S3，所述的卷积操作块依次包括3×3卷积层、最大池化层、非线性激活层。
进一步地，步骤S3，使用keras框架进行搭建与训练，使用Adam优化器进行优化，学习率为0.001，一阶矩估计的指数衰减率为0.9，二阶矩估计的指数衰减率为0.999，模糊因子为1e-08，decay为200；每次进行100个epoch的训练，将图像、加速度计信息的80％作为训练集，剩余的20％作为验证集，mini-batch size为5，由于分类类别数为15，所以采用的损失函数计算方法为softmax cross entropy，训练对所有卷积层以及全连接层的权重进行更新。
基于上述所述的端到端自动驾驶的方法，本发明还提供了一种端到端自动驾驶的系统，包括
用于获取驾驶室正前方道路环境RGB图像信息的摄像头；
用于获取获取三轴加速度计信息的6轴运动处理组件；
分别与摄像头、6轴运动处理组件通过串口通讯连接的中央控制单元；
所述的中央控制单元包括图像处理模块、端到端神经网络模块；所述的图像处理模块用于对得到的RGB图像进行平移、拉伸、旋转、归一化处理，将图像所有像素点除以最大像素值，使得图像每个像素点的值控制在0～1之间；
所述的端到端神经网络模块包括5个卷积操作块、2个第一全连接层、向量拼接层、3个第二全连接层、softmax层；
汽车电子控制单元，所述端到端神经网络模块将得到汽车方向盘的输出角度、拟合汽车油门的大小信息输入到汽车电子控制单元，作为汽车控制信号实现对汽车控制。
优选地，所述的摄像头设置在汽车的前挡风玻璃后；所述的6轴运动处理组件水平固定于汽车后轴的中间位置；所述的中央控制单元设置在汽车后备箱。
进一步地，所述的6轴运动处理组件采用MPU6050。
本发明的有益效果如下：
本发明利用端到端神经网络融合摄像头图像数据以及加速度计X、Y、Z轴数据进行端到端自动驾驶，增加了端到端神经网络输入信息的维度，丰富了自动驾驶系统的感知信息，有效增加端到端自动驾驶系统的鲁棒性，挺高系统表现性能。
附图说明
图1是实施例1所述自动驾驶方法的步骤流程图。
图2是实施例1所述端到端神经网络模型图。
图3是实施例2所述的自动驾驶的系统框图。
具体实施方式
下面结合附图和具体实施方式对本发明做详细描述。
实施例1
如图1所示，一种端到端自动驾驶的方法，所述的方法包括步骤如下：
S1：获取驾驶室正前方的道路环境的RGB图像信息、并获取三轴的加速度计信息；
S2：对得到的RGB图像进行平移、拉伸、旋转处理，之后再经过归一化处理，将图像所有像素点除以最大像素值，使得图像每个像素点的值控制在0～1之间，经过处理之后的图像为三维矩阵，形状为(3,480,640)，即通道数为3,图像高为480,长为640；
S3：构建包括5个卷积操作块、2个第一全连接层、向量拼接层、3个第二全连接层、softmax层的端到端神经网络模型，如图2所示，并对端到端神经网络模型进行训练；
S4：将处理后的图像、加速度计信息输入训练后的端到端神经网络模型中，具体：将处理后的图像输入5个卷积操作块，以获得足够多的特征，输出一个维度为(1,256)的第一向量；将加速度计信息输入2个第一全连接层，输出一个维度为(1,10)的第二向量；
S5：将第一向量与第二向量通过向量拼接层实现在第二维度上进行拼接，得到维度为(1,266)的第三向量；
S6：将第三向量输入3个第二全连接层，在方向盘控制信息段得到一个维度为(1,21)的第四向量；本实施例将汽车从方向盘打至最左到最右所转过的连续的角度离散化为40个固定的角度，如实施例所使用的汽车，方向盘从正中位置向最左或最右打死，均为1圈半，总共为3圈，即-540°至+540°，分别是-540°、-486°、-432°、-378°、-324°、-270°、-216°、-162°、-108°、-54°、0°、54°、108°、162°、216°、270°、324°、378°、432°、486°、540°；将该向量输入至一个softmax层进行分类，最终得出汽车的方向盘的输出角度。
在汽车油门控制信息端则输出为一个维度为(1,1)的神经元，该神经元的输出拟合汽车油门的大小。
S7：将汽车方向盘的输出角度、拟合汽车油门的大小信息作为汽车控制信息，实现对汽车控制。
在一个具体的实施例中，步骤S3，所述的卷积操作块依次包括3×3卷积层、最大池化层、非线性激活层，即所述的处理后的图像依次输入3×3卷积层、最大池化层、非线性激活层进行处理。
在一个具体的实施例中，对端到端神经网络模型具体训练步骤：使用keras框架进行搭建与训练，使用Adam优化器进行优化，学习率为0.001，一阶矩估计的指数衰减率为0.9，二阶矩估计的指数衰减率为0.999，模糊因子为1e-08，decay为200；每次进行100个epoch的训练，将图像、加速度计信息的80％作为训练集，剩余的20％作为验证集，mini-batch size为5，由于分类类别数为15，所以采用的损失函数计算方法为softmax crossentropy，训练对所有卷积层以及全连接层的权重进行更新。
本实施例的方向盘控制信息为多分类任务，混淆矩阵是评价多分类任务最基本的指标之一。混淆矩阵包含四个基础指标，分别是TP(True Positive真阳值，真实值标签是正，模型认为标签是正的数量)、FN(False Negative假阴值，真实值是positive，模型认为是negative的数量)、FP(False Positive假阳值，真实值是negative，模型认为是positive的数量)、TN(True Negative真阴值，真实值是negative，模型认为是negative的数量)。
将这四个指标一起呈现在表格中，就能得到如下这样一个矩阵，我们称它为混淆矩阵(Confusion Matrix)，如表1所示：
表1
Figure BDA0002423833940000051
一个多分类任务的预测模型性能好坏，取决于所得到的TP、FP、FN、TN的值，TP、TN的值越高，FP、FN的值越低，则该模型的性能越好，反之亦然。
于是本设计对应的混淆矩阵，如表2所示：
Figure BDA0002423833940000061
而本实施例的油门控制输出部分为回归任务，MSE(Mean Squared Error，均方误差)是评价回归任务的最基本的指标之一。计算方法是真实值减去预测值的差求平方，再求平均。该值越低，模型的性能越好，反之亦然。
实施例2
基于实施例1所述的速度计信息的端到端自动驾驶的方法，本实施例还提供了一种端到端自动驾驶的系统，如图3所示，包括
用于获取驾驶室正前方道路环境RGB图像信息的摄像头；
用于获取获取三轴加速度计信息的6轴运动处理组件，其型号为MPU6050；
分别与摄像头、6轴运动处理组件通过串口通讯连接的中央控制单元；
所述的中央控制单元包括图像处理模块、端到端神经网络模块；所述的图像处理模块用于对得到的RGB图像进行平移、拉伸、旋转、归一化处理，将图像所有像素点除以最大像素值，使得图像每个像素点的值控制在0～1之间；
所述的端到端神经网络模块包括5个卷积操作块、2个第一全连接层、向量拼接层、3个第二全连接层、softmax层；
汽车电子控制单元，所述端到端神经网络模块将得到汽车方向盘的输出角度、拟合汽车油门的大小信息通过串口协议输出，并经过串口转CAD协议模块的进行协议转换，再输入到汽车电子控制单元，直接作为汽车控制信号，实现对汽车控制。
在一个具体的实施例中，所述的摄像头设置在汽车的前挡风玻璃后；所述的6轴运动处理组件水平固定于汽车后轴的中间位置；所述的中央控制单元设置在汽车后备箱。本实施例所述的中央控制单元为工控机，其还外设大容量存储设备，用于存储采集的数据。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (6)

1.一种端到端自动驾驶的方法，其特征在于：所述的方法包括步骤如下：
S1：获取驾驶室正前方的道路环境的RGB图像信息、并获取三轴的加速度计信息；
S2：对得到的RGB图像进行平移、拉伸、旋转处理，之后再经过归一化处理，将图像所有像素点除以最大像素值，使得图像每个像素点的值控制在0～1之间，经过处理之后的图像为三维矩阵；
S3：构建包括5个卷积操作块、2个第一全连接层、向量拼接层、3个第二全连接层、softmax层的端到端神经网络模型；并对端到端神经网络模型进行训练；
S4：将处理后的图像、加速度计信息输入训练完成后的端到端神经网络模型，具体将处理后的图像输入5个卷积操作块，输出一个维度的第一向量；将加速度计信息输入2个第一全连接层，输出一个维度的第二向量；
S5：将第一向量与第二向量通过向量拼接层实现在第二维度上进行拼接，得到第三向量；
S6：将第三向量输入3个第二全连接层，得到一个维度的第四向量、一个维度的神经元；将第四向量输入softmax层进行分类，得出汽车方向盘的输出角度；所述神经元的输出拟合汽车油门的大小；
S7：将汽车方向盘的输出角度、拟合汽车油门的大小信息作为汽车控制信息，实现对汽车控制。
2.根据权利要求1所述的端到端自动驾驶的方法，其特征在于：步骤S3，所述的卷积操作块依次包括3×3卷积层、最大池化层、非线性激活层。
3.根据权利要求2所述的端到端自动驾驶的方法，其特征在于：使用keras框架进行搭建与训练，使用Adam优化器进行优化，学习率为0.001，一阶矩估计的指数衰减率为0.9，二阶矩估计的指数衰减率为0.999，模糊因子为1e-08，decay为200；每次进行100个epoch的训练，将图像、加速度计信息的80％作为训练集，剩余的20％作为验证集，mini-batch size为5，由于分类类别数为15，所以采用的损失函数计算方法为softmax cross entropy，训练对所有卷积层以及全连接层的权重进行更新。
4.根据权利要求1～3任一项所述的端到端自动驾驶的方法的系统，其特征在于：包括
用于获取驾驶室正前方道路环境RGB图像信息的摄像头；
用于获取三轴加速度计信息的6轴运动处理组件；
分别与摄像头、6轴运动处理组件通过串口通讯连接的中央控制单元；
所述的中央控制单元包括图像处理模块、端到端神经网络模块；所述的图像处理模块用于对得到的RGB图像进行平移、拉伸、旋转、归一化处理，将图像所有像素点除以最大像素值，使得图像每个像素点的值控制在0～1之间；
所述的端到端神经网络模块包括5个卷积操作块、2个第一全连接层、向量拼接层、3个第二全连接层、softmax层；
汽车电子控制单元，所述端到端神经网络模块将得到汽车方向盘的输出角度、拟合汽车油门的大小信息输入到汽车电子控制单元，作为汽车控制信号实现对汽车控制。
5.根据权利要求4所述的系统，其特征在于：所述的摄像头设置在汽车的前挡风玻璃后；所述的6轴运动处理组件水平固定于汽车后轴的中间位置；所述的中央控制单元设置在汽车后备箱。
6.根据权利要求5所述的系统，其特征在于：所述的6轴运动处理组件采用MPU6050。
CN202010214185.1A 2020-03-24 2020-03-24 一种端到端自动驾驶的方法及系统 Active CN111273676B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010214185.1A CN111273676B (zh) 2020-03-24 2020-03-24 一种端到端自动驾驶的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010214185.1A CN111273676B (zh) 2020-03-24 2020-03-24 一种端到端自动驾驶的方法及系统

Publications (2)

Publication Number Publication Date
CN111273676A CN111273676A (zh) 2020-06-12
CN111273676B true CN111273676B (zh) 2023-04-18

Family

ID=70999700

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010214185.1A Active CN111273676B (zh) 2020-03-24 2020-03-24 一种端到端自动驾驶的方法及系统

Country Status (1)

Country Link
CN (1) CN111273676B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112249032B (zh) * 2020-10-29 2022-02-18 浪潮(北京)电子信息产业有限公司 一种自动驾驶决策方法、系统、设备及计算机存储介质
WO2024164108A1 (zh) * 2023-02-06 2024-08-15 华为技术有限公司 一种测量运动速度的方法、设备及计算机可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107226087A (zh) * 2017-05-26 2017-10-03 西安电子科技大学 一种结构化道路自动驾驶运输车及控制方法
CN107609602A (zh) * 2017-09-28 2018-01-19 吉林大学 一种基于卷积神经网络的驾驶场景分类方法
CN108921044A (zh) * 2018-06-11 2018-11-30 大连大学 基于深度卷积神经网络的驾驶员决策特征提取方法
CN109242003A (zh) * 2018-08-13 2019-01-18 浙江零跑科技有限公司 基于深度卷积神经网络的车载视觉系统自身运动确定方法
CN109460794A (zh) * 2018-11-19 2019-03-12 广东工业大学 一种数据特征提取方法、系统及电子设备和存储介质
CN109800670A (zh) * 2018-12-28 2019-05-24 中国第一汽车股份有限公司 一种端到端的无人驾驶决策方法及系统
CN110188683A (zh) * 2019-05-30 2019-08-30 北京理工大学 一种基于cnn-lstm的自动驾驶控制方法
CN110569792A (zh) * 2019-09-09 2019-12-13 吉林大学 一种基于卷积神经网络的自动驾驶汽车前方物体检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107226087A (zh) * 2017-05-26 2017-10-03 西安电子科技大学 一种结构化道路自动驾驶运输车及控制方法
CN107609602A (zh) * 2017-09-28 2018-01-19 吉林大学 一种基于卷积神经网络的驾驶场景分类方法
CN108921044A (zh) * 2018-06-11 2018-11-30 大连大学 基于深度卷积神经网络的驾驶员决策特征提取方法
CN109242003A (zh) * 2018-08-13 2019-01-18 浙江零跑科技有限公司 基于深度卷积神经网络的车载视觉系统自身运动确定方法
CN109460794A (zh) * 2018-11-19 2019-03-12 广东工业大学 一种数据特征提取方法、系统及电子设备和存储介质
CN109800670A (zh) * 2018-12-28 2019-05-24 中国第一汽车股份有限公司 一种端到端的无人驾驶决策方法及系统
CN110188683A (zh) * 2019-05-30 2019-08-30 北京理工大学 一种基于cnn-lstm的自动驾驶控制方法
CN110569792A (zh) * 2019-09-09 2019-12-13 吉林大学 一种基于卷积神经网络的自动驾驶汽车前方物体检测方法

Also Published As

Publication number Publication date
CN111273676A (zh) 2020-06-12

Similar Documents

Publication Publication Date Title
US11747155B2 (en) Global path planning method and device for an unmanned vehicle
CN112232490B (zh) 一种基于视觉的深度模仿强化学习驾驶策略训练方法
CN111273676B (zh) 一种端到端自动驾驶的方法及系统
CN114092751A (zh) 一种轨迹预测方法和装置
CN112699958A (zh) 一种基于剪枝和知识蒸馏的目标检测模型压缩与加速方法
Lu et al. Hierarchical reinforcement learning for autonomous decision making and motion planning of intelligent vehicles
CN110281949B (zh) 一种自动驾驶统一分层决策方法
CN110687907B (zh) 基于模型动态重构的智能汽车解耦预测控制器及其控制方法
CN113954837A (zh) 一种基于深度学习的大型营运车辆车道变换决策方法
US20220266831A1 (en) Method, system and computer program product for automatically adapting at least one driving assistance function of a vehicle to a trailer operating state
JP5185554B2 (ja) オンラインリスク学習システム
CN110723207B (zh) 基于模型重构的智能汽车模型预测转向控制器及其控制方法
Hu et al. Learning dynamic graph for overtaking strategy in autonomous driving
CN113435356B (zh) 一种克服观察噪声与感知不确定性的轨迹预测方法
Gao et al. Autonomous driving based on modified sac algorithm through imitation learning pretraining
Wang et al. An autonomous driving approach based on trajectory learning using deep neural networks
Duan et al. Fixed-dimensional and permutation invariant state representation of autonomous driving
CN117319232A (zh) 一种基于行为预测的多智能体集群一致性协同控制方法
CN113848884B (zh) 一种基于特征融合和时空约束的无人驾驶工程机械决策方法
CN114708568B (zh) 基于改进RTFNet的纯视觉自动驾驶控制系统、方法、介质
Liu et al. End-to-end control of autonomous vehicles based on deep learning with visual attention
CN113625718A (zh) 车辆的行驶路径规划方法
Zhang et al. Dynamic mass estimation framework for autonomous vehicle system via bidirectional gated recurrent unit
CN111975769A (zh) 基于元学习的移动机器人避障方法
Erian et al. Measuring driving performance for an All-Terrain Vehicle in a paved road in the woods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant