CN114620059A - 一种自动驾驶方法及其系统、计算机可读存储介质 - Google Patents
一种自动驾驶方法及其系统、计算机可读存储介质 Download PDFInfo
- Publication number
- CN114620059A CN114620059A CN202011465652.4A CN202011465652A CN114620059A CN 114620059 A CN114620059 A CN 114620059A CN 202011465652 A CN202011465652 A CN 202011465652A CN 114620059 A CN114620059 A CN 114620059A
- Authority
- CN
- China
- Prior art keywords
- lstm
- information
- vehicle
- lane
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 238000001514 detection method Methods 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 14
- 230000007246 mechanism Effects 0.000 claims abstract description 8
- 230000008569 process Effects 0.000 claims description 32
- 230000009466 transformation Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 4
- 210000004027 cell Anatomy 0.000 description 74
- 238000012549 training Methods 0.000 description 35
- 230000006399 behavior Effects 0.000 description 18
- 230000006870 function Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000003446 memory effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000011384 asphalt concrete Substances 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 239000004568 cement Substances 0.000 description 1
- 239000004567 concrete Substances 0.000 description 1
- 238000010924 continuous production Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
- B60W30/18—Propelling the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2720/00—Output or target parameters relating to overall vehicle dynamics
- B60W2720/10—Longitudinal speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2720/00—Output or target parameters relating to overall vehicle dynamics
- B60W2720/24—Direction of travel
Abstract
本发明公开了一种自动驾驶方法及其系统、计算机可读存储介质，包括：获取当前时刻的本车前方图像；根据所述本车前方图像与目标检测网络模型获得当前时刻的R值；并根据所述本车前方图像与车道线识别网络模型获得当前时刻本车所在车道的车道中心线的多个特征点信息；根据当前时刻的R值与多个特征点信息获得当前时刻的多维特征信息，并根据当前时刻的多维特征信息与前k个时刻的多维特征信息生成多维特征信息序列，将所述多维特征信息序列输入LSTM网络模型进行驾驶决策处理，输出当前时刻用于控制本车驾驶执行机构自动驾驶的车速控制量和方向盘转角控制量。通过本发明，能够提高自动驾驶车辆驾驶安全性和自动驾驶能力。
Description
技术领域
本发明涉及自动驾驶技术领域，具体涉及一种自动驾驶方法及其系统、计算机可读存储介质。
背景技术
传统基于规则方法的车辆自动驾驶过程一般划分为环境感知、决策规划和运动控制三大子任务，决策任务作为车辆自动驾驶过程中的关键环节直接决定了最终驾驶的效果，其功能在于根据实时感知到的场景信息预测输出车辆该时刻对应的横、纵向控制量，实现随机路况下合理的驾驶行为决策，这种方法的最终效果往往取决于人工对感知信息中有效特征的提取程度以及决策逻辑规则的完备程度。近年来基于深度学习的算法也逐渐被探索应用于该领域，且主流的研究思路聚焦于端到端方式，它的实现方式是直接将车辆传感器感知到的信息映射到车辆的方向盘转角、速度等驾驶行为参量上，无需过多特征工作方面的工作，算法效果主要依赖于端到端网络架构的合理程度及训练数据规模的大小，但它面临着可解释性欠缺、模型迁移性差等问题。具体地，现有技术大多通过车辆的前端摄像头采集车辆行驶环境数据，同时通过数据采集设备采集驾驶员驾驶行为数据，驾驶行为数据具体为方向盘转角，以采集的图像数据作为输入，以采集的驾驶员驾驶行为数据作为输出，建立深度学习自动驾驶网络模型进行训练，最后将训练完成的网络模型迁移到嵌入式设备中进行推理计算，完成自动驾驶功能。
在实现本发明的过程中，发明人发现现有技术至少存在以下技术问题：
①现有技术中的深度学习自动驾驶网络模型以车辆的前端摄像头采集的原始图像作为网络模型输入，由于原始图像中数据内容比较多，可能包括了一些与驾驶无关的元素，导致网络对道路交通元素关注度不够，系统鲁棒性较差，容易造成自动驾驶车辆发生安全事故；
②现有技术中的深度学习自动驾驶网络模型仅以方向盘转角作为输出，没有速度进行控制，所达到的自动驾驶能力较弱。
发明内容
本发明的目的在于提出一种自动驾驶方法及其系统、计算机可读存储介质，以解决上述现有技术所存在的技术问题。
为实现上述目的，根据第一方面，本发明的实施例提出一种自动驾驶方法，包括：
获取当前时刻的本车前方图像；
将所述本车前方图像输入预先训练好的目标检测网络模型进行目标检测；若检测到目标，则获取本车与所述目标的距离信息，并令当前时刻的R值等于该距离信息；若未检测到目标，则令当前时刻的R值等于预设距离值；
将所述本车前方图像输入预先训练好的车道线识别网络模型进行识别获得本车所在车道的车道线信息，并根据所述车道线信息获得车道中心线上的多个位置点信息，将所述多个位置点信息输出作为当前时刻的多个特征点信息；
根据当前时刻的R值与多个特征点信息获得当前时刻的多维特征信息，并根据当前时刻的多维特征信息与前k个时刻的多维特征信息生成多维特征信息序列，将所述多维特征信息序列输入利用预先训练好的LSTM网络模型进行驾驶决策处理，输出当前时刻的车速控制量和方向盘转角控制量；
根据所述车速控制量和方向盘转角控制量控制本车驾驶执行机构自动驾驶。
可选地，所述目标为本车所在车道的前方中离本车最近的车辆或行人。
可选地，所述获取本车与所述目标的距离信息，包括：
获取所述目标在所述本车前方图像的图像坐标系中的二维坐标信息；
根据所述目标的二维坐标信息进行坐标系变换获得所述目标在车辆坐标系中的三维坐标信息；
根据所述目标在车辆坐标系中的三维坐标信息确定本车与目标的距离信息。
可选地，所述车道线信息包括本车所在车道的车道线在所述本车前方图像的图像坐标系中的二维坐标信息；
其中，所述根据所述车道线信息获得车道中心线上的多个特征点信息，包括：
根据所述车道线的二维坐标信息进行坐标系变换获得所述车道线在车辆坐标系中的三维坐标信息；
根据所述车道线的三维坐标信息确定对应车道中心线的三维坐标信息；
根据车道中心线的三维坐标信息获得所述车道中心线上的多个特征点信息；所述多个特征点信息包括所述车道中心线上多个离散位置点的三维坐标信息。
可选地，所述LSTM网络模型包括依次连接的输入层、第一LSTM层、第二LSTM层、输出层；
所述第一LSTM层和第二LSTM层分别包括k+1个LSTM细胞；所述第一LSTM层的k+1个LSTM细胞级联，所述第二LSTM层的k+1个LSTM细胞级联，所述第一LSTM层的k+1个LSTM细胞与所述第二LSTM层的k+1个LSTM细胞一一对应连接；
所述输入层用于接收所述多维特征信息序列，并将所述多维特征信息序列中的k+1个时刻的多维特征信息分别对应输入所述第一LSTM层的k+1个LSTM细胞中；
所述第一LSTM层的k+1个LSTM细胞分别接收对应的多维特征信息，并进行处理；
所述第二LSTM层的k+1个LSTM细胞分别对应接收所述第一LSTM层的k+1个LSTM细胞的输出，并进行处理；
所述第二LSTM层的最后一个LSTM细胞的隐藏输出量作为所述输出层的输入量；
所述输出层用于接收所述第二LSTM层的最后一个LSTM细胞的隐藏输出量，将该隐藏输出量转换为对应的车速值和方向盘转角值，并将所述车速值和方向盘转角值输出作为当前时刻的车速控制量和方向盘转角控制量。
根据第二方面，本发明的实施例提出一种自动驾驶系统，包括：
图像获取单元，用于获取当前时刻的本车前方图像；
第一特征量获取单元，用于将所述本车前方图像输入预先训练好的目标检测网络模型进行目标检测；若检测到目标，则获取本车与所述目标的距离信息，并令当前时刻的R值等于该距离信息；若未检测到目标，则令当前时刻的R值等于预设距离值；
第二特征量获取单元，用于将所述本车前方图像输入预先训练好的车道线识别网络模型进行识别获得本车所在车道的车道线信息，并根据所述车道线信息获得车道中心线上的多个位置点信息，将所述多个位置点信息输出作为当前时刻的多个特征点信息；
驾驶决策单元，用于根据当前时刻的R值与多个特征点信息获得当前时刻的多维特征信息，并根据当前时刻的多维特征信息与前k个时刻的多维特征信息生成多维特征信息序列，将所述多维特征信息序列输入利用预先训练好的LSTM网络模型进行驾驶决策处理，输出当前时刻的车速控制量和方向盘转角控制量；
控制单元，用于根据所述车速控制量和方向盘转角控制量控制本车驾驶执行机构自动驾驶。
可选地，所述目标为本车所在车道的前方中离本车最近的车辆或行人；
所述第一特征量获取单元，具体用于：
获取所述目标在所述本车前方图像的图像坐标系中的二维坐标信息；
根据所述目标的二维坐标信息进行坐标系变换获得所述目标在车辆坐标系中的三维坐标信息；以及
根据所述目标在车辆坐标系中的三维坐标信息确定本车与目标的距离信息。
可选地，所述车道线信息包括本车所在车道的车道线在所述本车前方图像的图像坐标系中的二维坐标信息；
所述第二特征量获取单元，具体用于：
根据所述车道线的二维坐标信息进行坐标系变换获得所述车道线在车辆坐标系中的三维坐标信息；
根据所述车道线的三维坐标信息确定对应车道中心线的三维坐标信息；以及
根据车道中心线的三维坐标信息获得所述车道中心线上的多个特征点信息；所述多个特征点信息包括所述车道中心线上多个离散位置点的三维坐标信息。
可选地，所述LSTM网络模型包括依次连接的输入层、第一LSTM层、第二LSTM层、输出层；
所述第一LSTM层和第二LSTM层分别包括k+1个LSTM细胞；所述第一LSTM层的k+1个LSTM细胞级联，所述第二LSTM层的k+1个LSTM细胞级联，所述第一LSTM层的k+1个LSTM细胞与所述第二LSTM层的k+1个LSTM细胞一一对应连接；
所述输入层用于接收所述多维特征信息序列，并将所述多维特征信息序列中的k+1个时刻的多维特征信息分别对应输入所述第一LSTM层的k+1个LSTM细胞中；
所述第一LSTM层的k+1个LSTM细胞分别接收对应的多维特征信息，并进行处理；
所述第二LSTM层的k+1个LSTM细胞分别对应接收所述第一LSTM层的k+1个LSTM细胞的输出，并进行处理；
所述第二LSTM层的最后一个LSTM细胞的隐藏输出量作为所述输出层的输入量；
所述输出层用于接收所述第二LSTM层的最后一个LSTM细胞的隐藏输出量，将该隐藏输出量转换为对应的车速值和方向盘转角值，并将所述车速值和方向盘转角值输出作为当前时刻的车速控制量和方向盘转角控制量。
根据第三方面，本发明实施例提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的自动驾驶方法。
本发明的实施例公开了一种自动驾驶方法及其系统、计算机可读存储介质，其至少具有以下优点：
通过获取当前时刻的本车前方图像，根据所述本车前方图像与目标检测网络模型获得当前时刻的R值，并根据所述本车前方图像与车道线识别网络模型获得当前时刻本车所在车道的车道中心线的多个特征点信息；最后，根据当前时刻的R值与多个特征点信息获得当前时刻的多维特征信息，并根据当前时刻的多维特征信息与前k个时刻的多维特征信息生成多维特征信息序列，将所述多维特征信息序列输入LSTM网络模型进行驾驶决策处理，输出当前时刻用于控制本车驾驶执行机构自动驾驶的车速控制量和方向盘转角控制量。本实施例考虑到不同车辆视觉传感器安装位置的差异性，对车辆的前端摄像头采集的原始图像进行处理，提取了驾驶过程中交通参与者相关的R值，以及与车道中心线相关的多个特征点信息，引入车道中心线关键特征点作为重要的决策线索，拓展了驾驶决策模型的可迁移性及通用性，且结合障碍检测结果作为环境状态信息为决策做支撑，剔除了与驾驶无关的元素，LSTM网络模型中对应每一时刻的LSTM细胞的输入为对应时刻的R值与多个特征点信息，提高了LSTM网络模型对道路交通元素关注度、驾驶决策系统鲁棒性和自动驾驶车辆驾驶安全性；此外，本实施例借助LSTM网络模型可挖掘上下文信息的能力及其记忆效应，同时考虑到运动的连续性及平滑性，以连续的历史状态信息作为LSTM网络模型的输入，LSTM网络模型的输出包括车速和方向盘转角，通过对车速和方向盘转角进行综合控制，提高车辆的自动驾驶能力。
本发明的其它特征和优点将在随后的说明书中阐述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例中一种自动驾驶方法的流程图。
图2为本发明一实施例中相关网络模型训练流程图。
图3为本发明一实施例中坐标转换原理示意图。
图4为本发明一实施例中多维特征信息提取的场景示意图。
图5为本发明一实施例中LSTM网络模型示意图。
图6为本发明另一实施例中一种自动驾驶系统框架示意图。
具体实施方式
为了更好的说明本发明，在下文的具体实施例中给出了众多的具体细节，对于本领域技术人员熟知的手段未作详细描述，以便于凸显本发明的主旨，本领域技术人员应当理解，没有某些具体细节，本发明同样可以实施。
参阅图1，本发明一实施例提出一种自动驾驶方法，其应用于自动驾驶车辆，该方法可以通过一自动驾驶系统来实现，该自动驾驶系统可以是软件、硬件或者软硬件结合的形式，具体地，本实施例方法包括如下步骤：
步骤S1、获取当前时刻的本车前方图像。
具体而言，所述当前时刻的本车前方图像可以通过安装于本车前端的摄像头进行拍摄。步骤中获取图像指的是接收所述摄像头所拍摄的本车前方图像，获取方式可以是主动获取或被动获取，例如，在车辆自动驾驶过程中，所述摄像头根据预设拍摄策略采集当前时刻的本车前方图像，并将拍摄的当前时刻的本车前方图像发送给自动驾驶系统。
其中，所述本车前方图像至少含有本车当前时刻所在车道的前方环境信息。
步骤S2、将所述本车前方图像输入预先训练好的目标检测网络模型进行目标检测。若检测到目标，则获取本车与所述目标的距离信息，并令当前时刻的R值等于该距离信息。若未检测到目标，则令当前时刻的R值等于预设距离值。
具体而言，目标检测网络模型在智能驾驶领域已有十分广泛的应用，所述目标检测网络模型可以是任一种神经网络模型，实现检测设定目标的功能。
需说明的是，本实施例中的目标指的是交通参与者；所述交通参与者包括车辆、行人；
为了减少避免原始图像中与驾驶无关的元素，直接使用原始图像进行识别控制导致的自动驾驶控制安全性低、驾驶能力差的问题，作为一方面，本实施例中提出了驾驶过程中与交通参与者相关的R值作为驾驶决策模型的输入量之一。
优选地，步骤中的预设距离值为100米。
步骤S3、将所述本车前方图像输入预先训练好的车道线识别网络模型进行识别获得本车所在车道的车道线信息，并根据所述车道线信息获得车道中心线上的多个位置点信息，将所述多个位置点信息输出作为当前时刻的多个特征点信息。
具体而言，车道线识别网络模型在智能驾驶领域已有十分广泛的应用，所述车道线识别网络模型可以是任一种神经网络模型，实现检测设定目标的功能。
需说明的是，参阅图1，上述步骤S2和S3为并列步骤，两者没有先后顺序限制。
步骤S4、根据当前时刻的R值与多个特征点信息获得当前时刻的多维特征信息，并根据当前时刻的多维特征信息与前k个时刻的多维特征信息生成多维特征信息序列，将所述多维特征信息序列输入利用预先训练好的LSTM网络模型进行驾驶决策处理，输出当前时刻的车速控制量和方向盘转角控制量。
可以理解的是，本实施例中是利用R值与多个特征点信息作为中层信息表示来代替本车前端摄像头拍摄的原始图像信息作为驾驶决策模型输入的一种分层式自动驾驶模式；
具体而言，由于自动驾驶过程是一个动态连续过程，因此，考虑到LSTM网络在处理时间序列数据的自然优势，本实施例采用LSTM网络模型作为自动驾驶的驾驶决策模型。
其中，本实施例中k的值优选但不限于为5，特征点的数量优选为20，即所述多维特征信息序列包括当前时刻以及前5个时刻的21维特征信息。
步骤S5、根据所述车速控制量和方向盘转角控制量控制本车驾驶执行机构自动驾驶。
示例性地，根据所述LSTM网络模型输出的车速控制量和方向盘转角控制量以及当前时刻的车速和方向盘转角实际值，利用车载电动助力转向系统(Electric PowerSteering，EPS)进行横向运动的闭环控制，同时可以利用PID算法调节驱动扭矩和制动力矩对纵向运动进行闭环控制，共同作用可实现车辆的自动驾驶控制。以上自动驾驶控制方式为一种优选方式，可以理解的是，本发明并不局限于该方式。
需说明的是，本实施例考虑到不同车辆视觉传感器安装位置的差异性，对车辆的前端摄像头采集的原始图像进行处理，提取了驾驶过程中交通参与者相关的R值，以及与车道中心线相关的多个特征点信息，引入车道中心线关键特征点作为重要的决策线索，拓展了驾驶决策模型的可迁移性及通用性，且结合障碍检测结果作为环境状态信息为决策做支撑，剔除了与驾驶无关的元素，LSTM网络模型中对应每一时刻的LSTM细胞的输入为对应时刻的R值与多个特征点信息，提高了LSTM网络模型对道路交通元素关注度、驾驶决策系统鲁棒性和自动驾驶车辆驾驶安全性；
此外，本实施例借助LSTM网络模型可挖掘上下文信息的能力及其记忆效应，同时考虑到运动的连续性及平滑性，以连续的历史状态信息作为LSTM网络模型的输入，LSTM网络模型的输出包括车速和方向盘转角，通过对车速和方向盘转角进行综合控制，提高车辆的自动驾驶能力。
具体地，对于上述目标检测网络模型、车道线识别网络模型以及LSTM网络模型，其训练过程中的样本数据通过以下方式获得：
经验驾驶者驾驶车辆，通过车辆前端安装的摄像头采集经验驾驶者在城市道路中驾驶车辆时的行驶场景数据，数据采集最高车速限制60km/h，路面类型包括改性沥青混凝土路面、水泥混凝土路面，总驾驶里程长须大于100km，其中不同弯道半径的弯道约占30.7％，场景元素主要包括不同时间、道路、天气、光线以及车流等，有效驾驶工况包括：(1)行驶车道内前方无行驶车辆或前车车距较远时的正常驾驶；(2)行驶车道内前方近距离有行驶车辆的跟车驾驶。采集摄像头FOV角度为60°，采集频率为10Hz，图像尺寸为960×604，同时利用车载传感器记录驾驶行为数据，包括车辆方向盘转角、速度以及车辆横摆角速度等，采集频率为10Hz，采集图像样本总量不少于30万张，为使得网络模型充分学习到经验驾驶者的正常驾驶行为状态，剔除原始数据中无效驾驶工况数据，同时考虑到决策过程的时序性要求，利用切片式方法提取时序数据集；
通过上述方式，可以得到目标数量(不少于30万张)的样本图像以及每一样本图像对应的驾驶行为数据，该驾驶行为数据包括车速和方向盘转角。所述样本图像以及样本图像对应驾驶行为数据用于目标检测网络模型、车道线识别网络模型以及LSTM网络模型的训练。
示例性地，所述目标检测网络模型的训练过程包括：
对所有样本图像进行图像处理获得其对应的目标检测结果，将所述样本图像输入神经网络基础模型进行训练，给定所述目标检测结果为训练目标，即训练使得模型输出的检测结果应当与给定的训练目标之间的误差小于设定要求，训练完成，得到所述目标检测网络模型。需说明的是，该神经网络基础模型不具体限定于哪一种。
示例性地，所述车道线识别网络模型的训练过程包括：
对所有样本图像进行图像处理获得其对应的车道线识别结果，将所述样本图像输入神经网络基础模型进行训练，给定所述车道线识别结果为训练目标，即训练使得模型输出的检测结果应当与给定的训练目标之间的误差小于设定要求，训练完成，得到所述车道线识别网络模型。需说明的是，该神经网络基础模型不具体限定于哪一种。
示例性地，所述LSTM模型的训练过程包括：
对所有样本图像进行图像处理获得其对应的目标检测结果和车道线识别结果，并根据目标检测结果和车道线识别结果确定对应的样本输入量，样本输入量包括R值和多个特征点信息，即每一样本图像对应有一个样本输入量和驾驶行为数据；所述样本输入量为训练过程中LSTM网络模型的输入样本，将所述样本输入量输入LSTM网络基础模型进行训练，给定所述驾驶行为数据(车速和方向盘转角)为训练目标，即训练使得模型输出的决策结果应当与给定的训练目标之间的误差小于设定要求，训练完成，得到所述LSTM网络模型。
本实施例的相关网络模型训练流程可以参阅图2。
在一具体实施例中，所述步骤S2中，获取本车与所述目标的距离信息，具体可以包括：
步骤S21、获取所述目标在所述本车前方图像的图像坐标系中的二维坐标信息；
步骤S22、根据所述目标的二维坐标信息进行坐标系变换获得所述目标在车辆坐标系中的三维坐标信息；
具体而言，所述本车前方图像中的元素的坐标信息为二维坐标信息，本实施例中自动驾驶决策过程中是基于车辆坐标系进行决策的，因此需要获取目标在车辆坐标系中的三维坐标信息；
其中，图像坐标系与车辆坐标系的坐标转换方程可以预先进行标定确定，在方法实施过程中，可以直接根据二维坐标信息与标定的坐标转换方程获得对应的三维坐标信息。
可以理解的是，车辆坐标系通过整车的结构参数设计得到，坐标转换方程的标定，与摄像头的摄像参数以及整车的结构参数有关，因此具体需要根据不同类型的摄像头以及不同车型的整车结构参数进行标定。
下面对坐标转换进行举例说明：
示例性地，可以建立原点在车辆前保险杆正中垂直向下延长线与地面交接处的车辆局部坐标系OEXEYEZE、相机坐标系OCXCYCZC及像素坐标系OPXPYPZP，如图3所示，在相机视野内的车辆局部坐标系中任意一点P(xe,ye,ze)，经过光学成像后在像素坐标(u,v)处形成像点，在不考虑镜头成像畸变的情况下，根据相机透视投影理论，点的齐次坐标形式下的几何变换规律可以描述为：
其中，s>0为投影尺度因子，
表示需要通过标定确定的透视投影矩阵；
考虑到平坦道路上车道线所在平面与OEXEYE平面基本重合，标定时采样点均在该平面上随机采集，即ze＝0。假设某个点Pi的局部坐标
以及它在光学图像中的像素坐标(ui,vi)均已知，代入几何映射关系式(1)中整理可得到欠定方程组：
因此，在实际转换过程中无需考虑
包含
第三列元素的矩阵子块，且一般设置比例参数m34＝1，进而获得4个以上均已知局部坐标和像素坐标的共标定采样点后，代入式(2)并联立得到方程组，通过最小二乘法可以求解出透视变换矩阵中各元素值，得到估值
确定参数后利用式(1)将目标的二维坐标信息转换成对应的三维坐标信息；
步骤S23、根据所述目标在车辆坐标系中的三维坐标信息确定本车与目标的距离信息；
可以理解的是，在获得目标的三维坐标信息之后，可以根据本车的车头的中心点位置的三维坐标信息以及所述的三维坐标信息计算本车与目标的距离信息。
在一具体实施例中，所述车道线信息包括本车所在车道的左、右车道线在所述本车前方图像的图像坐标系中的二维坐标信息；
其中，所述步骤S3中，根据所述车道线信息获得车道中心线上的多个特征点信息，具体可以包括：
步骤S31、根据所述车道线的二维坐标信息进行坐标系变换获得所述车道线在车辆坐标系中的三维坐标信息；
步骤S32、根据所述车道线的三维坐标信息确定对应车道中心线的三维坐标信息；
步骤S33、根据车道中心线的三维坐标信息获得所述车道中心线上的多个特征点信息；所述多个特征点信息包括所述车道中心线上多个离散位置点的三维坐标信息。
具体而言，在获得本车所在车道的左、右车道线在所述本车前方图像的图像坐标系中的三维坐标信息之后，需要根据左、右车道线的三维坐标信息拟合左、右车道线，假设左、右车道线位于平面OEXEYE上，左、右车道线上离散特征点序列的坐标分别为
和
分别进行二次多项式数值拟合后可以生成对应的曲线方程Ll(x,y)和Lr(x,y)；
进一步地，参阅图4，在OEXE方向按1m等距划线，可以计算得到当前t时刻的车道中心上20个特征点的横向坐标集合
具体而言，现实多样化道路环境中，车道宽度不尽相同，若直接将左右车道线的特征点和目标所在位置的空间坐标输入LSTM网络模型进行行为预测，容易产生信息瓶颈和过拟合问题，而且现实情况下不可能保证所有车辆摄像头的安装位置都丝毫无差，如此训练得到的LSTM网络模型很难向其他车辆移植，因此缺乏复用性和通用性。为了避免上述问题，本实施例方法从左、右车道线分析计算出作为目标路径的车行道中心线，即沿车道中间的理论线，并根据目标位置坐标估计其与本车的相对距离，使用两者精确地描述当前车辆所处环境的状态。
示例性地，参阅图4，检测到的目标为车辆，车道线为曲线的场景，通过前面步骤的处理，可以得到当前t时刻前方紧相邻车辆与本车间的相对距离R(t)，若规定范围内前车不存在，则将R设置为固定值100，通过联结两者可以构造出描述当前t时刻环境信息且具有固定长度的多维特征信息
在一具体实施例中，所述LSTM网络模型包括依次连接的输入层、第一LSTM层、第二LSTM层、输出层；
其中，所述第一LSTM层和第二LSTM层分别包括k+1个LSTM细胞(cell)；所述第一LSTM层的k+1个LSTM细胞级联，所述第二LSTM层的k+1个LSTM细胞级联，所述第一LSTM层的k+1个LSTM细胞与所述第二LSTM层的k+1个LSTM细胞一一对应连接；具体而言，同一层的细胞级联指的是，同一层的k+1个LSTM细胞的相邻两个LSTM细胞连接；k+1个LSTM细胞对应k+1个时刻；
其中，所述输入层用于接收所述多维特征信息序列，并将所述多维特征信息序列中的k+1个时刻的多维特征信息分别对应输入所述第一LSTM层的k+1个LSTM细胞中；
其中，所述第一LSTM层的k+1个LSTM细胞分别接收对应的多维特征信息，并进行处理；
示例性地，当前时刻为t时刻，则第一LSTM层的第1个LSTM细胞接收2个变量，第一个变量是前第t-k+1个时刻所对应的多维特征信息，第二个变量是上一时刻本细胞的隐藏量和记忆状态量，根据这2个变量进行处理输出对应的隐藏量和记忆状态量；
又示例性地，当前时刻为t时刻，则第一LSTM层的第2个LSTM细胞接收3个变量，第一个变量是前第t-k+2个时刻所对应的多维特征信息，第二个变量是上一个LSTM细胞(第一LSTM层的第1个LSTM细胞)的输出，第三变量是上一时刻本细胞的隐藏量和记忆状态量，根据这3个变量进行处理输出对应的隐藏量和记忆状态量；以此类推，可以得知第一LSTM层其他的细胞的输入量；
其中，所述第二LSTM层的k+1个LSTM细胞分别对应接收所述第一LSTM层的k+1个LSTM细胞的输出，并进行处理；
示例性地，当前时刻为t时刻，则第二LSTM层的第1个LSTM细胞接收2个变量，第一个变量是第一LSTM层的第1个LSTM细胞的输出，第二个变量是上一时刻本细胞的隐藏量和记忆状态量，根据这2个变量进行处理输出对应的隐藏量和记忆状态量；
又示例性地，当前时刻为t时刻，则第二LSTM层的第2个LSTM细胞接收3个变量，第一个变量是第二LSTM层的第2个LSTM细胞，第二个变量是上一个LSTM细胞(第二LSTM层的第1个LSTM细胞)的输出，第三变量是上一时刻本细胞的隐藏量和记忆状态量，根据这3个变量进行处理输出对应的隐藏量和记忆状态量；以此类推，可以得知第二LSTM层其他的细胞的输入量；
其中，所述第二LSTM层的最后一个LSTM细胞的隐藏输出量作为所述输出层的输入量；
其中，所述输出层用于接收所述第二LSTM层的最后一个LSTM细胞的隐藏输出量，将该隐藏输出量转换为对应的车速值和方向盘转角值，并将所述车速值和方向盘转角值输出作为当前时刻的车速控制量和方向盘转角控制量。
具体而言，本实施例具体应用动态双层LSTM网络和两层全连接层进行搭建，即输出层为两层全连接层，按时间展开的结构如图5所示，与单层LSTM模型相比，本实施例的双层栈式LSTM网络模型通过增加从输入端到输出端的LSTM层数，提升了驾驶决策模型对于时序信息的抽象表征能力，以增强网络的学习能力。
在图5所示的LSTM网络模型结构中，输入信息为被预测车辆所处场景的当前时刻及历史时刻的多维特征信息序列Ω(t)＝{Q(t-k+1),Q(t-k+2),...,Q(t)}，Q(t)表示当前时刻的21维状态向量，Q(t-k+1)则表示前k时刻的状态向量，本实施例中优选设置时序k为5，譬如当前时刻是第10s，则前6s时刻则为第4s；
具体地，每层LSTM细胞的隐藏层数量为256，在每一时刻，集成预测能力和记忆效应的LSTM网络对输入信息进行有效地理解和记忆，以此更新当前时刻的第l层的状态
和输出
同时通过两层全连接层对应该执行的行为动作控制量进行预测，其输入为第二LSTM层最后一个LSTM细胞的隐藏输出
隐藏层神经元数量为100，
需要经过两层全连接层才能得到最终用于控制本车行驶的2维度控制量矩阵
的两个分量
分别表示方向盘转角控制量和车速控制量；其中，本实施例LSTM网络模型训练时方向盘转角和车速均归一化至[-1,1]，故输出层还需要使用tanh激活函数进行激活输出对应的方向盘转角和车速控制量，即实际值。
基于以上描述，本实施例LSTM网络模型决策的过程可以简单地表示为：
O＝f(Ω,W)
其中，O表示决策结果，Ω表示作为网络输入的环境状态信息，由车道线检测网络模型输出，W表示需要通过网络优化训练得到的使预测行为与期望行为间差异最小化的最佳权值参数。
具体地，由于车辆方向盘转角和速度都是一定区间内的连续变量，因此LSTM网络模型对这两种行为参数量的预测可以视为回归问题。由于算法主要面向城区道路场景，一般城区主干道路根据道路交通设施设置规范的规定最高限速60km·h-1以下，且车辆方向盘转角大小在范围[-540°,540°]，在训练时两者分别需要通过幅度归一化至[-1,1]区间，归一化总因子分别是60及540。使用决策行为参数的真实标签值Ogt与预测值O间的欧氏距离作为损失函数，设计含正则化约束条件的目标函数表达式为：
其中，W为决策网络的权值参数，N为训练样本规模，
为正则化系数。
其中，LSTM网络模型的输入量是通过前述车道线、目标检测及几何转换步骤得到的多维特征信息序列，标签值则为对应时刻的速度及方向盘转角值。在样本集上仍按8：1：1的比例将符合条件的样本划分为训练集、验证集和测试集，训练过程中采用ADAM算法优化网络权重，训练参数为：批次大小设置为256，训练回合数为30，学习率初始值为0.01，并采用指数衰减策略动态更新，经过约10h的训练模型达到收敛。
参阅图6，本发明另一实施例提出一种自动驾驶系统，包括：
图像获取单元1，用于获取当前时刻的本车前方图像；
第一特征量获取单元2，用于将所述本车前方图像输入预先训练好的目标检测网络模型进行目标检测；若检测到目标，则获取本车与所述目标的距离信息，并令当前时刻的R值等于该距离信息；若未检测到目标，则令当前时刻的R值等于预设距离值；
第二特征量获取单元3，用于将所述本车前方图像输入预先训练好的车道线识别网络模型进行识别获得本车所在车道的车道线信息，并根据所述车道线信息获得车道中心线上的多个位置点信息，将所述多个位置点信息输出作为当前时刻的多个特征点信息；
驾驶决策单元4，用于根据当前时刻的R值与多个特征点信息获得当前时刻的多维特征信息，并根据当前时刻的多维特征信息与前k个时刻的多维特征信息生成多维特征信息序列，将所述多维特征信息序列输入利用预先训练好的LSTM网络模型进行驾驶决策处理，输出当前时刻的车速控制量和方向盘转角控制量；
控制单元5，用于根据所述车速控制量和方向盘转角控制量控制本车驾驶执行机构自动驾驶。
在一具体实施例中，所述目标为本车所在车道的前方中离本车最近的车辆或行人；
所述第一特征量获取单元2，具体用于：
获取所述目标在所述本车前方图像的图像坐标系中的二维坐标信息；
根据所述目标的二维坐标信息进行坐标系变换获得所述目标在车辆坐标系中的三维坐标信息；以及
根据所述目标在车辆坐标系中的三维坐标信息确定本车与目标的距离信息。
在一具体实施例中，所述车道线信息包括本车所在车道的车道线在所述本车前方图像的图像坐标系中的二维坐标信息；
所述第二特征量获取单元3，具体用于：
根据所述车道线的二维坐标信息进行坐标系变换获得所述车道线在车辆坐标系中的三维坐标信息；
根据所述车道线的三维坐标信息确定对应车道中心线的三维坐标信息；以及
根据车道中心线的三维坐标信息获得所述车道中心线上的多个特征点信息；所述多个特征点信息包括所述车道中心线上多个离散位置点的三维坐标信息。
在一具体实施例中，所述LSTM网络模型包括依次连接的输入层、第一LSTM层、第二LSTM层、输出层；
所述第一LSTM层和第二LSTM层分别包括k+1个LSTM细胞；所述第一LSTM层的k+1个LSTM细胞级联，所述第二LSTM层的k+1个LSTM细胞级联，所述第一LSTM层的k+1个LSTM细胞与所述第二LSTM层的k+1个LSTM细胞一一对应连接；
所述输入层用于接收所述多维特征信息序列，并将所述多维特征信息序列中的k+1个时刻的多维特征信息分别对应输入所述第一LSTM层的k+1个LSTM细胞中；
所述第一LSTM层的k+1个LSTM细胞分别接收对应的多维特征信息，并进行处理；
所述第二LSTM层的k+1个LSTM细胞分别对应接收所述第一LSTM层的k+1个LSTM细胞的输出，并进行处理；
所述第二LSTM层的最后一个LSTM细胞的隐藏输出量作为所述输出层的输入量；
所述输出层用于接收所述第二LSTM层的最后一个LSTM细胞的隐藏输出量，将该隐藏输出量转换为对应的车速值和方向盘转角值，并将所述车速值和方向盘转角值输出作为当前时刻的车速控制量和方向盘转角控制量。
以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
需说明的是，上述实施例所述系统与上述实施例所述方法对应，因此，上述实施例所述系统未详述部分可以参阅上述实施例所述方法的内容得到，此处不再赘述。
并且，上述实施例所述自动驾驶系统如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
本发明的另一实施例还提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例所述自动驾驶方法的步骤。
具体而言，所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(R值OM，R值ead-Only MemoR值y)、随机存取存储器(R值AM，R值andom Access MemoR值y)、电载波信号、电信信号以及软件分发介质等。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (10)
1.一种自动驾驶方法，其特征在于，包括：
获取当前时刻的本车前方图像；
将所述本车前方图像输入预先训练好的目标检测网络模型进行目标检测；若检测到目标，则获取本车与所述目标的距离信息，并令当前时刻的R值等于该距离信息；若未检测到目标，则令当前时刻的R值等于预设距离值；
将所述本车前方图像输入预先训练好的车道线识别网络模型进行识别获得本车所在车道的车道线信息，并根据所述车道线信息获得车道中心线上的多个位置点信息，将所述多个位置点信息输出作为当前时刻的多个特征点信息；
根据当前时刻的R值与多个特征点信息获得当前时刻的多维特征信息，并根据当前时刻的多维特征信息与前k个时刻的多维特征信息生成多维特征信息序列，将所述多维特征信息序列输入利用预先训练好的LSTM网络模型进行驾驶决策处理，输出当前时刻的车速控制量和方向盘转角控制量；
根据所述车速控制量和方向盘转角控制量控制本车驾驶执行机构自动驾驶。
2.根据权利要求1所述的自动驾驶方法，其特征在于，所述目标为本车所在车道的前方中离本车最近的车辆或行人。
3.根据权利要求2所述的自动驾驶方法，其特征在于，所述获取本车与所述目标的距离信息，包括：
获取所述目标在所述本车前方图像的图像坐标系中的二维坐标信息；
根据所述目标的二维坐标信息进行坐标系变换获得所述目标在车辆坐标系中的三维坐标信息；
根据所述目标在车辆坐标系中的三维坐标信息确定本车与目标的距离信息。
4.根据权利要求1所述的自动驾驶方法，其特征在于，所述车道线信息包括本车所在车道的车道线在所述本车前方图像的图像坐标系中的二维坐标信息；
其中，所述根据所述车道线信息获得车道中心线上的多个特征点信息，包括：
根据所述车道线的二维坐标信息进行坐标系变换获得所述车道线在车辆坐标系中的三维坐标信息；
根据所述车道线的三维坐标信息确定对应车道中心线的三维坐标信息；
根据车道中心线的三维坐标信息获得所述车道中心线上的多个特征点信息；所述多个特征点信息包括所述车道中心线上多个离散位置点的三维坐标信息。
5.根据权利要求1所述的自动驾驶方法，其特征在于，所述LSTM网络模型包括依次连接的输入层、第一LSTM层、第二LSTM层、输出层；
所述第一LSTM层和第二LSTM层分别包括k+1个LSTM细胞；所述第一LSTM层的k+1个LSTM细胞级联，所述第二LSTM层的k+1个LSTM细胞级联，所述第一LSTM层的k+1个LSTM细胞与所述第二LSTM层的k+1个LSTM细胞一一对应连接；
所述输入层用于接收所述多维特征信息序列，并将所述多维特征信息序列中的k+1个时刻的多维特征信息分别对应输入所述第一LSTM层的k+1个LSTM细胞中；
所述第一LSTM层的k+1个LSTM细胞分别接收对应的多维特征信息，并进行处理；
所述第二LSTM层的k+1个LSTM细胞分别对应接收所述第一LSTM层的k+1个LSTM细胞的输出，并进行处理；
所述第二LSTM层的最后一个LSTM细胞的隐藏输出量作为所述输出层的输入量；
所述输出层用于接收所述第二LSTM层的最后一个LSTM细胞的隐藏输出量，将该隐藏输出量转换为对应的车速值和方向盘转角值，并将所述车速值和方向盘转角值输出作为当前时刻的车速控制量和方向盘转角控制量。
6.一种自动驾驶系统，其特征在于，包括：
图像获取单元，用于获取当前时刻的本车前方图像；
第一特征量获取单元，用于将所述本车前方图像输入预先训练好的目标检测网络模型进行目标检测；若检测到目标，则获取本车与所述目标的距离信息，并令当前时刻的R值等于该距离信息；若未检测到目标，则令当前时刻的R值等于预设距离值；
第二特征量获取单元，用于将所述本车前方图像输入预先训练好的车道线识别网络模型进行识别获得本车所在车道的车道线信息，并根据所述车道线信息获得车道中心线上的多个位置点信息，将所述多个位置点信息输出作为当前时刻的多个特征点信息；
驾驶决策单元，用于根据当前时刻的R值与多个特征点信息获得当前时刻的多维特征信息，并根据当前时刻的多维特征信息与前k个时刻的多维特征信息生成多维特征信息序列，将所述多维特征信息序列输入利用预先训练好的LSTM网络模型进行驾驶决策处理，输出当前时刻的车速控制量和方向盘转角控制量；
控制单元，用于根据所述车速控制量和方向盘转角控制量控制本车驾驶执行机构自动驾驶。
7.根据权利要求6所述的自动驾驶系统，其特征在于，所述目标为本车所在车道的前方中离本车最近的车辆或行人；
所述第一特征量获取单元，具体用于：
获取所述目标在所述本车前方图像的图像坐标系中的二维坐标信息；
根据所述目标的二维坐标信息进行坐标系变换获得所述目标在车辆坐标系中的三维坐标信息；以及
根据所述目标在车辆坐标系中的三维坐标信息确定本车与目标的距离信息。
8.根据权利要求6所述的自动驾驶系统，其特征在于，所述车道线信息包括本车所在车道的车道线在所述本车前方图像的图像坐标系中的二维坐标信息；
所述第二特征量获取单元，具体用于：
根据所述车道线的二维坐标信息进行坐标系变换获得所述车道线在车辆坐标系中的三维坐标信息；
根据所述车道线的三维坐标信息确定对应车道中心线的三维坐标信息；以及
根据车道中心线的三维坐标信息获得所述车道中心线上的多个特征点信息；所述多个特征点信息包括所述车道中心线上多个离散位置点的三维坐标信息。
9.根据权利要求6所述的自动驾驶系统，其特征在于，所述LSTM网络模型包括依次连接的输入层、第一LSTM层、第二LSTM层、输出层；
所述第一LSTM层和第二LSTM层分别包括k+1个LSTM细胞；所述第一LSTM层的k+1个LSTM细胞级联，所述第二LSTM层的k+1个LSTM细胞级联，所述第一LSTM层的k+1个LSTM细胞与所述第二LSTM层的k+1个LSTM细胞一一对应连接；
所述输入层用于接收所述多维特征信息序列，并将所述多维特征信息序列中的k+1个时刻的多维特征信息分别对应输入所述第一LSTM层的k+1个LSTM细胞中；
所述第一LSTM层的k+1个LSTM细胞分别接收对应的多维特征信息，并进行处理；
所述第二LSTM层的k+1个LSTM细胞分别对应接收所述第一LSTM层的k+1个LSTM细胞的输出，并进行处理；
所述第二LSTM层的最后一个LSTM细胞的隐藏输出量作为所述输出层的输入量；
所述输出层用于接收所述第二LSTM层的最后一个LSTM细胞的隐藏输出量，将该隐藏输出量转换为对应的车速值和方向盘转角值，并将所述车速值和方向盘转角值输出作为当前时刻的车速控制量和方向盘转角控制量。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-5中任一项所述自动驾驶方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011465652.4A CN114620059A (zh) | 2020-12-14 | 2020-12-14 | 一种自动驾驶方法及其系统、计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011465652.4A CN114620059A (zh) | 2020-12-14 | 2020-12-14 | 一种自动驾驶方法及其系统、计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114620059A true CN114620059A (zh) | 2022-06-14 |
Family
ID=81897574
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011465652.4A Pending CN114620059A (zh) | 2020-12-14 | 2020-12-14 | 一种自动驾驶方法及其系统、计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114620059A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI819751B (zh) * | 2022-08-17 | 2023-10-21 | 國立高雄大學 | 全視覺自動駕駛系統 |
| CN117184105A (zh) * | 2023-07-20 | 2023-12-08 | 清华大学 | 一种基于多模态数据融合的转向角速度预测方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109466552A (zh) * | 2018-10-26 | 2019-03-15 | 中国科学院自动化研究所 | 智能驾驶车道保持方法及系统 |
| CN110568760A (zh) * | 2019-10-08 | 2019-12-13 | 吉林大学 | 适用于换道及车道保持的参数化学习决策控制系统及方法 |
| US20200293797A1 (en) * | 2018-05-31 | 2020-09-17 | Shanghai Sensetime Intelligent Technology Co., Ltd. | Lane line-based intelligent driving control method and apparatus, and electronic device |
| WO2020184277A1 (ja) * | 2019-03-08 | 2020-09-17 | マツダ株式会社 | 車両用演算システム |
| CN111738037A (zh) * | 2019-03-25 | 2020-10-02 | 广州汽车集团股份有限公司 | 一种自动驾驶方法及其系统、车辆 |
-
2020
- 2020-12-14 CN CN202011465652.4A patent/CN114620059A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200293797A1 (en) * | 2018-05-31 | 2020-09-17 | Shanghai Sensetime Intelligent Technology Co., Ltd. | Lane line-based intelligent driving control method and apparatus, and electronic device |
| CN109466552A (zh) * | 2018-10-26 | 2019-03-15 | 中国科学院自动化研究所 | 智能驾驶车道保持方法及系统 |
| WO2020184277A1 (ja) * | 2019-03-08 | 2020-09-17 | マツダ株式会社 | 車両用演算システム |
| CN111738037A (zh) * | 2019-03-25 | 2020-10-02 | 广州汽车集团股份有限公司 | 一种自动驾驶方法及其系统、车辆 |
| CN110568760A (zh) * | 2019-10-08 | 2019-12-13 | 吉林大学 | 适用于换道及车道保持的参数化学习决策控制系统及方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI819751B (zh) * | 2022-08-17 | 2023-10-21 | 國立高雄大學 | 全視覺自動駕駛系統 |
| CN117184105A (zh) * | 2023-07-20 | 2023-12-08 | 清华大学 | 一种基于多模态数据融合的转向角速度预测方法及装置 |
| CN117184105B (zh) * | 2023-07-20 | 2024-03-26 | 清华大学 | 一种基于多模态数据融合的转向角速度预测方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11221413B2 (en) | Three-dimensional object detection | |
| EP4152204A1 (en) | Lane line detection method, and related apparatus | |
| US11768292B2 (en) | Three-dimensional object detection | |
| CN113126115B (zh) | 基于点云的语义slam方法、装置、电子设备和存储介质 | |
| CN109466552B (zh) | 智能驾驶车道保持方法及系统 | |
| Hu et al. | Learning a deep cascaded neural network for multiple motion commands prediction in autonomous driving | |
| US20200394838A1 (en) | Generating Map Features Based on Aerial Data and Telemetry Data | |
| CN114620059A (zh) | 一种自动驾驶方法及其系统、计算机可读存储介质 | |
| Teng et al. | FusionPlanner: A multi-task motion planner for mining trucks via multi-sensor fusion | |
| Paravarzar et al. | Motion prediction on self-driving cars: A review | |
| CN113552883A (zh) | 基于深度强化学习的地面无人车自主驾驶方法及系统 | |
| CN117056153A (zh) | 校准和验证驾驶员辅助系统和/或自动驾驶系统的方法、系统和计算机程序产品 | |
| Teng et al. | Fusionplanner: A multi-task motion planner for mining trucks using multi-sensor fusion method | |
| Masmoudi et al. | Autonomous car-following approach based on real-time video frames processing | |
| US11176823B2 (en) | Enhanced vehicle operation | |
| CN117372991A (zh) | 基于多视角多模态融合的自动驾驶方法及系统 | |
| Zhao et al. | Improving Autonomous Vehicle Visual Perception by Fusing Human Gaze and Machine Vision | |
| CN116182875A (zh) | 一种基于图神经网络的临时道路路径规划方法及系统 | |
| CN114802261A (zh) | 泊车控制方法、障碍物识别模型训练方法、装置 | |
| CN114495036A (zh) | 一种基于三阶段注意力机制的车辆轨迹预测方法 | |
| Yildiz et al. | CNN based sensor fusion method for real-time autonomous robotics systems | |
| Bhaggiaraj et al. | Deep Learning Based Self Driving Cars Using Computer Vision | |
| Fennessy | Autonomous vehicle end-to-end reinforcement learning model and the effects of image segmentation on model quality | |
| Tiwari et al. | Deep learning based lateral control system | |
| Mihalea et al. | End-to-end models for self-driving cars on UPB campus roads |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |