CN110298219A - 无人驾驶车道保持方法、装置、计算机设备和存储介质 - Google Patents

无人驾驶车道保持方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN110298219A
CN110298219A CN201810247138.XA CN201810247138A CN110298219A CN 110298219 A CN110298219 A CN 110298219A CN 201810247138 A CN201810247138 A CN 201810247138A CN 110298219 A CN110298219 A CN 110298219A
Authority
CN
China
Prior art keywords
real vehicle
model
training
data
training data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810247138.XA
Other languages
English (en)
Inventor
石含飞
何俏君
徐伟
查鸿山
裴锋
谷俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Automobile Group Co Ltd
Original Assignee
Guangzhou Automobile Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Automobile Group Co Ltd filed Critical Guangzhou Automobile Group Co Ltd
Priority to CN201810247138.XA priority Critical patent/CN110298219A/zh
Priority to PCT/CN2018/111274 priority patent/WO2019179094A1/zh
Priority to US16/339,008 priority patent/US11505187B2/en
Publication of CN110298219A publication Critical patent/CN110298219A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/20—Steering systems
    • B60W2710/207—Steering angle of wheels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Automation & Control Theory (AREA)
  • Databases & Information Systems (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Neurology (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种无人驾驶车道保持方法、装置、计算机设备和存储介质，包括步骤：接收数据采集器对车辆进行采集得到的实车图像；将实车图像传输到预设的实车模型进行处理，得到与实车图像相对应的方向转角，其中，实车模型通过深度神经网络学习建立，用于表征实车图像与方向转角的对应关系；根据方向转角控制车辆保持在对应的车道行驶。上述无人驾驶车道保持方法、装置、计算机设备和存储介质，通过采集大量的实车数据作为训练数据，经过深度神经网络进行深度学习建立对应的实车推断模型，不需要人工知识即可完成对道路信息的刻画，并且通过深度学习还能学习到人工知识无法得到的对车道保持有深刻内在理解的特征信息，具有识别能力强的优点。

Description

无人驾驶车道保持方法、装置、计算机设备和存储介质
技术领域
本申请涉及无人驾驶技术领域，特别是涉及一种无人驾驶车道保持方法、装置、计算机设备和存储介质。
背景技术
随着汽车工业的飞速发展和人们生活水平的提高，汽车作为主要的出行工具走进了千家万户。人们在驾驶过程中，容易受到外界因素的影响而无法很好的使汽车保持车道行驶，容易发生交通事故。研究表明，由于车道偏离导致的交通事故占据交通事故的20％。为了避免这类交通事故的发生，无人驾驶技术得到相应的发展。
传统的无人驾驶中车道保持根据人工知识建立车道模型，在实际行驶过程中，通过采集道路图像提取车道标记，之后根据车道模型计算出车道偏移量，利用转角分段PID(Proportion Integral Derivative，比例积分微分控制器)控制器计算修正车道偏离距离所需要的方向盘转角补偿值，进而对车辆车道偏离进行修正。然而，传统的无人驾驶中车道保持方法由于采用人工知识建立对应的车道模型，所以在路线不清晰、弯道曲率较大和车辆拥堵路段的识别能力不足。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高在路线不清晰、弯道曲率较大和车辆拥堵路段等状况下的识别能力的无人驾驶车道保持方法、装置、计算机设备和存储介质。
一种无人驾驶车道保持方法，所述方法包括步骤：接收数据采集器对车辆进行采集得到的实车图像；将所述实车图像传输到实车模型进行处理，得到与所述实车图像相对应的方向转角，其中，所述实车模型通过深度神经网络学习建立，用于表征实车图像与方向转角的对应关系；根据所述方向转角控制车辆保持在对应的车道行驶。
在一个实施例中，所述接收数据采集器对车辆进行采集得到的实车图像的步骤之前，还包括：基于卷积神经网络建立相应的神经网络模型；接收训练数据，并根据所述训练数据和所述神经网络模型建立实车模型，所述训练数据包括实车图像和方向转角。
在一个实施例中，所述接收训练数据，并根据所述训练数据和所述神经网络模型建立实车模型的步骤，包括：接收训练数据，对所述训练数据进行预处理；根据所述预处理之后的训练数据和所述神经网络模型进行模型训练，得到训练结果；根据所述训练结果建立实车模型。
在一个实施例中，所述接收训练数据，对所述训练数据进行预处理，包括：接收训练数据，对所述训练数据中的实车图像进行随机平移、旋转、翻转和裁剪，得到预处理之后的实车图像；计算所述预处理之后的实车图像对应的方向转角，得到预处理之后的训练数据。
在一个实施例中，所述训练数据包括训练集数据，所述根据所述预处理之后的训练数据和所述神经网络模型进行模型训练，得到训练结果的步骤，包括：基于Tensorflow建立与预处理之后的训练数据对应的网络训练模型；根据所述训练集数据和所述神经网络模型，经所述训练集数据对所述网络训练模型进行迭代训练，得到训练结果。
在一个实施例中，所述训练数据还包括验证集数据，所述根据所述训练结果建立实车模型的步骤，包括：根据训练结果建立初步模型；根据验证集数据对所述初步模型进行验证，得到实车模型。
在一个实施例中，所述根据所述方向转角控制车辆保持在对应的车道行驶的步骤，包括：将所述方向转角发送至转向控制系统，所述方向转角用于所述转向控制系统控制车辆转向，使车辆保持在对应的车道行驶。
一种无人驾驶车道保持装置，所述装置包括：实车图像接收模块，用于接收数据采集器对车辆进行采集得到的实车图像；实车推断模块，用于将所述实车图像传输到实车模型进行处理，得到与所述实车图像相对应的方向转角，其中，所述实车模型通过深度神经网络学习建立，用于表征实车图像与方向转角的对应关系；方向转角控制模块，用于根据所述方向转角控制车辆保持在对应的车道行驶。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述一项所述的方法的步骤。
上述无人驾驶车道保持方法、装置、计算机设备和存储介质，通过采集大量的实车数据作为训练数据，经过深度神经网络进行深度学习建立对应的实车推断模型，在实际行驶过程中，能够根据采集的实车图像，经实车推断模型得到对应的方向转角，从而控制车辆保持在对应的车道行驶。不需要人工知识即可完成对道路信息的刻画，并且通过深度学习还能学习到人工知识无法得到的对车道保持有深刻内在理解的特征信息，能够实现在路线不清晰、弯道曲率较大和车辆拥堵路段环境下的车道保持，具有识别能力强的优点。
附图说明
图1为一个实施例中无人驾驶车道保持方法的流程示意图；
图2为一个实施例中方向转角控制示意图；
图3为一个实施例中建立实车模型的流程示意图；
图4为一个实施例中神经网络结构示意图；
图5为另一个实施例中建立实车模型的流程示意图；
图6为一个实施例中训练数据预处理的流程示意图；
图7为一个实施例中模型训练的流程示意图；
图8为一个实施例中模型验证的流程示意图；
图9为一个实施例中网络训练结构示意图；
图10为一个实施例中无人驾驶车道保持装置结构示意图；
图11为一个实施例中建立实车模型的结构示意图；
图12为另一个实施例中建立实车模型结构示意图；
图13为一个实施例中训练数据预处理结构示意图；
图14为一个实施例中模型训练结构示意图；
图15为一个实施例中模型验证结构示意图；
图16为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。
在一个实施例中，请参阅图1，一种无人驾驶车道保持方法，包括步骤：
S300，接收数据采集器对车辆进行采集得到的实车图像。具体地，根据数据采集器实时的采集车辆在行驶过程中的实时道路信息，进一步地，数据采集器可以是摄像头，在车辆的行驶过程中，摄像头以一定的频率进行拍照，得到对应的实车图像。
S400，将实车图像传输到预设的实车模型进行处理，得到与实车图像相对应的方向转角。
其中，实车模型通过深度神经网络学习建立，用于表征实车图像与方向转角的对应关系。具体地，数据采集器采集到实车图像之后，传输到预设的实车模型进行实车推断，得到与所采集的实车图像相对应的方向转角。预设的实车模型是指根据采集的实际驾驶过程中的实车图像与方向转角，进行深度神经网络学习所建立的表征实车图像与方向转角关系的模型。
进一步地，在一个实施例中，实车图像为RGB图像，在进行传输时，将RGB(RedGrenn Blue，RGB色彩模式)实车图像拆分为R、G、B三个通道，在每一通道上都加上相应的报头文和报头尾。在接收到RGB实车图像时，进行校验，当同一幅图像的R、G、B三个通道均被完整接收时，完成校验，否则校验失败。接收校验成功的RGB实车图像进行归一化后，进行实车模型推断，校验失败的实车图像则将丢弃。在对实车图像进行归一化处理时，将实车图像的RGB值从0～255归一化到[-1,1]。将每一帧的RGB实车图像封装为三帧的socket udp帧，以采样频率为30Hz为例，完成一帧RGB实车图像的传送损耗时间小于200us，满足实时性的要求。socket udp是通用的大数据报通讯方式，在c++和python上都有易于获取的接口函数，可避免c++和python混编带来的复杂调试，易于问题查找，进而缩短开发时间。
步骤S500，根据方向转角控制车辆保持在对应的车道行驶。具体地，根据实车模型推断出所采集的实车图像所对应的方向转角之后，控制车辆根据所得到的转角进行转向，保持在合适的车道行驶。
进一步地，请参阅图2，在一个实施例中，步骤S500包括将方向转角发送至转向控制系统，方向转角用于转向控制系统控制车辆转向，使车辆保持在对应的车道行驶。具体地，经过实车模型推断得到与所采集的实车图像相对应的方向转角之后，将所得到的方向转角发送到数据采集端，然后数据采集端再将方向转角发送到EPS(Electric PowerSteering，电子助力转向系统)，从而控制车辆进行转向，使车辆保持在对应的车道行驶。进一步地，实车模型将推断出来的对应方向转角发送到数据采集端时，通过socket(套接字，用于两个程序之间的数据交换)进行传输，数据采集端通过CAN(Controller AreaNetwork，控制器局域网络)总线将方向转角发送到EPS。通过上述方式完成对车辆转向的闭环控制，具有控制平滑、泛化能力高的优点。
在一个实施例中，请参阅图3，步骤S300之前还包括步骤S100和步骤S200。
步骤S100，基于卷积神经网络建立相应的神经网络模型。在进行车道保持的过程中，根据输入的实车图像来得到对应的方向转角，因此，可以把车道保持看作一个图像处理的问题，由于卷积神经网络在图像分类处理方面具有很强的优势，所以采用卷积神经网络作为神经网络的主要成分。具体地，请参阅图4，在一个实施例中，卷积神经网络共分为14层，一个输入层；5个卷积层，卷积层是稀疏连接，实现图像局部特征提取；3个max_pooling(最大池化)池化层，池化层的主要作用是对特征图下采样，整合特征；3个全连接层，其作用是将“分布式特征表示”映射到样本标记空间，可认为是对之前提取的局部特征的加权和；1个spp_net(空间金字塔池化网络)层，在最后一个卷积层与全连接层之间加入一个spp_net层，使模型适应多种尺寸输入；1个n类的softmax(分类概率函数，将输出值映射为分类概率)输出层，输出长度为n的1维向量，该向量值最大的元素的索引号即为根据输入图像预测出来的方向盘转角值；除了softmax层，每层的输出都要经过激活函数，以此增强网络非线性表达。由于样本间有一定的相似性，因此训练过程中每一个全连接层都设置了dropout，抑制过拟合，droptout用于在一次训练过程中，以一定概率使神经元失效。
进一步地，在一个实施例中，步骤S100之前还进行训练数据的采集。
具体地，在人工驾驶过程中，以一定的频率实时地采集车道保持时前方的实车图像以及方向转角，将采集到的实车图像和方向转角保存。进一步地，以30Hz的频率和1280*1080的像素对实车图像进行采集，并且将采集得到的实车图像以视频的格式进行保存，同时记录下捕获视频的时间戳并以txt文档进行记录，以100Hz的频率对方向转角进行采集，并且将采集得到的方向转角和对应的时间戳以二进制bin文件进行保存。可以理解，实车图像和方向转角的采集频率并不仅限于本实施例中所列采样频率，还可以以其它频率进行实车图像和方向转角的采样，只要方向转角的采样频率大于实车图像的采样频率即可，实车图像的采集像素也并不仅限于1280*1080，文档的保存形式也不仅限于本实施例，只要能对训练数据中的信息进行保存即可。
更进一步地，在一个实施例中，训练数据的采集之后还进行训练数据库的建立。具体地，将采集得到的数据划分为直道、弯道、左偏纠正和右偏纠正四大类，直道主要用于正常行驶，其它三类主要用于车辆偏离车道后纠正。在正常行驶过程中，大多是直道，因此直道数据具有较大比重，为了进行数据进行平衡，以降采样因子γ(大于1)对直道数据降采样，其它数据保持原有采样频率。由于方向转角的采集频率较高，为了使数据集包含更多的原始信息，我们以方向转角的采集时间为基准，在其之前采集且与之时间最近的图像作为当前方向盘转角对应的图像，将实车图像和方向转角进行同步。以1280*1080的像素对实车图像进行采集时，得到的对于车道保持来说视野过于宽广，并且在进行训练时，图片输入尺寸越大，不仅网络参数会增多，对车道保持而言引入的无关因子也会增多，而为了识别出无关因子，则数据量要成倍的增长，因此以H个像素高度，W个像素长度截取车辆前方道路图像H*W(H<1280，W<1080)，具体的大小可以根据实际情况来进行调整。由于HDF5文件在机器学习及控制软件中较易应用，选择HDF5文件来存储视频和方向转角，并且文件内图像的顺序与对应视频内视频帧的顺序相同。通过建立相应的训练数据库，方便在之后的训练过程中提取训练数据。
步骤S200，接收训练数据，并根据训练数据和神经网络模型建立实车模型。具体地，训练数据包括实车图像和方向转角，基于神经网络模型，根据接收的训练数据进行深度学习，建立实车模型。
进一步地，请参阅图5，在一个实施例中，步骤S200包括步骤S210、步骤S220和步骤S230。步骤S210，接收训练数据，对训练数据进行预处理。具体地，将采集得到的训练数据进行预处理，以扩充训练数据的数量和增加样本的多样性。
更进一步地，请参阅图6，在一个实施例中，步骤S210包括步骤S211和步骤S212。
步骤S211，接收训练数据，对训练数据中的实车图像进行随机平移、旋转、翻转和裁剪，得到预处理之后的实车图像。具体地，将采集得到的每一实车图像进行不同程度的随机平移、旋转以及以一定概率的水平翻转后再将H*W图像裁剪至IN_H*IN_W像素，大尺寸图像变换后再裁剪为小图像，主要是防止裁剪后的图像出现小范围的黑框。对H*W图像进行裁剪时，根据H*W的大小，选择适当的像素进行裁剪，裁剪时尽量缩小其它无关信息在实车图像中的占比，保证道路信息在实车图像中的占比。
步骤S212，计算预处理之后的实车图像对应的方向转角，得到预处理之后的训练数据。具体地，通过计算得到在实车图像进行预处理之后，与之对应的方向转角。通过下述变换公式得到：
steer_out＝sym_symbol*(steer_init+pix_shift*α-pix_rotate*β)
其中，α是随机平移像素对应角度的变换系数，β是图像旋转对应方向盘转角的变换系数。steer_out是对应图像变换后输出的角度值。sym_symbol是图像水平对称的标识，为示性函数，当sym_symbol为-1时表示水平对称，当sym_symbol为1表示不进行水平对称，计算式如下：
f(-T,T)表示在[-T,T]闭区间等概率生成一个随机整数，T为不为零任意整数，下述公式pix_shift和pix_rotate等式与之类似，M和K均表示不为零任意整数。图像经过水平对称带来的益处是可以平衡样本中车辆不居于车道中间时方向转角的习惯性倾向。steer_init是采集的原始方向转角，pix_shift是水平方向随机平移的像素个数，计算方式如下：
pix_shift＝f(-M,M)
负数表示IN_H*IN_W大小的滑动框在H*W的图上左移，反之右移。pix_rotate是H*W的图像做旋转变换的旋转角度，计算式如下：
pix_rotate＝f(-K,K)
根据上述计算公式，可以得到预处理之后的实车图像对应的方向转角，从而得到预处理之后的训练数据。
步骤S220，根据预处理之后的训练数据和神经网络模型进行模型训练，得到训练结果。具体地，基于神经网络模型根据大量预处理之后的到的训练数据进行模型训练，得到对应的训练结果。
进一步地，在一个实施例中，请参阅图7，步骤S220包括步骤S221和步骤S222。步骤S221，基于Tensorflow建立与预处理之后的训练数据对应的网络训练模型。具体地，Tensorflow是一种将复杂的数据结构传输至人工智能神经网中进行分析和处理过程的智能学习系统。基于Tensorflow建立与预处理之后的训练数据对应的网络训练模型，方便对预处理之后的训练数据进行后续的迭代训练。
步骤S222，根据训练集数据和神经网络模型，经训练集数据对网络训练模型进行迭代训练，得到训练结果。具体地，在进行训练连之前，将训练集数据随机打乱，破坏样本之间的相关性，增加训练结果的可靠性。更进一步地，在一个实施例中，由于得到的训练数据的容量较大，将训练数据分批载入，根据用于训练的服务器的配置的不同，每一批载入的训练数据的也不一样，可以根据实际情况来进行选择，并且，为了便于扩展，可以将存储训练数据和迭代训练分置于不同的服务器，两服务器之间通过socket进行数据传输。可以理解，在服务器配置允许的前提下，可以将训练数据一次性载入网络训练模型，同样也可以将训练数据的存储和迭代训练置于相同的服务器进行。
步骤S230，根据训练结果建立实车模型。具体地，基于Tensorflow网络训练模型，根据接收的训练数据进行相应的训练，得到关于实车图像与方向转角对应关系的训练结果并保存，根据对大量训练数据的训练结果，建立对应的实车模型。
进一步地，在一个实施例中，请参阅图8-图9，训练数据还包括验证集数据，步骤S230包括步骤S231和步骤S232。步骤S231，根据训练结果建立初步模型。具体地，根据训练集数据基于Tensorflow网络训练模型和神经网络模型，对Tensorflow网络训练模型进行迭代训练，得到实车图像与方向转角的对应关系，并根据得到的对应关系建立初步模型。进一步地，模型训练采用mini-batch SGD(Stochastic gradient descent，随机梯度下降)作为优化器，初始学习率为δ，学习率以系数θ进行指数衰减，训练次数达到设定值后进行一次学习率衰减，具体地，设定值根据多次训练累积的经验来确定。
步骤S232，根据验证集数据对初步模型进行验证，得到实车模型。具体地，在根据训练集数据进行迭代训练之后，根据训练结果建立关于实车图形与方向转角对应关系的初步模型，然后基于验证集数据对得到的初步模型进行能力评估，并且根据初步模型在验证集上的损失值或准确率的变化趋势决定是否终止训练。进一步地，为了防止意外导致训练程序中断，每对一定量的训练数据进行训练之后就保存一次模型的训练结果。
更进一步地，在一个实施例中，训练数据还包括测试集数据，在根据训练集数据完成初步训练，验证集对初步模型进行验证得到实车模型之后，通过测试集数据对得到的实车模型进行模型预测，衡量所建立的实车模型的性能和分类能力，得到结果并输出。将得到的训练数据划分为训练集数据、验证集数据和测试集数据，有效地防止模型的过拟合，进一步地提高了所建立的实车模型的可靠性。
上述无人驾驶车道保持方法，通过采集大量的实车数据作为训练数据，经过深度神经网络进行深度学习建立对应的实车推断模型，在实际行驶过程中，能够根据采集的实车图像，经实车推断模型得到对应的方向转角，从而控制车辆保持在对应的车道行驶。不需要人工知识即可完成对道路信息的刻画，并且通过深度学习还能学习到人工知识无法得到的对车道保持有深刻内在理解的特征信息，能够实现在路线不清晰、弯道曲率较大和车辆拥堵路段环境下的车道保持，具有识别能力强的优点。
请参阅图10，一种无人驾驶车道保持装置，包括实车图像接收模块300、实车推断模块400和方向转角控制模块500。
实车图像接收模块300用于接收数据采集器对车辆进行采集得到的实车图像。具体地，根据数据采集器实时的采集车辆在行驶过程中的实时道路信息，进一步地，数据采集器可以是摄像头，在车辆的行驶过程中，摄像头以一定的频率进行拍照，得到对应的实车图像。
实车推断模块400，用于将实车图像传输到预设的实车模型进行处理，得到与实车图像相对应的方向转角。
其中，实车模型通过深度神经网络学习建立，用于表征实车图像与方向转角的对应关系。具体地，数据采集器采集到实车图像之后，传输到预设的实车模型进行实车推断，得到与所采集的实车图像相对应的方向转角。预设的实车模型是指根据采集的实际驾驶过程中的实车图像与方向转角，进行深度神经网络学习所建立的表征实车图像与方向转角关系的模型。
进一步地，在一个实施例中，实车图像为RGB图像，在进行传输时，将RGB实车图像拆分为R、G、B三个通道，在每一通道上都加上相应的报头文和报头尾。在接收到RGB实车图像时，进行校验，当同一幅图像的R、G、B三个通道均被完整接收时，完成校验，否则校验失败。接收校验成功的RGB实车图像进行归一化后，进行实车模型推断，校验失败的实车图像则将丢弃。在对实车图像进行归一化处理时，将实车图像的RGB值从0～255归一化到[-1,1]。将每一帧的RGB实车图像封装为三帧的socket udp帧，以采样频率为30Hz为例，完成一帧RGB实车图像的传送损耗时间小于200us，满足实时性的要求。socket udp是通用的大数据报通讯方式，在c++和python上都有易于获取的接口函数，可避免c++和python混编带来的复杂调试，易于问题查找，进而缩短开发时间。
方向转角控制模块500，用于根据方向转角控制车辆保持在对应的车道行驶。具体地，根据实车模型推断出所采集的实车图像所对应的方向转角之后，控制车辆根据所得到的转角进行转向，保持在合适的车道行驶。
进一步地，请参阅图2，在一个实施例中，方向转角控制模块500，将方向转角发送至转向控制系统，方向转角用于转向控制系统控制车辆转向，使车辆保持在对应的车道行驶。具体地，经过实车模型推断得到与所采集的实车图像相对应的方向转角之后，将所得到的方向转角发送到数据采集端，然后数据采集端再将方向转角发送到EPS，从而控制车辆进行转向，使车辆保持在对应的车道行驶。进一步地，实车模型将推断出来的对应方向转角发送到数据采集端时，通过socket(套接字，用于两个程序之间的数据交换)进行传输，数据采集端通过CAN总线将方向转角发送到EPS。通过上述方式完成对车辆转向的闭环控制，具有控制平滑、泛化能力高的优点。
在一个实施例中，请参阅图11，无人驾驶车道保持装置还包括神经网络模型建立模块100和实车模型建立模块200。
神经网络模型建立模块100，用于基于卷积神经网络建立相应的神经网络模型。在进行车道保持的过程中，根据输入的实车图像来得到对应的方向转角，因此，可以把车道保持看作一个图像处理的问题，由于卷积神经网络在图像分类处理方面具有很强的优势，所以采用卷积神经网络作为神经网络的主要成分。具体地，请参阅图4，在一个实施例中，卷积神经网络共分为14层，一个输入层；5个卷积层，卷积层是稀疏连接，实现图像局部特征提取；3个max_pooling池化层，池化层的主要作用是对特征图下采样，整合特征；3个全连接层，其作用是将“分布式特征表示”映射到样本标记空间，可认为是对之前提取的局部特征的加权和；1个spp_net层，在最后一个卷积层与全连接层之间加入一个spp_net层，使模型适应多种尺寸输入；1个n类的softmax输出层，输出长度为n的1维向量，该向量值最大的元素的索引号即为根据输入图像预测出来的方向盘转角值；除了softmax层，每层的输出都要经过激活函数，以此增强网络非线性表达。由于样本间有一定的相似性，因此训练过程中每一个全连接层都设置了dropout，抑制过拟合，droptout用于在一次训练过程中，以一定概率使神经元失效。
进一步地，在一个实施例中，神经网络模型建立模块100基于卷积神经网络建立相应的神经网络模型之前还进行训练数据采集。
具体地，在人工驾驶过程中，以一定的频率实时地采集车道保持时前方的实车图像以及方向转角，将采集到的实车图像和方向转角保存。进一步地，以30Hz的频率和1280*1080的像素对实车图像进行采集，并且将采集得到的实车图像以视频的格式进行保存，同时记录下捕获视频的时间戳并以txt文档进行记录，以100Hz的频率对方向转角进行采集，并且将采集得到的方向转角和对应的时间戳以二进制bin文件进行保存。可以理解，实车图像和方向转角的采集频率并不仅限于本实施例中所列采样频率，还可以以其它频率进行实车图像和方向转角的采样，只要方向转角的采样频率大于实车图像的采样频率即可，实车图像的采集像素也并不仅限于1280*1080，文档的保存形式也不仅限于本实施例，只要能对训练数据中的信息进行保存即可。
更进一步地，在一个实施例中，训练数据的采集之后还进行训练数据库的建立。具体地，将采集得到的数据划分为直道、弯道、左偏纠正和右偏纠正四大类，直道主要用于正常行驶，其它三类主要用于车辆偏离车道后纠正。在正常行驶过程中，大多是直道，因此直道数据具有较大比重，为了进行数据进行平衡，以降采样因子γ(大于1)对直道数据降采样，其它数据保持原有采样频率。由于方向转角的采集频率较高，为了使数据集包含更多的原始信息，我们以方向转角的采集时间为基准，在其之前采集且与之时间最近的图像作为当前方向盘转角对应的图像，将实车图像和方向转角进行同步。以1280*1080的像素对实车图像进行采集时，得到的对于车道保持来说视野过于宽广，并且在进行训练时，图片输入尺寸越大，不仅网络参数会增多，对车道保持而言引入的无关因子也会增多，而为了识别出无关因子，则数据量要成倍的增长，因此以H个像素高度，W个像素长度截取车辆前方道路图像H*W(H<1280，W<1080)，具体的大小可以根据实际情况来进行调整。由于HDF5文件在机器学习及控制软件中较易应用，选择HDF5文件来存储视频和方向转角，并且文件内图像的顺序与对应视频内视频帧的顺序相同。通过建立相应的训练数据库，方便在之后的训练过程中提取训练数据。
实车模型建立模块200，用于接收训练数据，并根据训练数据和神经网络模型建立实车模型。具体地，训练数据包括实车图像和方向转角，基于神经网络模型，根据接收的训练数据进行深度学习，建立实车模型。
进一步地，请参阅12，在一个实施例中，实车模型建立模块200包括预处理模组210、训练模组220和模型建立模组230。预处理模组210，用于接收训练数据，对训练数据进行预处理。具体地，将采集得到的训练数据进行预处理，以扩充训练数据的数量和增加样本的多样性。
更进一步地，请参阅图13，在一个实施例中，预处理模组210包括实车图像处理单元211和方向转角计算单元212。实车图像处理单元211，用于接收训练数据，对训练数据中的实车图像进行随机平移、旋转、翻转和裁剪，得到预处理之后的实车图像。具体地，将采集得到的每一实车图像进行不同程度的随机平移、旋转以及以一定概率的水平翻转后再将H*W图像裁剪至IN_H*IN_W像素，大尺寸图像变换后再裁剪为小图像，主要是防止裁剪后的图像出现小范围的黑框。对H*W图像进行裁剪时，根据H*W的大小，选择适当的像素进行裁剪，裁剪时尽量缩小其它无关信息在实车图像中的占比，保证道路信息在实车图像中的占比。
方向转角计算单元212，用于计算预处理之后的实车图像对应的方向转角，得到预处理之后的训练数据。具体地，通过计算得到在实车图像进行预处理之后，与之对应的方向转角。通过下述变换公式得到：
steer_out＝sym_symbol*(steer_init+pix_shift*α-pix_rotate*β)
其中，α是随机平移像素对应角度的变换系数，β是图像旋转对应方向盘转角的变换系数。steer_out是对应图像变换后输出的角度值。sym_symbol是图像水平对称的标识，为示性函数，当sym_symbol为-1时表示水平对称，当sym_symbol为1表示不进行水平对称，计算式如下：
f(-T,T)表示在[-T,T]闭区间等概率生成一个随机整数，T为不为零任意整数，下述公式pix_shift和pix_rotate等式与之类似，M和K均表示不为零任意整数。图像经过水平对称带来的益处是可以平衡样本中车辆不居于车道中间时方向转角的习惯性倾向。steer_init是采集的原始方向转角，pix_shift是水平方向随机平移的像素个数，计算方式如下：
pix_shift＝f(-M,M)
负数表示IN_H*IN_W大小的滑动框在H*W的图上左移，反之右移。pix_rotate是H*W的图像做旋转变换的旋转角度，计算式如下：
pix_rotate＝f(-K,K)
steer_out是对应图像变换后输出的角度值。
根据上述计算公式，可以得到预处理之后的实车图像对应的方向转角，从而得到预处理之后的训练数据。
训练模组220，用于根据预处理之后的训练数据和神经网络模型进行模型训练，得到训练结果。具体地，基于神经网络模型根据大量预处理之后的到的训练数据进行模型训练，得到对应的训练结果。
进一步地，在一个实施例中，请参阅图14，训练模组220包括网络训练模型建立单元221和迭代训练单元222。网络训练模型建立单元221，用于基于Tensorflow建立网络训练模型。具体地，Tensorflow是一种将复杂的数据结构传输至人工智能神经网中进行分析和处理过程的智能学习系统。基于Tensorflow建立与预处理之后的训练数据对应的网络训练模型，方便对预处理之后的训练数据进行后续的迭代训练。
迭代训练单元222，用于根据训练集数据和神经网络模型，经训练集数据对网络训练模型行迭代训练，得到训练结果。具体地，在进行训练连之前，将训练集数据随机打乱，破坏样本之间的相关性，增加训练结果的可靠性。更进一步地，在一个实施例中，由于得到的训练数据的容量较大，将训练数据分批载入，根据用于训练的服务器的配置的不同，每一批载入的训练数据的也不一样，可以根据实际情况来进行选择，并且，为了便于扩展，可以将存储训练数据和迭代训练分置于不同的服务器，两服务器之间通过socket进行数据传输。可以理解，在服务器配置允许的前提下，可以将训练数据一次性载入网络训练模型，同样也可以将训练数据的存储和迭代训练置于相同的服务器进行。
模型建立模组230，用于根据训练结果建立实车模型。具体地，基于Tensorflow网络训练模型，根据接收的训练数据进行相应的训练，得到关于实车图像与方向转角对应关系的训练结果并保存，根据对大量训练数据的训练结果，建立对应的实车模型。
进一步地，在一个实施例中，请参阅图15，训练数据还包括验证集数据，模型建立模组230包括初步模型建立单元231、初步模型验证单元232。初步模型建立单元231，用于根据训练结果建立初步模型。具体地，根据训练集数据基于Tensorflow网络训练模型和神经网络模型，对Tensorflow网络训练模型进行迭代训练，得到实车图像与方向转角的对应关系，并根据得到的对应关系建立初步模型。进一步地，模型训练采用mini-batch SGD作为优化器，初始学习率为δ，学习率以系数θ进行指数衰减，训练次数达到设定值后进行一次学习率衰减，具体地，设定值根据多次训练累积的经验来确定。
初步模型验证单元232，用于根据验证集数据对初步模型进行验证，得到实车模型。具体地，在根据训练集数据进行迭代训练之后，根据训练结果建立关于实车图形与方向转角对应关系的初步模型，然后基于验证集数据对得到的初步模型进行能力评估，并且根据初步模型在验证集上的损失值或准确率的变化趋势决定是否终止训练。进一步地，为了防止意外导致训练程序中断，每对一定量的训练数据进行训练之后就保存一次模型的训练结果。
更进一步地，在一个实施例中，训练数据还包括测试集数据，在根据训练集数据完成初步训练，验证集对初步模型进行验证得到实车模型之后，通过测试集数据对得到的实车模型进行模型预测，衡量所建立的实车模型的性能和分类能力，得到结果并输出。将得到的训练数据划分为训练集数据、验证集数据和测试集数据，有效地防止模型的过拟合，进一步地提高了所建立的实车模型的可靠性。
上述无人驾驶车道保持装置，通过采集大量的实车数据作为训练数据，经过深度神经网络进行深度学习建立对应的实车推断模型，在实际行驶过程中，能够根据采集的实车图像，经实车推断模型得到对应的方向转角，从而控制车辆保持在对应的车道行驶。不需要人工知识即可完成对道路信息的刻画，并且通过深度学习还能学习到人工知识无法得到的对车道保持有深刻内在理解的特征信息，能够实现在路线不清晰、弯道曲率较大和车辆拥堵路段环境下的车道保持，具有识别能力强的优点。
上述无人驾驶车道保持装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图16所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储无人驾驶车道保持方法中的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种无人驾驶车道保持方法。
本领域技术人员可以理解，图16中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
接收数据采集器对车辆进行采集得到的实车图像；
将实车图像传输到预设的实车模型进行处理，得到与实车图像相对应的方向转角，其中，实车模型通过深度神经网络学习建立，用于表征实车图像与方向转角的对应关系；
根据方向转角控制车辆保持在对应的车道行驶。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
基于卷积神经网络建立相应的神经网络模型；
接收训练数据，并根据训练数据和神经网络模型建立实车模型，训练数据包括实车图像和方向转角。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
接收训练数据，对训练数据进行预处理，得到预处理之后的训练数据；
根据预处理之后的训练数据和神经网络模型进行模型训练，得到训练结果；
根据训练结果建立实车模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
接收训练数据，对训练数据中的实车图像进行随机平移、旋转、翻转和裁剪，得到预处理之后的实车图像；
计算预处理之后的实车图像对应的方向转角，得到预处理之后的训练数据。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
基于Tensorflow建立与预处理之后的训练数据对应的网络训练模型；
根据训练集数据和神经网络模型，经训练集数据对网络训练模型进行迭代训练，得到训练结果。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据训练结果建立初步模型；
根据验证集数据对初步模型进行验证，得到实车模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将方向转角发送至转向控制系统，方向转角用于转向控制系统控制车辆转向，使车辆保持在对应的车道行驶。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
接收数据采集器对车辆进行采集得到的实车图像；
将实车图像传输到预设的实车模型进行处理，得到与实车图像相对应的方向转角，其中，实车模型通过深度神经网络学习建立，用于表征实车图像与方向转角的对应关系；
根据方向转角控制车辆保持在对应的车道行驶。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
基于卷积神经网络建立相应的神经网络模型；
接收训练数据，并根据训练数据和神经网络模型建立实车模型，训练数据包括实车图像和方向转角。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
接收训练数据，对训练数据进行预处理，得到预处理之后的训练数据；
根据预处理之后的训练数据和神经网络模型进行模型训练，得到训练结果；
根据训练结果建立实车模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
接收训练数据，对训练数据中的实车图像进行随机平移、旋转、翻转和裁剪，得到预处理之后的实车图像；
计算预处理之后的实车图像对应的方向转角，得到预处理之后的训练数据。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
基于Tensorflow建立与预处理之后的训练数据对应的网络训练模型；
根据训练集数据和神经网络模型，经训练集数据对网络训练模型进行迭代训练，得到训练结果。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据训练结果建立初步模型；
根据验证集数据对初步模型进行验证，得到实车模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将方向转角发送至转向控制系统，方向转角用于转向控制系统控制车辆转向，使车辆保持在对应的车道行驶。
上述计算机设备和存储介质，通过采集大量的实车数据作为训练数据，经过深度神经网络进行深度学习建立对应的实车推断模型，在实际行驶过程中，能够根据采集的实车图像，经实车推断模型得到对应的方向转角，从而控制车辆保持在对应的车道行驶。不需要人工知识即可完成对道路信息的刻画，并且通过深度学习还能学习到人工知识无法得到的对车道保持有深刻内在理解的特征信息，能够实现在路线不清晰、弯道曲率较大和车辆拥堵路段环境下的车道保持，具有识别能力强的优点。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种无人驾驶车道保持方法，其特征在于，所述方法包括步骤：
接收数据采集器对车辆进行采集得到的实车图像；
将所述实车图像传输到预设的实车模型进行处理，得到与所述实车图像相对应的方向转角，其中，所述实车模型通过深度神经网络学习建立，用于表征实车图像与方向转角的对应关系；
根据所述方向转角控制车辆保持在对应的车道行驶。
2.根据权利要求1所述的无人驾驶车道保持方法，其特征在于，所述接收数据采集器对车辆进行采集得到的实车图像的步骤之前，还包括：
基于卷积神经网络建立相应的神经网络模型；
接收训练数据，并根据所述训练数据和所述神经网络模型建立实车模型，所述训练数据包括实车图像和方向转角。
3.根据权利要求2所述的无人驾驶车道保持方法，其特征在于，所述接收训练数据，并根据所述训练数据和所述神经网络模型建立实车模型的步骤，包括：
接收训练数据，对所述训练数据进行预处理，得到预处理之后的训练数据；
根据所述预处理之后的训练数据和所述神经网络模型进行模型训练，得到训练结果；
根据所述训练结果建立实车模型。
4.根据权利要求3所述的无人驾驶车道保持方法，其特征在于，所述接收训练数据，对所述训练数据进行预处理，包括：
接收训练数据，对所述训练数据中的实车图像进行随机平移、旋转、翻转和裁剪，得到预处理之后的实车图像；
计算所述预处理之后的实车图像对应的方向转角，得到预处理之后的训练数据。
5.根据权利要求3所述的无人驾驶车道保持方法，其特征在于，所述训练数据包括训练集数据，所述根据所述预处理之后的训练数据和所述神经网络模型进行模型训练，得到训练结果的步骤，包括：
基于Tensorflow建立与预处理之后的训练数据对应的网络训练模型；
根据所述训练集数据和所述神经网络模型，经所述训练集数据对所述网络训练模型进行迭代训练，得到训练结果。
6.根据权利要求5所述的无人驾驶车道保持方法，其特征在于，所述训练数据还包括验证集数据，所述根据所述训练结果建立实车模型的步骤，包括：
根据训练结果建立初步模型；
根据所述验证集数据对所述初步模型进行验证，得到实车模型。
7.根据权利要求1-6任意一项所述的无人驾驶车道保持方法，其特征在于，所述根据所述方向转角控制车辆保持在对应的车道行驶的步骤，包括：
将所述方向转角发送至转向控制系统，所述方向转角用于所述转向控制系统控制车辆转向，使车辆保持在对应的车道行驶。
8.一种无人驾驶车道保持装置，其特征在于，所述装置包括：
实车图像接收模块，用于接收数据采集器对车辆进行采集得到的实车图像；
实车推断模块，用于将所述实车图像传输到实车模型进行处理，得到与所述实车图像相对应的方向转角，其中，所述实车模型通过深度神经网络学习建立，用于表征实车图像与方向转角的对应关系；
方向转角控制模块，用于根据所述方向转角控制车辆保持在对应的车道行驶。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN201810247138.XA 2018-03-23 2018-03-23 无人驾驶车道保持方法、装置、计算机设备和存储介质 Pending CN110298219A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810247138.XA CN110298219A (zh) 2018-03-23 2018-03-23 无人驾驶车道保持方法、装置、计算机设备和存储介质
PCT/CN2018/111274 WO2019179094A1 (zh) 2018-03-23 2018-10-22 无人驾驶车道保持方法、装置、计算机设备和存储介质
US16/339,008 US11505187B2 (en) 2018-03-23 2018-10-22 Unmanned lane keeping method and device, computer device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810247138.XA CN110298219A (zh) 2018-03-23 2018-03-23 无人驾驶车道保持方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN110298219A true CN110298219A (zh) 2019-10-01

Family

ID=67986648

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810247138.XA Pending CN110298219A (zh) 2018-03-23 2018-03-23 无人驾驶车道保持方法、装置、计算机设备和存储介质

Country Status (3)

Country Link
US (1) US11505187B2 (zh)
CN (1) CN110298219A (zh)
WO (1) WO2019179094A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112092825A (zh) * 2020-08-31 2020-12-18 英博超算(南京)科技有限公司 一种基于机器学习的车道保持方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11615208B2 (en) * 2018-07-06 2023-03-28 Capital One Services, Llc Systems and methods for synthetic data generation
CN111553188B (zh) * 2020-03-24 2023-06-09 深圳市齐远兴电子有限公司 基于深度学习的端到端自动驾驶车辆转向控制系统
CN112434588A (zh) * 2020-11-18 2021-03-02 青岛慧拓智能机器有限公司 一种端到端驾驶员高速道路换道意图的推理方法
CN112686147B (zh) * 2020-12-30 2024-05-28 北京纵目安驰智能科技有限公司 车辆与车轮从属关系预测方法、系统、存储介质及终端

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3219564A1 (en) * 2016-03-14 2017-09-20 IMRA Europe S.A.S. Driving prediction with a deep neural network
CN107226087A (zh) * 2017-05-26 2017-10-03 西安电子科技大学 一种结构化道路自动驾驶运输车及控制方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8494716B1 (en) * 2012-06-04 2013-07-23 GM Global Technology Operations LLC Lane keeping system using rear camera
US9481287B2 (en) * 2014-01-21 2016-11-01 Harman International Industries, Inc. Roadway projection system
JP6617534B2 (ja) * 2015-11-30 2019-12-11 株式会社デンソー 運転支援装置
US9802599B2 (en) * 2016-03-08 2017-10-31 Ford Global Technologies, Llc Vehicle lane placement
US10635117B2 (en) * 2016-10-25 2020-04-28 International Business Machines Corporation Traffic navigation for a lead vehicle and associated following vehicles
CN106873566B (zh) * 2017-03-14 2019-01-22 东北大学 一种基于深度学习的无人驾驶物流车
WO2018200522A1 (en) * 2017-04-24 2018-11-01 Mobileye Vision Technologies Ltd. Systems and methods for compression of lane data
US11200433B2 (en) * 2017-05-03 2021-12-14 Mobileye Vision Technologies Ltd. Detection and classification systems and methods for autonomous vehicle navigation
KR102070527B1 (ko) * 2017-06-22 2020-01-28 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드 자율 주행 차량 교통 예측에서 예측되는 궤적에 대한 평가 프레임 워크
US20180373980A1 (en) * 2017-06-27 2018-12-27 drive.ai Inc. Method for training and refining an artificial intelligence
CN107515607A (zh) 2017-09-05 2017-12-26 百度在线网络技术（北京）有限公司 用于无人车的控制方法和装置
US10668925B2 (en) * 2017-09-05 2020-06-02 Baidu Usa Llc Driver intention-based lane assistant system for autonomous driving vehicles
US10611371B2 (en) * 2017-09-14 2020-04-07 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for vehicle lane change prediction using structural recurrent neural networks
EP3495220B1 (en) * 2017-12-11 2024-04-03 Volvo Car Corporation Path prediction for a vehicle
US10737717B2 (en) * 2018-02-14 2020-08-11 GM Global Technology Operations LLC Trajectory tracking for vehicle lateral control using neural network
KR20190083317A (ko) * 2019-06-20 2019-07-11 엘지전자 주식회사 차량의 차선 변경에 관련된 알림을 제공하는 인공 지능 장치 및 그 방법
US11488395B2 (en) * 2019-10-01 2022-11-01 Toyota Research Institute, Inc. Systems and methods for vehicular navigation
US11741723B2 (en) * 2020-02-27 2023-08-29 Honda Motor Co., Ltd. System for performing intersection scenario retrieval and method thereof

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3219564A1 (en) * 2016-03-14 2017-09-20 IMRA Europe S.A.S. Driving prediction with a deep neural network
CN107226087A (zh) * 2017-05-26 2017-10-03 西安电子科技大学 一种结构化道路自动驾驶运输车及控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
白辰甲: "基于计算机视觉和深度学习的自动驾驶方法研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112092825A (zh) * 2020-08-31 2020-12-18 英博超算(南京)科技有限公司 一种基于机器学习的车道保持方法
CN112092825B (zh) * 2020-08-31 2022-04-29 英博超算(南京)科技有限公司 一种基于机器学习的车道保持方法

Also Published As

Publication number Publication date
WO2019179094A1 (zh) 2019-09-26
US20210339743A1 (en) 2021-11-04
US11505187B2 (en) 2022-11-22

Similar Documents

Publication Publication Date Title
CN110298219A (zh) 无人驾驶车道保持方法、装置、计算机设备和存储介质
EP3690727A1 (en) Learning method and learning device for sensor fusion to integrate information acquired by radar capable of distance estimation and information acquired by camera to thereby improve neural network for supporting autonomous driving, and testing method and testing device using the same
CN110738309B (zh) Ddnn的训练方法和基于ddnn的多视角目标识别方法和系统
CN107481292A (zh) 车载摄像头的姿态误差估计方法和装置
CN108765481A (zh) 一种单目视频的深度估计方法、装置、终端和存储介质
CN109658418A (zh) 场景结构的学习方法、装置及电子设备
CN113688723A (zh) 一种基于改进YOLOv5的红外图像行人目标检测方法
CN110472738A (zh) 一种基于深度强化学习的无人艇实时避障算法
CN114565655A (zh) 一种基于金字塔分割注意力的深度估计方法及装置
Nose et al. A study on a lane keeping system using CNN for online learning of steering control from real time images
CN113920484A (zh) 基于单目rgb-d特征和强化学习的端到端自动驾驶决策方法
KR20200057844A (ko) 학습네트워크 기반의 비디오 보간 방법 및 비디오 보외 방법
CN110705564B (zh) 图像识别的方法和装置
CN115641519A (zh) 输电线路检查方法、装置及非易失性存储介质
Sokipriala Prediction of steering angle for autonomous vehicles using pre-trained neural network
CN114445684A (zh) 车道线分割模型的训练方法、装置、设备及存储介质
CN113657292A (zh) 一种基于深度强化学习的车辆自动循迹驾驶方法
Schenkel et al. Domain adaptation for semantic segmentation using convolutional neural networks
CN114119757A (zh) 图像处理方法、装置、设备、介质和计算机程序产品
CN108791308B (zh) 基于驾驶环境构建驾驶策略的系统
CN112199980A (zh) 一种架空线路机器人障碍物识别方法
Liu et al. MultiVTrain: collaborative Multi-View active learning for segmentation in connected vehicles
CN110913246A (zh) 图像处理方法及装置、电子设备和存储介质
Ferencz et al. End-to-end autonomous vehicle lateral control with deep learning
CN117075515B (zh) 基于视觉分析调整飞行姿态的单片机控制系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191001

RJ01 Rejection of invention patent application after publication