CN109388138B - 基于深度学习的自动驾驶车辆、自动驾驶控制装置及自动驾驶控制方法 - Google Patents
基于深度学习的自动驾驶车辆、自动驾驶控制装置及自动驾驶控制方法 Download PDFInfo
- Publication number
- CN109388138B CN109388138B CN201810896066.1A CN201810896066A CN109388138B CN 109388138 B CN109388138 B CN 109388138B CN 201810896066 A CN201810896066 A CN 201810896066A CN 109388138 B CN109388138 B CN 109388138B
- Authority
- CN
- China
- Prior art keywords
- deep learning
- automatic driving
- vehicle
- control
- learning algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 205
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000001514 detection method Methods 0.000 claims description 48
- 238000013528 artificial neural network Methods 0.000 claims description 32
- 238000012545 processing Methods 0.000 claims description 25
- 230000001133 acceleration Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 8
- 230000006399 behavior Effects 0.000 description 6
- 239000004568 cement Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- DSGKWFGEUBCEIE-UHFFFAOYSA-N (2-carbonochloridoylphenyl) acetate Chemical compound CC(=O)OC1=CC=CC=C1C(Cl)=O DSGKWFGEUBCEIE-UHFFFAOYSA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Aviation & Aerospace Engineering (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Acoustics & Sound (AREA)
Abstract
本实施例涉及基于深度学习的自动驾驶车辆、基于深度学习的自动驾驶控制装置及基于深度学习的自动驾驶控制方法，更详细地，涉及一种准确地区分并识别自动驾驶车辆行驶时所参照的控制目标物体与不是控制目标物体的其他结构物等，从而在必要的情况下，能够执行必要程度的自动驾驶控制的基于深度学习的自动驾驶车辆、基于深度学习的自动驾驶控制装置及基于深度学习的自动驾驶控制方法。
Description
技术领域
本发明涉及自动驾驶控制技术。
背景技术
近年来，随着汽车控制技术的发展，开发了即使驾驶员不操作车辆也会自动行驶的自动驾驶控制技术。
这种自动驾驶控制技术检测相应车辆周围的物体，并利用检测结果，根据检测物体的举动状态，控制相应车辆的行驶状态等。
对目前的自动驾驶控制技术来说，无法通过分析对前方物体检测到的信号来准确地区分物体的种类，因此，只能在特定的条件下进行自动驾驶控制，或者难以实施自动驾驶控制本身。虽然能够检测可靠的自动控制目标(相应车辆自动行驶时所参照的车辆等的物体)，但是，检测的可靠性并没有令人满意。
发明内容
(一)要解决的技术问题
在这种背景下，本实施例的目的在于，提供一种准确区分并识别自动驾驶车辆行驶时所参照的控制目标物体(例如，前方车辆、行人)与其他不是控制目标物体的结构物(高架道路、水泥板)等，从而在必要的情况下，能够执行必要程度的自动驾驶控制的基于深度学习的自动驾驶车辆、基于深度学习的自动驾驶控制装置及基于深度学习的自动驾驶控制方法。
本实施例的另一个目的在于，提供一种提高利用雷达传感器等传感器信号的物体区别性能，并实现可靠性高的自动驾驶的基于深度学习的自动驾驶车辆、基于深度学习的自动驾驶控制装置及基于深度学习的自动驾驶控制方法。
本实施例的又一个目的在于，提供一种可实现考虑驾驶员的驾驶习惯的自动驾驶控制的基于深度学习的自动驾驶车辆、基于深度学习的自动驾驶控制装置及基于深度学习的自动驾驶控制方法。
本实施例的又一个目的在于，提供一种可通过较低的处理负担、较快的处理速度及更准确的识别性能来识别并区分控制目标物体的基于深度学习的自动驾驶车辆、基于深度学习的自动驾驶控制装置及基于深度学习的自动驾驶控制方法。
(二)技术方案
从一个方面来讲，本实施例可以提供一种基于深度学习的自动驾驶控制装置，所述自动驾驶控制装置包括：深度学习算法执行部，输出对检测车辆周围的检测信号执行深度学习算法的结果；自动驾驶控制部，当所述车辆处于自动行驶状态时，根据所述深度学习算法的执行结果，控制所述车辆的自动行驶；以及深度学习处理部，参照驾驶员的驾驶信息，变更所述深度学习算法。
从另一个方面来讲，本实施例可以提供一种基于深度学习的自动驾驶车辆，所述自动驾驶车辆包括：传感器，检测车辆周围并输出检测信号；基于深度学习的自动驾驶控制装置，对所述检测信号执行深度学习算法，当所述车辆处于自动行驶状态时，基于深度学习算法的执行结果，输出控制所述车辆的自动行驶的控制信号，并参照驾驶员的驾驶信息，变更所述深度学习算法；以及驱动装置，根据控制信号，驱动所述车辆。
从又一个方面来讲，本实施例可以提供一种基于深度学习的自动驾驶控制方法，所述自动驾驶控制方法包括以下步骤：输出对检测车辆周围的检测信号执行深度学习算法的结果；当车辆处于自动行驶状态时，根据深度学习算法的执行结果，控制车辆的自动行驶；以及参照驾驶员的驾驶信息，变更深度学习算法。
(三)有益效果
根据上述的本实施例，本发明具有提供一种准确区分并识别自动驾驶车辆行驶时所参照的控制目标物体(例如，前方车辆、行人)与其他不是控制目标物体的结构物(高架道路、水泥板)等，从而在必要的情况下，能够执行必要程度的自动驾驶控制的基于深度学习的自动驾驶车辆、基于深度学习的自动驾驶控制装置及基于深度学习的自动驾驶控制方法的效果。
根据本实施例，本发明具有提供一种提高利用雷达传感器等传感器信号的物体区别性能，并实现可靠性高的自动驾驶的基于深度学习的自动驾驶车辆、基于深度学习的自动驾驶控制装置及基于深度学习的自动驾驶控制方法的效果。
根据本实施例，本发明具有提供一种可实现考虑驾驶员的驾驶习惯的自动驾驶控制的基于深度学习的自动驾驶车辆、基于深度学习的自动驾驶控制装置及基于深度学习的自动驾驶控制方法的效果。
根据本实施例，本发明具有提供一种可通过较低的处理负担、较快的处理速度及更准确的识别性能来识别并区分控制目标物体的基于深度学习的自动驾驶车辆、基于深度学习的自动驾驶控制装置及基于深度学习的自动驾驶控制方法的效果。
附图说明
图1和图2是示出本实施例的基于深度学习的自动驾驶车辆的图。
图3是本实施例的基于深度学习的自动驾驶车辆的框图。
图4是本实施例的基于深度学习的自动驾驶控制装置的框图。
图5是示出本实施例的用于基于深度学习的自动驾驶控制的深度学习算法的图。
图6是本实施例的用于基于深度学习的自动驾驶控制的深度学习算法的深度神经网络的示例图。
图7是本实施例的基于深度学习的自动驾驶控制方法的流程图。
图8是本实施例的基于深度学习的自动驾驶控制方法中，变更深度学习算法的步骤(学习步骤)的流程图。
附图标记说明
100：自动驾驶车辆
110a、110b、110c：检测物体
300：基于深度学习的自动驾驶控制装置
310：传感器
320：驱动装置
410：深度学习算法执行部
420：自动驾驶控制部
430：深度学习处理部
500：深度神经网络
Nin：输入节点
Ncon：连接节点
Nout：输出节点
WL：权重线
具体实施方式
下面，参照示例性附图对本发明的部分实施例进行详细说明。针对各附图中的组件的附图标记，即使相同的组件被表示在不同的附图，也可以使用相同的附图标记来表示。并且，本说明书中，当认为相关的公知结构或功能的具体说明会混淆本发明的主旨时，可以省略其详细说明。
并且，说明本发明的组件时，可以使用第一、第二、A、B、(a)、(b)等术语。所述术语仅仅用于将其组件与其他组件区分开，并不因所述术语而限定相应组件的本质、顺序或数量等。当记载某个组件与其他组件“连接”、“结合”或“相连”时，所述组件可以与其他组件直接连接或相连，也可以理解为其他组件“介于”各组件之间，或者各组件通过其他组件“连接”、“结合”或“相连”。
图1和图2是示出本实施例的基于深度学习的自动驾驶车辆100的图。
参照图1和图2，本实施例的自动驾驶车辆100是即使驾驶员没有操作车辆也会自动行驶的车辆，即，即使驾驶员没有控制制动器、方向盘、加速踏板等，也能够掌握道路状况并自动行驶。
本实施例的所述自动驾驶车辆100可以包括无人驾驶汽车(Driverless car)。
本实施例的自动驾驶车辆100采用了用于实现智能汽车的多种应用控制技术，并利用所述技术能够实现自动驾驶。
例如，自动驾驶车辆100可以采用自动保持车辆之间的距离的技术、后侧警报系统、自动紧急制动系统、车道脱离警报系统、车道保持支援系统、先进的智能巡航控制系统(ASCC，以设定的速度保持车间距离的同时定速行驶的技术)，拥挤区间行驶支援系统等。
本说明书中的自动驾驶车辆100采用上述功能中的至少一种功能，从而在驾驶员没有参与的情况下，自动控制车辆的速度或方向。即本发明的自动驾驶车辆100不仅包括由车辆自动控制车辆的所有举动的车辆，而且还包括由车辆自动控制车辆的部分功能(例如，加速或减速)的车辆。即本发明也可以适用于执行巡航控制的车辆，本说明书中将所述车辆统称并记载为自动驾驶车辆。
所述多种应用控制技术需要准确地检测自动驾驶车辆100的周围物体的技术。
作为本实施例的自动驾驶车辆100的周围物体(检测的物体)可以有前方行驶的其他车辆110a、110b、道路周围的结构物110c、行人等。
本实施例的自动驾驶车辆100基于利用传感器发送传感器波束(Sensor beam)而接收的信号来检测周围的物体，并利用检测结果，执行根据检测的物体的举动状态控制自身的行驶状态等的自动驾驶控制。
本实施例的自动驾驶车辆100中安装的传感器可以包括：雷达传感器(RS)、超声波传感器(US)、视觉传感器(VS)、激光传感器、激光雷达(Lidar)传感器等中的一种以上。
不同种类的传感器可以在自动驾驶车辆100的多种位置上安装多个。
作为利用物体检测的自动驾驶控制的例子，当在本实施例的自动驾驶车辆100所行驶的车道上检测到前方行驶的车辆110a时，本实施例的自动驾驶车辆100将检测到的前方车辆110a视为控制目标物体，只能根据控制目标物体的速度等，控制自动驾驶车辆100的速度、方向等。
作为另一个例子，当在本实施例的自动驾驶车辆100所行驶的道路前方检测到高架道路、水泥板、道路标志牌等简单道路结构物110c时，本实施例的自动驾驶车辆100将检测到的道路结构物110c从控制目标物体中排除，从而并不会考虑道路结构物110c而降低自动驾驶车辆100的速度或制动。
作为又一个例子，当在本实施例的自动驾驶车辆100所行驶的道路前方检测到限超速传感器等道路结构物110c时，本实施例的自动驾驶车辆100可以考虑检测到的限超速传感器的位置及距离，控制自动驾驶车辆100的速度等。
作为又一个例子，当在本实施例的自动驾驶车辆100所行驶的道路周围检测到行人时，本实施例的自动驾驶车辆100可以考虑检测到的行人的位置及距离，控制自动驾驶车辆100的速度、方向等。
如上所述，为了实现准确的自动驾驶控制，本实施例的自动驾驶车辆100不仅需要准确地检测周围的物体，而且需要准确地区分并检测物体的种类，从而只在绝对必要的情况下准确地执行多种车辆举动控制(例如，加速、减速等的速度控制、制动控制、方向控制等)。
虽然现有的传感器技术能够检测周围物体是否存在、距离、位置等，但是无法准确地区分并检测物体的种类，并无法将所述检测结果应用在车辆举动控制上。
因此，本实施例的自动驾驶车辆100可以基于深度学习(Deep Leaning)，准确地区分周围物体的种类，并基于此，选择对自动驾驶控制产生影响的控制目标物体(TAR)，在准确的条件下，以准确的控制量执行自动驾驶控制。
更具体地，本实施例的自动驾驶车辆100执行利用深度神经网络(Deep NeuralNetwork，深层神经网)的深度学习算法(Deep Learning)，并根据所述执行结果，执行自动驾驶控制。
为了提高利用深度神经网络(Deep Neural Network，深层神经网)的深度学习算法(Deep Learning)的执行结果的准确度，需要对深度学习算法进行大量研究。
本实施例的基于深度学习的自动驾驶车辆100在道路行驶时，可以利用驾驶员的驾驶信息学习深度学习算法而无需收集或加工另外的学习数据。
因此，本实施例的基于深度学习的自动驾驶车辆100可以通过驾驶员的持续的道路驾驶，增加深度学习算法的学习量，从而容易提高深度学习算法的执行结果的准确度。
本实施例的基于深度学习的自动驾驶车辆100利用驾驶员的驾驶信息学习深度学习算法，因此，可以执行考虑到驾驶员的驾驶习惯的自动驾驶控制。
图3是本实施例的基于深度学习的自动驾驶车辆100的框图。
参照图3，本实施例的基于深度学习的自动驾驶车辆100可以包括传感器310、基于深度学习的自动驾驶控制装置300、驱动装置320等，所述传感器310检测车辆100的周围并输出检测信号，所述基于深度学习的自动驾驶控制装置300执行对检测信号的深度学习算法，当自动驾驶时，基于深度学习算法的执行结果，输出控制车辆100的自动行驶的控制信号，当不处于自动驾驶状态时，参照驾驶员330的驾驶信息，变更深度学习算法，所述驱动装置320根据控制信号，驱动车辆。
其中，驱动装置320可以包括速度调节装置、转向装置、制动装置等中的一种以上。
基于深度学习的自动驾驶控制装置300可以通过对检测信号执行深度学习算法，并基于检测信号，判断车辆的前方物体是否为用于自动驾驶控制的控制目标物体(TAR)，并获得包含控制与否、运算的控制量(例如，对应于车辆速度控制信息的加减速控制量)及控制目标物体的识别结果等中的一种以上的深度学习算法的执行结果。
当不处于自动驾驶状态时，基于深度学习的自动驾驶控制装置300可以执行深度学习的学习处理。
因此，基于深度学习的自动驾驶控制装置300比较深度学习算法的执行结果中包含的运算的控制量与驾驶员330的驾驶信息中包含的驾驶员输入的控制量，并根据比较结果计算误差值(运算的控制量与驾驶员输入的控制量之差)，根据误差值执行深度学习的学习处理，即根据所述误差值调整与所述深度学习算法的执行相关的深度神经网络中的加权值。
例如，传感器310可以包括：雷达传感器、超声波传感器、激光传感器、激光雷达传感器及视觉传感器等中的一种以上。
图4是本实施例的基于深度学习的自动驾驶控制装置300的框图。图5是示出本实施例的用于基于深度学习的自动驾驶控制的深度学习算法的图。图6是本实施例的用于基于深度学习的自动驾驶控制的深度学习算法的深度神经网络的示例图。
参照图4，本实施例的基于深度学习的自动驾驶控制装置300可以包括：深度学习算法执行部410，输出对检测车辆周围的检测信号执行深度学习算法的结果；自动驾驶控制部420，当处于自动驾驶状态时，根据深度学习算法的执行结果，控制车辆的自动行驶；以及深度学习处理部430，当不处于自动驾驶状态时，参照驾驶员330的驾驶信息，变更深度学习算法。
基于深度学习的自动驾驶控制装置300可以通过一个电子控制单元(ElectronicControl Unit，ECU)来实现。
根据不同的情况，基于深度学习的自动驾驶控制装置300中的深度学习算法执行部410、自动驾驶控制部420及深度学习处理部430等可以由两种以上的电子控制单元实现。
例如，深度学习算法执行部410和深度学习处理部430由一个电子控制单元实现，自动驾驶控制部420可以由其他电子控制单元实现。
当判断需要对车辆进行加减速控制时，自动驾驶控制部420可以将加减速控制量设定为车辆的目标控制量，从而控制车辆的加减速。即，自动驾驶控制部420以根据深度学习算法执行部410的执行结果而得到的运算的控制量为基准，执行包括车辆的驱动装置的举动控制操作。
深度学习算法执行部410对由传感器310检测周围而得到的信号或对处理所述信号的检测信号执行深度学习算法。
检测信号可以根据传感器310的种类而不同。
例如，当传感器310为雷达传感器时，检测信号可以是雷达信号。作为另一个例子，当传感器310为激光雷达传感器时，检测信号还可以是激光雷达信号。当传感器310为相机传感器时，检测信号还可以是相机信号。作为又一个例子，检测信号可以包含通过所述传感器310中的至少两种以上的传感器而生成的信号。
深度学习算法执行部410可以通过对检测信号执行深度学习算法，并基于检测信号，判断车辆的前方物体是否为用于自动驾驶控制的控制目标物体，并输出包含控制与否、运算的控制量及控制目标物体的识别结果等中的一种以上的深度学习算法的执行结果。
深度学习算法利用深度神经网络(Deep Neural Network)500。
利用深度神经网络500的深度学习算法可以通过相当于深度学习算法执行部410的处理器(Processor)执行(实施)。
并且，深度神经网络500的数据和利用深度神经网络500的深度学习算法的数据等可以存储在深度学习算法执行部410的内部或外部的存储器中。
例如，就传感器310包括雷达传感器的情况而言，如图5所示，深度学习算法500可以通过输入层(Input Layer)接收经过雷达信号处理的雷达信号、经过傅里叶变换处理的数据及车辆100或周围情况等的上下文(Context)信息(例如，车速信息、车道信息、道路信息等)等，并使接收的数据、信息等通过深度神经网络500，从而能够通过输出层(OutputLayer)输出深度学习算法的执行结果。
例如，深度学习算法的执行结果，即输出层的输出节点Nout的输出值可以包含用于自动驾驶的控制与否、用于自动驾驶的运算的控制量及控制目标物体的识别结果等中的一种以上。
深度学习算法执行部410的内部或外部存储有深度神经网络500相关的数据。
参照图6，深度神经网络500可以包括：输入层(Input Layer)，具有多个输入节点Nin；输出层(Output Layer)，具有多个输出节点Nout；至少一个隐藏层(Hidden Layer)，具有连接所述多个输入节点Nin与所述多个输出节点Nout的多个连接节点Ncon；以及多个权重线(Weight Line，WL)，连接所述多个输入节点Nin与所述多个连接节点Ncon，并且，连接所述多个连接节点Ncon与所述多个输出节点Nout，
各权重线(WL)可以具有加权值。
由于所述各权重线(WL)的加权值，尽管输入相同，也会出现输出不同，深度学习算法的执行结果的准确度会发生变化。
从传感器310输出的信号或处理所述信号的检测信号被输入至深度神经网络500的输入层，深度学习算法的执行结果可以与深度神经网络500的输出层的多个输出节点Nout的输出值对应。
例如，假设三个输出节点Nout与车辆、行人、道路结构物对应时，三个输出节点Nout的输出值可以形成三维概率向量。三个输出节点Nout的输出值可以包含被检测的物体为车辆的概率值、被检测的物体为行人的概率值、被检测的物体为道路结构物的概率值。
当不处于自动驾驶状态时，深度学习处理部430比较深度学习算法的执行结果中包含的运算的控制量与驾驶员的驾驶信息中包含的驾驶员输入的控制量，并根据比较结果计算误差值，执行深度学习的学习处理，即根据所述误差值，调整与所述深度学习算法的执行相关的深度神经网络中的加权值。
例如，具有已调整的加权值的权重线(WL)可以包含与得到运算的控制量的任一种或两种以上的层节点连接的权重线。
另外，深度学习处理部430可以与误差值成比例地更新与输出层对应的权重线的加权值，并通过更新与隐藏层对应的权重线的加权值来调整深度神经网络中的加权值。所述误差值是利用对应于所述深度学习算法的执行结果的运算的控制量与所述驾驶员的驾驶信息中包含的驾驶员输入的控制量之差来计算的。
对搜索用于最小化误差值的加权值的方法进行简单说明。作为在多层(multilayer)且可前向反馈(feedforward)的深度神经网络500中使用的学习算法，可以利用反向传播算法(Backpropagation Algorithm)。
根据所述反向传播算法(Backpropagation Algorithm)，在反复几次对输入乘以并相加深度神经网络500的加权值(weights)的过程，则会得到作为输入的结果值的实际输出(y，运算的控制量)。
此时，输出(y，运算的控制量)与学习数据中的期望输出(o，驾驶员输入的控制量)不同。
结果，深度神经网络500中产生实际输出与期望输出之差(y-o)程度的误差值(e＝y-o)。
与所述产生的误差值(e)成比例地更新与输出层对应的权重线的加权值，然后更新与隐藏层对应的权重线的加权值，然后更新与输入层对应的权重线的加权值。
反向传播算法(Backpropagation Algorithm)的加权值的更新方向与深度神经网络500的处理方向(即，输入层->隐藏层->输出层)相反(即，输出层->隐藏层->输入层)。
参照图7和图8对以上说明的本实施例的基于深度学习的自动驾驶车辆100的基于深度学习的自动驾驶控制方法进行简单说明。
图7是本实施例的基于深度学习的自动驾驶控制方法的流程图。图8是本实施例的基于深度学习的自动驾驶控制方法中，变更深度学习算法的步骤(学习步骤)的流程图。
参照图7，本实施例的基于深度学习的自动驾驶控制方法可以包括以下步骤：根据传感器310的检测结果，接收检测信号(S710)；为了执行深度学习算法，以适当的形式对检测信号进行信号处理(S720)；输出对检测车辆100的周围的检测信号执行深度学习算法的结果(S730)；判断是否处于自动驾驶状态(S740)；当判断结果为处于自动驾驶状态时，根据深度学习算法的执行结果，控制车辆的自动行驶(S750)；当判断是否处于自动驾驶状态(S740)的判断结果为不处于自动驾驶的状态时，参照驾驶员的驾驶信息，变更深度学习算法(S760)。
S760步骤作为学习(机械学习)步骤，可以反复执行。
S730步骤中，可以通过对检测信号执行深度学习算法，并基于检测信号，判断车辆的前方物体是否为用于自动驾驶控制的控制目标物体，获得并输出包含控制与否、运算的控制量及控制目标物体的识别结果等中的一种以上的深度学习算法的执行结果。
参照图8，相当于学习(机械学习)步骤的S760步骤可以包括：当不处于自动驾驶状态时，比较深度学习算法的执行结果中包含的运算的控制量与驾驶员的驾驶信息中包含的驾驶员输入的控制量(S820)；根据比较结果，计算误差值(S810)；及根据误差值，调整与深度学习算法的执行相关的深度神经网络中的加权值(S830)。
根据上述的本实施例，具有提供一种准确区分并识别自动驾驶车辆100行驶时所参照的控制目标物体(TAR)(例如，前方车辆、行人)与其他不是控制目标物体的结构物(高架道路、水泥板)等，从而在必要的情况下，能够执行必要程度(控制与否、控制量)的自动驾驶控制的基于深度学习的自动驾驶车辆100、基于深度学习的自动驾驶控制装置300及基于深度学习的自动驾驶控制方法的效果。
根据本实施例，具有提供一种提高利用雷达传感器等传感器信号的物体区别性能，并实现可靠性高的自动驾驶的基于深度学习的自动驾驶车辆100、基于深度学习的自动驾驶控制装置300及基于深度学习的自动驾驶控制方法的效果。
根据本实施例，具有提供一种可实现考虑驾驶员的驾驶习惯的自动驾驶控制的基于深度学习的自动驾驶车辆100、基于深度学习的自动驾驶控制装置300及基于深度学习的自动驾驶控制方法的效果。
根据本实施例，具有提供一种可通过与机械学习中利用到的大数据使用方法相比更低的处理负担、更快的处理速度及更准确的识别性能来识别并区分控制目标物体的基于深度学习的自动驾驶车辆100、基于深度学习的自动驾驶控制装置300及基于深度学习的自动驾驶控制方法的效果。
以上的说明和附图仅仅例示本发明的技术思想，本发明所属技术领域的技术人员能够在不脱离本发明的本质特性的范围下，进行结构的结合、分离、置换及变更等各种修改和变形。因此，本发明中说明的实施例仅仅用于说明本发明的技术思想，并不用于限定本发明的技术思想，本发明的技术思想的范围并不局限于所述实施例。本发明的保护范围由权利要求书而确定，并且，与其等同的范围内的所有技术思想应均包含在本发明的权利范围内。
Claims (11)
1.一种基于深度学习的自动驾驶控制装置，其包括：
深度学习算法执行部，接收检测车辆周围的检测信号并进行信号处理，以输出对检测信号执行深度学习算法的结果；
自动驾驶控制部，当所述车辆处于自动行驶状态时，根据所述深度学习算法的执行结果，控制所述车辆的自动行驶；以及
深度学习处理部，当所述车辆不处于自动行驶状态时，在所述深度学习算法的执行结果的基础上参照驾驶员的驾驶信息，变更所述深度学习算法，
其中，所述深度学习处理部利用相当于所述深度学习算法的执行结果的运算的控制量与所述驾驶员的驾驶信息中包含的驾驶员输入的控制量之间的差来计算误差值，并且调整所述深度学习算法中的加权值，以减少计算的误差值，
所述深度学习算法执行部通过对所述检测信号执行深度学习算法，并基于所述检测信号，判断车辆前方的物体是用于自动驾驶控制的控制目标物体或不利用于自动驾驶控制的结构物，并输出包含控制与否、运算的控制量及控制目标物体的识别结果中的一种以上的所述深度学习算法的执行结果。
2.根据权利要求1所述的基于深度学习的自动驾驶控制装置，其中，
所述自动驾驶控制部利用与所述深度学习算法的执行结果对应的加减速控制量及加减速控制与否中的一种以上，判断是否需要对所述车辆进行加减速控制。
3.根据权利要求2所述的基于深度学习的自动驾驶控制装置，其中，
当判断需要对所述车辆进行加减速控制时，所述自动驾驶控制部将所述加减速控制量设定为所述车辆的目标控制量，从而对所述车辆进行加减速控制。
4.根据权利要求1所述的基于深度学习的自动驾驶控制装置，其中，
当所述车辆不处于自动行驶状态时，所述深度学习处理部使用根据所述深度学习算法的执行结果计算的加减速控制量作为所述运算的控制量，并且使用驾驶员操作的加减速量作为所述驾驶员输入的控制量，从而计算所述误差值。
5.根据权利要求1所述的基于深度学习的自动驾驶控制装置，其存储深度神经网络的数据，所述深度神经网络包括：
输入层，具有多个输入节点；
输出层，具有多个输出节点；
隐藏层，具有用于连接所述多个输入节点与所述多个输出节点的多个连接节点；以及
多个权重线，连接所述多个输入节点与所述多个连接节点，并且，连接所述多个连接节点与所述多个输出节点，
所述多个权重线分别具有加权值，
所述检测信号被输入至所述输入层，
所述深度学习算法的执行结果与所述输出层的所述多个输出节点的值对应。
6.根据权利要求5所述的基于深度学习的自动驾驶控制装置，其中，
所述深度学习处理部与利用相当于所述深度学习算法的执行结果的运算的控制量与所述驾驶员的驾驶信息中包含的驾驶员输入的控制量之差来计算的误差值成比例地更新与所述输出层对应的所述权重线的加权值，并更新与所述隐藏层对应的权重线的加权值，从而调整所述深度神经网络中的加权值。
7.根据权利要求1所述的基于深度学习的自动驾驶控制装置，其中，
所述检测信号包含雷达信号和激光雷达信号中的至少一种信号。
8.一种基于深度学习的自动驾驶车辆，包括：
传感器，检测车辆周围并输出检测信号；
基于深度学习的自动驾驶控制装置，接收所述检测信号并进行信号处理，并且对所述检测信号执行深度学习算法，当所述车辆处于自动行驶状态时，基于深度学习算法的执行结果，输出控制所述车辆的自动行驶的控制信号，当所述车辆不处于自动行驶状态时，在所述深度学习算法的执行结果的基础上参照驾驶员的驾驶信息，变更所述深度学习算法；以及
驱动装置，根据所述控制信号，驱动所述车辆，
其中，当所述车辆不处于自动行驶状态时，所述基于深度学习的自动驾驶控制装置比较所述深度学习算法的执行结果中包含的运算的控制量与驾驶员的驾驶信息中包含的驾驶员输入的控制量，
根据比较结果计算误差值，并根据所述误差值执行深度学习的学习处理，即根据所述误差值调整与所述深度学习算法的执行相关的深度神经网络中的加权值，
所述基于深度学习的自动驾驶控制装置通过对所述检测信号执行深度学习算法，并基于所述检测信号，判断车辆前方的物体是用于自动驾驶控制的控制目标物体或不利用于自动驾驶控制的结构物，并得到包含控制与否、运算的控制量及控制目标物体的识别结果中的一种以上的所述深度学习算法的执行结果。
9.根据权利要求8所述的基于深度学习的自动驾驶车辆，其中，
所述基于深度学习的自动驾驶控制装置存储深度神经网络的数据，所述深度神经网络包括：
输入层，具有多个输入节点；
输出层，具有多个输出节点；
隐藏层，具有用于连接所述多个输入节点与所述多个输出节点的多个连接节点；以及
多个权重线，连接所述多个输入节点与所述多个连接节点，并且，连接所述多个连接节点与所述多个输出节点，
所述基于深度学习的自动驾驶控制装置与所述误差值成比例地更新与所述输出层对应的所述权重线的加权值，更新与所述隐藏层对应的权重线的加权值，从而调整所述深度神经网络中的加权值。
10.一种基于深度学习的自动驾驶控制方法，其包括以下步骤：
接收检测车辆周围的检测信号并进行信号处理；
输出对检测信号执行深度学习算法的结果；
当车辆处于自动行驶状态时，根据深度学习算法的执行结果，控制所述车辆的自动行驶；以及
当车辆不处于自动行驶状态时，在所述深度学习算法的执行结果的基础上参照驾驶员的驾驶信息，变更深度学习算法，
其中，在所述变更深度学习算法的步骤中，利用相当于所述深度学习算法的执行结果的运算的控制量与所述驾驶员的驾驶信息中包含的驾驶员输入的控制量之间差来计算误差值，并且调整所述深度学习算法中的加权值，以减少计算的误差值，
在所述输出的步骤中，基于所述检测信号，判断车辆前方的物体是用于自动驾驶控制的控制目标物体或不利用于自动驾驶控制的结构物，并得到包含控制与否、运算的控制量及控制目标物体的识别结果中的一种以上的所述深度学习算法的执行结果。
11.根据权利要求10所述的基于深度学习的自动驾驶控制方法，其中，
在所述变更深度学习算法的步骤中，使用根据所述深度学习算法的执行结果计算的加减速控制量作为所述运算的控制量，并且使用驾驶员操作的加减速量作为所述驾驶员输入的控制量，从而计算所述误差值。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2017-0100429 | 2017-08-08 | ||
| KR1020170100429A KR102342143B1 (ko) | 2017-08-08 | 2017-08-08 | 딥 러닝 기반 자율 주행 차량, 딥 러닝 기반 자율 주행 제어 장치 및 딥 러닝 기반 자율 주행 제어 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109388138A CN109388138A (zh) | 2019-02-26 |
| CN109388138B true CN109388138B (zh) | 2024-05-14 |
Family
ID=65235158
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810896066.1A Active CN109388138B (zh) | 2017-08-08 | 2018-08-08 | 基于深度学习的自动驾驶车辆、自动驾驶控制装置及自动驾驶控制方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10852732B2 (zh) |
| KR (1) | KR102342143B1 (zh) |
| CN (1) | CN109388138B (zh) |
| DE (1) | DE102018213364A1 (zh) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11130497B2 (en) * | 2017-12-18 | 2021-09-28 | Plusai Limited | Method and system for ensemble vehicle control prediction in autonomous driving vehicles |
| US11273836B2 (en) | 2017-12-18 | 2022-03-15 | Plusai, Inc. | Method and system for human-like driving lane planning in autonomous driving vehicles |
| US20190185012A1 (en) | 2017-12-18 | 2019-06-20 | PlusAI Corp | Method and system for personalized motion planning in autonomous driving vehicles |
| US11493927B2 (en) | 2018-06-01 | 2022-11-08 | Thales Canada, Inc. | Self learning vehicle control system |
| CN111661059B (zh) * | 2019-03-08 | 2022-07-08 | 虹软科技股份有限公司 | 分心驾驶监测方法、系统及电子设备 |
| JP7230596B2 (ja) * | 2019-03-08 | 2023-03-01 | マツダ株式会社 | 自動車用演算システム |
| CN109857118B (zh) * | 2019-03-12 | 2022-08-16 | 百度在线网络技术（北京）有限公司 | 无人车规划驾驶策略的方法、装置、设备及存储介质 |
| US11467588B2 (en) | 2019-07-03 | 2022-10-11 | Denso International America, Inc. | Systems and methods for controlling an autonomous vehicle using target orientated artificial intelligence |
| US11656337B2 (en) * | 2019-07-11 | 2023-05-23 | Toyota Motor Engineering & Manufacturing North America, Inc. | Photonic apparatus integrating optical sensing and optical processing components |
| KR102212217B1 (ko) * | 2019-08-14 | 2021-02-04 | 엘지전자 주식회사 | 충돌을 효과적으로 방지하는 자율 주행 차량 및 이를 제어하는 제어 장치 및 방법 |
| KR20210032617A (ko) * | 2019-09-16 | 2021-03-25 | 현대자동차주식회사 | 자율주행차량의 거동 제어 장치 및 그 방법 |
| CN110688920B (zh) * | 2019-09-17 | 2022-06-14 | 宁波吉利汽车研究开发有限公司 | 一种无人驾驶控制方法、装置及服务器 |
| EP4110668A1 (en) * | 2020-02-24 | 2023-01-04 | Thales Canada Inc. | Controller, control system and method for vehicle control |
| US11708071B2 (en) | 2020-03-30 | 2023-07-25 | Denso Corporation | Target-orientated navigation system for a vehicle using a generic navigation system and related method |
| WO2021201474A1 (ko) * | 2020-03-31 | 2021-10-07 | 주식회사 비트센싱 | 객체를 분류하는 레이더 장치 및 방법 |
| US11919529B1 (en) | 2020-04-21 | 2024-03-05 | Aurora Operations, Inc. | Evaluating autonomous vehicle control system |
| US11782451B1 (en) * | 2020-04-21 | 2023-10-10 | Aurora Operations, Inc. | Training machine learning model for controlling autonomous vehicle |
| US11989020B1 (en) | 2020-07-14 | 2024-05-21 | Aurora Operations, Inc. | Training machine learning model(s), in simulation, for use in controlling autonomous vehicle(s) |
| KR20220025585A (ko) | 2020-08-24 | 2022-03-03 | 삼성전자주식회사 | 위치 추정 방법 및 장치 |
| US20220097690A1 (en) * | 2020-09-30 | 2022-03-31 | Toyota Motor Engineering & Manufacturing North America, Inc. | Optical sense-compute solution for real-time navigation involving multiple vehicles |
| KR102260246B1 (ko) * | 2020-12-22 | 2021-06-04 | 주식회사 모빌린트 | 자율 주행을 위한 딥러닝 알고리즘 설정 방법 및 장치 |
| KR102548700B1 (ko) * | 2022-07-06 | 2023-06-30 | 주식회사 셀플러스코리아 | Ai알고리즘을 이용한 영상처리장치 및 이를 이용한 자율주행 차량의 ecu 성능 검증장치 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102214320A (zh) * | 2010-04-12 | 2011-10-12 | 宋威 | 神经网络训练方法及采用该方法的垃圾邮件过滤方法 |
| WO2014147361A1 (en) * | 2013-03-19 | 2014-09-25 | Massive Analytic Ltd. | Apparatus for controlling a land vehicle which is self-driving or partially self-driving |
| CN105136469A (zh) * | 2015-07-23 | 2015-12-09 | 江苏大学 | 一种基于pso和rbf神经网络的无人驾驶车辆车速控制方法 |
| WO2016013574A1 (ja) * | 2014-07-23 | 2016-01-28 | 株式会社発明屋 | 自動車とコンピューティングシステム |
| CN105320986A (zh) * | 2014-07-24 | 2016-02-10 | 三星电子株式会社 | 神经网络训练方法和设备及数据处理设备 |
| CN105460015A (zh) * | 2014-09-24 | 2016-04-06 | 株式会社万都 | 自动驾驶控制系统及方法 |
| CN105799710A (zh) * | 2016-03-11 | 2016-07-27 | 北京理工大学 | 一种交互式的自主教练车系统 |
| CN105892471A (zh) * | 2016-07-01 | 2016-08-24 | 北京智行者科技有限公司 | 汽车自动驾驶方法和装置 |
| CN105931153A (zh) * | 2016-04-14 | 2016-09-07 | 湘潭大学 | 一种基于神经网络预测分析模型的问卷调查间接评估方法 |
| CN106054893A (zh) * | 2016-06-30 | 2016-10-26 | 江汉大学 | 智能车的控制系统和方法 |
| CN106154834A (zh) * | 2016-07-20 | 2016-11-23 | 百度在线网络技术（北京）有限公司 | 用于控制无人驾驶车辆的方法和装置 |
| CN106347359A (zh) * | 2016-09-14 | 2017-01-25 | 北京百度网讯科技有限公司 | 用于操作自动驾驶车辆的方法和装置 |
| KR20170077314A (ko) * | 2015-12-28 | 2017-07-06 | 자동차부품연구원 | 초음파 센서를 이용한 충돌 회피 장치 및 방법 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102154676B1 (ko) * | 2015-05-14 | 2020-09-10 | 한국과학기술원 | 인공 신경망의 하향식 선택적 주의집중 트레이닝 방법 |
| KR102137213B1 (ko) * | 2015-11-16 | 2020-08-13 | 삼성전자 주식회사 | 자율 주행을 위한 모델 학습 장치 및 방법과 자율 주행 장치 |
| WO2017120336A2 (en) * | 2016-01-05 | 2017-07-13 | Mobileye Vision Technologies Ltd. | Trained navigational system with imposed constraints |
| KR20170100429A (ko) | 2016-02-24 | 2017-09-04 | 경남대학교 산학협력단 | 절삭유 재생 장치 |
| KR102406507B1 (ko) * | 2017-03-27 | 2022-06-10 | 현대자동차주식회사 | 딥러닝 기반 자율주행 차량 제어 장치, 그를 포함한 시스템 및 그 방법 |
| CN107200017A (zh) * | 2017-05-22 | 2017-09-26 | 北京联合大学 | 一种基于深度学习的无人驾驶车辆控制系统 |
| US10543853B2 (en) * | 2017-07-05 | 2020-01-28 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods for providing collaborative control of a vehicle |
-
2017
- 2017-08-08 KR KR1020170100429A patent/KR102342143B1/ko active IP Right Grant
-
2018
- 2018-08-08 US US16/058,328 patent/US10852732B2/en active Active
- 2018-08-08 CN CN201810896066.1A patent/CN109388138B/zh active Active
- 2018-08-08 DE DE102018213364.6A patent/DE102018213364A1/de active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102214320A (zh) * | 2010-04-12 | 2011-10-12 | 宋威 | 神经网络训练方法及采用该方法的垃圾邮件过滤方法 |
| WO2014147361A1 (en) * | 2013-03-19 | 2014-09-25 | Massive Analytic Ltd. | Apparatus for controlling a land vehicle which is self-driving or partially self-driving |
| WO2016013574A1 (ja) * | 2014-07-23 | 2016-01-28 | 株式会社発明屋 | 自動車とコンピューティングシステム |
| CN105320986A (zh) * | 2014-07-24 | 2016-02-10 | 三星电子株式会社 | 神经网络训练方法和设备及数据处理设备 |
| CN105460015A (zh) * | 2014-09-24 | 2016-04-06 | 株式会社万都 | 自动驾驶控制系统及方法 |
| CN105136469A (zh) * | 2015-07-23 | 2015-12-09 | 江苏大学 | 一种基于pso和rbf神经网络的无人驾驶车辆车速控制方法 |
| KR20170077314A (ko) * | 2015-12-28 | 2017-07-06 | 자동차부품연구원 | 초음파 센서를 이용한 충돌 회피 장치 및 방법 |
| CN105799710A (zh) * | 2016-03-11 | 2016-07-27 | 北京理工大学 | 一种交互式的自主教练车系统 |
| CN105931153A (zh) * | 2016-04-14 | 2016-09-07 | 湘潭大学 | 一种基于神经网络预测分析模型的问卷调查间接评估方法 |
| CN106054893A (zh) * | 2016-06-30 | 2016-10-26 | 江汉大学 | 智能车的控制系统和方法 |
| CN105892471A (zh) * | 2016-07-01 | 2016-08-24 | 北京智行者科技有限公司 | 汽车自动驾驶方法和装置 |
| CN106154834A (zh) * | 2016-07-20 | 2016-11-23 | 百度在线网络技术（北京）有限公司 | 用于控制无人驾驶车辆的方法和装置 |
| CN106347359A (zh) * | 2016-09-14 | 2017-01-25 | 北京百度网讯科技有限公司 | 用于操作自动驾驶车辆的方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 面向自动驾驶的动态路径规划避障算法;周慧子;胡学敏;陈龙;田梅;熊豆;;计算机应用;20170310(03);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109388138A (zh) | 2019-02-26 |
| DE102018213364A1 (de) | 2019-02-21 |
| KR102342143B1 (ko) | 2021-12-23 |
| KR20190016332A (ko) | 2019-02-18 |
| US20190049967A1 (en) | 2019-02-14 |
| US10852732B2 (en) | 2020-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109388138B (zh) | 基于深度学习的自动驾驶车辆、自动驾驶控制装置及自动驾驶控制方法 | |
| US11269329B2 (en) | Dynamic model with learning based localization correction system | |
| EP3304520B1 (en) | Alerting predicted accidents between driverless cars | |
| US20160003938A1 (en) | Vehicle radar with beam adjustment | |
| US10875508B2 (en) | Vehicle traveling assistance method and vehicle traveling assistance device | |
| KR101876063B1 (ko) | 차량 데이터 기반의 노면 판단 방법 | |
| CN104512415A (zh) | 驾驶辅助装置 | |
| US11548441B2 (en) | Out-of-vehicle notification device | |
| CN112124292B (zh) | 用于车辆运动曲线的动态调节的方法和装置 | |
| CN112660128A (zh) | 用于确定自动驾驶车辆的车道变更路径的设备及其方法 | |
| US11574463B2 (en) | Neural network for localization and object detection | |
| US11148666B2 (en) | Vehicle control apparatus | |
| CN111959482B (zh) | 自主驾驶装置及方法 | |
| CN112446466A (zh) | 在深度神经网络中测量置信度 | |
| CN115440069B (zh) | 信息处理服务器、信息处理服务器的处理方法、非易失性存储介质 | |
| CN115629375A (zh) | 使用交通工具对交通工具技术提高雷达数据预测的准确度 | |
| US11698452B2 (en) | Target tracking during acceleration events | |
| CN114758313A (zh) | 实时神经网络再训练 | |
| US20220111874A1 (en) | Method and apparatus for out-of-distribution detection | |
| US11462020B2 (en) | Temporal CNN rear impact alert system | |
| US11708075B2 (en) | Enhanced adaptive cruise control | |
| KR102616457B1 (ko) | 자율 주행 차량의 에어서스펜션 작동 플래닝 생성 장치 | |
| US20220080968A1 (en) | Adaptive cruise control | |
| US20220172062A1 (en) | Measuring confidence in deep neural networks | |
| CN116901963A (zh) | 自动驾驶车辆的制动控制方法、装置、车辆和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20211213 Address after: Gyeonggi Do, South Korea Applicant after: Wandu Mobile System Co.,Ltd. Address before: Gyeonggi Do, South Korea Applicant before: MANDO Corp. |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220921 Address after: Inchon, Korea Applicant after: Halla Creedong Electronics Co.,Ltd. Address before: Gyeonggi Do, South Korea Applicant before: Wandu Mobile System Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |