CN110045729B - 一种车辆自动驾驶方法及装置 - Google Patents
一种车辆自动驾驶方法及装置 Download PDFInfo
- Publication number
- CN110045729B CN110045729B CN201910186321.8A CN201910186321A CN110045729B CN 110045729 B CN110045729 B CN 110045729B CN 201910186321 A CN201910186321 A CN 201910186321A CN 110045729 B CN110045729 B CN 110045729B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- data
- network
- image
- automatic driving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000000605 extraction Methods 0.000 claims abstract description 81
- 230000004927 fusion Effects 0.000 claims abstract description 38
- 238000007499 fusion processing Methods 0.000 claims abstract description 20
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 230000004888 barrier function Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 10
- 238000002372 labelling Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000001914 filtration Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
Abstract
一种车辆自动驾驶方法及装置，包括：获取自动驾驶车辆上摄像头捕捉到的道路图像数据和自动驾驶车辆上激光雷达检测到的雷达点云数据；通过预先构建的图像特征提取网络提取道路图像数据的图像特征，以及通过预先构建的点云特征提取网络提取雷达点云数据的点云特征；根据预先构建的特征融合网络对图像特征和点云特征进行处理，得到融合处理数据，并根据预先构建的分类器对融合处理数据进行识别处理，得到识别结果；根据识别结果对自动驾驶车辆进行自动驾驶控制。本发明提供的车辆自动驾驶方法及装置，能够自主高精度地识别当前环境，并根据当前环境的信息主动更新自动驾驶方案，从而提升自动驾驶的安全性，降低事故的发生率。
Description
技术领域
本发明涉及自动驾驶汽车技术领域，具体而言，涉及一种车辆自动驾驶方法及装置。
背景技术
自动驾驶汽车(Autonomous vehicles；Self-piloting automobile)又称无人驾驶汽车，是一种通过电脑系统实现无人驾驶的智能汽车。现有的自动驾驶已能解决高速路段自动驾驶，部分城市路段自动驾驶，但并不能完全解决所有路段的自动驾驶问题。在实践中发现，自动驾驶车辆需要依靠高精地图进行导航和定位，而高精地图中往往并没有像施工现场这种外观变化量较大、临时性较高的场景。这就使得现有的自动驾驶方法无法在多变的场景下进行高精度的识别，从而导致了自动驾驶汽车无法准确有效地主动选择更新路线，进而提高了事故发生率。
发明内容
鉴于上述问题，本发明提供了一种车辆自动驾驶方法及装置，能够自主高精度地识别当前环境，并根据当前环境的信息主动更新自动驾驶方案，从而提升自动驾驶的安全性，降低事故的发生率。
为了实现上述目的，本发明采用如下的技术方案：
本发明第一方面公开了一种车辆自动驾驶方法，包括：
获取自动驾驶车辆上摄像头捕捉到的道路图像数据和所述自动驾驶车辆上激光雷达检测到的雷达点云数据；
通过预先构建的图像特征提取网络提取所述道路图像数据的图像特征，以及通过预先构建的点云特征提取网络提取所述雷达点云数据的点云特征；
根据预先构建的特征融合网络对所述图像特征和所述点云特征进行处理，得到融合处理数据，并根据预先构建的分类器对所述融合处理数据进行识别处理，得到识别结果；
根据所述识别结果对所述自动驾驶车辆进行自动驾驶控制。
作为一种可选的实施方式，在本发明第一方面中，根据所述识别结果对所述自动驾驶车辆进行自动驾驶控制，包括：
根据所述识别结果判断所述自动驾驶车辆行驶路线上是否存在障碍物；
如果所述自动驾驶车辆行驶路线上存在所述障碍物，根据预先构建的图像区域候选网络对所述道路图像数据进行处理，得到所述障碍物的图像位置数据，并根据预先构建的点云区域候选网络对所述雷达点云数据进行处理，得到所述障碍物的点云位置数据；
根据所述图像位置数据和所述点云位置数据对所述自动驾驶车辆的行驶路线进行调整，得到新的行驶路线；
根据所述新的行驶路线对所述自动驾驶车辆进行自动驾驶控制。
作为一种可选的实施方式，在本发明第一方面中，在所述获取自动驾驶车辆上摄像头捕捉到的道路图像数据和所述自动驾驶车辆上激光雷达检测到的雷达点云数据之前，所述方法还包括：
构建初始图像特征提取网络和初始图像区域候选网络，并获取用于训练所述初始图像特征提取网络和所述初始图像区域候选网络的图像训练数据；其中，所述训练数据包括障碍物现场图片以及障碍物现场实际数据；
通过所述初始图像区域候选网络和所述初始图像特征提取网络对所述障碍物现场图片进行处理，得到图像识别结果；
根据所述障碍物现场实际数据和所述图像识别结果，通过梯度下降算法调整所述初始图像区域候选网络和所述初始图像特征提取网络的网络模型参数，得到最终的图像特征提取网络和最终的图像区域候选网络。
作为一种可选的实施方式，在本发明第一方面中，在所述获取自动驾驶车辆上摄像头捕捉到的道路图像数据和所述自动驾驶车辆上激光雷达检测到的雷达点云数据之前，所述方法还包括：
构建初始点云特征提取网络和初始点云区域候选网络，并获取用于训练所述初始点云特征提取网络和所述初始点云区域候选网络的点云训练数据；其中，所述点云训练数据包括摄像头拍摄训练数据以及雷达点云训练数据；
通过所述初始图像区域候选网络和所述初始图像特征提取网络对所述摄像头拍摄训练数据进行处理，得到拍摄图像识别结果，并通过所述初始点云特征提取网络和所述初始点云区域候选网络对所述雷达点云训练数据进行处理，得到点云识别结果；
根据所述拍摄图像识别结果和所述点云识别结果，通过梯度下降算法调整所述初始点云特征提取网络和所述初始点云区域候选网络的网络模型参数，得到最终的点云特征提取网络和最终的点云区域候选网络。
作为一种可选的实施方式，在本发明第一方面中，在所述通过所述初始点云特征提取网络和所述初始点云区域候选网络对所述雷达点云训练数据进行处理，得到点云识别结果之后，所述方法还包括：
构建初始特征融合网络和初始分类器，并获取用于训练所述初始特征融合网络和所述初始分类器的障碍物实际标注数据；
通过所述初始点云特征提取网络对所述拍摄图像识别结果和所述点云识别结果进行融合处理，得到训练融合数据；
通过所述初始分类器对所述训练融合数据进行识别处理，得到融合识别结果；
根据所述融合识别结果和所述障碍物实际标注数据，通过梯度下降算法调整所述初始特征融合网络和所述初始分类器的网络模型参数，得到最终的特征融合网络和最终的分类器。
本发明第二方面公开一种车辆自动驾驶装置，包括：
获取模块，用于获取自动驾驶车辆上摄像头捕捉到的道路图像数据和所述自动驾驶车辆上激光雷达检测到的雷达点云数据；
特征提取模块，用于通过预先构建的图像特征提取网络提取所述道路图像数据的图像特征，以及通过预先构建的点云特征提取网络提取所述雷达点云数据的点云特征；
融合模块，用于根据预先构建的特征融合网络对所述图像特征和所述点云特征进行处理，得到融合处理数据；
识别模块，用于根据预先构建的分类器对所述融合处理数据进行识别处理，得到识别结果；
控制模块，用于根据所述识别结果对所述自动驾驶车辆进行自动驾驶控制。
作为一种可选的实施方式，在本发明第二方面中，所述控制模块包括：
判断子模块，用于在所述根据预先构建的分类器对所述融合处理数据进行识别处理，得到识别结果之后，根据所述识别结果判断所述自动驾驶车辆行驶路线上是否存在障碍物；
处理子模块，用于在判断出所述自动驾驶车辆行驶路线上存在所述障碍物，根据预先构建的图像区域候选网络对所述道路图像数据进行处理，得到所述障碍物的图像位置数据，并根据预先构建的点云区域候选网络对所述雷达点云数据进行处理，得到所述障碍物的点云位置数据；
路线调整子模块，用于根据所述图像位置数据和所述点云位置数据对所述自动驾驶车辆的行驶路线进行调整，得到新的行驶路线；
控制子模块，用于根据所述新的行驶路线对所述自动驾驶车辆进行自动驾驶控制。
作为一种可选的实施方式，在本发明第二方面中，所述车辆自动驾驶装置还包括：
构建模块，用于在所述获取自动驾驶车辆上摄像头捕捉到的道路图像数据和所述自动驾驶车辆上激光雷达检测到的雷达点云数据之前，构建初始点云特征提取网络和初始点云区域候选网络；
所述获取模块，还用于获取用于训练所述初始点云特征提取网络和所述初始点云区域候选网络的点云训练数据；其中，所述点云训练数据包括摄像头拍摄训练数据以及雷达点云训练数据；
所述识别模块，还用于通过所述初始图像区域候选网络和所述初始图像特征提取网络对所述摄像头拍摄训练数据进行处理，得到拍摄图像识别结果，并通过所述初始点云特征提取网络和所述初始点云区域候选网络对所述雷达点云训练数据进行处理，得到点云识别结果；
参数调整模块，用于根据所述拍摄图像识别结果和所述点云识别结果，通过梯度下降算法调整所述初始点云特征提取网络和所述初始点云区域候选网络的网络模型参数，得到最终的点云特征提取网络和最终的点云区域候选网络。
本发明第三方面公开一种计算机设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述计算机设备执行第一方面公开的部分或者全部所述的车辆自动驾驶方法。
本发明第四方面公开一种计算机可读存储介质，其存储有第三方面所述的计算机设备中所使用的所述计算机程序。
根据本发明提供的车辆自动驾驶方法及装置，通过自动驾驶车辆上摄像头捕捉到的道路图像数据和自动驾驶车辆上激光雷达检测到的雷达点云数据，对自动驾驶车辆前行道路进行识别，得到相应的识别结果，并根据识别结果对自动驾驶车辆进行自动驾驶控制，通过自主高精度地识别当前环境，实现对临时突发道路情况的及时识别，进而能够根据当前环境的信息主动更新自动驾驶方案，从而提升自动驾驶的安全性，降低事故的发生率。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明范围的限定。
图1是本发明实施例一提供的一种车辆自动驾驶方法的流程示意图；
图2是本发明实施例二提供的一种车辆自动驾驶方法的流程示意图；
图3是本发明实施例三提供的一种车辆自动驾驶装置的结构示意图。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
针对现有技术中的问题，本发明提供了一种车辆自动驾驶方法及装置；该技术通过自动驾驶车辆上摄像头捕捉到的道路图像数据和自动驾驶车辆上激光雷达检测到的雷达点云数据，对自动驾驶车辆前行道路进行识别，得到相应的识别结果，并根据识别结果对自动驾驶车辆进行自动驾驶控制，通过自主高精度地识别当前环境，实现对临时突发道路情况的及时识别，进而能够根据当前环境的信息主动更新自动驾驶方案，从而提升自动驾驶的安全性，降低事故的发生率。并且，该技术可以采用相关的软件或硬件实现，下面通过实施例进行描述。
实施例1
请参阅图1，图1是本发明实施例提供的一种车辆自动驾驶方法的流程示意图。其中，如图1所示，该车辆自动驾驶方法可以包括以下步骤：
S101、获取自动驾驶车辆上摄像头捕捉到的道路图像数据和自动驾驶车辆上激光雷达检测到的雷达点云数据。
本实施例中，自动驾驶车辆又称无人驾驶汽车、电脑驾驶汽车、轮式移动机器人等，是一种通过计算机控制实现无人驾驶的智能汽车。自动驾驶车辆能够通过人工智能技术、视觉计算技术、雷达技术、全球定位技术以及相应的硬件装置，使得计算机设备可以在没有任何人类主动的操作下，自动安全地控制机动车辆执行相应的操作。
本实施例中，自动驾驶车辆上可以设置激光雷达装置(如前后激光雷达装置等)、摄像头装置(如前置摄像头等)以及传感设备(如左后轮传感器等)等，对此本实施例不作限定。其中，激光雷达装置能对半径一定长度的周围环境进行扫描，并将结果以3D地图的方式呈现出来，给予计算机设备最初步的判断依据。前置摄像头用于识别交通信号灯，并在车载电脑的辅助下辨别移动的物体，比如前方车辆、自行车或是行人。左后轮传感器是自动驾驶汽车的位置传感器，可以通过测定汽车的横向移动来帮助计算设备给自动驾驶车辆定位，进而确定自动驾驶车辆在马路上的正确位置。前后激光雷达装置还可以与前置摄像头结合，来测量自动驾驶车辆与前(后左右各个物体间的距离。
本实施例中，雷达点云数据即三维激光雷达点云数据，是由激光雷达进行扫描所获取到的数据。激光雷达是用激光器作为发射光源，采用光电探测技术手段的主动遥感设备。主要由发射系统、接收系统以及信息处理系统等组成，对此本实施例不作限定。
作为一种可选的实施方式，获取自动驾驶车辆上摄像头捕捉到的道路图像数据和自动驾驶车辆上激光雷达检测到的雷达点云数据之前，还可以包括以下步骤：
在预设的时间节点上控制自动驾驶车辆上摄像头捕捉的道路图像数据。
实施这种实施方式，可以控制摄像头对道路图像数据的拍摄频率，从而可以控制对摄像头的使用频次。另外，在高精度的识别模式下，该摄像头的使用频次可以适应性增加，在一般精度的识别模式下，该摄像头的使用频次可以被控制到一定(较少)的程度(如使用频次低于或者等于预设频次阈值)，可见，该种实施方式可以减少摄像头的拍摄使用，同时该摄像头的使用频次可以根据实际情况作出相应的调整。
S102、通过预先构建的图像特征提取网络提取道路图像数据的图像特征，以及通过预先构建的点云特征提取网络提取雷达点云数据的点云特征。
本实施例中，道路图像数据的图像特征可以为方向梯度直方图(Histogram ofOriented Gradient,HOG)特征、局部二值模式(Local Binary Pattern，LBP)特征、Haar特征(如边缘特征、线性特征、中心特征、对角线特征等)等，对此本实施例不作限定。
本实施例中，图像特征包括道路图像数据中各个图像内容的多个特征数据，在实施本实施例之后，可以通过对每个图像内容的多个特征数据进行筛选处理，得到了每个图像内容对应的较精简并且准确的有效特征数据，可见，实施本实施例可以有效的从图像特征中提取相应的有效特征数据，从而可以对一张图像或少数图像(相对多图像分析而言)进行准确、快速以及有效地分析，进而可以减少摄像头获取道路图像数据的数据量，可以减少摄像头的拍摄使用。
实施这种实施方式，能够通过获取一个的道路图像数据，并对该道路图像数据进行相应的学习与分析，从而推算出相应的自动驾驶控制方案，有利于提高自动驾驶的的自动化程度。可见，在此过程中，可以只获取到一个道路图像数据并完成相应的分析，提高自动驾驶的自动化程度，从而可以得出该技术可以减少摄像头的拍摄使用，避免摄像头的多时多次使用，降低能量资源的损耗，提高自动驾驶车辆续航能力。
作为一种可选的实施方式，在通过预先构建的点云特征提取网络提取雷达点云数据的点云特征之前，可以先雷达点云数据进行去噪及平滑滤波处理，以去除雷达点云数据中的噪声干扰。
在上述实施方法中，对雷达点云数据进行去噪及平滑滤波处理可以采用强度属性滤波、颜色属性滤波、孤立点滤波、随机噪声滤波等方法，对此本实施例不作限定。
本实施例中，雷达点云数据的点云特征可以为基于曲率的点云特征、点云边缘特征、基于邻域信息的特征值等，对此本实施例不作限定。
S103、根据预先构建的特征融合网络对图像特征和点云特征进行处理，得到融合处理数据，并根据预先构建的分类器对融合处理数据进行识别处理，得到识别结果。
本实施例中，预先构建的分类器可以为SVM支持向量机、BP反向传播神经网络等，对此本实施例不作限定。
S104、根据识别结果对自动驾驶车辆进行自动驾驶控制。
在图1所描述的车辆自动驾驶方法中，通过自动驾驶车辆上摄像头捕捉到的道路图像数据和自动驾驶车辆上激光雷达检测到的雷达点云数据，对自动驾驶车辆前行道路进行识别，得到相应的识别结果，并根据识别结果对自动驾驶车辆进行自动驾驶控制。可见，实施图1所描述的车辆自动驾驶方法，通过自主高精度地识别当前环境，实现对临时突发道路情况的及时识别，进而能够根据当前环境的信息主动更新自动驾驶方案，从而提升自动驾驶的安全性，降低事故的发生率。
实施例2
请参阅图2，图2是本发明实施例提供的一种车辆自动驾驶方法的流程示意图。其中，如图2所示，该车辆自动驾驶方法可以包括以下步骤：
S201、获取自动驾驶车辆上摄像头捕捉到的道路图像数据和自动驾驶车辆上激光雷达检测到的雷达点云数据。
S202、通过预先构建的图像特征提取网络提取道路图像数据的图像特征，以及通过预先构建的点云特征提取网络提取雷达点云数据的点云特征。
作为一种可选的实施方式，在获取自动驾驶车辆上摄像头捕捉到的道路图像数据和自动驾驶车辆上激光雷达检测到的雷达点云数据之前，方法还包括：
构建初始图像特征提取网络和初始图像区域候选网络，并获取用于训练初始图像特征提取网络和初始图像区域候选网络的图像训练数据；其中，训练数据包括障碍物现场图片以及障碍物现场实际数据；
通过初始图像区域候选网络和初始图像特征提取网络对障碍物现场图片进行处理，得到图像识别结果；
根据障碍物现场实际数据和图像识别结果，通过梯度下降算法调整初始图像区域候选网络和初始图像特征提取网络的网络模型参数，得到最终的图像特征提取网络和最终的图像区域候选网络。
在上述实施方式中，图像特征提取网络和图像区域候选网络均可以为BP神经网络、卷积神经网络等，对此本实施例不作限定。
在上述实施方式中，图像特征提取网络能够获取到道路图像数据中图像内容的特征，图像区域候选网络能够获取到道路图像数据中图像内容在道路图像数据中的位置数据。
在上述实施方式中，摄像头拍摄训练数据可以为施工现场物体图片等，障碍物现场实际数据可以为施工现场物体的实际位置信息以及施工现场物体的类型等，对此本实施例不作限定。
作为一种可选的实施方式，在获取自动驾驶车辆上摄像头捕捉到的道路图像数据和自动驾驶车辆上激光雷达检测到的雷达点云数据之前，方法还包括：
构建初始点云特征提取网络和初始点云区域候选网络，并获取用于训练初始点云特征提取网络和初始点云区域候选网络的点云训练数据；其中，点云训练数据包括摄像头拍摄训练数据以及雷达点云训练数据；
通过初始图像区域候选网络和初始图像特征提取网络对摄像头拍摄训练数据进行处理，得到拍摄图像识别结果，并通过初始点云特征提取网络和初始点云区域候选网络对雷达点云训练数据进行处理，得到点云识别结果；
根据拍摄图像识别结果和点云识别结果，通过梯度下降算法调整初始点云特征提取网络和初始点云区域候选网络的网络模型参数，得到最终的点云特征提取网络和最终的点云区域候选网络。
在上述实施方式中，点云特征提取网络和点云区域候选网络均可以为BP神经网络、卷积神经网络等，对此本实施例不作限定。
在上述实施方式中，点云特征提取网络能够获取到雷达点云数据中点云内容的特征，点云区域候选网络能够获取到雷达点云数据中点云内容在雷达点云数据中的位置数据。
在上述实施方式中，摄像头拍摄训练数据可以为施工现场物体图片等，雷达点云训练数据可以为施工现场物体的激光雷达点云数据等，对此本实施例不作限定。
S203、根据预先构建的特征融合网络对图像特征和点云特征进行处理，得到融合处理数据，并根据预先构建的分类器对融合处理数据进行识别处理，得到识别结果。
作为一种可选的实施方式，在通过初始点云特征提取网络和初始点云区域候选网络对雷达点云训练数据进行处理，得到点云识别结果之后，方法还包括：
构建初始特征融合网络和初始分类器，并获取用于训练初始特征融合网络和初始分类器的障碍物实际标注数据；
通过初始点云特征提取网络对拍摄图像识别结果和点云识别结果进行融合处理，得到训练融合数据；
通过初始分类器对训练融合数据进行识别处理，得到融合识别结果；
根据融合识别结果和障碍物实际标注数据，通过梯度下降算法调整初始特征融合网络和初始分类器的网络模型参数，得到最终的特征融合网络和最终的分类器。
在上述实施方式中，障碍物实际标注数据可以为施工现场各种物体的标注数据等，对此本实施例不作限定。
在上述实施方式中，特征融合网络均可以为BP神经网络、卷积神经网络等，对此本实施例不作限定。
作为一种可选的实施方式，特征融合网络可以为基于卷积神经网络的多层特征融合网络。
S204、根据识别结果判断自动驾驶车辆行驶路线上是否存在障碍物，如果存在，执行步骤S205～步骤S207；如果不存在，执行步骤S208。
S205、根据预先构建的图像区域候选网络对道路图像数据进行处理，得到障碍物的图像位置数据，并根据预先构建的点云区域候选网络对雷达点云数据进行处理，得到障碍物的点云位置数据。
S206、根据图像位置数据和点云位置数据对自动驾驶车辆的行驶路线进行调整，得到新的行驶路线。
S207、根据新的行驶路线对自动驾驶车辆进行自动驾驶控制，并结束本流程。
作为一种可选的实施方式，当判断出自动驾驶车辆行驶路线上不存在障碍物时，还可以包括以下步骤：
S208、按照当前的自动驾驶行驶路线继续对自动驾驶车辆进行自动驾驶控制，并重新执行步骤S201～步骤S204。
可见，实施图2所描述的车辆自动驾驶方法，通过自主高精度地识别当前环境，实现对临时突发道路情况的及时识别，进而能够根据当前环境的信息主动更新自动驾驶方案，从而提升自动驾驶的安全性，降低事故的发生率。
实施例3
请参阅图3，图3是本发明实施例提供的一种车辆自动驾驶装置的结构示意图。其中，如图3所示，该车辆自动驾驶装置包括：
获取模块310，用于获取自动驾驶车辆上摄像头捕捉到的道路图像数据和自动驾驶车辆上激光雷达检测到的雷达点云数据；
特征提取模块320，用于通过预先构建的图像特征提取网络提取道路图像数据的图像特征，以及通过预先构建的点云特征提取网络提取雷达点云数据的点云特征；
融合模块330，用于根据预先构建的特征融合网络对图像特征和点云特征进行处理，得到融合处理数据；
识别模块340，用于根据预先构建的分类器对融合处理数据进行识别处理，得到识别结果；
控制模块350，用于根据识别结果对自动驾驶车辆进行自动驾驶控制。
作为一种可选的实施方式，控制模块350包括：
判断子模块351，用于在根据预先构建的分类器对融合处理数据进行识别处理，得到识别结果之后，根据识别结果判断自动驾驶车辆行驶路线上是否存在障碍物；
处理子模块352，用于在判断出自动驾驶车辆行驶路线上存在障碍物，根据预先构建的图像区域候选网络对道路图像数据进行处理，得到障碍物的图像位置数据，并根据预先构建的点云区域候选网络对雷达点云数据进行处理，得到障碍物的点云位置数据；
路线调整子模块353，用于根据图像位置数据和点云位置数据对自动驾驶车辆的行驶路线进行调整，得到新的行驶路线；
控制子模块354，用于根据新的行驶路线对自动驾驶车辆进行自动驾驶控制。
作为一种可选的实施方式，控制子模块354，还用于当判断出自动驾驶车辆行驶路线上不存在障碍物时，按照当前的自动驾驶行驶路线继续对自动驾驶车辆进行自动驾驶控制。
作为一种可选的实施方式，该车辆自动驾驶装置还包括：
构建模块，用于在获取自动驾驶车辆上摄像头捕捉到的道路图像数据和自动驾驶车辆上激光雷达检测到的雷达点云数据之前，构建初始点云特征提取网络和初始点云区域候选网络；
获取模块，还用于获取用于训练初始点云特征提取网络和初始点云区域候选网络的点云训练数据；其中，点云训练数据包括摄像头拍摄训练数据以及雷达点云训练数据；
识别模块，还用于通过初始图像区域候选网络和初始图像特征提取网络对摄像头拍摄训练数据进行处理，得到拍摄图像识别结果，并通过初始点云特征提取网络和初始点云区域候选网络对雷达点云训练数据进行处理，得到点云识别结果；
参数调整模块，用于根据拍摄图像识别结果和点云识别结果，通过梯度下降算法调整初始点云特征提取网络和初始点云区域候选网络的网络模型参数，得到最终的点云特征提取网络和最终的点云区域候选网络。
可见，实施图3所描述的车辆自动驾驶装置，通过自主高精度地识别当前环境，实现对临时突发道路情况的及时识别，进而能够根据当前环境的信息主动更新自动驾驶方案，从而提升自动驾驶的安全性，降低事故的发生率，
此外，本发明还提供了一种计算机设备。该计算机设备包括存储器和处理器，存储器可用于存储计算机程序，处理器通过运行所述计算机程序，从而使该计算机设备执行上述方法或者上述车辆自动驾驶装置中的各个模块的功能。
存储器可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据移动终端的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本实施例还提供了一种计算机存储介质，用于储存上述计算机设备中使用的计算机程序。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (6)
1.一种车辆自动驾驶方法，其特征在于，包括：
构建初始图像特征提取网络和初始图像区域候选网络，并获取用于训练所述初始图像特征提取网络和所述初始图像区域候选网络的图像训练数据；其中，所述训练数据包括障碍物现场图片以及障碍物现场实际数据；
通过所述初始图像区域候选网络和所述初始图像特征提取网络对所述障碍物现场图片进行处理，得到图像识别结果；
根据所述障碍物现场实际数据和所述图像识别结果，通过梯度下降算法调整所述初始图像区域候选网络和所述初始图像特征提取网络的网络模型参数，得到最终的图像特征提取网络和最终的图像区域候选网络；
获取自动驾驶车辆上摄像头捕捉到的道路图像数据和所述自动驾驶车辆上激光雷达检测到的雷达点云数据；
通过预先构建的图像特征提取网络提取所述道路图像数据的图像特征，以及通过预先构建的点云特征提取网络提取所述雷达点云数据的点云特征；
根据预先构建的特征融合网络对所述图像特征和所述点云特征进行处理，得到融合处理数据，并根据预先构建的分类器对所述融合处理数据进行识别处理，得到识别结果；
根据所述识别结果判断所述自动驾驶车辆行驶路线上是否存在障碍物；
如果所述自动驾驶车辆行驶路线上存在所述障碍物，根据预先构建的图像区域候选网络对所述道路图像数据进行处理，得到所述障碍物的图像位置数据，并根据预先构建的点云区域候选网络对所述雷达点云数据进行处理，得到所述障碍物的点云位置数据；
根据所述图像位置数据和所述点云位置数据对所述自动驾驶车辆的行驶路线进行调整，得到新的行驶路线；
根据所述新的行驶路线对所述自动驾驶车辆进行自动驾驶控制。
2.根据权利要求1所述的车辆自动驾驶方法，其特征在于，在所述获取自动驾驶车辆上摄像头捕捉到的道路图像数据和所述自动驾驶车辆上激光雷达检测到的雷达点云数据之前，所述方法还包括：
构建初始点云特征提取网络和初始点云区域候选网络，并获取用于训练所述初始点云特征提取网络和所述初始点云区域候选网络的点云训练数据；其中，所述点云训练数据包括摄像头拍摄训练数据以及雷达点云训练数据；
通过所述初始图像区域候选网络和所述初始图像特征提取网络对所述摄像头拍摄训练数据进行处理，得到拍摄图像识别结果，并通过所述初始点云特征提取网络和所述初始点云区域候选网络对所述雷达点云训练数据进行处理，得到点云识别结果；
根据所述拍摄图像识别结果和所述点云识别结果，通过梯度下降算法调整所述初始点云特征提取网络和所述初始点云区域候选网络的网络模型参数，得到最终的点云特征提取网络和最终的点云区域候选网络。
3.根据权利要求2所述的车辆自动驾驶方法，其特征在于，在所述通过所述初始点云特征提取网络和所述初始点云区域候选网络对所述雷达点云训练数据进行处理，得到点云识别结果之后，所述方法还包括：
构建初始特征融合网络和初始分类器，并获取用于训练所述初始特征融合网络和所述初始分类器的障碍物实际标注数据；
通过所述初始点云特征提取网络对所述拍摄图像识别结果和所述点云识别结果进行融合处理，得到训练融合数据；
通过所述初始分类器对所述训练融合数据进行识别处理，得到融合识别结果；
根据所述融合识别结果和所述障碍物实际标注数据，通过梯度下降算法调整所述初始特征融合网络和所述初始分类器的网络模型参数，得到最终的特征融合网络和最终的分类器。
4.一种车辆自动驾驶装置，其特征在于，包括：
获取模块，用于获取自动驾驶车辆上摄像头捕捉到的道路图像数据和所述自动驾驶车辆上激光雷达检测到的雷达点云数据；
特征提取模块，用于通过预先构建的图像特征提取网络提取所述道路图像数据的图像特征，以及通过预先构建的点云特征提取网络提取所述雷达点云数据的点云特征；
融合模块，用于根据预先构建的特征融合网络对所述图像特征和所述点云特征进行处理，得到融合处理数据；
识别模块，用于根据预先构建的分类器对所述融合处理数据进行识别处理，得到识别结果；
控制模块，用于根据所述识别结果对所述自动驾驶车辆进行自动驾驶控制；
所述控制模块包括：
判断子模块，用于在所述根据预先构建的分类器对所述融合处理数据进行识别处理，得到识别结果之后，根据所述识别结果判断所述自动驾驶车辆行驶路线上是否存在障碍物；
处理子模块，用于在判断出所述自动驾驶车辆行驶路线上存在所述障碍物，根据预先构建的图像区域候选网络对所述道路图像数据进行处理，得到所述障碍物的图像位置数据，并根据预先构建的点云区域候选网络对所述雷达点云数据进行处理，得到所述障碍物的点云位置数据；
路线调整子模块，用于根据所述图像位置数据和所述点云位置数据对所述自动驾驶车辆的行驶路线进行调整，得到新的行驶路线；
控制子模块，用于根据所述新的行驶路线对所述自动驾驶车辆进行自动驾驶控制；
所述车辆自动驾驶装置还包括：
构建模块，用于在所述获取自动驾驶车辆上摄像头捕捉到的道路图像数据和所述自动驾驶车辆上激光雷达检测到的雷达点云数据之前，构建初始点云特征提取网络和初始点云区域候选网络；
所述获取模块，还用于获取用于训练所述初始点云特征提取网络和所述初始点云区域候选网络的点云训练数据；其中，所述点云训练数据包括摄像头拍摄训练数据以及雷达点云训练数据；
所述识别模块，还用于通过初始图像区域候选网络和初始图像特征提取网络对所述摄像头拍摄训练数据进行处理，得到拍摄图像识别结果，并通过所述初始点云特征提取网络和所述初始点云区域候选网络对所述雷达点云训练数据进行处理，得到点云识别结果；
参数调整模块，用于根据所述拍摄图像识别结果和所述点云识别结果，通过梯度下降算法调整所述初始点云特征提取网络和所述初始点云区域候选网络的网络模型参数，得到最终的点云特征提取网络和最终的点云区域候选网络。
5.一种计算机设备，其特征在于，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述计算机设备执行权利要求1至3中任一项所述的车辆自动驾驶方法。
6.一种计算机可读存储介质，其特征在于，其存储有权利要求5所述的计算机设备中所使用的所述计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910186321.8A CN110045729B (zh) | 2019-03-12 | 2019-03-12 | 一种车辆自动驾驶方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910186321.8A CN110045729B (zh) | 2019-03-12 | 2019-03-12 | 一种车辆自动驾驶方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110045729A CN110045729A (zh) | 2019-07-23 |
| CN110045729B true CN110045729B (zh) | 2022-09-13 |
Family
ID=67274790
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910186321.8A Active CN110045729B (zh) | 2019-03-12 | 2019-03-12 | 一种车辆自动驾驶方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110045729B (zh) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112219206A (zh) * | 2019-07-25 | 2021-01-12 | 北京航迹科技有限公司 | 用于确定位姿的系统和方法 |
| WO2021016891A1 (zh) * | 2019-07-30 | 2021-02-04 | 深圳市大疆创新科技有限公司 | 处理点云的方法和装置 |
| CN110412986A (zh) * | 2019-08-19 | 2019-11-05 | 中车株洲电力机车有限公司 | 一种车辆障碍物检测方法及系统 |
| CN110751040B (zh) * | 2019-09-18 | 2022-06-03 | 杭州飞步科技有限公司 | 一种三维物体的检测方法和装置、电子设备、存储介质 |
| CN110654380B (zh) * | 2019-10-09 | 2023-12-15 | 北京百度网讯科技有限公司 | 用于控制车辆的方法和装置 |
| CN110654422B (zh) * | 2019-11-12 | 2022-02-01 | 银河水滴科技（北京）有限公司 | 一种轨道列车驾驶辅助的方法、装置及系统 |
| CN113678136A (zh) * | 2019-12-30 | 2021-11-19 | 深圳元戎启行科技有限公司 | 基于无人驾驶技术的障碍物检测方法、装置和计算机设备 |
| CN111191600B (zh) * | 2019-12-30 | 2023-06-23 | 深圳元戎启行科技有限公司 | 障碍物检测方法、装置、计算机设备和存储介质 |
| CN111507222B (zh) * | 2020-04-09 | 2023-07-07 | 中山大学 | 一种基于多源数据知识迁移的三维物体检测框架 |
| CN111523600B (zh) * | 2020-04-26 | 2023-12-19 | 上海商汤临港智能科技有限公司 | 神经网络训练、目标检测、及智能设备控制的方法及装置 |
| WO2021243710A1 (zh) * | 2020-06-05 | 2021-12-09 | 曹庆恒 | 一种基于智能交通系统的自动驾驶方法、装置和智能交通系统 |
| CN112307890B (zh) * | 2020-09-22 | 2023-01-20 | 西人马帝言(北京)科技有限公司 | 一种物体识别方法、装置、物体识别设备及存储介质 |
| WO2022099510A1 (zh) * | 2020-11-11 | 2022-05-19 | 深圳元戎启行科技有限公司 | 对象识别方法、装置、计算机设备和存储介质 |
| CN112817249B (zh) * | 2020-12-28 | 2022-03-11 | 唐山德惠航空装备有限公司 | 一种自动驾驶汽车控制系统 |
| CN112712129B (zh) * | 2021-01-11 | 2024-04-19 | 深圳力维智联技术有限公司 | 多传感器融合方法、装置、设备及存储介质 |
| CN113052131A (zh) * | 2021-04-20 | 2021-06-29 | 深圳市商汤科技有限公司 | 点云数据处理、自动驾驶车辆控制方法及装置 |
| CN113071498B (zh) * | 2021-06-07 | 2021-09-21 | 新石器慧通（北京）科技有限公司 | 车辆控制方法、装置、系统、计算机设备及存储介质 |
| CN115148040A (zh) * | 2022-06-28 | 2022-10-04 | 东莞中科云计算研究院 | 面向封闭道路环境的无人驾驶车辆控制方法及系统 |
| CN116403174A (zh) * | 2022-12-12 | 2023-07-07 | 深圳市大数据研究院 | 一种端到端自动驾驶方法、系统、仿真系统及存储介质 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109145680B (zh) * | 2017-06-16 | 2022-05-27 | 阿波罗智能技术(北京)有限公司 | 一种获取障碍物信息的方法、装置、设备和计算机存储介质 |
| US10474160B2 (en) * | 2017-07-03 | 2019-11-12 | Baidu Usa Llc | High resolution 3D point clouds generation from downsampled low resolution LIDAR 3D point clouds and camera images |
| CN107862293B (zh) * | 2017-09-14 | 2021-05-04 | 北京航空航天大学 | 基于对抗生成网络的雷达生成彩色语义图像系统及方法 |
| CN108196535B (zh) * | 2017-12-12 | 2021-09-07 | 清华大学苏州汽车研究院（吴江） | 基于增强学习和多传感器融合的自动驾驶系统 |
| CN108229366B (zh) * | 2017-12-28 | 2021-12-14 | 北京航空航天大学 | 基于雷达和图像数据融合的深度学习车载障碍物检测方法 |
| CN108536154A (zh) * | 2018-05-14 | 2018-09-14 | 重庆师范大学 | 基于生物电信号控制的低速自动驾驶智能轮椅构建方法 |
| CN108803604A (zh) * | 2018-06-06 | 2018-11-13 | 深圳市易成自动驾驶技术有限公司 | 车辆自动驾驶方法、装置以及计算机可读存储介质 |
| CN108921846A (zh) * | 2018-07-17 | 2018-11-30 | 北京航空航天大学 | 一种基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法 |
| CN109358614A (zh) * | 2018-08-30 | 2019-02-19 | 深圳市易成自动驾驶技术有限公司 | 自动驾驶方法、系统、装置及可读存储介质 |
-
2019
- 2019-03-12 CN CN201910186321.8A patent/CN110045729B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110045729A (zh) | 2019-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110045729B (zh) | 一种车辆自动驾驶方法及装置 | |
| CN110148144B (zh) | 点云数据的分割方法和装置、存储介质、电子装置 | |
| CN110531753B (zh) | 自主车辆的控制系统、控制方法和控制器 | |
| CN110588653B (zh) | 自主车辆的控制系统、控制方法以及控制器 | |
| JP7227358B2 (ja) | トレーニングデータを取得するためのシステム及び方法 | |
| CN110175498B (zh) | 向导航度量地图提供富信息的地图语义 | |
| CN111695546B (zh) | 用于无人车的交通信号灯识别方法和装置 | |
| CN111874006B (zh) | 路线规划处理方法和装置 | |
| US10633007B1 (en) | Autonomous driving assistance glasses that assist in autonomous driving by recognizing humans' status and driving environment through image analysis based on deep neural network | |
| CN114413881B (zh) | 高精矢量地图的构建方法、装置及存储介质 | |
| US11676403B2 (en) | Combining visible light camera and thermal camera information | |
| CN117184060B (zh) | 轨迹修正方法和装置、无人车和存储介质 | |
| KR20210005395A (ko) | 자율주행차량의 유턴 전략 결정 장치 및 그 방법 | |
| CN117593685B (zh) | 真值数据的构建方法和装置、存储介质 | |
| CN113178091B (zh) | 安全行驶区域方法、装置和网络设备 | |
| CN114694115A (zh) | 一种道路障碍物检测方法、装置、设备及存储介质 | |
| CN110727269B (zh) | 车辆控制方法及相关产品 | |
| CN109344776B (zh) | 数据处理方法 | |
| CN109765886B (zh) | 车辆跟随的目标轨迹识别方法 | |
| WO2022089627A1 (en) | Method and system for motion planning for an autonmous vehicle | |
| CN116125980A (zh) | 无人货车驾驶方法、装置、电子设备及存储介质 | |
| CN115342811A (zh) | 一种路径规划方法、装置、设备及存储介质 | |
| CN111231977B (zh) | 一种车辆速度的确定方法、装置、车辆及存储介质 | |
| Memon et al. | Self-driving car using lidar sensing and image processing | |
| CN113753038A (zh) | 一种轨迹预测方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210222 Address after: 100095 room 1701, 16 / F and 17 / F, building 1, zone 1, 81 Beiqing Road, Haidian District, Beijing Applicant after: BEIJING XIAOMA HUIXING TECHNOLOGY Co.,Ltd. Address before: 510000 No.106 Fengze East Road, Nansha District, Guangzhou City, Guangdong Province (self compiled Building 1) x1301-f3590 (cluster registration) (JM) Applicant before: GUANGZHOU XIAOMA ZHIXING TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |