CN115164910B - 行驶路径生成方法、装置、车辆、存储介质及芯片 - Google Patents
行驶路径生成方法、装置、车辆、存储介质及芯片 Download PDFInfo
- Publication number
- CN115164910B CN115164910B CN202210712199.5A CN202210712199A CN115164910B CN 115164910 B CN115164910 B CN 115164910B CN 202210712199 A CN202210712199 A CN 202210712199A CN 115164910 B CN115164910 B CN 115164910B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- information
- sample
- plane data
- grid map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 29
- 230000007613 environmental effect Effects 0.000 claims description 33
- 239000013598 vector Substances 0.000 claims description 32
- 230000015654 memory Effects 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 18
- 230000009466 transformation Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 6
- 230000008878 coupling Effects 0.000 claims description 4
- 238000010168 coupling process Methods 0.000 claims description 4
- 238000005859 coupling reaction Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 2
- 230000010365 information processing Effects 0.000 claims 1
- 238000004891 communication Methods 0.000 description 22
- 230000004888 barrier function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000002372 labelling Methods 0.000 description 7
- 230000008447 perception Effects 0.000 description 7
- 230000006399 behavior Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000005291 magnetic effect Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000010267 cellular communication Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000446 fuel Substances 0.000 description 3
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 2
- ATUOYWHBWRKTHZ-UHFFFAOYSA-N Propane Chemical compound CCC ATUOYWHBWRKTHZ-UHFFFAOYSA-N 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000002485 combustion reaction Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- SAZUGELZHZOXHB-UHFFFAOYSA-N acecarbromal Chemical compound CCC(Br)(CC)C(=O)NC(=O)NC(C)=O SAZUGELZHZOXHB-UHFFFAOYSA-N 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 239000001294 propane Substances 0.000 description 1
- 230000000979 retarding effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/06—Automatic manoeuvring for parking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0011—Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3446—Details of route searching algorithms, e.g. Dijkstra, A*, arc-flags, using precalculated routes
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
Abstract
本公开涉及一种行驶路径生成方法、装置、车辆、存储介质及芯片，其中，该行驶路径生成方法，包括：获取车辆的位置信息以及所述车辆所处环境的环境信息；将所述环境信息投影至所述位置信息对应坐标平面中，得到平面数据，所述平面数据表征在所述坐标平面中所述环境信息对应的物体与所述车辆之间的相对位置关系；将所述平面数据输入至预先训练得到的栅格图生成模型中，并获取所述栅格图生成模型输出的障碍物栅格图；基于所述障碍物栅格图生成所述车辆的行驶路径。本公开能够提高行驶路径的生成效率和质量。
Description
技术领域
本公开涉及自动驾驶技术领域，尤其涉及一种行驶路径生成方法、装置、车辆、存储介质及芯片。
背景技术
路径规划或者说运动轨迹规划是自动驾驶车辆的基本技术之一，其中，障碍物栅格图的生成是车辆进行自动路径规划的关键。然而，尤其是在自动泊车时，目前的障碍物栅格图的生成方式是通过人为规则生成的，这种方式无法覆盖所有的行驶场景，所以这种生成方式具有一定局限性。
发明内容
为克服相关技术中存在的问题，本公开提供一种行驶路径生成方法、装置、车辆、存储介质及芯片。
根据本公开实施例的第一方面，提供一种行驶路径生成方法，包括：
获取车辆的位置信息以及所述车辆所处环境的环境信息；
将所述环境信息投影至所述位置信息对应坐标平面中，得到平面数据，所述平面数据表征在所述坐标平面中所述环境信息对应的物体与所述车辆之间的相对位置关系；
将所述平面数据输入至预先训练得到的栅格图生成模型中，并获取所述栅格图生成模型输出的障碍物栅格图；
基于所述障碍物栅格图生成所述车辆的行驶路径。
可选地，所述环境信息包括图像信息，所述将所述环境信息投影至所述位置信息对应平面中，得到平面数据，包括：
基于所述位置信息构建坐标平面；
基于所述坐标平面对所述图像信息进行逆投影变换处理，以将所述图像信息的像素点投影至所述坐标平面中，得到所述平面数据。
可选地，所述方法还包括：
针对预设的多个行驶场景中每一个行驶场景，获取所述行驶场景下所述车辆的环境信息样本以及位置信息样本；
对所述环境信息样本中的障碍物进行标注，得到标注后的环境信息样本；
将所述标注后的环境信息样本投影至所述位置信息样本对应坐标平面，得到平面数据样本；
基于所述平面数据样本训练得到所述栅格图生成模型。
可选地，所述平面数据样本的种类为多种，所述基于所述平面数据样本训练得到所述栅格图生成模型，包括：
针对多种平面数据样本中的每一种平面数据，提取所述平面数据样本的特征向量，得到多个特征向量；
将所述多个特征向量进行耦合后输入至预设的多层网络结构中进行训练，得到所述栅格图生成模型。
可选地，所述障碍物栅格图为多帧，多帧障碍物栅格图中的每一帧障碍物栅格图对应所述车辆的一个位置信息，所述基于所述障碍物栅格图生成所述车辆的行驶路径，包括：
将所述多帧障碍物栅格图进行合并，得到目标障碍物栅格图；
基于所述目标障碍物栅格图生成所述车辆的行驶路径。
可选地，所述环境信息包括图像信息、激光点云信息、超声波信息中的至少一种。
根据本公开实施例的第二方面，提供一种行驶路径生成装置，包括：
信息获取模块，被配置为获取车辆的位置信息以及所述车辆所处环境的环境信息；
平面数据获取模块，被配置为将所述环境信息投影至所述位置信息对应坐标平面中，得到平面数据，所述平面数据表征在所述坐标平面中所述环境信息对应的物体与所述车辆之间的相对位置关系；
障碍物栅格图获取模块，被配置为将所述平面数据输入至预先训练得到的栅格图生成模型中，并获取所述栅格图生成模型输出的障碍物栅格图；
行驶路径生成模块，被配置为基于所述障碍物栅格图生成所述车辆的行驶路径。
根据本公开实施例的第三方面，提供一种车辆，该车辆包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取所述车辆的位置信息以及所述车辆所处环境的环境信息；
将所述环境信息投影至所述位置信息对应坐标平面中，得到平面数据，所述平面数据表征在所述坐标平面中所述环境信息对应的物体与所述车辆之间的相对位置关系；
将所述平面数据输入至预先训练得到的栅格图生成模型中，并获取所述栅格图生成模型输出的障碍物栅格图；
基于所述障碍物栅格图生成所述车辆的行驶路径。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开第一方面所提供的行驶路径生成方法的步骤。
根据本公开实施例的第五方面，提供一种芯片，包括处理器和接口；所述处理器用于读取指令以执行本公开第一方面所提供的行驶路径生成方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果：通过获取车辆的位置信息以及所述车辆所处环境的环境信息；将所述环境信息投影至所述位置信息对应坐标平面中，得到平面数据，所述平面数据表征在所述坐标平面中所述环境信息对应的物体与所述车辆之间的相对位置关系；将所述平面数据输入至预先训练得到的栅格图生成模型中，并获取所述栅格图生成模型输出的障碍物栅格图；基于所述障碍物栅格图生成所述车辆的行驶路径。从而通过深度学习模型以数据驱动的方式，完成从车辆环境到障碍物栅格图的推理，进而实现车辆的行驶路径的自动生成，避免了通过常规的人为规则去生成障碍物栅格图的只能适应单一场景的局限。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种行驶路径生成方法的流程图。
图2是根据图1实施例示出的逆投影变换的效果示意图。
图3是根据另一示例性实施例示出的一种行驶路径生成方法的流程图。
图4是根据图3实施例示出的目标障碍物栅格图的示意图。
图5是根据一示例性实施例示出的一种行驶路径生成装置的框图。
图6是根据一示例性实施例示出的一种电子设备的框图。
图7是一示例性实施例示出的一种车辆的功能框图示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
需要说明的是，本申请中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。
随着车辆的自动驾驶领域的不断发展，车辆的自动泊车技术也在不断成熟，在自动泊车过程中，车辆的路径规划控制模块需要获取环境中障碍物的信息来进行决策控制。
在相关技术中，通常是车辆通过相关的传感器采集周围环境的原始数据，然后通过人为设计的规则从传感器采集的原始数据中提取障碍物特征点，并计算出障碍物栅格图，再将栅格图输出给规划控制模块，进行自动泊车控制。然而，上述方案存在以下问题：
1、人为设计的规则无法覆盖所有的场景，在部分场景下，规则失效。
2、人为设计的规则之间可能相互冲突，导致障碍物点误报或者漏报。
针对上述问题，本实施例提供一种行驶路径生成方法、装置、车辆、存储介质及芯片。能够利用深度模型有效地针对不同的行驶场景生成相应的障碍物栅格图，并根据该障碍物栅格图生成行驶路径，以供车辆使用，提高行驶路径的生成效率和质量。
图1是根据一示例性实施例示出的一种行驶路径生成方法的流程图，如图1所示，该方法用于车辆中，该方法可以包括以下步骤：
在步骤S11中，获取车辆的位置信息以及上述车辆所处环境的环境信息。
示例性地，该车辆可以包括用于监测周围环境的环境检测装置以及用于获取车辆位置的定位装置。
可选地，该环境检测装置包括但不限于：图像采集装置（如高清摄像头、深度相机等）、超声波测距传感器、激光雷达传感器、定位装置等。可选地，该定位装置包括但不限于全球定位系统(Global Positioning System，GPS)装置、北斗卫星导航系统（BeiDouNavigation Satellite System，BDS）、全球卫星导航系统（Global Navigation SatelliteSystem，GLONASS）等。
可选地，上述环境信息可以包括图像信息、激光点云信息、超声波信息中的至少一种。该车辆可以通过环境监测装置获取图像信息、激光点云信息、超声波信息等信息作为环境信息，并通过定位装置获取车辆的位置信息。
在步骤S12中，将上述环境信息投影至上述位置信息对应坐标平面中，得到平面数据，上述平面数据表征在上述坐标平面中上述环境信息对应的物体与上述车辆之间的相对位置关系。
示例性地，例如环境信息包括图像信息，车辆可以将图像信息进行逆投影变换处理，以将该图像信息投影至车辆位置信息对应的坐标平面中，然后将投影到该坐标平面的图像信息确定为平面数据（例如该图像信息投影到该坐标平面上的每个像素点的坐标）。
其中，车辆位置信息对应的坐标平面可以是以车辆的位置信息为原点，车辆的前进方向为X轴方向、车辆的车轴延伸方向为Y轴建立的坐标平面。
可以理解的是，逆投影变换相当于通过预设的单应矩阵将高清摄像头所拍摄的图像转换为相对于车辆的俯视图。作为一种示例，如图2所示，例如高清摄像头以朝车辆的行驶方向所拍摄的车道线的图像中两条车道线之间存在一定夹角，（如图2中的a），将该车道线的图像经过逆投影变换后，可以得到两条平行的车道线的图像（如图2中的b）。
在步骤S13中，将上述平面数据输入至预先训练得到的栅格图生成模型中，并获取上述栅格图生成模型输出的障碍物栅格图。
其中，栅格图生成模型可以是基于预先对障碍物进行标注的平面数据样本训练得到，训练好的栅格图生成模型可以根据输入的平面数据，输出相应的障碍物栅格图，例如，该障碍物栅格图中的每个栅格可以用1或0代表是否有障碍物，如果栅格是1，则代表有障碍物，如果栅格是0则代表没有障碍物。
其中，该栅格图生成模型可以是深度学习模型，能够在使用过程中不断优化、完善。
在步骤S14中，基于上述障碍物栅格图生成上述车辆的行驶路径。
示例性的，例如车辆可以根据车辆在障碍物栅格图中的位置、朝向等信息，生成至少一条可以避开障碍物栅格图中的障碍物的路径作为行驶路径。
可见，在本实施例中，通过获取车辆的位置信息以及上述车辆所处环境的环境信息；将上述环境信息投影至上述位置信息对应坐标平面中，得到平面数据，上述平面数据表征在上述坐标平面中上述环境信息对应的物体与上述车辆之间的相对位置关系；将上述平面数据输入至预先训练得到的栅格图生成模型中，并获取上述栅格图生成模型输出的障碍物栅格图；基于上述障碍物栅格图生成上述车辆的行驶路径。从而通过深度学习模型以数据驱动的方式，完成从车辆环境到障碍物栅格图的推理，进而实现车辆的行驶路径的自动生成，避免了通过常规的人为规则去生成障碍物栅格图的只能适应单一场景局限以及不同人为规则之间可能存在冲突的问题。
图2是根据一示例性实施例示出的一种行驶路径生成方法的流程图，如图2所示，该方法用于车辆中，该方法可以包括以下步骤：
在步骤S21中，针对预设的多个行驶场景中每一个行驶场景，获取上述行驶场景下上述车辆的环境信息样本以及位置信息样本。
可选地，多个行驶场景可以包括但不限于：泊车场景、弯道场景、跟车场景等等。
可选地，上述环境信息样本可以包括图像信息样本、激光点云信息样本、超声波信息样本中的至少一种。
作为一种示例，例如针对泊车场景，在该场景下，可以获取车辆的多组样本数据，每组样本数据包括位置信息样本以及该位置信息样本对应的环境信息样本。
在步骤S22中，对上述环境信息样本中的障碍物进行标注，得到标注后的环境信息样本。
作为一种示例，对于环境信息样本中的图像信息样本，可以将图像信息中包含的障碍物的部分进行标注，得到标注后的图像信息样本，并将标注后的图像信息样本确定为标注后的环境信息样本。
作为另一种示例，对于环境信息样本中的激光点云信息样本（即激光雷达点云），可以将障碍物对应的点云进行标注，或者对障碍物对应的点云的空间坐标进行标注，得到标注后的激光点云信息样本，并将标注后的激光点云信息样本确定为标注后的环境信息样本。
作为又一种示例，对于超声波信息样本（即超声波距离），可以将障碍物对应的超声波距离进行标注，得到标注后的超声波信息样本，并将超声波信息样本确定为标注后的环境信息样本。其中，该超声波距离为车辆与障碍物之间的距离。
在步骤S23中，将上述标注后的环境信息样本投影至上述位置信息样本对应坐标平面，得到平面数据样本。
示例性地，可以将标注后的环境信息样本中的标注的图像信息样本经过逆投影变换，得到平面数据样本。可以将标注后的环境信息样本中的激光点云信息样本对应的空间坐标垂直投影至位置信息样本对应坐标平面中，例如激光点云样本中的一个点的坐标为（x，y，z）投影到位置信息样本对应坐标平面为（x，y）。可以基于标注后的环境信息样本中的超声波信息样本确定障碍物与车辆之间的相位位置关系，然后根据车辆在位置信息样本对应坐标平面中的坐标以及该相位位置关系，确定障碍物的位置坐标，从而将该超声波信息投影到位置信息样本对应坐标平面。
在步骤S24中，基于上述平面数据样本训练得到上述栅格图生成模型。
在一些实施方式中，平面数据的种类为多种，步骤S24的具体实施方式可以包括：
步骤S241，针对多种平面数据中的每一种平面数据样本，提取上述平面数据样本的特征向量，得到多个特征向量。
示例性地，例如，对于标注后的图像信息样本对应的第一平面数据样本，可以将该第一平面数据样本输入至image backbone模型，从而提取出第一特征向量；对于标注后的激光点云信息样本对应的第二平面数据样本，可以将该第二平面数据样本输入至lidarbackbone模型，从而提取出第二特征向量；对于标注后的超声波信息样本对应的第三平面数据样本，可以将该第三平面数据样本输入至ultrasonic backbone模型，从而提取出第三特征向量。
步骤S242，将上述多个特征向量进行耦合后输入至预设的多层网络结构中进行训练，得到上述栅格图生成模型。
沿用上述示例，可以将第一特征向量、第二特征向量、第三特征向量进行耦合后，经过多层网络结构进行训练，模型多层网络结构的输出为200*200的矩阵，该矩阵即为障碍物栅格图，其中，矩阵的1和0值分别代表障碍物有无。
在步骤S25中，获取车辆的位置信息以及上述车辆所处环境的环境信息。
可选地，车辆获取环境信息可以是指定范围内的环境信息，例如对于环境信息中的激光点云信息，车辆可以获取车辆周围20米范围内的激光点云作为环境信息。
在步骤S26中，将上述环境信息投影至上述位置信息对应坐标平面中，得到平面数据，上述平面数据表征在上述坐标平面中上述环境信息对应的物体与上述车辆之间的相对位置关系。
在一些实施方式中，上述环境信息包括图像信息，步骤S26的具体实施方式可以包括：
在步骤S261中，基于上述位置信息构建坐标平面。
示例性地，可以将该位置信息作为坐标系的原点构建坐标平面，可选地，可以将车辆的后轴中心作为坐标系的原点O，将车辆的行驶方向作为坐标系的X轴，后轴的长度延伸方向作为坐标系的Y轴，垂直于X轴和Y轴形成的平面的方向作为Z轴，然后将原点O、X轴和Y轴形成的平面作为坐标平面，其中，后轴中心的位置坐标可以根据位置信息（导航中的位置坐标）、车身尺寸等参数计算得到。原点O、X轴、Y轴、Z轴，则可以形成车体坐标系。
在步骤S262中，基于上述坐标平面对上述图像信息进行逆投影变换处理，以将上述图像信息的像素点投影至上述坐标平面中，得到上述平面数据。
其中，步骤S262的具体实施方式可参考步骤S12中对图像信息进行逆投影变换处理的实施方式，故不在此赘述。
在另一些实施方式中，上述环境信息包括激光点云信息，该激光点云信息包括多个点云中每一点云的空间坐标（Xn，Yn，Zn），步骤S26的具体实施方式还可以包括：
如果该激光点云信息对应的空间坐标系与坐标平面所处的车体坐标系一致，则可以将每一点云的空间坐标中的Zn轴坐标调节为0，从而将每一点云的坐标（Xn，Yn）投影到坐标平面中。
如果该激光点云信息对应的空间坐标系与坐标平面所处的车体坐标系不一致，则可以该激光点云信息对应的空间坐标系与坐标平面所处的车体坐标系进行对齐处理后，再将每一点云的坐标（Xn，Yn）投影到坐标平面中。
在又一些实施方式中，上述环境信息包括超声波信息，其中，超声波信息可以包括超声波传感器检测到的物体与车辆之间的距离、方位角度等信息，步骤S26的具体实施方式还可以包括：
根据超声波信息和车辆的位置信息确定，超声波传感器检测到的物体相对于车辆的物体位置信息，其中该物体位置信息可以是上述车体坐标系中的物体空间坐标。然后将该物体空间坐标中的Z轴坐标调节为0，从而将该物体空间坐标投影到坐标平面中。
在步骤S27中，将上述平面数据输入至预先训练得到的栅格图生成模型中，并获取上述栅格图生成模型输出的障碍物栅格图。
其中，栅格图生成模型中包含了用于提取各种类型的特征向量的backbone模型，将平面数据输入至栅格图生成模型后，会通过相应的backbone模型提取出特征向量，然后将所有的特征向量进行耦合后输入至栅格图生成模型的多层网络即可获得多层网络输出的矩阵作为模型输出的真值，并将该真值作为障碍物栅格图。
在步骤S28中，基于上述障碍物栅格图生成上述车辆的行驶路径。
在一些实施方式中，上述障碍物栅格图为多帧，多帧障碍物栅格图中的每一帧障碍物栅格图对应上述车辆的一个位置信息，步骤S28的具体实施方式可以包括：
在步骤S281中，将上述多帧障碍物栅格图进行合并，得到目标障碍物栅格图。
在一些实施方式，在车辆的行驶过程中，车辆的位置信息会不断发生改变，通过获取车辆在不同位置的生成多帧障碍物栅格图，可以将多帧障碍物栅格图基于位置信息进行融合，以得到一个范围更大的障碍物栅格图，即目标障碍物栅格图。
示例性地，如图4所示，可以预先建立一个全局地图，例如第一位置信息对应障碍物栅格图A，第二位置信息对应障碍物栅格图B，将第一位置信息和第二位置信息，将障碍物栅格图A和障碍物栅格图B填充至全局地图中，即可获得范围更大的障碍物栅格图。
可选地，车辆在行驶过程中，每间隔指定时长可以根据当前的位置信息生成一帧障碍物栅格图。
在步骤S282中，基于上述目标障碍物栅格图生成上述车辆的行驶路径。
其中，步骤S282的具体实施方式可以参考步骤S14的具体实施方式，故不在此赘述。
可见，本实施例的行驶路径生成方法通过深度学习使用数据驱动方式，以构建障碍物栅格图。相比人为设计规则来提取障碍物栅格图，有以下优点：能够从数据的角度，对环境进行更为深刻的理解，能够覆盖更多的行驶场景。随着数据量的增加，模型的效果将越来越好，有着不断提升自身效果的能力。
图5是根据一示例性实施例示出的一种行驶路径生成装置框图。参照图5，该装置50包括信息获取模块51、平面数据获取模块52、障碍物栅格图获取模块53以及行驶路径生成模块54，其中：
信息获取模块51，被配置为获取车辆的位置信息以及上述车辆所处环境的环境信息。
平面数据获取模块52，被配置为将上述环境信息投影至上述位置信息对应坐标平面中，得到平面数据，上述平面数据表征在上述坐标平面中上述环境信息对应的物体与上述车辆之间的相对位置关系。
障碍物栅格图获取模块53，被配置为将上述平面数据输入至预先训练得到的栅格图生成模型中，并获取上述栅格图生成模型输出的障碍物栅格图。
行驶路径生成模块54，被配置为基于上述障碍物栅格图生成上述车辆的行驶路径。
在一些实施方式中，上述环境信息包括图像信息，平面数据获取模块52，包括：
坐标平面构建子模块，被配置为基于上述位置信息构建坐标平面。
逆变换投影子模块，被配置为基于上述坐标平面对上述图像信息进行逆投影变换处理，以将上述图像信息的像素点投影至上述坐标平面中，得到上述平面数据。
在一些实施方式中，该装置50还包括：
样本采集模块，被配置为针对预设的多个行驶场景中每一个行驶场景，获取上述行驶场景下上述车辆的环境信息样本以及位置信息样本。
标注模块，被配置为对上述环境信息样本中的障碍物进行标注，得到标注后的环境信息样本。
平面数据样本确定模块，被配置为将上述标注后的环境信息样本投影至上述位置信息样本对应坐标平面，得到平面数据样本。
模型训练模块，被配置为基于上述平面数据样本训练得到上述栅格图生成模型。
在一些实施方式中，上述平面数据样本的种类为多种，模型训练模块，包括：
特向向量提取子模块，被配置为针对多种平面数据中的每一种平面数据样本，提取上述平面数据样本的特征向量，得到多个特征向量。
模型训练子模块，被配置为将上述多个特征向量进行耦合后输入至预设的多层网络结构中进行训练，得到上述栅格图生成模型。
在一些实施方式中，上述障碍物栅格图为多帧，多帧障碍物栅格图中的每一帧障碍物栅格图对应上述车辆的一个位置信息，上述行驶路径生成模块54，包括：
合并子模块，被配置为将上述多帧障碍物栅格图进行合并，得到目标障碍物栅格图。
行驶路径生成子模块，被配置为基于上述目标障碍物栅格图生成上述车辆的行驶路径。
在一些实施方式中，上述环境信息包括图像信息、激光点云信息、超声波信息中的至少一种。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开提供的行驶路径生成方法的步骤。
图6是根据一示例性实施例示出的一种用于行驶路径生成的电子设备的框图。例如，电子设备600可以是车载电脑、车载终端等。
参照图6，电子设备600可以包括以下一个或多个组件：处理组件602，第一存储器604，电源组件606，多媒体组件608，音频组件610，输入/输出接口612，传感器组件614，以及通信组件616。
处理组件602通常控制电子设备600的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个第一处理器620来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件602可以包括一个或多个模块，便于处理组件602和其他组件之间的交互。例如，处理组件602可以包括多媒体模块，以方便多媒体组件608和处理组件602之间的交互。
第一存储器604被配置为存储各种类型的数据以支持在电子设备600的操作。这些数据的示例包括用于在电子设备600上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。第一存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（SRAM），电可擦除可编程只读存储器（EEPROM），可擦除可编程只读存储器（EPROM），可编程只读存储器（PROM），只读存储器（ROM），磁存储器，快闪存储器，磁盘或光盘。
电源组件606为电子设备600的各种组件提供电力。电源组件606可以包括电源管理系统，一个或多个电源，及其他与为电子设备600生成、管理和分配电力相关联的组件。
多媒体组件608包括在所述电子设备600和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器（LCD）和触摸面板（TP）。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件608包括一个前置摄像头和/或后置摄像头。当电子设备600处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件610被配置为输出和/或输入音频信号。例如，音频组件610包括一个麦克风（MIC），当电子设备600处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在第一存储器604或经由通信组件616发送。在一些实施例中，音频组件610还包括一个扬声器，用于输出音频信号。
输入/输出接口612为处理组件602和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件614包括一个或多个传感器，用于为电子设备600提供各个方面的状态评估。例如，传感器组件614可以检测到电子设备600的打开/关闭状态，组件的相对定位，例如所述组件为电子设备600的显示器和小键盘，传感器组件614还可以检测电子设备600或电子设备600一个组件的位置改变，用户与电子设备600接触的存在或不存在，电子设备600方位或加速/减速和电子设备600的温度变化。传感器组件614可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件614还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件616被配置为便于电子设备600和其他设备之间有线或无线方式的通信。电子设备600可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件616还包括近场通信（NFC）模块，以促进短程通信。例如，在NFC模块可基于射频识别（RFID）技术，红外数据协会（IrDA）技术，超宽带（UWB）技术，蓝牙（BT）技术和其他技术来实现。
在示例性实施例中，电子设备600可以被一个或多个应用专用集成电路（ASIC）、数字信号处理器（DSP）、数字信号处理设备（DSPD）、可编程逻辑器件（PLD）、现场可编程门阵列（FPGA）、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的第一存储器604，上述指令可由电子设备600的第一处理器620执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。
上述电子设备除了可以是独立的设备外，也可是独立设备的一部分，例如在一种实施例中，该电子设备可以是集成电路（Integrated Circuit，IC）或芯片，其中该集成电路可以是一个IC，也可以是多个IC的集合；该芯片可以包括但不限于以下种类：GPU（GraphicsProcessing Unit，图形处理器）、CPU（Central Processing Unit，中央处理器）、FPGA（Field Programmable Gate Array，可编程逻辑阵列）、DSP（Digital Signal Processor，数字信号处理器）、ASIC（Application Specific Integrated Circuit，专用集成电路）、SOC（System on Chip，SoC，片上系统或系统级芯片）等。上述的集成电路或芯片中可以用于执行可执行指令（或代码），以实现上述的行驶路径生成方法。其中该可执行指令可以存储在该集成电路或芯片中，也可以从其他的装置或设备获取，例如该集成电路或芯片中包括处理器、存储器，以及用于与其他的装置通信的接口。该可执行指令可以存储于该存储器中，当该可执行指令被处理器执行时实现上述的行驶路径生成方法；或者，该集成电路或芯片可以通过该接口接收可执行指令并传输给该处理器执行，以实现上述的行驶路径生成方法。
参阅图7，图7是一示例性实施例示出的一种车辆的功能框图示意图。车辆700可以被配置为完全或部分自动驾驶模式。例如，车辆700可以通过感知系统720获取其周围的环境信息，并基于对周边环境信息的分析得到自动驾驶策略以实现完全自动驾驶，或者将分析结果呈现给用户以实现部分自动驾驶。
车辆700可包括各种子系统，例如，信息娱乐系统710、感知系统720、决策控制系统730、驱动系统740以及计算平台750。可选的，车辆700可包括更多或更少的子系统，并且每个子系统都可包括多个部件。另外，车辆700的每个子系统和部件可以通过有线或者无线的方式实现互连。
在一些实施例中，信息娱乐系统710可以包括通信系统711，娱乐系统712以及导航系统713。
通信系统711可以包括无线通信系统，无线通信系统可以直接地或者经由通信网络来与一个或多个设备无线通信。例如，无线通信系统可使用3G蜂窝通信，例如CDMA、EVD0、GSM/GPRS，或者4G蜂窝通信，例如LTE。或者5G蜂窝通信。无线通信系统可利用WiFi与无线局域网（wireless local area network，WLAN）通信。在一些实施例中，无线通信系统可利用红外链路、蓝牙或ZigBee与设备直接通信。其他无线协议，例如各种车辆通信系统，例如，无线通信系统可包括一个或多个专用短程通信（dedicated short range communications，DSRC）设备，这些设备可包括车辆和/或路边台站之间的公共和/或私有数据通信。
娱乐系统712可以包括显示设备，麦克风和音响，用户可以基于娱乐系统在车内收听广播，播放音乐；或者将手机和车辆联通，在显示设备上实现手机的投屏，显示设备可以为触控式，用户可以通过触摸屏幕进行操作。
在一些情况下，可以通过麦克风获取用户的语音信号，并依据对用户的语音信号的分析实现用户对车辆700的某些控制，例如调节车内温度等。在另一些情况下，可以通过音响向用户播放音乐。
导航系统713可以包括由地图供应商所提供的地图服务，从而为车辆700提供行驶路线的导航，导航系统713可以和车辆的全球定位系统721、惯性测量单元722配合使用。地图供应商所提供的地图服务可以为二维地图，也可以是高精地图。
感知系统720可包括感测关于车辆700周边的环境的信息的若干种传感器。例如，感知系统720可包括全球定位系统721（全球定位系统可以是GPS系统，也可以是北斗系统或者其他定位系统）、惯性测量单元（inertial measurement unit，IMU）722、激光雷达723、毫米波雷达724、超声雷达725以及摄像装置726。感知系统720还可包括被监视车辆700的内部系统的传感器（例如，车内空气质量监测器、燃油量表、机油温度表等）。来自这些传感器中的一个或多个的传感器数据可用于检测对象及其相应特性（位置、形状、方向、速度等）。这种检测和识别是车辆700的安全操作的关键功能。
全球定位系统721用于估计车辆700的地理位置。
惯性测量单元722用于基于惯性加速度来感测车辆700的位姿变化。在一些实施例中，惯性测量单元722可以是加速度计和陀螺仪的组合。
激光雷达723利用激光来感测车辆700所位于的环境中的物体。在一些实施例中，激光雷达723可包括一个或多个激光源、激光扫描器以及一个或多个检测器，以及其他系统组件。
毫米波雷达724利用无线电信号来感测车辆700的周边环境内的物体。在一些实施例中，除了感测物体以外，毫米波雷达724还可用于感测物体的速度和/或前进方向。
超声雷达725可以利用超声波信号来感测车辆700周围的物体。
摄像装置726用于捕捉车辆700的周边环境的图像信息。摄像装置726可以包括单目相机、双目相机、结构光相机以及全景相机等，摄像装置726获取的图像信息可以包括静态图像，也可以包括视频流信息。
决策控制系统730包括基于感知系统720所获取的信息进行分析决策的计算系统731，决策控制系统730还包括对车辆700的动力系统进行控制的整车控制器732，以及用于控制车辆700的转向系统733、油门734和制动系统735。
计算系统731可以操作来处理和分析由感知系统720所获取的各种信息以便识别车辆700周边环境中的目标、物体和/或特征。目标可以包括行人或者动物，物体和/或特征可包括交通信号、道路边界和障碍物。计算系统731可使用物体识别算法、运动中恢复结构（Structure from Motion，SFM）算法、视频跟踪等技术。在一些实施例中，计算系统731可以用于为环境绘制地图、跟踪物体、估计物体的速度等等。计算系统731可以将所获取的各种信息进行分析并得出对车辆的控制策略。
整车控制器732可以用于对车辆的动力电池和引擎741进行协调控制，以提升车辆700的动力性能。
转向系统733可操作来调整车辆700的前进方向。例如在一个实施例中可以为方向盘系统。
油门734用于控制引擎741的操作速度并进而控制车辆700的速度。
制动系统735用于控制车辆700减速。制动系统735可使用摩擦力来减慢车轮744。在一些实施例中，制动系统735可将车轮744的动能转换为电流。制动系统735也可采取其他形式来减慢车轮744转速从而控制车辆700的速度。
驱动系统740可包括为车辆700提供动力运动的组件。在一个实施例中，驱动系统740可包括引擎741、能量源742、传动系统743和车轮744。引擎741可以是内燃机、电动机、空气压缩引擎或其他类型的引擎组合，例如汽油发动机和电动机组成的混动引擎，内燃引擎和空气压缩引擎组成的混动引擎。引擎741将能量源742转换成机械能量。
能量源742的示例包括汽油、柴油、其他基于石油的燃料、丙烷、其他基于压缩气体的燃料、乙醇、太阳能电池板、电池和其他电力来源。能量源742也可以为车辆700的其他系统提供能量。
传动系统743可以将来自引擎741的机械动力传送到车轮744。传动系统743可包括变速箱、差速器和驱动轴。在一个实施例中，传动系统743还可以包括其他器件，比如离合器。其中，驱动轴可包括可耦合到一个或多个车轮744的一个或多个轴。
车辆700的部分或所有功能受计算平台750控制。计算平台750可包括至少一个第二处理器751，第二处理器751可以执行存储在例如第二存储器752这样的非暂态计算机可读介质中的指令753。在一些实施例中，计算平台750还可以是采用分布式方式控制车辆700的个体组件或子系统的多个计算设备。
第二处理器751可以是任何常规的处理器，诸如商业可获得的CPU。可替换地，第二处理器751还可以包括诸如图像处理器（Graphic Process Unit，GPU），现场可编程门阵列（Field Programmable Gate Array，FPGA）、片上系统（System on Chip，SOC）、专用集成芯片（Application Specific Integrated Circuit，ASIC）或它们的组合。尽管图7功能性地图示了处理器、存储器、和在相同块中的计算机的其它元件，但是本领域的普通技术人员应该理解该处理器、计算机、或存储器实际上可以包括可以或者可以不存储在相同的物理外壳内的多个处理器、计算机、或存储器。例如，存储器可以是硬盘驱动器或位于不同于计算机的外壳内的其它存储介质。因此，对处理器或计算机的引用将被理解为包括对可以或者可以不并行操作的处理器或计算机或存储器的集合的引用。不同于使用单一的处理器来执行此处所描述的步骤，诸如转向组件和减速组件的一些组件每个都可以具有其自己的处理器，处理器只执行与特定于组件的功能相关的计算。
在本公开实施方式中，第二处理器751可以执行上述的行驶路径生成方法。
在此处所描述的各个方面中，第二处理器751可以位于远离该车辆并且与该车辆进行无线通信。在其它方面中，此处所描述的过程中的一些在布置于车辆内的处理器上执行而其它则由远程处理器执行，包括采取执行单一操纵的必要步骤。
在一些实施例中，第二存储器752可包含指令753（例如，程序逻辑），指令753可被第二处理器751执行来执行车辆700的各种功能。第二存储器752也可包含额外的指令，包括向信息娱乐系统710、感知系统720、决策控制系统730、驱动系统740中的一个或多个发送数据、从其接收数据、与其交互和/或对其进行控制的指令。
除了指令753以外，第二存储器752还可存储数据，例如道路地图、路线信息，车辆的位置、方向、速度以及其它这样的车辆数据，以及其他信息。这种信息可在车辆700在自主、半自主和/或手动模式中操作期间被车辆700和计算平台750使用。
计算平台750可基于从各种子系统（例如，驱动系统740、感知系统720和决策控制系统730）接收的输入来控制车辆700的功能。例如，计算平台750可利用来自决策控制系统730的输入以便控制转向系统733来避免由感知系统720检测到的障碍物。在一些实施例中，计算平台750可操作来对车辆700及其子系统的许多方面提供控制。
可选地，上述这些组件中的一个或多个可与车辆700分开安装或关联。例如，第二存储器752可以部分或完全地与车辆700分开存在。上述组件可以按有线和/或无线方式来通信地耦合在一起。
可选地，上述组件只是一个示例，实际应用中，上述各个模块中的组件有可能根据实际需要增添或者删除，图7不应理解为对本公开实施例的限制。
在道路行进的自动驾驶汽车，如上面的车辆700，可以识别其周围环境内的物体以确定对当前速度的调整。物体可以是其它车辆、交通控制设备、或者其它类型的物体。在一些示例中，可以独立地考虑每个识别的物体，并且基于物体的各自的特性，诸如它的当前速度、加速度、与车辆的间距等，可以用来确定自动驾驶汽车所要调整的速度。
可选地，车辆700或者与车辆700相关联的感知和计算设备（例如计算系统731、计算平台750）可以基于所识别的物体的特性和周围环境的状态（例如，交通、雨、道路上的冰、等等）来预测识别的物体的行为。可选地，每一个所识别的物体都依赖于彼此的行为，因此还可以将所识别的所有物体全部一起考虑来预测单个识别的物体的行为。车辆700能够基于预测的识别的物体的行为来调整它的速度。换句话说，自动驾驶汽车能够基于所预测的物体的行为来确定车辆将需要调整到何种稳定状态（例如，加速、减速、或者停止）。在这个过程中，也可以考虑其它因素来确定车辆700的速度，诸如，车辆700在行驶的道路中的横向位置、道路的曲率、静态和动态物体的接近度等等。
除了提供调整自动驾驶汽车的速度的指令之外，计算设备还可以提供修改车辆700的转向角的指令，以使得自动驾驶汽车遵循给定的轨迹和/或维持与自动驾驶汽车附近的物体（例如，道路上的相邻车道中的车辆）的安全横向和纵向距离。
上述车辆700可以为各种类型的行驶工具，例如，轿车、卡车、摩托车、公共汽车、船、飞机、直升飞机、娱乐车、火车等等，本公开实施例不做特别的限定。
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的行驶路径生成方法的代码部分。
本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (7)
1.一种行驶路径生成方法，其特征在于，包括：
获取车辆的位置信息以及所述车辆所处环境的环境信息，所述环境信息包括图像信息、激光点云信息以及超声波信息；
将所述环境信息投影至所述位置信息对应坐标平面中，得到平面数据，所述平面数据表征在所述坐标平面中所述环境信息对应的物体与所述车辆之间的相对位置关系；
将所述平面数据输入至预先训练得到的栅格图生成模型中，并获取所述栅格图生成模型输出的障碍物栅格图；
基于所述障碍物栅格图生成所述车辆的行驶路径；
所述方法还包括：
针对预设的多个行驶场景中每一个行驶场景，获取所述行驶场景下所述车辆的环境信息样本以及位置信息样本；
对所述环境信息样本中的障碍物进行标注，得到标注后的环境信息样本；
将所述标注后的环境信息样本投影至所述位置信息样本对应坐标平面，得到平面数据样本；
基于所述平面数据样本训练得到所述栅格图生成模型；
所述平面数据样本的种类为多种，所述基于所述平面数据样本训练得到所述栅格图生成模型，包括：
针对多种平面数据样本中的每一种平面数据样本，提取所述平面数据样本的特征向量，得到多个特征向量；
将所述多个特征向量进行耦合后输入至预设的多层网络结构中进行训练，得到所述栅格图生成模型。
2.根据权利要求1所述的方法，其特征在于，所述环境信息包括图像信息，所述将所述环境信息投影至所述位置信息对应平面中，得到平面数据，包括：
基于所述位置信息构建坐标平面；
基于所述坐标平面对所述图像信息进行逆投影变换处理，以将所述图像信息的像素点投影至所述坐标平面中，得到所述平面数据。
3.根据权利要求1或2所述的方法，其特征在于，所述障碍物栅格图为多帧，多帧障碍物栅格图中的每一帧障碍物栅格图对应所述车辆的一个位置信息，所述基于所述障碍物栅格图生成所述车辆的行驶路径，包括：
将所述多帧障碍物栅格图进行合并，得到目标障碍物栅格图；
基于所述目标障碍物栅格图生成所述车辆的行驶路径。
4.一种行驶路径生成装置，其特征在于，包括：
信息获取模块，被配置为获取车辆的位置信息以及所述车辆所处环境的环境信息，所述环境信息包括图像信息、激光点云信息以及超声波信息；
平面数据获取模块，被配置为将所述环境信息投影至所述位置信息对应坐标平面中，得到平面数据，所述平面数据表征在所述坐标平面中所述环境信息对应的物体与所述车辆之间的相对位置关系；
障碍物栅格图获取模块，被配置为将所述平面数据输入至预先训练得到的栅格图生成模型中，并获取所述栅格图生成模型输出的障碍物栅格图；
行驶路径生成模块，被配置为基于所述障碍物栅格图生成所述车辆的行驶路径；
样本采集模块，被配置为针对预设的多个行驶场景中每一个行驶场景，获取所述行驶场景下所述车辆的环境信息样本以及位置信息样本；
标注模块，被配置为对所述环境信息样本中的障碍物进行标注，得到标注后的环境信息样本；
平面数据样本确定模块，被配置为将所述标注后的环境信息样本投影至所述位置信息样本对应坐标平面，得到平面数据样本；
模型训练模块，被配置为基于所述平面数据样本训练得到所述栅格图生成模型；
所述模型训练模块包括：
特征 向量提取子模块，被配置为针对多种平面数据样本中的每一种平面数据样本，提取所述平面数据样本的特征向量，得到多个特征向量，所述平面数据样本的种类为多种；
模型训练子模块，被配置为将所述多个特征向量进行耦合后输入至预设的多层网络结构中进行训练，得到所述栅格图生成模型。
5.一种车辆，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取所述车辆的位置信息以及所述车辆所处环境的环境信息，所述环境信息包括图像信息、激光点云信息以及超声波信息；
将所述环境信息投影至所述位置信息对应坐标平面中，得到平面数据，所述平面数据表征在所述坐标平面中所述环境信息对应的物体与所述车辆之间的相对位置关系；
将所述平面数据输入至预先训练得到的栅格图生成模型中，并获取所述栅格图生成模型输出的障碍物栅格图；
基于所述障碍物栅格图生成所述车辆的行驶路径；
针对预设的多个行驶场景中每一个行驶场景，获取所述行驶场景下所述车辆的环境信息样本以及位置信息样本；
对所述环境信息样本中的障碍物进行标注，得到标注后的环境信息样本；
将所述标注后的环境信息样本投影至所述位置信息样本对应坐标平面，得到平面数据样本；
基于所述平面数据样本训练得到所述栅格图生成模型；
所述平面数据样本的种类为多种，所述基于所述平面数据样本训练得到所述栅格图生成模型，包括：
针对多种平面数据样本中的每一种平面数据样本，提取所述平面数据样本的特征向量，得到多个特征向量；
将所述多个特征向量进行耦合后输入至预设的多层网络结构中进行训练，得到所述栅格图生成模型。
6.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时实现权利要求1~3中任一项所述方法的步骤。
7.一种芯片，其特征在于，包括处理器和接口；所述处理器用于读取指令以执行权利要求1~3中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210712199.5A CN115164910B (zh) | 2022-06-22 | 2022-06-22 | 行驶路径生成方法、装置、车辆、存储介质及芯片 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210712199.5A CN115164910B (zh) | 2022-06-22 | 2022-06-22 | 行驶路径生成方法、装置、车辆、存储介质及芯片 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115164910A CN115164910A (zh) | 2022-10-11 |
| CN115164910B true CN115164910B (zh) | 2023-02-21 |
Family
ID=83487777
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210712199.5A Active CN115164910B (zh) | 2022-06-22 | 2022-06-22 | 行驶路径生成方法、装置、车辆、存储介质及芯片 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115164910B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116385528B (zh) * | 2023-03-28 | 2024-04-30 | 小米汽车科技有限公司 | 标注信息的生成方法、装置、电子设备、车辆及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105946853A (zh) * | 2016-04-28 | 2016-09-21 | 中山大学 | 基于多传感器融合的长距离自动泊车的系统及方法 |
| CN106503653A (zh) * | 2016-10-21 | 2017-03-15 | 深圳地平线机器人科技有限公司 | 区域标注方法、装置和电子设备 |
| CN107480638A (zh) * | 2017-08-16 | 2017-12-15 | 北京京东尚科信息技术有限公司 | 车辆避障方法、控制器、装置和车辆 |
| CN109443369A (zh) * | 2018-08-20 | 2019-03-08 | 北京主线科技有限公司 | 利用激光雷达和视觉传感器融合构建动静态栅格地图的方法 |
| CN112183381A (zh) * | 2020-09-30 | 2021-01-05 | 深兰人工智能(深圳)有限公司 | 车辆的可行驶区域检测方法和装置 |
| CN112180373A (zh) * | 2020-09-18 | 2021-01-05 | 纵目科技（上海）股份有限公司 | 一种多传感器融合的智能泊车系统和方法 |
| JP2021086541A (ja) * | 2019-11-29 | 2021-06-03 | 新東工業株式会社 | ロボット、制御方法、およびプログラム |
-
2022
- 2022-06-22 CN CN202210712199.5A patent/CN115164910B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105946853A (zh) * | 2016-04-28 | 2016-09-21 | 中山大学 | 基于多传感器融合的长距离自动泊车的系统及方法 |
| CN106503653A (zh) * | 2016-10-21 | 2017-03-15 | 深圳地平线机器人科技有限公司 | 区域标注方法、装置和电子设备 |
| CN107480638A (zh) * | 2017-08-16 | 2017-12-15 | 北京京东尚科信息技术有限公司 | 车辆避障方法、控制器、装置和车辆 |
| CN109443369A (zh) * | 2018-08-20 | 2019-03-08 | 北京主线科技有限公司 | 利用激光雷达和视觉传感器融合构建动静态栅格地图的方法 |
| JP2021086541A (ja) * | 2019-11-29 | 2021-06-03 | 新東工業株式会社 | ロボット、制御方法、およびプログラム |
| CN112180373A (zh) * | 2020-09-18 | 2021-01-05 | 纵目科技（上海）股份有限公司 | 一种多传感器融合的智能泊车系统和方法 |
| CN112183381A (zh) * | 2020-09-30 | 2021-01-05 | 深兰人工智能(深圳)有限公司 | 车辆的可行驶区域检测方法和装置 |
Non-Patent Citations (3)
| Title |
|---|
| "Driving environment perception and grid map generation system using deep learning based Mono vision";Eungi Cho 等，;《The Transactions of the Korean Institute of Electrical Engineers》;20200229;第69卷(第2期);356-361页 * |
| "Occupancy Grids Generation Using Deep Radar Network for Autonomous Driving";Nick Engelhardt 等，;《2019 IEEE Intelligent Transportation Systems Conference (ITSC)》;20191030;2866-2871页 * |
| "Road Scene Understanding by Occupancy Grid Learning from Sparse Radar Clusters using Semantic Segmentation";Liat Sless 等，;《2019 IEEE/CVF International Conference on Computer Vision Workshop (ICCVW)》;20191028;867-875页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115164910A (zh) | 2022-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20240017719A1 (en) | Mapping method and apparatus, vehicle, readable storage medium, and chip | |
| CN114882464B (zh) | 多任务模型训练方法、多任务处理方法、装置及车辆 | |
| CN114842075B (zh) | 数据标注方法、装置、存储介质及车辆 | |
| CN115330923A (zh) | 点云数据渲染方法、装置、车辆、可读存储介质及芯片 | |
| CN115042821A (zh) | 车辆控制方法、装置、车辆及存储介质 | |
| CN115205365A (zh) | 车辆距离检测方法、装置、车辆、可读存储介质及芯片 | |
| CN114935334A (zh) | 车道拓扑关系的构建方法、装置、车辆、介质及芯片 | |
| CN115164910B (zh) | 行驶路径生成方法、装置、车辆、存储介质及芯片 | |
| CN114842455B (zh) | 障碍物检测方法、装置、设备、介质、芯片及车辆 | |
| CN115170630B (zh) | 地图生成方法、装置、电子设备、车辆和存储介质 | |
| CN114771539B (zh) | 车辆变道决策方法、装置、存储介质及车辆 | |
| CN114880408A (zh) | 场景构建方法、装置、介质以及芯片 | |
| CN115205311A (zh) | 图像处理方法、装置、车辆、介质及芯片 | |
| CN115205848A (zh) | 目标检测方法、装置、车辆、存储介质及芯片 | |
| CN114973178A (zh) | 模型训练方法、物体识别方法、装置、车辆及存储介质 | |
| CN114537450A (zh) | 车辆控制方法、装置、介质、芯片、电子设备及车辆 | |
| CN114842454B (zh) | 障碍物检测方法、装置、设备、存储介质、芯片及车辆 | |
| CN115221260B (zh) | 数据处理方法、装置、车辆及存储介质 | |
| CN114821511B (zh) | 杆体检测方法、装置、车辆、存储介质及芯片 | |
| CN115082886B (zh) | 目标检测的方法、装置、存储介质、芯片及车辆 | |
| CN115535004B (zh) | 距离生成方法、装置、存储介质及车辆 | |
| CN114789723B (zh) | 车辆行驶控制方法、装置、车辆、存储介质及芯片 | |
| CN114822216B (zh) | 生成车位地图的方法、装置、车辆、存储介质及芯片 | |
| CN114771514B (zh) | 车辆行驶控制方法、装置、设备、介质、芯片及车辆 | |
| CN115082573B (zh) | 参数标定方法、装置、车辆及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |