CN111753639A - 感知地图生成方法、装置、计算机设备和存储介质 - Google Patents
感知地图生成方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN111753639A CN111753639A CN202010373275.5A CN202010373275A CN111753639A CN 111753639 A CN111753639 A CN 111753639A CN 202010373275 A CN202010373275 A CN 202010373275A CN 111753639 A CN111753639 A CN 111753639A
- Authority
- CN
- China
- Prior art keywords
- initial
- map
- information
- perception map
- library
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008447 perception Effects 0.000 title claims abstract description 222
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000012545 processing Methods 0.000 claims abstract description 80
- 230000011218 segmentation Effects 0.000 claims abstract description 69
- 230000004888 barrier function Effects 0.000 claims abstract description 36
- 238000004590 computer program Methods 0.000 claims description 28
- 238000001514 detection method Methods 0.000 description 33
- 230000008569 process Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000006073 displacement reaction Methods 0.000 description 8
- 230000003044 adaptive effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 235000015243 ice cream Nutrition 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种感知地图生成方法、装置、计算机设备和存储介质。所述方法包括：采集车辆周围的初始图像，并根据多张所述初始图像生成环视图；对所述环视图进行语义分割处理得到初始感知地图，所述初始感知地图包括可通行区域和障碍物区域；对所述初始图像和以及对应的所述环视图进行库位识别得到库位信息，对所述初始图像进行目标识别得到障碍物信息；将所述库位信息和所述障碍物信息反投影至所述初始感知地图中，以对所述初始感知地图中的可通行区域和障碍物区域进行调整，得到目标感知地图。采用本方法能够提高准确性。
Description
技术领域
本申请涉及智能车辆技术领域，特别是涉及一种感知地图生成方法、装置、计算机设备和存储介质。
背景技术
随着车辆技术的发展，出现了感知地图生成技术，感知地图是基于所采集的图像生成的可以直观地展示车辆周围的目标、障碍物等信息的地图。
然而，目前感知地图的生成需要引入激光传感器，通过激光传感器来探测来确定障碍物的位置，且激光传感器由于是根据发射光和反射光的时间差来确定障碍区的位置的，这样由于复杂的地面环境，会导致障碍物区域的确定存在误差，从而导致感知地图的准确性降低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高感知地图生成准确性的感知地图生成方法、装置、计算机设备和存储介质。
一种感知地图生成方法，所述方法包括：
采集车辆周围的初始图像，并根据多张所述初始图像生成环视图；
对所述环视图进行语义分割处理得到初始感知地图，所述初始感知地图包括可通行区域和障碍物区域；
对所述初始图像和以及对应的所述环视图进行库位识别得到库位信息，对所述初始图像进行目标识别得到障碍物信息；
将所述库位信息和所述障碍物信息反投影至所述初始感知地图中，以对所述初始感知地图中的可通行区域和障碍物区域进行调整，得到目标感知地图。
上述感知地图生成方法中，对环视图进行语义分割处理得到初始感知地图，对初始图像和以及对应的环视图进行库位识别得到库位信息，对初始图像进行目标识别得到障碍物信息，这样将库位信息和障碍物信息反投影至初始感知地图中，结合了库位信息、障碍物信息以及初始感知地图可以提高目标感知地图的准确性。
在其中一个实施例中，所述初始图像携带有拍摄时间戳，所述根据多张所述初始图像生成环视图，包括：
依次获取所述拍摄时间戳相对应的多张所述初始图像，并生成环视图，所述环视图的时间戳与所述初始图像的时间戳相对应。
上述实施例中，充分考虑了车辆行驶过程中的环视图的生成，即根据拍摄时间戳相对应的多张所述初始图像生成环视图，这样可以得到按照时间顺序的环视图，便于后续的处理。
在其中一个实施例中，所述对所述环视图进行语义分割处理得到初始感知地图，包括：
依次对所生成的所述环视图进行语义分割处理得到初始感知地图，所述初始感知地图的时间戳与所述环视图的时间戳对应；
所述对所述初始图像和以及对应的所述环视图进行库位识别得到库位信息，对所述初始图像进行目标识别得到障碍物信息，包括：
依次对所述初始图像和以及对应的所述环视图进行库位识别得到库位信息，依次对所述初始图像进行目标识别得到障碍物信息，所述库位信息和所述障碍物信息的时间戳与所述初始图像的时间戳对应。
上述实施例中，分别按照时间顺序来对环视图进行处理得到携带有时间戳的初始感知地图，以及携带有时间戳的库位信息和障碍物信息，为后续的融合奠定了基础。
在其中一个实施例中，所述依次对所生成的所述环视图进行语义分割处理得到初始感知地图之后，还包括：
获取车辆的速度、行驶方向以及当前时间；
根据所述当前时间和所述初始感知地图的时间戳得到第一补偿时间；
基于所述车辆的速度、行驶方向以及所述补偿时间对车辆位置进行航位补偿得到车辆在所述初始感知地图中的位置。
上述实施例中，考虑到车辆行驶与数据处理需要时间的问题，来对初始感知地图中的车辆位置进行补偿，可以确保初始感知地图的准确性。
在其中一个实施例中，所述将所述库位信息和所述障碍物信息反投影至所述初始感知地图中，包括：
获取所述初始感知地图的时间戳；
分别根据所述库位信息的时间戳、所述障碍物信息的时间戳计算与所述初始感知地图的时间戳之间的第二补偿时间；
根据所述第二补偿时间对所述库位信息和障碍物信息进行航位补偿；
将航位补偿后的所述库位信息和所述障碍物信息反投影至所述初始感知地图中。
上述实施例中，充分考虑到了各个数据处理过程的运行快慢的问题，通过处理图像的时间戳信息来进行航位补偿，可以保障后续目标地图的准确性。
在其中一个实施例中，所述依次对所生成的所述环视图进行语义分割处理得到初始感知地图，包括：
依次对所生成的所述环视图进行语义分割处理得到初始概率图；
获取上一目标感知地图对应的目标概率；
基于所述初始概率图以及所述目标概率得到初始感知地图，所述初始感知地图包括可通行区域和障碍物区域的概率。
上述实施例中，所得到的目标感知地图是一张自适应的概率图，在车辆的行驶的过程中，可以不断地提高各个目标、库位以及障碍物的位置的准确性。
在其中一个实施例中，所述依次对所述初始图像和以及对应的所述环视图进行库位识别得到库位信息，依次对所述初始图像进行目标识别得到障碍物信息，包括：
依次对所述初始图像和以及对应的所述环视图进行库位识别得到库位概率图，依次对所述初始图像进行目标识别得到障碍物概率图；
基于所述目标概率以及所述库位概率图得到库位信息；
基于所述目标概率以及所述障碍物概率图得到障碍物信息。
上述实施例中，所得到的目标感知地图是一张自适应的概率图，在车辆的行驶的过程中，可以不断地提高各个目标、库位以及障碍物的位置的准确性。
在其中一个实施例中，所述对所述初始图像和以及对应的所述环视图进行库位识别得到库位信息，包括：
对所述初始图像和以及对应的所述环视图进行库位识别得到库位特征；
获取预设库位判断逻辑；
通过所述预设库位判断逻辑对所述库位特征进行判断得到库位信息。
上述实施例中，首先识别得到库位特征，然后根据预设库位判断逻辑对库位特征进行判断得到库位信息，这样可以率除掉识别错误的库位特征，提高库位特征识别的准确性。
一种感知地图生成装置，所述装置包括：
采集模块，用于采集车辆周围的初始图像，并根据多张所述初始图像生成环视图；
语义分割模块，用于对所述环视图进行语义分割处理得到初始感知地图，所述初始感知地图包括可通行区域和障碍物区域；
库位识别模块，用于对所述初始图像和以及对应的所述环视图进行库位识别得到库位信息；
目标识别模块，用于对所述初始图像进行目标识别得到障碍物信息；
感知地图生成模块，用于将所述库位信息和所述障碍物信息反投影至所述初始感知地图中，以对所述初始感知地图中的可通行区域和障碍物区域进行调整，得到目标感知地图。
上述感知地图生成装置中，对环视图进行语义分割处理得到初始感知地图，对初始图像和以及对应的环视图进行库位识别得到库位信息，对初始图像进行目标识别得到障碍物信息，这样将库位信息和障碍物信息反投影至初始感知地图中，结合了库位信息、障碍物信息以及初始感知地图可以提高目标感知地图的准确性。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
上述计算机设备，对环视图进行语义分割处理得到初始感知地图，对初始图像和以及对应的环视图进行库位识别得到库位信息，对初始图像进行目标识别得到障碍物信息，这样将库位信息和障碍物信息反投影至初始感知地图中，结合了库位信息、障碍物信息以及初始感知地图可以提高目标感知地图的准确性。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
上述计算机可读存储介质，对环视图进行语义分割处理得到初始感知地图，对初始图像和以及对应的环视图进行库位识别得到库位信息，对初始图像进行目标识别得到障碍物信息，这样将库位信息和障碍物信息反投影至初始感知地图中，结合了库位信息、障碍物信息以及初始感知地图可以提高目标感知地图的准确性。
附图说明
图1为一个实施例中感知地图生成方法的应用环境图；
图2为一个实施例中感知地图生成方法的流程示意图；
图3为一个实施例中目标感知地图的示意图；
图4为另一个实施例中感知地图生成方法的流程示意图；
图5为一个实施例中感知地图生成装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的感知地图生成方法，可以应用于如图1所示的应用环境中。其中，车辆终端102可以获取到车辆上的各个数据采集设备采集的数据，然后对采集的数据进行分析以得到对应的感知地图。具体地，车辆终端102可以获取到安装在车辆周围的摄像头104所采集的初始图像，然后根据初始图像生成对应的环视图。这样车辆终端可以对该环视图进行语义分割处理得到初始感知地图，该初始感知地图包括可通行区域和障碍物区域，车辆终端102还可以对初始图像和以及对应的环视图进行库位识别得到库位信息，对初始图像进行目标识别得到障碍物信息，从而车辆终端102将库位信息和障碍物信息反投影至初始感知地图中，以对初始感知地图中的可通行区域和障碍物区域进行调整，得到目标感知地图，这样结合了库位信息、障碍物信息以及初始感知地图可以提高目标感知地图的准确性。其中，车辆终端102可以但不限于是各种安装在车辆上的个人计算机、笔记本电脑、智能手机、平板电脑。
在一个实施例中，如图2所示，提供了一种感知地图生成方法，以该方法应用于图1中的车辆终端为例进行说明，包括以下步骤：
S202：采集车辆周围的初始图像，并根据多张初始图像生成环视图。
具体地，初始图像是安装在车辆周围的摄像头所采集的，例如车辆的四周可以安装多个(≥4个)鱼眼摄像头，这样该些鱼眼摄像头可以在驾驶员需要的时候开启，并采集车辆周围的初始图像。例如可以是在车辆静止时或者是行驶时接收到驾驶员输入的感知地图生成指令时，该些鱼眼摄像头开始采集图像，或者是当车辆行驶的时候通过车速等进行判断，当车速等信息符合阈值时，则开启该些鱼眼摄像头并采集初始图像。
环视图是根据初始图像生成的，车辆终端可以采用车载处理器对得到的多路视频进行压缩、矫正等方式，将单个鱼眼摄像头的初始图像拼接为一个整体的环视图。可选地，当车辆处于静止时，可以仅采集各个鱼眼摄像头的某一帧初始图像，然后进行拼接即可。当车辆处于行驶状态时，则车辆终端根据各个鱼眼摄像头所采集的初始图像的时间戳，将时间戳相同的初始图像进行拼接得到环视图，例如车辆终端可以从各个鱼眼摄像头获取到时间戳相同的初始图像，然后判断所获取的初始图像的张数是否大于等于预设张数，例如等于鱼眼摄像头的个数，若是，则根据所获取的初始图像生成环视图。
S204：对环视图进行语义分割处理得到初始感知地图，初始感知地图包括可通行区域和障碍物区域。
具体地，语义分割是指将环视图中表示不同类型的目标进行分类提取并确定位置。可通行区域是指车辆可以通过的区域，障碍物区域也就是不可通行区域。且为了提高处理速度，该步骤所采用的语义分割处理是通过一个轻量级卷积神经网络进行的，这样可以对环视图进行粗分类感知，以得到环视图中的可通行区域和障碍物区域。该步骤主要是进行一个粗略的语义分割处理，以获取到大致位置，从而可以提高处理速度。
S206：对初始图像和以及对应的环视图进行库位识别得到库位信息，对初始图像进行目标识别得到障碍物信息。
具体地，库位信息是指库位的位置、库位的宽度等信息。障碍物信息是指障碍物的位置以及大小等，其中障碍物可以包括但不限于车辆、二轮车、行人、地锁、雪糕筒、库位号、车道线、减速带、交通标识符等。
且可选地，在该实施例中，库位识别和目标识别主要是通过深度卷积神经网络的方法进行的，这样可以保证所识别的库位信息和障碍物信息的准确性。此外库位识别可以是根据图像处理的方法以及机器学习和深度学习的方法提取鱼眼摄像机所采集的初始图像以及环视图中的库位线和角点等信息，通过一系列的逻辑组合验证线、角点以及组成的库位，提供实际应用场景中的库位类型和场景检测出车身周围的库位信息，提供自动泊车，AVP功能需要的库位信息。目标检测则是通过深度卷积神经网络的方法，训练不同视角下的模型，用于感知车辆周身的静态和动态障碍物以及库位障碍物。
在实际应用中，上述的语义分割处理、库位检测以及目标检测的步骤可以是并行进行的，且车辆终端通过对环视图进行语义分割处理得到粗略的可通行区域和障碍物区域，这样可以提高处理的速度。通过库位检测和目标检测得到精确的库位信息和障碍物信息，这样可以提高处理的准确度。
S208：将库位信息和障碍物信息反投影至初始感知地图中，以对初始感知地图中的可通行区域和障碍物区域进行调整，得到目标感知地图。
具体地，反投影是指车辆终端根据各个语言摄像头的标定信息，将所得到的三维坐标系下的预测的库位信息和障碍物信息反投影到二维坐标系下的初始感知地图中，这样可以对初始感知地图中得到的粗略的可通行区域和障碍物区域进行调整，得到目标感知地图，以保证目标感知地图中的可通行区域和障碍物区域的准确性。具体地，参见图3所示，图3为一个实施例中的目标感知地图的示意图。
在实际应用中，当车辆处于静止状态时，则不需要考虑航位补偿，直接将库位信息和障碍物信息反投影至初始感知地图中即可。当车辆处于行驶状态时，车辆终端还需要考虑到不同处理的快慢的问题，例如上述语义分割处理时由于是粗略地进行语义分割处理，因此其处理速度要比库位检测和目标检测快，因此需要进行航位补偿，车辆终端计算考虑到初始感知地图的时间戳以及生成库位信息和障碍物信息的环视图或初始图像的时间错，时刻将库位信息和障碍物信息与车辆坐标系之间的位置推算出来，以进行航位补偿，这样以初始感知地图为基准地图，然后通过航位补偿将精度较高的库位信息和障碍物信息反投影到基准地图中，保证了处理速度的同时提高了处理的准确性。
且可选地，对于行驶中的车辆的感知地图的生成可以采用贝叶斯概率密度模型来进行更新，例如初始感知地图、库位信息、障碍物信息都是对应的概率值，这样所得到的目标感知地图是融合了初始感知地图、库位信息、障碍物信息的概率值的，其也是一个概率地图，从而在下一个时刻进行更新的时候，车辆终端考虑到当前时刻的目标感知地图(概率图)，并更新概率值，例如取平均值或者是取最大值等。
上述感知地图生成方法中，对环视图进行语义分割处理得到初始感知地图，对初始图像和以及对应的环视图进行库位识别得到库位信息，对初始图像进行目标识别得到障碍物信息，这样将库位信息和障碍物信息反投影至初始感知地图中，结合了库位信息、障碍物信息以及初始感知地图可以提高目标感知地图的准确性。
在其中一个实施例中，初始图像携带有拍摄时间戳，根据多张初始图像生成环视图，包括：依次获取拍摄时间戳相对应的多张初始图像，并生成环视图，环视图的时间戳与初始图像的时间戳相对应。上述实施例中，充分考虑了车辆行驶过程中的环视图的生成，即根据拍摄时间戳相对应的多张初始图像生成环视图，这样可以得到按照时间顺序的环视图，便于后续的处理。
在其中一个实施例中，对环视图进行语义分割处理得到初始感知地图，包括：依次对所生成的环视图进行语义分割处理得到初始感知地图，初始感知地图的时间戳与环视图的时间戳对应；对初始图像和以及对应的环视图进行库位识别得到库位信息，对初始图像进行目标识别得到障碍物信息，包括：依次对初始图像和以及对应的环视图进行库位识别得到库位信息，依次对初始图像进行目标识别得到障碍物信息，库位信息和障碍物信息的时间戳与初始图像的时间戳对应。上述实施例中，分别按照时间顺序来对环视图进行处理得到携带有时间戳的初始感知地图，以及携带有时间戳的库位信息和障碍物信息，为后续的融合奠定了基础。
在其中一个实施例中，依次对所生成的环视图进行语义分割处理得到初始感知地图之后，还包括：获取车辆的速度、行驶方向以及当前时间；根据当前时间和初始感知地图的时间戳得到第一补偿时间；基于车辆的速度、行驶方向以及补偿时间对车辆位置进行航位补偿得到车辆在初始感知地图中的位置。上述实施例中，考虑到车辆行驶与数据处理需要时间的问题，来对初始感知地图中的车辆位置进行补偿，可以确保初始感知地图的准确性。
在其中一个实施例中，将库位信息和障碍物信息反投影至初始感知地图中，包括：获取初始感知地图的时间戳；分别根据库位信息的时间戳、障碍物信息的时间戳计算与初始感知地图的时间戳之间的第二补偿时间；根据第二补偿时间对库位信息和障碍物信息进行航位补偿；将航位补偿后的库位信息和障碍物信息反投影至初始感知地图中。上述实施例中，充分考虑到了各个数据处理过程的运行快慢的问题，通过处理图像的时间戳信息来进行航位补偿，可以保障后续目标感知地图的准确性。
具体地，请参阅图4所示，图4为另一个实施例中感知地图生成方法的流程图，该实施例的应用场景是行驶中的车辆。
具体地，首先，车辆终端通过安装在车辆周围的鱼眼摄像头采集到多张初始图像，该多张初始图像是携带有拍摄时间戳的，这样车辆终端可以依次获取到拍摄时间戳相同的多张初始图像从而生成环视图，例如车辆终端首先判断所获取到的初始图像的张数是否大于等于预设张数，若是，则根据鱼眼摄像头的标定数据来对多张初始图像进行裁剪透视变换等得到环视图，且所得到的环视图的时间戳与多张初始图像的时间戳相同，该环视图是车辆周围的俯视视角下的地图。
然后车辆终端则可以并行对所得到的环视图以及对应的多张初始图像进行语义分割处理、库位检测以及目标检测，常规城市道路、地下停车场以及地上停车场场景中，要求感知的主要障碍物以及语义信息包括不同类型的卡车、小轿车、二轮车、行人、泊车过程中库位障碍物停车牌、雪糕筒、地锁、库位号、高速公路行进过程中车道线、停止线、减速带、路面行车指示的各种标识线。为了构建车辆行进过程中车身周围一定范围内的自适应在线地图，基于深度学习语义分割技术给出初步的可通行区域和障碍物区域，库位检测给出库位信息，目标检测进行障碍物检测并给出障碍物的位置和类别信息。下面分别详细描述该三个处理步骤：
语义分割处理主要是对环视图进行处理，通过轻量级卷积神经网络对环视图进行处理以得到可通行区域和障碍物区域，且该轻量级卷积神经网络可以是预先训练得到的，例如对历史环视图进行标定得到可通行区域和障碍物区域，然后进行学习得到轻量级卷积神经网络，从而后续语义分割处理时，可以将环视图输入至该轻量级卷积神经网络以得到可通行区域和障碍物区域，该语义分割主要是一个粗略分割模块，其可以大致给出可通行区域和障碍物区域，主要保证了处理的效率。
库位检测模块主要是根据图像处理的方法以及机器学习和深度学习的方法提取鱼眼图以及环视图中的库位线、角点等信息，通过一系列的逻辑组合验证线，角点以及组成的库位。可选地，对初始图像和以及对应的环视图进行库位识别得到库位信息，包括：对初始图像和以及对应的环视图进行库位识别得到库位特征；获取预设库位判断逻辑；通过预设库位判断逻辑对库位特征进行判断得到库位信息。例如车辆终端可以通过多个线程分别对初始图像和环视图进行库位识别得到库位信息，例如将初始图像和环视图并行输入至预先训练的库位识别模型分别得到对应的库位特征，然后车辆终端获取到预设库位判断逻辑；通过预设库位判断逻辑对库位特征进行判断得到库位信息，例如根据获取距离小于预设值的库位特征，然后判断该些库位特征是否组成库位，若是，则输出库位信息，否者删除或者是与其他的库位特征进行组合判断是否可以组成库位。上述实施例中，首先识别得到库位特征，然后根据预设库位判断逻辑对库位特征进行判断得到库位信息，这样可以滤除掉识别错误的库位特征，提高库位特征识别的准确性。
目标检测主要是通过深度卷积神经网络的方法，训练不同视角下的模型，用于感知车辆周身的静态和动态障碍物以及库位障碍物，包括车辆、二轮车、行人、地锁、雪糕筒、库位号、车道线、减速带以及交通标识符等，目标检测也可以是通过预先训练的目标检测模型来进行处理的，例如首先根据历史数据进行标定学习以得到目标检测模型等。
车辆终端在生成目标感知地图时，需要综合考虑上述语义分割处理、库位检测以及目标检测的结果，其中车辆终端首先根据语义分割处理得到初始感知地图作为基准地图，且由于语义分割处理也是需要一定的时间的，因此考虑到该时间的存在，需要对车辆进行航位推算，即获取到该时间内车辆的位移，以补偿车辆的位移。在实际应用中，车辆终端可以通过速度传感器采集到车辆的速度行驶方向以及生成初始感知地图的时间，这样根据环视图的时间戳以及当前时间可以得到第一补偿时间，进而根据车辆的速度得到车辆的位移，且车辆终端通过行驶方向和车辆的位移推算车辆的位置，并将车辆显示在对应的初始感知地图中，这样经过推算后可以提高车辆位置的精度，这样充分考虑到了语义分割处理所采用的时间，提高了处理的准确性。
在生成上述初始感知地图后，车辆终端为了提高库位以及障碍物的准确性，还需要将库位检测的库位信息和目标检测的障碍物信息融合至上述初始感知地图中，且由于语义分割处理与库位检测和目标检测的处理速度存在差异，存在语义分割处理已经处理完成了第n帧图像，而库位检测和目标检测可能还在处理第n-m帧图像的可能，为了补偿这样处理上的差异，在库位检测和目标检测得到库位信息和障碍物信息后，车辆终端需要对库位信息和障碍物信息进行补偿，即车辆终端需要获取到当前也就是说最新的初始感知地图的时间戳，计算分别根据库位信息的时间戳、障碍物信息的时间戳计算与初始感知地图的时间戳之间的第二补偿时间，根据该第二补偿时间确定车辆的位移，然后根据车辆的位移来确定库位信息和障碍物信息与车辆的相对位移，进而可以根据该相对位移对库位信息和障碍物信息进行航位补偿，这样车辆终端可以根据鱼眼摄像头的标定数据，将航位补偿后的库位信息和障碍物信息反投影至初始感知地图中得到目标感知地铁图，保障后续目标感知地图的准确性。
上述实施例中，车辆终端结合定义的车辆坐标系、车辆模型的航位推算、相机标定数据以及视觉感知的语义分割与目标检测功能，实时构建基于车身周围的在线感知地图，构建车辆行进过程中车身周围一定范围内的自适应在线地图，提供可通行区间信息，各种常见的障碍物位置信息，车道线，标识线等语义信息等为后续的路径规划、自主泊车，TJP，AVP等功能提供车辆周身感知信息，为后续不同的功能模块进行决策提供依据。
在实际应用中，一般在车辆行驶过程中得到上述的目标感知地图，因此为了提高数据处理的准确性，车辆终端基于贝叶斯概率密度模型作为地图的主要更新策略，分别对感知结果的置信度信息进行累积更新，保证在运行过程中感知地图障碍物类别精度可靠性。
在其中一个实施例中，依次对所生成的环视图进行语义分割处理得到初始感知地图，包括：依次对所生成的环视图进行语义分割处理得到初始概率图；获取上一目标感知地图对应的目标概率；基于初始概率图以及目标概率得到初始感知地图，初始感知地图包括可通行区域和障碍物区域的概率。上述实施例中，所得到的目标感知地图是一张自适应的概率图，在车辆的行驶的过程中，可以不断地提高各个目标、库位以及障碍物的位置的准确性。
在其中一个实施例中，依次对初始图像和以及对应的环视图进行库位识别得到库位信息，依次对初始图像进行目标识别得到障碍物信息，包括：依次对初始图像和以及对应的环视图进行库位识别得到库位概率图，依次对初始图像进行目标识别得到障碍物概率图；基于目标概率以及库位概率图得到库位信息；基于目标概率以及障碍物概率图得到障碍物信息。上述实施例中，所得到的目标感知地图是一张自适应的概率图，在车辆的行驶的过程中，可以不断地提高各个目标、库位以及障碍物的位置的准确性。
具体地，上述的语义分割处理、库位检测以及目标检测的结果均是概率，例如车辆终端对环视图进行语义分割处理得到的是一张初始概率图，该初始概率图给出了可通行区域和障碍物区域的概率，为了提高处理的准确性，防止漏检误检的产生，车辆终端可以获取上一目标感知地图对应的可通行区域和障碍物区域的目标概率，这样针对同一可通行区域和障碍物区域则进行概率的融合，例如求取平均值以得到新的初始感知地图，初始感知地图包括可通行区域和障碍物区域的概率，且在显示的时候，可以对概率进行判断以确定该区域是可通行区域还是障碍物区域。
此外，车辆终端还可以依次对初始图像和以及对应的环视图进行库位识别得到库位概率图，依次对初始图像进行目标识别得到障碍物概率图，这样基于目标概率以及库位概率图得到库位信息；基于目标概率以及障碍物概率图得到障碍物信息，即叠加了上一帧处理的信息，防止漏检和误检所带来的处理误差，提高处理的精度。
上述实施例中，感知并不是一次检测到就结束了，会在整个车辆行进的过程中，只要感知的目标在视野中就会一帧一帧的不断计算，会出现同一个目标多次检测到，多次检测过程中也会有漏检和误检，基于贝叶斯概率密度模型来估计在整个感知地图中的障碍物类别置信度，提高目标感知地图的准确性。
下面提供车辆泊车场景下本申请中的感知地图生成方法的具体应用，在车辆进行泊车运行过程中，以采用如下的方式：
在安装有车载环视系统的车辆进入自动泊车运行过程中，车辆终端实时对环视图进行语义分割处理得到初始感知地图以及运算的时间戳信息进行输出，并同时异步的获取库位检测的库位信息，目标检测的障碍物信息，当检测出对应的目标之后，结合处理图像的时间戳信息，处理时间信息输出至初始感知地图；
车辆终端基于时间戳信息与CAN信息对于语义分割的结果进行航位推算补偿，构建出一个基础地图，对于库位检测以及目标检测给出的结果同时进行航位推算补偿更新到基础地图中。
后续车辆行驶过程中，车辆终端根据贝叶斯概率密度模型构建出一张自适应的目标感知地图，给出障碍物位置类别，以及可通行区域的信息，库位信息等，以供APA实际泊车过程中的路径规划和车辆控制使用。
上述实施例中给出了嵌入式端基于车载环视系统与航位推算的实时在线感知地图构建方案，可以采集不同场景下的车身周边信息得到可靠的目标感知地图，进而保证更高级别的功能拓展，如APA、AVP功能的实现的可靠性与便利性。
应该理解的是，虽然图2和图4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2和图4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，提供了一种感知地图生成装置，包括：采集模块100、语义分割模块200、库位识别模块300、目标识别模块400和感知地图生成模块500，其中：
采集模块100，用于采集车辆周围的初始图像，并根据多张初始图像生成环视图；
语义分割模块200，用于对环视图进行语义分割处理得到初始感知地图，初始感知地图包括可通行区域和障碍物区域；
库位识别模块300，用于对初始图像和以及对应的环视图进行库位识别得到库位信息；
目标识别模块400，用于对初始图像进行目标识别得到障碍物信息；
感知地图生成模块500，用于将库位信息和障碍物信息反投影至初始感知地图中，以对初始感知地图中的可通行区域和障碍物区域进行调整，得到目标感知地图。
在其中一个实施例中，上述的采集模块100还用于依次获取拍摄时间戳相对应的多张初始图像，并生成环视图，环视图的时间戳与初始图像的时间戳相对应。
在其中一个实施例中，上述的语义分割模块200还用于依次对所生成的环视图进行语义分割处理得到初始感知地图，初始感知地图的时间戳与环视图的时间戳对应；
上述的库位识别模块300还用于依次对初始图像和以及对应的环视图进行库位识别得到库位信息；
上述的目标识别模块400还用于依次对初始图像进行目标识别得到障碍物信息，库位信息和障碍物信息的时间戳与初始图像的时间戳对应。
在其中一个实施例中，上述的感知地图生成装置还包括：
参考信息生成模块，用于获取车辆的速度、行驶方向以及当前时间；
第一补偿时间获取模块，用于根据当前时间和初始感知地图的时间戳得到第一补偿时间；
航位补偿模块，用于基于车辆的速度、行驶方向以及补偿时间对车辆位置进行航位补偿得到车辆在初始感知地图中的位置。
在其中一个实施例中，上述的感知地图生成模块500包括：
时间戳获取单元，用于获取初始感知地图的时间戳；
第二补偿时间获取单元，用于分别根据库位信息的时间戳、障碍物信息的时间戳计算与初始感知地图的时间戳之间的第二补偿时间；
航位补偿单元，用于根据第二补偿时间对库位信息和障碍物信息进行航位补偿；
反投影单元，用于将航位补偿后的库位信息和障碍物信息反投影至初始感知地图中。
在其中一个实施例中，上述的语义分割模块200可以包括：
初始概率图生成单元，用于依次对所生成的环视图进行语义分割处理得到初始概率图；
目标概率获取单元，用于获取上一目标感知地图对应的目标概率；
初始感知地图生成单元，用于基于初始概率图以及目标概率得到初始感知地图，初始感知地图包括可通行区域和障碍物区域的概率。
在其中一个实施例中，上述库位识别模块300还用于依次对初始图像和以及对应的环视图进行库位识别得到库位概率图，基于目标概率以及库位概率图得到库位信息；
上述目标识别模块400还用于依次对初始图像进行目标识别得到障碍物概率图；基于目标概率以及障碍物概率图得到障碍物信息。
在其中一个实施例中，上述的库位识别模块300可以包括：
库位特征获取单元，用于对初始图像和以及对应的环视图进行库位识别得到库位特征；
预设库位判断逻辑获取单元，用于获取预设库位判断逻辑；
库位信息获取单元，用于通过预设库位判断逻辑对库位特征进行判断得到库位信息。
关于感知地图生成装置的具体限定可以参见上文中对于感知地图生成方法的限定，在此不再赘述。上述感知地图生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种感知地图生成方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：采集车辆周围的初始图像，并根据多张初始图像生成环视图；对环视图进行语义分割处理得到初始感知地图，初始感知地图包括可通行区域和障碍物区域；对初始图像和以及对应的环视图进行库位识别得到库位信息，对初始图像进行目标识别得到障碍物信息；将库位信息和障碍物信息反投影至初始感知地图中，以对初始感知地图中的可通行区域和障碍物区域进行调整，得到目标感知地图。
在一个实施例中，处理器执行计算机程序时所实现的初始图像携带有拍摄时间戳，根据多张初始图像生成环视图，包括：依次获取拍摄时间戳相对应的多张初始图像，并生成环视图，环视图的时间戳与初始图像的时间戳相对应。
在一个实施例中，处理器执行计算机程序时所实现的对环视图进行语义分割处理得到初始感知地图，包括：依次对所生成的环视图进行语义分割处理得到初始感知地图，初始感知地图的时间戳与环视图的时间戳对应；处理器执行计算机程序时所实现的对初始图像和以及对应的环视图进行库位识别得到库位信息，对初始图像进行目标识别得到障碍物信息，包括：依次对初始图像和以及对应的环视图进行库位识别得到库位信息，依次对初始图像进行目标识别得到障碍物信息，库位信息和障碍物信息的时间戳与初始图像的时间戳对应。
在一个实施例中，处理器执行计算机程序时所实现的依次对所生成的环视图进行语义分割处理得到初始感知地图之后，还包括：获取车辆的速度、行驶方向以及当前时间；根据当前时间和初始感知地图的时间戳得到第一补偿时间；基于车辆的速度、行驶方向以及补偿时间对车辆位置进行航位补偿得到车辆在初始感知地图中的位置。
在一个实施例中，处理器执行计算机程序时所实现的将库位信息和障碍物信息反投影至初始感知地图中，包括：获取初始感知地图的时间戳；分别根据库位信息的时间戳、障碍物信息的时间戳计算与初始感知地图的时间戳之间的第二补偿时间；根据第二补偿时间对库位信息和障碍物信息进行航位补偿；将航位补偿后的库位信息和障碍物信息反投影至初始感知地图中。
在一个实施例中，处理器执行计算机程序时所实现的依次对所生成的环视图进行语义分割处理得到初始感知地图，包括：依次对所生成的环视图进行语义分割处理得到初始概率图；获取上一目标感知地图对应的目标概率；基于初始概率图以及目标概率得到初始感知地图，初始感知地图包括可通行区域和障碍物区域的概率。
在一个实施例中，处理器执行计算机程序时所实现的依次对初始图像和以及对应的环视图进行库位识别得到库位信息，依次对初始图像进行目标识别得到障碍物信息，包括：依次对初始图像和以及对应的环视图进行库位识别得到库位概率图，依次对初始图像进行目标识别得到障碍物概率图；基于目标概率以及库位概率图得到库位信息；基于目标概率以及障碍物概率图得到障碍物信息。
在一个实施例中，处理器执行计算机程序时所实现的对初始图像和以及对应的环视图进行库位识别得到库位信息，包括：对初始图像和以及对应的环视图进行库位识别得到库位特征；获取预设库位判断逻辑；通过预设库位判断逻辑对库位特征进行判断得到库位信息。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：采集车辆周围的初始图像，并根据多张初始图像生成环视图；对环视图进行语义分割处理得到初始感知地图，初始感知地图包括可通行区域和障碍物区域；对初始图像和以及对应的环视图进行库位识别得到库位信息，对初始图像进行目标识别得到障碍物信息；将库位信息和障碍物信息反投影至初始感知地图中，以对初始感知地图中的可通行区域和障碍物区域进行调整，得到目标感知地图。
在一个实施例中，处理器执行计算机程序时所实现的初始图像携带有拍摄时间戳，根据多张初始图像生成环视图，包括：依次获取拍摄时间戳相对应的多张初始图像，并生成环视图，环视图的时间戳与初始图像的时间戳相对应。
在一个实施例中，计算机程序被处理器执行时所实现的对环视图进行语义分割处理得到初始感知地图，包括：依次对所生成的环视图进行语义分割处理得到初始感知地图，初始感知地图的时间戳与环视图的时间戳对应；计算机程序被处理器执行时所实现的对初始图像和以及对应的环视图进行库位识别得到库位信息，对初始图像进行目标识别得到障碍物信息，包括：依次对初始图像和以及对应的环视图进行库位识别得到库位信息，依次对初始图像进行目标识别得到障碍物信息，库位信息和障碍物信息的时间戳与初始图像的时间戳对应。
在一个实施例中，计算机程序被处理器执行时所实现的依次对所生成的环视图进行语义分割处理得到初始感知地图之后，还包括：获取车辆的速度、行驶方向以及当前时间；根据当前时间和初始感知地图的时间戳得到第一补偿时间；基于车辆的速度、行驶方向以及补偿时间对车辆位置进行航位补偿得到车辆在初始感知地图中的位置。
在一个实施例中，计算机程序被处理器执行时所实现的将库位信息和障碍物信息反投影至初始感知地图中，包括：获取初始感知地图的时间戳；分别根据库位信息的时间戳、障碍物信息的时间戳计算与初始感知地图的时间戳之间的第二补偿时间；根据第二补偿时间对库位信息和障碍物信息进行航位补偿；将航位补偿后的库位信息和障碍物信息反投影至初始感知地图中。
在一个实施例中，计算机程序被处理器执行时所实现的依次对所生成的环视图进行语义分割处理得到初始感知地图，包括：依次对所生成的环视图进行语义分割处理得到初始概率图；获取上一目标感知地图对应的目标概率；基于初始概率图以及目标概率得到初始感知地图，初始感知地图包括可通行区域和障碍物区域的概率。
在一个实施例中，计算机程序被处理器执行时所实现的依次对初始图像和以及对应的环视图进行库位识别得到库位信息，依次对初始图像进行目标识别得到障碍物信息，包括：依次对初始图像和以及对应的环视图进行库位识别得到库位概率图，依次对初始图像进行目标识别得到障碍物概率图；基于目标概率以及库位概率图得到库位信息；基于目标概率以及障碍物概率图得到障碍物信息。
在一个实施例中，计算机程序被处理器执行时所实现的对初始图像和以及对应的环视图进行库位识别得到库位信息，包括：对初始图像和以及对应的环视图进行库位识别得到库位特征；获取预设库位判断逻辑；通过预设库位判断逻辑对库位特征进行判断得到库位信息。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (11)
1.一种感知地图生成方法，所述方法包括：
采集车辆周围的初始图像，并根据多张所述初始图像生成环视图；
对所述环视图进行语义分割处理得到初始感知地图，所述初始感知地图包括可通行区域和障碍物区域；
对所述初始图像和以及对应的所述环视图进行库位识别得到库位信息，对所述初始图像进行目标识别得到障碍物信息；
将所述库位信息和所述障碍物信息反投影至所述初始感知地图中，以对所述初始感知地图中的可通行区域和障碍物区域进行调整，得到目标感知地图。
2.根据权利要求1所述的方法，其特征在于，所述初始图像携带有拍摄时间戳，所述根据多张所述初始图像生成环视图，包括：
依次获取所述拍摄时间戳相对应的多张所述初始图像，并生成环视图，所述环视图的时间戳与所述初始图像的时间戳相对应。
3.根据权利要求2所述的方法，其特征在于，所述对所述环视图进行语义分割处理得到初始感知地图，包括：
依次对所生成的所述环视图进行语义分割处理得到初始感知地图，所述初始感知地图的时间戳与所述环视图的时间戳对应；
所述对所述初始图像和以及对应的所述环视图进行库位识别得到库位信息，对所述初始图像进行目标识别得到障碍物信息，包括：
依次对所述初始图像和以及对应的所述环视图进行库位识别得到库位信息，依次对所述初始图像进行目标识别得到障碍物信息，所述库位信息和所述障碍物信息的时间戳与所述初始图像的时间戳对应。
4.根据权利要求3所述的方法，其特征在于，所述依次对所生成的所述环视图进行语义分割处理得到初始感知地图之后，还包括：
获取车辆的速度、行驶方向以及当前时间；
根据所述当前时间和所述初始感知地图的时间戳得到第一补偿时间；
基于所述车辆的速度、行驶方向以及所述补偿时间对车辆位置进行航位补偿得到车辆在所述初始感知地图中的位置。
5.根据权利要求3所述的方法，其特征在于，所述将所述库位信息和所述障碍物信息反投影至所述初始感知地图中，包括：
获取所述初始感知地图的时间戳；
分别根据所述库位信息的时间戳、所述障碍物信息的时间戳计算与所述初始感知地图的时间戳之间的第二补偿时间；
根据所述第二补偿时间对所述库位信息和障碍物信息进行航位补偿；
将航位补偿后的所述库位信息和所述障碍物信息反投影至所述初始感知地图中。
6.根据权利要求3所述的方法，其特征在于，所述依次对所生成的所述环视图进行语义分割处理得到初始感知地图，包括：
依次对所生成的所述环视图进行语义分割处理得到初始概率图；
获取上一目标感知地图对应的目标概率；
基于所述初始概率图以及所述目标概率得到初始感知地图，所述初始感知地图包括可通行区域和障碍物区域的概率。
7.根据权利要求3所述的方法，其特征在于，所述依次对所述初始图像和以及对应的所述环视图进行库位识别得到库位信息，依次对所述初始图像进行目标识别得到障碍物信息，包括：
依次对所述初始图像和以及对应的所述环视图进行库位识别得到库位概率图，依次对所述初始图像进行目标识别得到障碍物概率图；
基于所述目标概率以及所述库位概率图得到库位信息；
基于所述目标概率以及所述障碍物概率图得到障碍物信息。
8.根据权利要求1至7任意一项所述的方法，其特征在于，所述对所述初始图像和以及对应的所述环视图进行库位识别得到库位信息，包括：
对所述初始图像和以及对应的所述环视图进行库位识别得到库位特征；
获取预设库位判断逻辑；
通过所述预设库位判断逻辑对所述库位特征进行判断得到库位信息。
9.一种感知地图生成装置，其特征在于，所述装置包括：
采集模块，用于采集车辆周围的初始图像，并根据多张所述初始图像生成环视图；
语义分割模块，用于对所述环视图进行语义分割处理得到初始感知地图，所述初始感知地图包括可通行区域和障碍物区域；
库位识别模块，用于对所述初始图像和以及对应的所述环视图进行库位识别得到库位信息；
目标识别模块，用于对所述初始图像进行目标识别得到障碍物信息；
感知地图生成模块，用于将所述库位信息和所述障碍物信息反投影至所述初始感知地图中，以对所述初始感知地图中的可通行区域和障碍物区域进行调整，得到目标感知地图。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010373275.5A CN111753639A (zh) | 2020-05-06 | 2020-05-06 | 感知地图生成方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010373275.5A CN111753639A (zh) | 2020-05-06 | 2020-05-06 | 感知地图生成方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111753639A true CN111753639A (zh) | 2020-10-09 |
Family
ID=72673795
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010373275.5A Pending CN111753639A (zh) | 2020-05-06 | 2020-05-06 | 感知地图生成方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111753639A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112214026A (zh) * | 2020-10-26 | 2021-01-12 | 广州小鹏自动驾驶科技有限公司 | 一种行车障碍检测方法、装置、车辆、可读介质 |
| CN113301533A (zh) * | 2021-07-28 | 2021-08-24 | 武汉理工大学 | 一种基于车车通讯的感知信息补偿系统与方法 |
| CN113762134A (zh) * | 2021-09-01 | 2021-12-07 | 沈阳工业大学 | 基于视觉的汽车泊车中周围障碍物的检测方法 |
| WO2022165614A1 (zh) * | 2021-02-08 | 2022-08-11 | 浙江吉利控股集团有限公司 | 一种路径构建方法、装置、终端及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110032181A (zh) * | 2019-02-26 | 2019-07-19 | 文远知行有限公司 | 语义地图中障碍物定位方法、装置、计算机设备和存储介质 |
| WO2020056874A1 (zh) * | 2018-09-17 | 2020-03-26 | 魔门塔(苏州)科技有限公司 | 一种基于视觉识别的自动泊车系统及方法 |
| CN111028534A (zh) * | 2018-10-09 | 2020-04-17 | 杭州海康威视数字技术股份有限公司 | 一种泊车位检测方法及装置 |
| JP2020068515A (ja) * | 2018-10-26 | 2020-04-30 | 株式会社デンソー | 画像処理装置 |
-
2020
- 2020-05-06 CN CN202010373275.5A patent/CN111753639A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020056874A1 (zh) * | 2018-09-17 | 2020-03-26 | 魔门塔(苏州)科技有限公司 | 一种基于视觉识别的自动泊车系统及方法 |
| CN111028534A (zh) * | 2018-10-09 | 2020-04-17 | 杭州海康威视数字技术股份有限公司 | 一种泊车位检测方法及装置 |
| JP2020068515A (ja) * | 2018-10-26 | 2020-04-30 | 株式会社デンソー | 画像処理装置 |
| CN110032181A (zh) * | 2019-02-26 | 2019-07-19 | 文远知行有限公司 | 语义地图中障碍物定位方法、装置、计算机设备和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 陆峰;徐友春;李永乐;王德宇;谢德胜;: "基于信息融合的智能车障碍物检测方法", 计算机应用, no. 2 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112214026A (zh) * | 2020-10-26 | 2021-01-12 | 广州小鹏自动驾驶科技有限公司 | 一种行车障碍检测方法、装置、车辆、可读介质 |
| WO2022165614A1 (zh) * | 2021-02-08 | 2022-08-11 | 浙江吉利控股集团有限公司 | 一种路径构建方法、装置、终端及存储介质 |
| CN113301533A (zh) * | 2021-07-28 | 2021-08-24 | 武汉理工大学 | 一种基于车车通讯的感知信息补偿系统与方法 |
| CN113301533B (zh) * | 2021-07-28 | 2021-11-23 | 武汉理工大学 | 一种基于车车通讯的感知信息补偿系统与方法 |
| CN113762134A (zh) * | 2021-09-01 | 2021-12-07 | 沈阳工业大学 | 基于视觉的汽车泊车中周围障碍物的检测方法 |
| CN113762134B (zh) * | 2021-09-01 | 2024-03-29 | 沈阳工业大学 | 基于视觉的汽车泊车中周围障碍物的检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110032181B (zh) | 语义地图中障碍物定位方法、装置、计算机设备和存储介质 | |
| CN111753639A (zh) | 感知地图生成方法、装置、计算机设备和存储介质 | |
| Zhao et al. | On-road vehicle trajectory collection and scene-based lane change analysis: Part i | |
| CN108372857B (zh) | 自主驾驶系统的通过事件发生和情节记忆回顾进行有效情景感知 | |
| CN113379805B (zh) | 一种交通节点的多信息资源融合处理方法 | |
| WO2018229549A2 (en) | System and method for digital environment reconstruction | |
| KR20200123474A (ko) | 자율 주행을 위한 항법 정보의 융합 프레임워크 및 배치 정렬 | |
| WO2021223116A1 (zh) | 感知地图生成方法、装置、计算机设备和存储介质 | |
| US20180217603A1 (en) | Efficient situational awareness from perception streams in autonomous driving systems | |
| CN111442776A (zh) | 顺序地面场景图像投影合成与复杂场景重构的方法及设备 | |
| US11755917B2 (en) | Generating depth from camera images and known depth data using neural networks | |
| WO2021155685A1 (zh) | 一种更新地图的方法、装置和设备 | |
| CN115917559A (zh) | 轨迹预测方法、装置、计算机设备和存储介质 | |
| CN111986128A (zh) | 偏心图像融合 | |
| CN116685874A (zh) | 摄像机-激光雷达融合对象检测系统和方法 | |
| CN107977654B (zh) | 一种道路区域检测方法、装置及终端 | |
| US20230282000A1 (en) | Multi-object tracking | |
| RU2744012C1 (ru) | Способы и системы для автоматизированного определения присутствия объектов | |
| CN112445204A (zh) | 工地中的物体移动导航方法、装置和计算机设备 | |
| CN113879298A (zh) | 一种车辆的车道保持控制方法、装置及系统 | |
| CN111814766A (zh) | 车辆行为预警方法、装置、计算机设备和存储介质 | |
| CN116734828A (zh) | 道路拓扑信息的确定、电子地图数据处理方法、电子设备 | |
| CN116681739A (zh) | 目标运动轨迹生成方法、装置及电子设备 | |
| US11610412B2 (en) | Vehicle neural network training | |
| CN114722931A (zh) | 车载数据处理方法、装置、数据采集设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |