CN114511632A - 车位地图的构建方法及装置 - Google Patents
车位地图的构建方法及装置 Download PDFInfo
- Publication number
- CN114511632A CN114511632A CN202210022809.9A CN202210022809A CN114511632A CN 114511632 A CN114511632 A CN 114511632A CN 202210022809 A CN202210022809 A CN 202210022809A CN 114511632 A CN114511632 A CN 114511632A
- Authority
- CN
- China
- Prior art keywords
- parking space
- information
- around
- vehicle
- mosaic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010276 construction Methods 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 97
- 238000001514 detection method Methods 0.000 claims description 157
- 230000008569 process Effects 0.000 claims description 38
- 238000000605 extraction Methods 0.000 claims description 36
- 230000011218 segmentation Effects 0.000 claims description 32
- 230000004927 fusion Effects 0.000 claims description 31
- 238000013507 mapping Methods 0.000 claims description 29
- 238000004891 communication Methods 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 19
- 238000005457 optimization Methods 0.000 claims description 9
- 238000013459 approach Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/206—Drawing of charts or graphs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
- G08G1/0969—Systems involving transmission of navigation instructions to the vehicle having a display in the form of a map
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种车位地图的构建方法及装置，方法包括：获取采集设备所发送车辆周围的环视拼接图，识别环视拼接图中车辆周围的第一车位信息和第二车位信息；将第一车位信息与第二车位信息进行匹配融合，得到环视拼接图中的车位属性信息；实时获取车辆惯导信息，并结合车位属性信息确定环视拼接图中车位位置相对于车辆起始位置的实时位姿信息；利用实时位姿信息将环视拼接图中车位位置转换到车辆起始位置对应的坐标系下，针对车辆起始位置对应的坐标系下的车位位置进行匹配，构建适当前应用场景的车位地图。通过上述方法可以实现车位地图的构建，解决了现有技术中由于场景描述索引中特征量过多而无法精准构建车位地图的问题。
Description
技术领域
本发明涉及计算机技术领域，具体而言，涉及一种车位地图的构建方法及装置。
背景技术
近年来，随着城市车辆日渐增多，自主泊车功能的需求量不断增加，同时对自主泊车的精度要求也越来越高。为了提高泊车过程中的精确度，确保泊车过程的安全性，构建车位地图是自主泊车过程中不可或缺的一环，该车位地图可嵌入到智能停车场以及电子导航等应用中，以辅助车辆根据车位地图来实现自主泊车。
相关技术中，可以基于视觉语义分割的方式来构建车位地图，该方式通过对采集设备输出的图像进行关键帧筛选，并对关键帧进行语义分割来构建局部车位地图，同时对获取每一帧进行图像表述，产生场景描述索引库，利用场景描述索引库和局部车位地图来构建全局车位地图。然而，由于场景描述索引库中涉及到的特征过多，系统所需的计算量也随之增多，对于行进过程中车辆的实时性有所影响，使得系统很难精确构建出车位地图，无法向车辆提供准确的车位信息。
发明内容
本发明提供了一种车位地图的构建方法及装置，能够融合当前帧拼接图像识别得到的第一车位信息和第二车位信息，并利用融合后形成的车位匹配信息来实现车位地图的构建，从而解决了现有基于视觉语义分割方式由于场景描述索引中特征量过多而无法精准构建车位地图的问题。具体的技术方案如下：
第一方面，本发明实施例提供了一种车位地图的构建方法，所述方法包括：
获取采集设备所发送车辆周围的环视拼接图，并识别所述环视拼接图中车辆周围的第一车位信息和第二车位信息，所述第一车位信息为对所述环视拼接图进行车位线提取所得到，所述第二车位信息为对所述环视拼接图进行多任务检测所得到；
将所述第一车位信息与所述第二车位信息进行匹配融合，得到所述环视拼接图中的车位属性信息；
实时获取车辆惯导信息，并结合所述车位属性信息确定所述环视拼接图中车位位置相对于车辆起始位置的实时位姿信息，所述车位属性信息与所述车辆惯导信息在时间上相对应；
利用所述环视拼接图中车位位置相对于车辆起始位置的实时位姿信息将所述环视拼接图中车位位置转换到车辆起始位置对应的坐标系下，并针对所述车辆起始位置对应的坐标系下的车位位置进行匹配，构建适用于当前应用场景的车位地图。
在一种实施方式中，所述识别所述环视拼接图中车辆周围的第一车位信息和第二车位信息，包括：
针对所述环视拼接图，采用预先训练的第一网络模型提取所述环视拼接图中的车位线分割信息，并利用所述车位线分割信息对所述环视拼接图进行角点坐标检测，得到所述环视拼接图中车辆周围的第一车位信息；
针对所述环视拼接图中的图像信息进行栅格化处理，采用预先训练的第二网络模型对所述环视拼接图中的栅格单位进行多任务检测，并汇总所述多任务检测的输出结果，得到所述环视拼接图中车辆周围的第二车位信息。
在一种实施方式中，所述第一网络模型包括特征提取模块和检测头模块，所述采用预先训练的第一网络模型提取所述环视拼接图中的车位线分割信息，并利用所述车位线分割信息对所述环视拼接图进行角点坐标检测，得到所述环视拼接图中车辆周围的第一车位信息，包括：
采用所述特征提取模块对所述环视拼接图进行特征提取，得到所述环视特征图中包含的图像特征，并将所述环视特征图中包含的图像特征输入至所述检测头模块，生成表征车位线分割信息的二值图遮罩，所述二值图遮罩中真值部分表示分割出的车位线信息，其余部分表示背景信息；
利用所述二值图遮罩中分割出的车位线信息，对所述二值图遮罩进行角点检测，得到所述二值图遮罩中包含车位角点的像素坐标，并根据所述包含车位角点的像素坐标生成所述环视拼接图中车辆周围的第一车位信息。
在一种实施方式中，在所述利用所述二值图遮罩中分割出的车位线信息，对所述二值图遮罩进行角点检测，得到所述二值图遮罩中包含车位角点的像素坐标，并根据所述包含车位角点的像素坐标生成所述环视拼接图中车辆周围的第一车位信息之前，所述方法还包括：
通过对所述二值图遮罩中分割出的车位线信息进行骨架抽离处理，以将多像素宽度的车位线信息细化为单像素宽度的车位线信息；
相应的，利用所述二值图遮罩中分割出的车位线信息，对所述二值图遮罩进行角点检测，得到所述二值图遮罩中包含车位角点的像素坐标，并根据所述包含车位角点的像素坐标生成所述环视拼接图中车辆周围的第一车位信息，包括：
利用单像素宽度的车位线信息，对骨架抽离处理的所述二值图遮罩进行角点检测，得到所述二值图遮罩中包含车位角点的像素坐标，并根据所述包含车位角点的像素坐标生成所述环视拼接图中车辆周围的第一车位信息。
在一种实施方式中，所述第二网络模型中包括针对多个任务设置的检测头结构，每个检测头结构对应有检测逻辑，所述采用预先训练的第二网络模型对所述环视拼接图中的栅格单位进行多任务检测，并汇总所述多任务检测的输出结果，得到所述环视拼接图中车辆周围的第二车位信息，包括：
利用所述针对多个任务设置的检测头结构，按照所述每个检测头结构对应的检测逻辑对所述环视拼接图中的栅格单位进行信息预测，得到多个任务检测的输出结果；
通过相互约束的方式汇总所述多任务检测的输出结果，得到所述环视拼接图中车辆周围的第二车位信息。
在一种实施方式中，所述利用所述针对多个任务设置的检测头结构，按照所述每个检测头结构对应的检测逻辑对所述环视拼接图中的栅格单位进行信息预测，得到多个任务检测的输出结果，包括：
使用第一检测头结构对所述环视拼接图中栅格单位内是否含有车位进行信息预测，输出所述环视拼接图中含有车位的栅格单位；
针对所述环视拼接图中含有车位的栅格单位，使用第二检测头结构对所述环视拼接图中栅格单位内车位是否含有车辆进行信息预测，输出所述环视拼接图中车位的占用情况；
针对所述环视拼接图中含有车位的栅格单位，使用第三检测头结构对所述环视拼接图中栅格单位内车位是否含有车位角点进行信息预测，输出所述环视拼接图中含有车位角点的栅格单位；
针对所述环视拼接图中含有车位角点的栅格单位，使用第四检测头结构对所述环视拼接图中栅格单位内车位角点进行信息预测，输出所述环视拼接图中车位角点的位置。
在一种实施方式中，所述将所述第一车位信息与所述第二车位信息进行匹配融合，得到所述环视拼接图中的车位属性信息，包括：
以所述第二车位信息中的车位角点为圆心划定预设阈值为半径的融合圆，判断所述融合圆范围内是否存在第一车位信息中的车位角点；
若存在，则使用第一车位信息中的车位角点对所述第二车位信息中的车位角点进行坐标修正，并将修正后的第二车位信息作为所述环视拼接图中的车位属性信息，否则，使用第二车位信息作为所述环视拼接图中的车位属性信息。
在一种实施方式中，当所述当前应用场景为闭环应用场景时，针对预设区域内的车位进入闭环应用场景的建图模式，所述利用所述环视拼接图中车位位置相对于车辆起始位置的实时位姿信息将所述环视拼接图中车位位置转换到车辆起始位置对应的坐标系下，并针对所述车辆起始位置对应的坐标系下的车位位置进行匹配，构建当前应用场景的车位地图，包括：
对所述环视拼接图中车位位置相对于车辆起始位置的实时位姿信息进行位姿变换，以将所述环视拼接图中车位位置转换到车辆起始位置对应的坐标系下，对所述车辆起始位置对应的坐标系下的车位位置采用欧氏距离进行相互匹配融合，创建局部车位地图，并针对所述局部车位地图设置序列号；
根据当前局部车位地图对应的序列号，遍历查询序列号与所述当前局部车位地图对应的序列号间隔预设数值的历史创建的局部车位地图，使用迭代就近法对所述历史创建的局部车位地图与所述当前局部车位地图中车位位置相对于车辆起始位置的实时位姿信息进行匹配，若在预设距离范围内存在匹配一致的局部车位地图，则将所述当前局部车位地图中车位位置确定为回环位置且已完成闭环建图；
当所述当前应用场景为非闭环应用场景时，针对车载通信设备并未预先存储有离线地图信息的情况，在车辆行驶过程中进入非闭环应用场景的建图模式，所述利用所述环视拼接图中车位位置相对于车辆起始位置的实时位姿信息将所述环视拼接图中车位位置转换到车辆起始位置对应的坐标系下，并针对所述车辆起始位置对应的坐标系下的车位位置进行匹配，构建当前应用场景的车位地图，包括：
利用所述环视拼接图中车位位置相对于车辆起始位置的实时位姿信息，对相邻两帧环视拼接图中车位位置使用迭代就近点法进行匹配，将匹配一致的车位位置转换到车辆起始位置对应的坐标系下，并针对所述车辆起始位置对应的坐标系下的车位位置进行匹配，完成非闭环建图。
在一种实施方式中，在所述利用所述环视拼接图中车位位置相对于车辆起始位置的实时位姿信息将所述环视拼接图中车位位置转换到车辆起始位置对应的坐标系下，并针对所述车辆起始位置对应的坐标系下的车位位置进行匹配，构建当前应用场景的车位地图之后，所述方法还包括：
利用各环视拼接图中车位位置对应的实时位姿信息之间的相对位姿信息，对所述当前应用场景的车位地图进行图优化，以更新所述车位地图中的车位位置。
第二方面，本发明实施例提供了一种车位地图的构建装置，所述装置包括：
识别单元，用于获取采集设备所发送车辆周围的环视拼接图，并识别所述环视拼接图中车辆周围的第一车位信息和第二车位信息，所述第一车位信息为对所述环视拼接图进行车位线提取所得到，所述第二车位信息为对所述环视拼接图进行多任务检测所得到；
匹配融合单元，用于将所述第一车位信息与所述第二车位信息进行匹配融合，得到所述环视拼接图中的车位属性信息；
确定单元，用于实时获取车辆惯导信息，并结合所述车位属性信息确定所述环视拼接图中车位位置相对于车辆起始位置的实时位姿信息，所述车位属性信息与所述车辆惯导信息在时间上相对应；
构建单元，用于利用所述环视拼接图中车位位置相对于车辆起始位置的实时位姿信息将所述环视拼接图中车位位置转换到车辆起始位置对应的坐标系下，并针对所述车辆起始位置对应的坐标系下的车位位置进行匹配，构建当前应用场景的车位地图。
在一种实施方式中，所述识别单元包括：
提取模块，用于针对所述环视拼接图，采用预先训练的第一网络模型提取所述环视拼接图中的车位线分割信息，并利用所述车位线分割信息对所述环视拼接图进行角点坐标检测，得到所述环视拼接图中车辆周围的第一车位信息；
检测模块，用于针对所述环视拼接图中的图像信息进行栅格化处理，采用预先训练的第二网络模型对所述环视拼接图中的栅格单位进行多任务检测，并汇总所述多任务检测的输出结果，得到所述环视拼接图中车辆周围的第二车位信息。
在一种实施方式中，所述第一网络模型包括特征提取模块和检测头模块，所述提取模块包括：
生成子模块，用于采用所述特征提取模块对所述环视拼接图进行特征提取，得到所述环视特征图中包含的图像特征，并将所述环视特征图中包含的图像特征输入至所述检测头模块，生成表征车位线分割信息的二值图遮罩，所述二值图遮罩中真值部分表示分割出的车位线信息，其余部分表示背景信息；
检测子模块，用于利用所述二值图遮罩中分割出的车位线信息，对所述二值图遮罩进行角点检测，得到所述二值图遮罩中包含车位角点的像素坐标，并根据所述包含车位角点的像素坐标生成所述环视拼接图中车辆周围的第一车位信息。
在一种实施方式中，所述提取模块还包括：
处理子模块，用于在所述利用所述二值图遮罩中分割出的车位线信息，对所述二值图遮罩进行角点检测，得到所述二值图遮罩中包含车位角点的像素坐标，根据所述包含车位角点的像素坐标生成所述环视拼接图中车辆周围的第一车位信息之前，通过对所述二值图遮罩中分割出的车位线信息进行骨架抽离处理，以将多像素宽度的车位线信息细化为单像素宽度的车位线信息；
相应的，所述检测子模块，还用于利用单像素宽度的车位线信息，对骨架抽离处理的所述二值图遮罩进行角点检测，得到所述二值图遮罩中包含车位角点的像素坐标，并根据所述包含车位角点的像素坐标生成所述环视拼接图中车辆周围的第一车位信息。
在一种实施方式中，所述第二网络模型中包括针对多个任务设置的检测头结构，每个检测头结构对应有检测逻辑，所述检测模块包括：
预测子模块，用于利用所述针对多个任务设置的检测头结构，按照所述每个检测头结构对应的检测逻辑对所述环视拼接图中的栅格单位进行信息预测，得到多个任务检测的输出结果；
汇总子模块，用于通过相互约束的方式汇总所述多任务检测的输出结果，得到所述环视拼接图中车辆周围的第二车位信息。
在一种实施方式中，所述预测子模块，具体用于使用第一检测头结构对所述环视拼接图中栅格单位内是否含有车位进行信息预测，输出所述环视拼接图中含有车位的栅格单位；针对所述环视拼接图中含有车位的栅格单位，使用第二检测头结构对所述环视拼接图中栅格单位内车位是否含有车辆进行信息预测，输出所述环视拼接图中车位的占用情况；针对所述环视拼接图中含有车位的栅格单位，使用第三检测头结构对所述环视拼接图中栅格单位内车位是否含有车位角点进行信息预测，输出所述环视拼接图中含有车位角点的栅格单位；针对所述环视拼接图中含有车位角点的栅格单位，使用第四检测头结构对所述环视拼接图中栅格单位内车位角点进行信息预测，输出所述环视拼接图中车位角点的位置。
在一种实施方式中，所述匹配融合单元，具体用于以所述第二车位信息中的车位角点为圆心划定预设阈值为半径的融合圆，判断所述融合圆范围内是否存在第一车位信息中的车位角点；若存在，则使用第一车位信息中的车位角点对所述第二车位信息中的车位角点进行坐标修正，并将修正后的第二车位信息作为多帧环视拼接图中的车位属性信息，否则，使用第二车位信息作为多帧环视拼接图中的车位属性信息。
在一种实施方式中，当所述当前应用场景为闭环应用场景时，针对预设区域内的车位进入闭环应用场景的建图模式，所述构建单元，具体用于对所述环视拼接图中车位位置相对于车辆起始位置的实时位姿信息进行位姿变换，以将所述环视拼接图中车位位置转换到车辆起始位置对应的坐标系下，对所述车辆起始位置对应的坐标系下的车位位置采用欧氏距离进行相互匹配融合，创建局部车位地图，并针对所述局部车位地图设置序列号；根据当前局部车位地图对应的序列号，遍历查询序列号与所述当前局部车位地图对应的序列号间隔预设数值的历史创建的局部车位地图，使用迭代就近法对所述历史创建的局部车位地图与所述当前局部车位地图中车位位置相对于车辆起始位置的实时位姿信息进行匹配，若在预设距离范围内存在匹配一致的局部车位地图，则将所述当前局部车位地图中车位位置确定为回环位置且已完成闭环建图；
当所述当前应用场景为非闭环应用场景时，针对车载通信设备并未预先存储有离线地图信息的情况，在车辆行驶过程中进入非闭环应用场景的建图模式，所述构建单元，具体用于利用所述环视拼接图中车位位置相对于车辆起始位置的实时位姿信息，对相邻两帧环视拼接图中车位位置使用迭代就近点法进行匹配，将匹配一致的车位位置转换到车辆起始位置对应的坐标系下，并针对所述车辆起始位置对应的坐标系下的车位位置进行匹配，完成非闭环建图。
在一种实施方式中，所述装置还包括：更新单元，用于在所述利用所述环视拼接图中车位位置相对于车辆起始位置的实时位姿信息将所述环视拼接图中车位位置转换到车辆起始位置对应的坐标系下，并针对所述车辆起始位置对应的坐标系下的车位位置进行匹配，构建当前应用场景的车位地图之后，利用各环视拼接图中车位位置对应的实时位姿信息之间的相对位姿信息，对所述当前应用场景的车位地图进行图优化，以更新所述车位地图中的车位位置。
第三方面，本发明实施例提供了一种存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现第一方面所述的方法。
第四方面，本发明实施例提供了一种车辆，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现第一方面所述的方法。
由上述内容可知，本发明实施例提供的车位地图的构建方法及装置，能够获取采集设备所发送车辆周围的环视拼接图，识别环视拼接图中车辆周围的第一车位信息和第二车位信息，该环视拼接图为基于车辆鱼眼相机环视采集的图像，并将第一车位信息与第二车位信息进行匹配融合，得到环视拼接图中的车位属性信息，进一步实时获取车辆惯导信息，并结合车位属性信息确定环视拼接图中车位位置相对于预设车辆位置的实时位姿信息，以将环视拼接图中车位位置转换到车辆起始位置对应的坐标系下，针对车辆起始位置对应的坐标系下的车位位置进行匹配，构建当前应用场景的车位地图。由此可知，与现有技术中基于视觉语义分割方式由于场景描述索引中特征量过多而无法精准构建车位地图相比，本发明实施例可以融合第一车位信息和第二车位信息来构建车位地图，排除了行进过程中车辆受到环境的影响，进一步与车辆惯导信息相结合，可实时提供车辆的位置信息，为后续车位地图的构建提供精准的位置参考，进而向车辆提供准确的车位信息。
此外，本实施例还可以实现的技术效果包括：
通过将第一车位信息与第二车位信息进行匹配融合，可准确识别车辆周围的车位属性信息，该方式优于单一识别方式，能够得到更具有参考价值的车位识别结果，从而为自主泊车提供更准确的车位信息，进一步通过将车位属性信息与车辆惯导信息相结合，利用结合后车位位置相对于车辆起始位置的实时位姿信息将车位位置转换到车辆起始位置对应的坐标系下，构建当前应用场景下的车位地图，针对闭环场景提供离线车位地图，进行闭环检测，进而对离线车位地图进行修正，以提高车位地图的准确性，针对非闭环场景提供实时车位地图，用户使用更加便捷，不受环境变化的影响。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种车位地图的构建方法的流程示意图；
图2a-图2d为本发明实施例提供的一种针对第一车位信息中所包含车位角点进行识别过程的示例图；
图3为本发明实施例提供的一种车位地图的构建方法的流程框图；
图4为本发明实施例提供的一种车位地图的构建装置的组成框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本发明提供了一种车位地图的构建方法及装置，能够融合环视拼接图中识别得到的第一车位信息和第二车位信息，并利用融合后形成的车位匹配信息来实现车位地图的构建，从而解决了现有基于视觉语义分割方式由于场景描述索引中特征量过多而无法精准构建车位地图的问题。本发明实施例的车辆中可以安装车载通信设备，以便通过车载通信设备与采集设备、其他车辆、中心服务器(包括云端服务器，特定场景下可以包括个人手持终端)进行通信。
下面对本发明实施例进行详细说明。
图1为本发明实施例提供的一种车位地图的构建方法的流程示意图。所述方法可以包括如下步骤：
S100：获取采集设备所发送车辆周围的环视拼接图，并识别所述环视拼接图中车辆周围的第一车位信息和第二车位信息。
其中，采集设备可以为设置在车身上的鱼眼相机、摄像头以及其他传感器设备等，这里采集设备可在车辆行驶过程会不断采集车辆周围的图像，并将采集到的图像进行拼接，形成每一帧环视拼接图后发送至车辆内安装的车载通信设备，并由车载通信设备来对获取到的环视拼接图进行车位识别和车位建图。
具体在拼接采集到的图像过程中，作为一种实施方式，可以利用车身上设置的鱼眼相机进行车辆周围的环视图像采集，将采集到的环视图像经由环视拼接相关算法进行2D俯视拼接，得到2D俯视拼接图中每一点在实际中的以cm为单位的位置信息，作为一帧环视拼接图。
这里第一车位信息可以为对环视拼接图进行车位线提取得到，具体包括车位线分割信息和车位角点信息。在识别环视拼接图中车辆周围第一车位信息的过程中，针对环视拼接图，采用预先训练的第一网络模型提取环视拼接图中的车位线分割信息，并利用车位线分割信息对环视拼接图进行角点坐标检测，得到环视拼接图中车辆周围的第一车位信息。这里第一网络模型包括特征提取模块和检测头模块，具体可以采用特征提取模块对环视拼接图进行特征提取，得到环视特征图中包含的图像特征，并将环视特征图中包含的图像特征输入至检测头模块，生成表征车位线分割信息的二值图遮罩，该二值图遮罩中真值部分表示分割出的车位线信息，其余部分表示背景信息，进一步利用二值图遮罩中分割出的车位线信息，对二值图遮罩进行角点检测，得到二值图遮罩中包含车位角点的像素坐标，并根据包含车位角点的像素坐标生成环视拼接图中车辆周围的第一车位信息。
进一步的，为了提高后续第一车位信息的识别精度，在第一网络模型输出二值图遮罩之后，还可以针对二值图遮罩还可以进行细化处理，具体可通过对二值图遮罩中分割出的车位线信息进行骨架抽离处理，以将多像素宽度的车位线信息细化为单像素宽度的车位线信息，从而使得后续算法中避免车位线宽度对车位角点识别结果造成的影响，提升识别结果的准确性。
具体在实际应用场景中，第一网络模型可以使用经典神经网络模型，具体为主干网络复合检测头的结构，涉及特征提取器和检测头结构，可选用iseNetv2作为特征提取。示例性的，在针对第一车位信息中所包含车位角点进行识别过程中，如图2a-2d所示，首先，将环视拼接图输入至第一网络模型中，由特征提取器提取出图像特征，并将提取出的图像特征输入检测头结构，由检测头结构生成与输入图像大小一致的二值图遮罩，作为车位线语义分割结果，进一步对二值图遮罩进行细化处理，即骨架抽出处理，将一定宽度的车位线抽象为单像素的车位线，并对细化处理后的二值图遮罩进行Harris角点检测，角点检测后的像素坐标即为第一车位信息中的车位角点坐标(也即车位角点信息)。特征提取后得图像特征参见图2a所示，图2a的图像特征中包括车辆特征和车位特征，车位线的语义分割结果参见图2b所示，图2b的二值图遮罩中，真值表示分割出的车位线，其余部分为背景，细化处理后的二值图遮罩参见图2c所示，图2c即为宽度像素缩减为单像素后的车位线图像，车位角点坐标参见图2d所示，图2d即为包含车位角点坐标的车位线图像。
这里第二车位信息可以为对环视拼接图进行多任务检测得到，具体包括车位角点信息和车位占用信息。在识别环视拼接图中车辆周围第二车位信息的过程中，可以针对环视拼接图中的图像信息进行栅格化处理，采用预先训练的第二网络模型对环视拼接图中的栅格单位进行多任务检测，并汇总多任务检测的输出结果，得到环视拼接图中车辆周围的第二车位信息。这里第二网络模型中包括针对多个任务设置的检测头结构，每个检测头结构对应有检测逻辑，具体可以利用针对多个任务设置的检测头结构，按照每个检测头结构对应的检测逻辑对环视拼接图中的栅格单位进行信息预测，得到多个任务检测的输出结果，并通过相互约束的方式汇总多任务检测的输出结果，得到环视拼接图中车辆周围的第二车位信息。
上述针对环视拼接图中的图像信息进行栅格化处理的过程中，可以减少第二网络模型中的参数数量，具体可通过在环视拼接图中车辆车身两侧规定感兴趣区域(Region ofInterest，ROI)，并对ROI进行栅格化处理，进而以单个栅格为单位生成预测信息，从而提高模型输出结果的准确性。
应说明的是，上述栅格化为针对图像信息进行降采样的处理过程，例如，环视拼接图的图像信息为400*400，栅格化处理过程可以将环视拼接图的图像信息降采样处理为18*18，即输入的图像仍然为环视拼接图，仅修改环视拼接图的图像信息。
具体按照每个检测头结构对应的检测逻辑对所述环视拼接图中的栅格单位进行信息预测，得到多个任务检测的输出结果过程中，可设置多四个检测头结构，首先使用第一检测头结构对环视拼接图中栅格单位内是否含有车位进行信息预测，输出环视拼接图中含有车位的栅格单位，然后针对环视拼接图中含有车位的栅格单位，使用第二检测头结构对环视拼接图中栅格单位内车位是否含有车辆进行信息预测，输出环视拼接图中车位的占用情况，再然后针对环视拼接图中含有车位的栅格单位，使用第三检测头结构对环视拼接图中栅格单位内车位是否含有车位角点进行信息预测，输出环视拼接图中含有车位角点的栅格单位，最后针对环视拼接图中含有车位角点的栅格单位，使用第四检测头结构对环视拼接图中栅格单位内车位角点进行信息预测，输出环视拼接图中车位角点的位置。
具体在实际应用场景中，第二网络模型可以使用主干网络附加多检测头结构，其中主干网络可选用MobileNet，从参数量、效率等方面对车载情况下的运行提供更可靠的支持，检测头为多任务结构，总数为4个，进一步针对每个输入至第二网络模型中的环视拼接图进行多任务检测，针对每个检测任务输出相应的预测信息，检测头1可针对栅格内是否含有车位进行预测，检测头2可针对栅格内的车位是否有车(占用/可泊)进行预测，检测头3可针对栅格内是否有车位角点进行预测，检测头4可针对栅格内车位角点的具体位置进行预测，进一步对4个检测头输出的结果，编写相应后处理模块以对其进行解读并输出环视拼接图上感兴趣区域内的车位个数、车位角点信息和车位占用信息。具体后处理模块的执行过程为：首先根据检测头1的预测信息，确定含有车位的栅格，进一步根据检测头2的预测信息，对车位是否可泊进行判断，在当前栅格含有车位的前提下，根据检测头3的预测信息，判断当前栅格是否含有角点，最后根据检测头4的预测信息，确定车位角点的位置。
应说明的是，上述检测头结构的设计为逐层递进的过程，每个检测头的预测过程可基于上一检测头输出的预测信息来执行，通过添加检测头的信息来约束和细化车位检测结果，从而得到层层细化的第二车位信息。
由于识别过程中相邻帧环视拼接图中包含有相同车位，使得第一车位信息与第二车位信息中车位角点信息会存在重复检测的问题，还可以进一步对检测到的车位信息进行非极大值抑制计算，以针对车位信息中相同车位进行合并处理，保留最有可能的车位信息，以减少车位角点信息重复检测的情况，从而准确输出环视拼接图中的车位信息。
进一步的，由于模型搭建过程都是在计算机上执行，最终运行至车载通信设备中的过程需要将数据从计算机模型转移到车载通信设备上部署，为了将车位信息灵活应用到车载通信设备中，还可以在计算机上完成训练模型的操作后，将计算机上的模型转换为可在车载通信设备上运行的格式，该过程需要参考车载计算设备的信息。
S110：将所述第一车位信息与所述第二车位信息进行匹配融合，得到所述环视拼接图中的车位属性信息。
可以理解的是，第一车位信息和第二车位信息作为两种不同方式会分别输出车位识别结果，并且两个车位识别结果中均包含车位角点信息，为了提高车位识别结果的准确性，可对两种方式所得到的车位识别结果进行匹配融合。作为一种匹配融合的实施方式，可以设定第二车位信息为主，使用第一车位信息对第二车位信息中车位角点进行修正，具体地，以第二车位信息中的车位角点为圆心划定预设阈值为半径的融合圆，判断融合圆范围内是否存在第一车位信息中的车位角点，若存在，则使用第一车位信息中的车位角点对第二车位信息中的车位角点进行坐标修正，并将修正后的第二车位信息作为环视拼接图中的车位属性信息，否则，使用第二车位信息作为环视拼接图中的车位属性信息。相应的，作为另一种匹配融合方式，还可以设定第一车位信息为主，使用第二车位信息对第一车位信息中车位角点进行修正。
上述融合匹配过程可以选定一个车位信息中车位角点为圆心划定融和圆，如果融合圆范围内存在另一车位信息中车位角点，则说明匹配成功，使用匹配另一车位信息中的角点坐标，对选定的车位信息进行修正，得到车位属性信息，这里对选定车位信息进行修正的方式不进行限定，作为一种实施方式，可以将两个车位信息中的角点坐标求取平均值作为最终车位属性信息，作为另一种实施方式，还可以将选定车位信息中车位角点沿着另一车位信息中车位角点的坐标方向移动预设距离，并将该车位角点坐标作为最终车位属性信息。如果融合圆范围内未匹配到另一车位信息中的车位角点，则说明匹配失败，将选定车位信息中车位角点坐标作为最终车位属性信息。进一步传输匹配成果或者匹配失败后输出车位属性信息。通过将第一车位信息与第二车位信息中车位角点进行匹配融合，可针对环视拼接图输出较为准确的车位角点坐标，从而提高后续车位建图的精确度。需要说明的是，本文中的车位角点坐标作为车位属性信息可以理解为将车位角点坐标作为车位属性信息中的部分或全部信息。
S120：实时获取车辆惯导信息，并结合所述车位属性信息确定所述环视拼接图中车位位置相对于车辆起始位置的实时位姿信息。
其中，车位属性信息包括车位位置，车辆惯导信息包括车辆惯导位置和车辆惯导速度，车位位置相对于车辆起始位置的实时位姿信息包括车位位置相对于车辆起始位置实时产生的位置变化和角度变化，具体可以实时获取车辆惯导信息，根据车辆惯导位置和车位位置，确定环视拼接图中车位位置相对于车辆起始位置实时产生的位置变化，根据车辆惯导速度和车位位置，确定环视拼接图中车位位置相对于车辆起始位置实时产生的角度变化。需要说明的是，车位位置由车位角点坐标确定，且车位属性信息中还可以包括其他信息，如车位占用情况。
对于环视拼接图中车位属性信息，将当前帧环视拼接图中车位属性信息与车辆惯导信息相融合，得到当前帧环视拼接图中车位位置相对于车辆起始位置的实时位姿信息。同时可与前一帧环视拼接图中车位位置相对于车辆起始位置的位姿信息相融合，得到当前帧环视拼接图中车位位置相对于上一帧环视拼接图中车辆位置的相对位姿信息，该实时位姿信息和相对位姿信息可表现为旋转平移矩阵形式。在一实施例中，可根据车辆惯导信息得到当前车辆位置相对于车辆起始位置的位姿信息Tc，同时根据环视拼接图中车位属性信息将车位位置转换到当前车辆位置的坐标系下，得到每个车位相对于车辆实际位置的位姿信息Tic，进一步可得到每个车位相对于车辆起始位置的位姿信息Ti＝Tc*Tic。
在实际应用场景中，由于摄像头获取到环视拼接帧帧率较高，再加上受到车速影响，使得帧与帧之间的环视拼接图中必然有重合车位，为了避免重合计算，通常可以采取隔帧采样的方式，以对连续帧的环视拼接图中车位属性信息进行体素滤波，从而减少环视拼接图中车位的特征数据，提升后续数据运算速度。
S130：利用所述环视拼接图中车位位置相对于车辆起始位置的实时位姿信息将所述环视拼接图中车位位置转换到车辆起始位置对应的坐标系下，并针对所述车辆起始位置对应的坐标系下的车位位置进行匹配，构建适用于当前应用场景的车位地图。
其中，应用场景可以包括闭环应用场景和非闭环应用场景，这里闭环应用场景可针对预设区域内的车位进行整体建图，需要车辆在预设区域内行驶完整后，根据采集到环视拼接图进行车位识别和车位建图，该预设区域可以为经常行驶的活动区域，如停车场、学校等，构建的车位地图可作为离线地图信息存储至车载通信设备中或者发送到云服务器以共享至其他车辆，并作为实时泊车的依据，具体可使用车载通信设备中设置闭环建图功能，进而针对车辆经常活动的预设区域使用闭环应用场景进行建图。非闭环应用场景可针对当前车辆周围的车位进行实时建图，可根据当前采集到的环视拼接图进行车位识别和车位建图，构建的车位地图仅表征当前车辆附近的车位情况，构建的车位地图可作为实时泊车的依据，具体可使用车载通信设备中的实时建图功能，进而针对车辆当前位置周围的车位进行实时建图，通常在车载通信设备中未存储离线车位地图信息时使用非闭环应用场景。
当前应用场景为闭环应用场景时，针对预设区域内的车位进入闭环应用场景的建图模式，考虑到区域中车位量巨大，具体可以对环视拼接图中车位位置相对于车辆起始位置的实时位姿信息进行位姿变换，以将环视拼接图中车位位置转换为车辆起始位置对应的坐标系下，对车辆起始位置对应的坐标系下的车位位置采用欧氏距离进行相互匹配融合，创建局部车位地图，并针对所述局部车位地图设置序列号，进一步根据当前局部车位地图对应的序列号，遍历查询序列号与当前局部车位地图对应的序列号间隔预设数值的历史创建的局部车位地图，使用迭代就近法对历史创建的局部车位地图与当前局部车位地图中车位位置相对于车辆起始位置的实时位姿信息进行匹配，若在预设距离范围内存在匹配一致的局部车位地图，则将当前局部车位地图中车位位置确定为回环位置且已完成闭环建图。
针对闭环应用场景，示例性的，当车辆针对停车场区域进行建图时，首先确定车辆起始位置，启动闭环建图功能后，遍历停车场区域内的车位，并在车辆行驶到车辆起始位置时停止建图，以形成闭环。具体在建图过程中，使用隔帧建图对车位属性信息进行局部地图的构建，通过汇总多个局部地图形成预设区域的车位地图，针对局部地图的构建，首先由车辆惯导信息可以得到车辆位置相对于车辆起始位置的位姿信息Ti，进一步通过位姿变换得到当前帧环视拼接图相对于上一帧环视拼接图中车辆起始位置的相对位姿信息Ti,i-1＝Ti-1 -1*Ti，此时将车位位置转换到同一坐标系下，并对同一坐标系中车位位置使用欧式距离进行匹配融合，创建局部车位地图，并针对局部车位地图设置序列号。同时为了寻找到闭环帧环视拼接图，针对当前局部车位地图，可根据当前局部车位地图对应的序列号，在当前车位位置附近预设距离内查找与该序列号间隔预设数值的历史创建的局部车位地图，例如，当前局部车位地图对应的序列号为10，预设数值为3，在当前局部车位地图附近5m以上10m以内的位置对序列号为1-7的局部车位地图进行查找，并使用迭代就近法进行匹配确定回环位置，若匹配得到则说明找到回环位置，该回环位置即为车辆起始位置附近或者是车辆行驶路段上某一符合闭环条件的位置，通过将查找到的回环位置作为地图起点和地图终点，结合多个局部车位地图构建成闭环车位地图。
当前应用场景为非闭环应用场景时，针对车载通信设备并未预先存储有离线地图信息时，在车辆行驶过程中进入非闭环应用场景的建图模式，具体可以利用环视拼接图中车位位置相对于车辆起始位置的实时位姿信息，对相邻两帧环视拼接图中车位位置使用迭代就近点法进行匹配，将匹配一致的车位位置转换到车辆起始位置对应的坐标系下，并针对车辆起始位置对应的坐标系下的车位位置进行匹配，完成非闭环建图。
示例性的，当车辆在停车场区域内发现车载通信设备中并未存储有离线地图信息时，启用非闭环建图功能，此时无需预先设置车辆起始位置和终止位置，将在车辆行驶过程中实时输出构建的车位地图，使用连续帧建图对车位属性信息进行车位地图的构建，针对没两帧环视拼接图中车位位置使用迭代就近法进行匹配，从而将车位位置转换到上一帧环视拼接图中，输出同一坐标系下的车位位置，进而将车位位置转换到相对于车辆起始位置的坐标系下，针对车辆起始位置构建车位地图。
进一步的，由于车辆位置在构建车位地图中会不断发生变化，考虑到环视拼接图在识别车位和构建车位地图过程中累积的误差，可以对车位地图进行图优化，从而提高车位地图中车位位置的精准度，具体可以在构建车位地图后，利用各环视拼接图中车位位置对应的实时位姿信息之间的相对位姿信息，对当前应用场景的车位地图进行图优化，以更新车位地图中的车位位置。应说明的是，车位地图需要多帧环视拼接图的积累，在针对车位地图进行图优化过程中，这里可以使用最后一帧环视拼接图所确定车位位置作为优化的依据，并利用该车位位置对应的实时位姿之间的相对位姿信息，对当前应用场景的车位地图进行图优化。针对闭环场景下的构建的车位地图，具体可以使用当前局部车位地图中车辆相对于其他局部车位地图中车辆的位姿信息、所有局部车位地图中车辆相对于车辆起始位置的位姿信息以及回环位置相对于车辆起始位置的位姿信息，在构建的车位地图中添加节点约束关系，利用车辆位姿之间的相互约束关系，将局部车位地图中车位角点信息转换为以车辆起始位置为原点的地图坐标系，更新车位地图中的车位位置。针对非闭环场景下构建的车位地图，具体可以使用相邻两帧环视拼接图中车辆位姿之间的相互约束关系，将当前帧环视拼接图中车位角点位置信息转换为以车辆起始位置为原点的地图坐标系，更新车位地图中的车位位置。
在实际应用场景中，可通过在车载通信设备中设置建图系统来实现车位构建的过程，该建图系统共包括两个模块，分别为车位识别模块和车位建图模块，车位识别模块用于识别车辆周围的不同车位信息，并融合不同车位信息后输出车位识别结果，主要涉及三个子模块，地面标识物分割子模块、车位检测子模块和融合匹配子模块，地面标识物分割子模块用于针对每一帧环视拼接图识别车辆周围的车位分割信息，该车位分割信息相当于上文中第一车位信息，车位检测子模块用于针对每一帧环视拼接图检测车辆周围的车位角点信息，该车位角点信息相当于上文中第二车位信息，融合匹配子模块用于融合匹配车位分割信息和车位角点信息，输出车位的识别结果，车位建图模块用于根据车位识别结果表征的车位信息构建适用于不同场景的车位地图，主要涉及三个子模块，融合子模块、闭环建图子模块和非闭环建图子模块，融合子模块用于将车位识别结果中的车位信息与车辆惯导信息融合后得到相对位姿信息，闭环建图子模块用于对闭环场景下的车辆进行建图，非闭环建图子模块用于对非闭环场景下的车辆进行建图。具体构建车位地图的过程参见图3，首先针对环视拼接图，一方面提取车位线信息形成地标线分割结果，另一方面检测车位角点得到车位检测结果，汇总地标线分割结果和车位检测结果得到当前帧车位识别结果，进一步将当前帧车位识别结果与惯导信息相融合后，针对两种场景进行建图，针对地图封闭场景，在建图过程中对隔帧车位进行融合，通过icp(Iterative Closest Point，迭代就近点法)匹配方式判断是否达到回环位置，进而构建车位地图，此时对于固定场景下构建车位地图的精度较高，针对地图开环场景，融合惯导信息与车位识别结果，进而构建车位地图，此时针对变化较快场景下构建车位地图的精度较低。
可以理解的是，上述构建得到的车位地图中可包括各个车位入口角点、车位类型、车位占用情况等，具体可应用至自主泊车的过程中，通过车位地图中对车身位置的定位，提供车辆在车位地图中的位置以及附近车位位置，以便于规划车辆泊车路线。
本发明实施例提供的车位地图的构建方法，能够获取采集设备所发送车辆周围的环视拼接图，识别环视拼接图中车辆周围的第一车位信息和第二车位信息，该环视拼接图为基于车辆鱼眼相机环视采集的图像，并将第一车位信息与第二车位信息进行匹配融合，得到环视拼接图中的车位属性信息，进一步实时获取车辆惯导信息，并结合车位属性信息确定环视拼接图中车位位置相对于预设车辆位置的实时位姿信息，以将环视拼接图中车位位置转换到车辆起始位置对应的坐标系下，针对车辆起始位置对应的坐标系下的车位位置进行匹配，构建当前应用场景的车位地图。由此可知，与现有技术中基于视觉语义分割方式由于场景描述索引中特征量过多而无法精准构建车位地图相比，本发明实施例可以融合第一车位信息和第二车位信息来构建车位地图，排除了行进过程中车辆受到环境的影响，进一步与车辆惯导信息相结合，可实时提供车辆的位置信息，为后续车位地图的构建提供精准的位置参考，进而向车辆提供准确的车位信息。
基于上述实施例，本发明的另一实施例提供了一种车位地图的构建装置，如图4所示，所述装置包括：
识别单元20，用于获取采集设备所发送车辆周围的环视拼接图，并识别所述环视拼接图中车辆周围的第一车位信息和第二车位信息，所述第一车位信息为对所述环视拼接图进行车位线提取所得到，所述第二车位信息为对所述环视拼接图进行多任务检测所得到；
匹配融合单元22，用于将所述第一车位信息与所述第二车位信息进行匹配融合，得到所述环视拼接图中的车位属性信息；
确定单元24，用于实时获取车辆惯导信息，并结合所述车位属性信息确定所述环视拼接图中车位位置相对于车辆起始位置的实时位姿信息，所述车位属性信息与所述车辆惯导信息在时间上相对应；
构建单元26，用于利用所述环视拼接图中车位位置相对于车辆起始位置的实时位姿信息将所述环视拼接图中车位位置转换到车辆起始位置对应的坐标系下，并针对所述车辆起始位置对应的坐标系下的车位位置进行匹配，构建当前应用场景的车位地图。
在一种实施方式中，所述识别单元20包括：
提取模块，用于针对所述环视拼接图，采用预先训练的第一网络模型提取所述环视拼接图中的车位线分割信息，并利用所述车位线分割信息对所述环视拼接图进行角点坐标检测，得到所述环视拼接图中车辆周围的第一车位信息；
检测模块，用于针对所述环视拼接图中的图像信息进行栅格化处理，采用预先训练的第二网络模型对所述环视拼接图中的栅格单位进行多任务检测，并汇总所述多任务检测的输出结果，得到所述环视拼接图中车辆周围的第二车位信息。
在一种实施方式中，所述第一网络模型包括特征提取模块和检测头模块，所述提取模块包括：
生成子模块，用于采用所述特征提取模块对所述环视拼接图进行特征提取，得到所述环视特征图中包含的图像特征，并将所述环视特征图中包含的图像特征输入至所述检测头模块，生成表征车位线分割信息的二值图遮罩，所述二值图遮罩中真值部分表示分割出的车位线信息，其余部分表示背景信息；
检测子模块，用于利用所述二值图遮罩中分割出的车位线信息，对所述二值图遮罩进行角点检测，得到所述二值图遮罩中包含车位角点的像素坐标，并根据所述包含车位角点的像素坐标生成所述环视拼接图中车辆周围的第一车位信息。
在一种实施方式中，所述提取模块还包括：
处理子模块，用于在所述利用所述二值图遮罩中分割出的车位线信息，对所述二值图遮罩进行角点检测，得到所述二值图遮罩中包含车位角点的像素坐标，根据所述包含车位角点的像素坐标生成所述环视拼接图中车辆周围的第一车位信息之前，通过对所述二值图遮罩中分割出的车位线信息进行骨架抽离处理，以将多像素宽度的车位线信息细化为单像素宽度的车位线信息。
在一种实施方式中，所述第二网络模型中包括针对多个任务设置的检测头结构，每个检测头结构对应有检测逻辑，所述检测模块包括：
预测子模块，用于利用所述针对多个任务设置的检测头结构，按照所述每个检测头结构对应的检测逻辑对所述环视拼接图中的栅格单位进行信息预测，得到多个任务检测的输出结果；
汇总子模块，用于通过相互约束的方式汇总所述多任务检测的输出结果，得到所述环视拼接图中车辆周围的第二车位信息。
在一种实施方式中，所述预测子模块，具体用于使用第一检测头结构对所述环视拼接图中栅格单位内是否含有车位进行信息预测，输出所述环视拼接图中含有车位的栅格单位；针对所述环视拼接图中含有车位的栅格单位，使用第二检测头结构对所述环视拼接图中栅格单位内车位是否含有车辆进行信息预测，输出所述环视拼接图中车位的占用情况；针对所述环视拼接图中含有车位的栅格单位，使用第三检测头结构对所述环视拼接图中栅格单位内车位是否含有车位角点进行信息预测，输出所述环视拼接图中含有车位角点的栅格单位；针对所述环视拼接图中含有车位角点的栅格单位，使用第四检测头结构对所述环视拼接图中栅格单位内车位角点进行信息预测，输出所述环视拼接图中车位角点的位置。
在一种实施方式中，所述匹配融合单元22，具体用于以所述第二车位信息中的车位角点为圆心划定预设阈值为半径的融合圆，判断所述融合圆范围内是否存在第一车位信息中的车位角点；若存在，则使用第一车位信息中的车位角点对所述第二车位信息中的车位角点进行坐标修正，并将修正后的第二车位信息作为多帧环视拼接图中的车位属性信息，否则，使用第二车位信息作为多帧环视拼接图中的车位属性信息。
在一种实施方式中，当所述当前应用场景为闭环应用场景时，针对预设区域内的车位进入闭环应用场景的建图模式，所述构建单元26，具体用于对所述环视拼接图中车位位置相对于车辆起始位置的实时位姿信息进行位姿变换，以将所述环视拼接图中车位位置转换到车辆起始位置对应的坐标系下，对所述车辆起始位置对应的坐标系下的车位位置采用欧氏距离进行相互匹配融合，创建局部车位地图，并针对所述局部车位地图设置序列号；根据当前局部车位地图对应的序列号，遍历查询序列号与所述当前局部车位地图对应的序列号间隔预设数值的历史创建的局部车位地图，使用迭代就近法对所述历史创建的局部车位地图与所述当前局部车位地图中车位位置相对于车辆起始位置的实时位姿信息进行匹配，若在预设距离范围内存在匹配一致的局部车位地图，则将所述当前局部车位地图中车位位置确定为回环位置且已完成闭环建图；
当所述当前应用场景为非闭环应用场景时，针对车载通信设备并未预先存储有离线地图信息的情况，在车辆行驶过程中进入非闭环应用场景的建图模式，所述构建单元26，具体用于利用所述环视拼接图中车位位置相对于车辆起始位置的实时位姿信息，对相邻两帧环视拼接图中车位位置使用迭代就近点法进行匹配，将匹配一致的车位位置转换到车辆起始位置对应的坐标系下，并针对所述车辆起始位置对应的坐标系下的车位位置进行匹配，完成非闭环建图。
在一种实施方式中，所述装置还包括：更新单元，用于在所述利用所述环视拼接图中车位位置相对于车辆起始位置的实时位姿信息将所述环视拼接图中车位位置转换到车辆起始位置对应的坐标系下，并针对所述车辆起始位置对应的坐标系下的车位位置进行匹配，构建当前应用场景的车位地图之后，利用各环视拼接图中车位位置对应的实时位姿信息之间的相对位姿信息，对所述当前应用场景的车位地图进行图优化，以更新所述车位地图中的车位位置。
基于上述方法实施例，本发明的另一实施例提供了一种存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现上述方法。
基于上述实施例，本发明的另一实施例提供了一种车辆，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的方法。所述车辆可以为非自动驾驶车辆，也可以为自动驾驶车辆。
上述系统、装置实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。
Claims (10)
1.一种车位地图的构建方法，其特征在于，所述方法包括：
获取采集设备所发送车辆周围的环视拼接图，并识别所述环视拼接图中车辆周围的第一车位信息和第二车位信息，所述第一车位信息为对所述环视拼接图进行车位线提取所得到，所述第二车位信息为对所述环视拼接图进行多任务检测所得到；
将所述第一车位信息与所述第二车位信息进行匹配融合，得到所述环视拼接图中的车位属性信息；
实时获取车辆惯导信息，并结合所述车位属性信息确定所述环视拼接图中车位位置相对于车辆起始位置的实时位姿信息，所述车位属性信息与所述车辆惯导信息在时间上相对应；
利用所述环视拼接图中车位位置相对于车辆起始位置的实时位姿信息将所述环视拼接图中车位位置转换到车辆起始位置对应的坐标系下，并针对所述车辆起始位置对应的坐标系下的车位位置进行匹配，构建适用于当前应用场景的车位地图。
2.如权利要求1所述的方法，其特征在于，所述识别所述环视拼接图中车辆周围的第一车位信息和第二车位信息，包括：
针对所述环视拼接图，采用预先训练的第一网络模型提取所述环视拼接图中的车位线分割信息，并利用所述车位线分割信息对所述环视拼接图进行角点坐标检测，得到所述环视拼接图中车辆周围的第一车位信息；
针对所述环视拼接图中的图像信息进行栅格化处理，采用预先训练的第二网络模型对所述环视拼接图中的栅格单位进行多任务检测，并汇总所述多任务检测的输出结果，得到所述环视拼接图中车辆周围的第二车位信息。
3.如权利要求2所述的方法，其特征在于，所述第一网络模型包括特征提取模块和检测头模块，所述采用预先训练的第一网络模型提取所述环视拼接图中的车位线分割信息，并利用所述车位线分割信息对所述环视拼接图进行角点坐标检测，得到所述环视拼接图中车辆周围的第一车位信息，包括：
采用所述特征提取模块对所述环视拼接图进行特征提取，得到所述环视特征图中包含的图像特征，并将所述环视特征图中包含的图像特征输入至所述检测头模块，生成表征车位线分割信息的二值图遮罩，所述二值图遮罩中真值部分表示分割出的车位线信息，其余部分表示背景信息；
利用所述二值图遮罩中分割出的车位线信息，对所述二值图遮罩进行角点检测，得到所述二值图遮罩中包含车位角点的像素坐标，并根据所述包含车位角点的像素坐标生成所述环视拼接图中车辆周围的第一车位信息。
4.如权利要求3所述的方法，其特征在于，在所述利用所述二值图遮罩中分割出的车位线信息，对所述二值图遮罩进行角点检测，得到所述二值图遮罩中包含车位角点的像素坐标，并根据所述包含车位角点的像素坐标生成所述环视拼接图中车辆周围的第一车位信息之前，所述方法还包括：
通过对所述二值图遮罩中分割出的车位线信息进行骨架抽离处理，以将多像素宽度的车位线信息细化为单像素宽度的车位线信息；
相应的，利用所述二值图遮罩中分割出的车位线信息，对所述二值图遮罩进行角点检测，得到所述二值图遮罩中包含车位角点的像素坐标，并根据所述包含车位角点的像素坐标生成所述环视拼接图中车辆周围的第一车位信息，包括：
利用单像素宽度的车位线信息，对骨架抽离处理的所述二值图遮罩进行角点检测，得到所述二值图遮罩中包含车位角点的像素坐标，并根据所述包含车位角点的像素坐标生成所述环视拼接图中车辆周围的第一车位信息。
5.如权利要求2所述的方法，其特征在于，所述第二网络模型中包括针对多个任务设置的检测头结构，每个检测头结构对应有检测逻辑，所述采用预先训练的第二网络模型对所述环视拼接图中的栅格单位进行多任务检测，并汇总所述多任务检测的输出结果，得到所述环视拼接图中车辆周围的第二车位信息，包括：
利用所述针对多个任务设置的检测头结构，按照所述每个检测头结构对应的检测逻辑对所述环视拼接图中的栅格单位进行信息预测，得到多个任务检测的输出结果；
通过相互约束的方式汇总所述多任务检测的输出结果，得到所述环视拼接图中车辆周围的第二车位信息。
6.如权利要求5所述的方法，其特征在于，所述利用所述针对多个任务设置的检测头结构，按照所述每个检测头结构对应的检测逻辑对所述环视拼接图中的栅格单位进行信息预测，得到多个任务检测的输出结果，包括：
使用第一检测头结构对所述环视拼接图中栅格单位内是否含有车位进行信息预测，输出所述环视拼接图中含有车位的栅格单位；
针对所述环视拼接图中含有车位的栅格单位，使用第二检测头结构对所述环视拼接图中栅格单位内车位是否含有车辆进行信息预测，输出所述环视拼接图中车位的占用情况；
针对所述环视拼接图中含有车位的栅格单位，使用第三检测头结构对所述环视拼接图中栅格单位内车位是否含有车位角点进行信息预测，输出所述环视拼接图中含有车位角点的栅格单位；
针对所述环视拼接图中含有车位角点的栅格单位，使用第四检测头结构对所述环视拼接图中栅格单位内车位角点进行信息预测，输出所述环视拼接图中车位角点的位置。
7.如权利要求1-6中任一项所述的方法，其特征在于，所述将所述第一车位信息与所述第二车位信息进行匹配融合，得到所述环视拼接图中的车位属性信息，包括：
以所述第二车位信息中的车位角点为圆心划定预设阈值为半径的融合圆，判断所述融合圆范围内是否存在第一车位信息中的车位角点；
若存在，则使用第一车位信息中的车位角点对所述第二车位信息中的车位角点进行坐标修正，并将修正后的第二车位信息作为所述环视拼接图中的车位属性信息，否则，使用第二车位信息作为所述环视拼接图中的车位属性信息。
8.如权利要求1-6中任一项所述的方法，其特征在于，当所述当前应用场景为闭环应用场景时，针对预设区域内的车位进入闭环应用场景的建图模式，所述利用所述环视拼接图中车位位置相对于车辆起始位置的实时位姿信息将所述环视拼接图中车位位置转换到车辆起始位置对应的坐标系下，并针对所述车辆起始位置对应的坐标系下的车位位置进行匹配，构建当前应用场景的车位地图，包括：
对所述环视拼接图中车位位置相对于车辆起始位置的实时位姿信息进行位姿变换，以将所述环视拼接图中车位位置转换到车辆起始位置对应的坐标系下，对所述车辆起始位置对应的坐标系下的车位位置采用欧氏距离进行相互匹配融合，创建局部车位地图，并针对所述局部车位地图设置序列号；
根据当前局部车位地图对应的序列号，遍历查询序列号与所述当前局部车位地图对应的序列号间隔预设数值的历史创建的局部车位地图，使用迭代就近法对所述历史创建的局部车位地图与所述当前局部车位地图中车位位置相对于车辆起始位置的实时位姿信息进行匹配，若在预设距离范围内存在匹配一致的局部车位地图，则将所述当前局部车位地图中车位位置确定为回环位置且已完成闭环建图；
当所述当前应用场景为非闭环应用场景时，针对车载通信设备并未预先存储有离线地图信息的情况，在车辆行驶过程中进入非闭环应用场景的建图模式，所述利用所述环视拼接图中车位位置相对于车辆起始位置的实时位姿信息将所述环视拼接图中车位位置转换到车辆起始位置对应的坐标系下，并针对所述车辆起始位置对应的坐标系下的车位位置进行匹配，构建当前应用场景的车位地图，包括：
利用所述环视拼接图中车位位置相对于车辆起始位置的实时位姿信息，对相邻两帧环视拼接图中车位位置使用迭代就近点法进行匹配，将匹配一致的车位位置转换到车辆起始位置对应的坐标系下，并针对所述车辆起始位置对应的坐标系下的车位位置进行匹配，完成非闭环建图。
9.如权利要求1-6中任一项所述的方法，其特征在于，在所述利用所述环视拼接图中车位位置相对于车辆起始位置的实时位姿信息将所述环视拼接图中车位位置转换到车辆起始位置对应的坐标系下，并针对所述车辆起始位置对应的坐标系下的车位位置进行匹配，构建当前应用场景的车位地图之后，所述方法还包括：
利用各环视拼接图中车位位置对应的实时位姿信息之间的相对位姿信息，对所述当前应用场景的车位地图进行图优化，以更新所述车位地图中的车位位置。
10.一种车位地图的构建装置，其特征在于，所述装置包括：
识别单元，用于获取采集设备所发送车辆周围的环视拼接图，并识别所述环视拼接图中车辆周围的第一车位信息和第二车位信息，所述第一车位信息为对所述环视拼接图进行车位线提取所得到，所述第二车位信息为对所述环视拼接图进行多任务检测所得到；
匹配融合单元，用于将所述第一车位信息与所述第二车位信息进行匹配融合，得到所述环视拼接图中的车位属性信息；
确定单元，用于实时获取车辆惯导信息，并结合所述车位属性信息确定所述环视拼接图中车位位置相对于车辆起始位置的实时位姿信息，所述车位属性信息与所述车辆惯导信息在时间上相对应；
构建单元，用于利用所述环视拼接图中车位位置相对于车辆起始位置的实时位姿信息将所述环视拼接图中车位位置转换到车辆起始位置对应的坐标系下，并针对所述车辆起始位置对应的坐标系下的车位位置进行匹配，构建当前应用场景的车位地图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210022809.9A CN114511632A (zh) | 2022-01-10 | 2022-01-10 | 车位地图的构建方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210022809.9A CN114511632A (zh) | 2022-01-10 | 2022-01-10 | 车位地图的构建方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114511632A true CN114511632A (zh) | 2022-05-17 |
Family
ID=81549179
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210022809.9A Pending CN114511632A (zh) | 2022-01-10 | 2022-01-10 | 车位地图的构建方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114511632A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114822216A (zh) * | 2022-06-23 | 2022-07-29 | 小米汽车科技有限公司 | 生成车位地图的方法、装置、车辆、存储介质及芯片 |
| CN114862945A (zh) * | 2022-05-20 | 2022-08-05 | 远峰科技股份有限公司 | 一种构建车位地图方法与装置 |
| CN114943954A (zh) * | 2022-07-21 | 2022-08-26 | 苏州魔视智能科技有限公司 | 一种车位检测方法、装置和系统 |
| CN116524457A (zh) * | 2023-03-13 | 2023-08-01 | 知行汽车科技(苏州)股份有限公司 | 车位识别方法、系统、装置、电子设备及可读存储介质 |
-
2022
- 2022-01-10 CN CN202210022809.9A patent/CN114511632A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114862945A (zh) * | 2022-05-20 | 2022-08-05 | 远峰科技股份有限公司 | 一种构建车位地图方法与装置 |
| CN114822216A (zh) * | 2022-06-23 | 2022-07-29 | 小米汽车科技有限公司 | 生成车位地图的方法、装置、车辆、存储介质及芯片 |
| CN114822216B (zh) * | 2022-06-23 | 2022-09-16 | 小米汽车科技有限公司 | 生成车位地图的方法、装置、车辆、存储介质及芯片 |
| CN114943954A (zh) * | 2022-07-21 | 2022-08-26 | 苏州魔视智能科技有限公司 | 一种车位检测方法、装置和系统 |
| CN116524457A (zh) * | 2023-03-13 | 2023-08-01 | 知行汽车科技(苏州)股份有限公司 | 车位识别方法、系统、装置、电子设备及可读存储介质 |
| CN116524457B (zh) * | 2023-03-13 | 2023-09-05 | 知行汽车科技(苏州)股份有限公司 | 车位识别方法、系统、装置、电子设备及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11393216B2 (en) | Method of computer vision based localisation and navigation and system for performing the same | |
| CN114511632A (zh) | 车位地图的构建方法及装置 | |
| Courbon et al. | Autonomous navigation of vehicles from a visual memory using a generic camera model | |
| CN110163930A (zh) | 车道线生成方法、装置、设备、系统及可读存储介质 | |
| CN109579856A (zh) | 高精度地图生成方法、装置、设备及计算机可读存储介质 | |
| CN109491375A (zh) | 用于自动驾驶车辆的基于驾驶场景的路径规划 | |
| CN109637177A (zh) | 车辆定位方法、装置、设备和存储介质 | |
| CN112740268B (zh) | 目标检测方法和装置 | |
| CN111986261B (zh) | 一种车辆定位方法、装置、电子设备及存储介质 | |
| JP6910081B2 (ja) | 協調走行を遂行する各車両から取得された各走行イメージを統合する方法及びこれを利用した走行イメージ統合装置 | |
| US11436815B2 (en) | Method for limiting object detection area in a mobile system equipped with a rotation sensor or a position sensor with an image sensor, and apparatus for performing the same | |
| CN111169468A (zh) | 一种自动泊车的系统及方法 | |
| CN111768489B (zh) | 一种室内导航地图构建方法和系统 | |
| CN113256716B (zh) | 一种机器人的控制方法及机器人 | |
| US20210064872A1 (en) | Object detecting system for detecting object by using hierarchical pyramid and object detecting method thereof | |
| CN114495568A (zh) | 一种泊车方法、设备、存储介质和泊车系统 | |
| CN115249266A (zh) | 航路点位置预测方法、系统、设备及存储介质 | |
| Nasr et al. | Landmark recognition for autonomous mobile robots | |
| Xu et al. | FRNet: Frustum-range networks for scalable LiDAR segmentation | |
| KR102249381B1 (ko) | 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 시스템 및 방법 | |
| CN111754388A (zh) | 一种建图方法及车载终端 | |
| Zürn et al. | Autograph: Predicting lane graphs from traffic observations | |
| Salah et al. | Summarizing large scale 3D mesh for urban navigation | |
| CN115752476B (zh) | 一种基于语义信息的车辆地库重定位方法、装置、设备和介质 | |
| Cimarelli et al. | A case study on the impact of masking moving objects on the camera pose regression with CNNs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |