CN113624223A - 一种室内停车场地图构建方法及装置 - Google Patents

一种室内停车场地图构建方法及装置 Download PDF

Info

Publication number
CN113624223A
CN113624223A CN202110874450.3A CN202110874450A CN113624223A CN 113624223 A CN113624223 A CN 113624223A CN 202110874450 A CN202110874450 A CN 202110874450A CN 113624223 A CN113624223 A CN 113624223A
Authority
CN
China
Prior art keywords
coordinate system
local map
current
map
semantic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110874450.3A
Other languages
English (en)
Inventor
李丰军
周剑光
马鑫军
秦洪洲
王珏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Automotive Innovation Co Ltd
Original Assignee
China Automotive Innovation Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Automotive Innovation Co Ltd filed Critical China Automotive Innovation Co Ltd
Priority to CN202110874450.3A priority Critical patent/CN113624223A/zh
Publication of CN113624223A publication Critical patent/CN113624223A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/383—Indoor data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003—Maps

Abstract

本文属于室内停车场地图构建技术领域，具体涉及室内停车场地图构建及装置，包括：对环视相机采集到的图像数据语义提取，得到语义像素点在当前车身坐标系下的坐标值；将每个语义像素点的坐标值转化为世界坐标系的坐标值；根据世界坐标系下的语义像素点的坐标值和预设间隔内的多个历史世界坐标系下的语义像素点的坐标值建立当前局部地图；利用激光雷达采集到历史里程计信息和当前里程计信息确定出历史局部地图与当前局部地图的相对位姿；当相对位姿小于预设位姿阈值且历史局部地图与当前局部地图的间隔大于预设索引值时，根据历史局部地图与当前局部地图构建室内停车场的全局地图。本申请的实施能够有效地解决在没有全局定位设备下的停车难题。

Description

一种室内停车场地图构建方法及装置
技术领域
本发明涉及室内停车场地图构建技术领域，特别涉及种室内停车场地图构建方法及装置。
背景技术
随着人工智能概念的兴起以及计算机视觉相关技术的成熟，无人设备和机器人技术受到越来越多的关注。在自动驾驶中自动驾驶模块如感知、决策、控制等都有着重要的作用，错误的定位信息将带来不可预估的后果。
特别是在室内停车场中，现有技术中可用的定位依赖的硬件有场端UWB、WIFI，车端的激光雷达、相机、惯性导航等。在场端安装如UWB、WIFI等设备需要对场端进行改造且设备需要预先在场端标记好位置信息。车端的激光雷达或者相机都能够提供一个相对的定位信息，但是单个设备都有其局限性，如激光雷达无法处理重复的纹理，相机只是二维信息，缺少深度值。
因此，如何利用激光雷达和环视相机完成室内停车场的地图构建，仍是一个值得研究的问题。
发明内容
为了解决上述技术问题，本文的具体技术方案如下：
一方面，本文提供一种室内停车场地图构建方法，所述方法应用于设置有激光雷达和环视相机的车辆中，所述方法包括：
对所述环视相机采集到的图像数据进行语义提取，获得所述图像数据中的每个语义像素点在当前车身坐标系下的坐标值；
基于所述激光雷达确定的里程计信息将当前车身坐标系下的每个所述语义像素点的坐标值转化为世界坐标系的坐标值，得到世界坐标系下的图像数据；
当检索到历史语义像素点的坐标值与当前语义像素点的坐标值小于预设距离阈值时，保存世界坐标系下的所述语义像素点的坐标值；
根据所述世界坐标系下的所述语义像素点的坐标值和预设间隔内的多个历史世界坐标系下的所述语义像素点的坐标值建立当前局部地图；
利用所述激光雷达采集到历史里程计信息和当前里程计信息确定出所述历史局部地图与所述当前局部地图的相对位姿；
当所述相对位姿小于预设位姿阈值且所述历史局部地图与所述当前局部地图的间隔大于预设索引值时，根据所述历史局部地图与所述当前局部地图构建室内停车场的全局地图。
进一步地，所述对所述环视相机采集到的图像数据进行语义提取，获得所述图像数据中的每个语义像素点在当前车身坐标系下的坐标值，之前还包括：
对所述激光雷达、所述环视相机和所述车辆的内参标定。
进一步地，所述环视相机包括多个鱼眼相机；
所述对所述环视相机采集到的图像数据进行语义提取，获得所述图像数据中的每个语义像素点在当前车身坐标系下的坐标值，包括：
将每个鱼眼相机采集到的鱼眼图像拼接得到中间图像数据；
所述环视相机和所述车辆的内参标定结果，将所述中间图像数据转换至当前车身坐标系下得到图像数据；
分别对每个鱼眼图像进行语义提取得到每个鱼眼图像的每个语义像素点；
将全部所述语义像素点投影至所述图像数据中，得到每个语义像素点在当前车身坐标系下的坐标值。
进一步地，所述将当前车身坐标系下的每个所述语义像素点的坐标值转化为世界坐标系的坐标值是根据如下公式确定的：
Figure BDA0003190114400000021
其中，
Figure BDA0003190114400000022
为世界坐标系下的语义像素点的坐标值，
Figure BDA0003190114400000023
为当前车身坐标系与世界坐标系的旋转矩阵，
Figure BDA0003190114400000031
为当前车身坐标系的语义像素点的坐标值，
Figure BDA0003190114400000032
为当前车身坐标系与世界坐标系的平移矩阵。
进一步地，所述当所述相对位姿小于预设位姿阈值且所述历史局部地图与所述当前局部地图间隔大于预设索引值时，根据所述历史局部地图与所述当前局部地图构建室内停车场的全局地图，包括：
当所述相对位姿小于预设位姿阈值且所述历史局部地图与所述当前局部地图的间隔大于预设索引值时，确定出所述历史局部地图和所述当前局部地图为回环候选对；
将所述回环候选对之间的图像数据及全部局部地图优化拼接得到室内停车场的全局地图
进一步地，所述将所述中间图像数据转换至当前车身坐标系下得到图像数据，是根据如下公式转换的：
Figure BDA0003190114400000033
其中，
Figure BDA0003190114400000034
为语义像素点，πc为鱼眼相机的投影矩阵，
Figure BDA0003190114400000035
为鱼眼相机坐标系到车体坐标系的变换矩阵，
Figure BDA0003190114400000036
为在车体坐标系下坐标值。
进一步地，所述方法还包括：
利用如下公式对所述室内停车场的全局地图优化：
Figure BDA0003190114400000037
其中，χ*＝[T0,T1,...,Tt-1 Tt]T为0到t时刻的局部地图转换至世界坐标系的变换矩阵，
Figure BDA0003190114400000038
为i和i+1时刻的相对变换矩阵，
Figure BDA0003190114400000039
为回环候选对k和j的相对变换矩阵，f为计算两个局部地图的相对关系函数，p为核函数方程。
另一方面，本发明提供一种室内停车场地图构建装置，所述装置包括：
坐标值确定模块，用于对所述环视相机采集到的图像数据进行语义提取，获得所述图像数据中的每个语义像素点在当前车身坐标系下的坐标值；
转换模块，用于基于所述激光雷达确定的里程计信息将当前车身坐标系下的每个所述语义像素点的坐标值转化为世界坐标系的坐标值，得到世界坐标系下的图像数据；
判断模块，用于当检索到历史语义像素点的坐标值与当前语义像素点的坐标值小于预设距离阈值时，保存世界坐标系下的所述语义像素点的坐标值；
当前局部地图确定模块，用于根据所述世界坐标系下的所述语义像素点的坐标值和预设间隔内的多个历史世界坐标系下的所述语义像素点的坐标值建立当前局部地图；
相对位姿确定模块，用于利用所述激光雷达采集到历史里程计信息和当前里程计信息确定出所述历史局部地图与所述当前局部地图的相对位姿；
全局地图构建模块，用于当所述相对位姿小于预设位姿阈值且所述历史局部地图与所述当前局部地图的间隔大于预设索引值时，根据所述历史局部地图与所述当前局部地图构建室内停车场的全局地图。
再一方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如上述所述室内停车场地图构建方法。
再一方面，本发明提供一种电子设备，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现如上述所述室内停车场地图构建方法。
采用上述技术方案，本文所述的一种基于毫米波雷达和双目相机的同时定位与建图方法，对环视相机采集到的图像数据进行语义提取，对所述环视相机采集到的图像数据进行语义提取，获得所述图像数据中的每个语义像素点在当前车身坐标系下的坐标值；基于所述激光雷达确定的里程计信息将当前车身坐标系下的每个所述语义像素点的坐标值转化为世界坐标系的坐标值，得到世界坐标系下的图像数据；当检索到历史语义像素点的坐标值与当前语义像素点的坐标值小于预设距离阈值时，保存世界坐标系下的所述语义像素点的坐标值；根据所述世界坐标系下的所述语义像素点的坐标值和预设间隔内的多个历史世界坐标系下的所述语义像素点的坐标值建立当前局部地图；利用所述激光雷达采集到历史里程计信息和当前里程计信息确定出所述历史局部地图与所述当前局部地图的相对位姿；当所述相对位姿小于预设位姿阈值且所述历史局部地图与所述当前局部地图的间隔大于预设索引值时，根据所述历史局部地图与所述当前局部地图构建室内停车场的全局地图，有效解决单个设备的应用的局限性，并结合停车场的特殊环境，提取强语义信息，从而能够有效地解决在没有全局定位设备如UWB、WIFI下的停车难题。
为让本文的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，做详细说明如下。
附图说明
为了更清楚地说明本文实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本文的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本文实施例中提供的一种室内停车场地图构建方法的步骤示意图；
图2示出了本文实施例中提供的另一种室内停车场地图构建方法的步骤示意图；
图3示出了本文实施例中一种室内停车场地图构建装置的结构示意图；
图4示出了本文实施例提供的一种室内停车场地图构建的电子设备的结构示意图。
具体实施方式
下面将结合本文实施例中的附图，对本文实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本文一部分实施例，而不是全部的实施例。基于本文中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本文保护的范围。
需要说明的是，本文的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本文的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了更好的解释本申请，现对激光雷达和毫米波雷达进行对比：
激光雷达特点：精度高，稳定性强。
但是激光雷达通过发射光束进行探测因此探测范围窄，光束受遮挡后就无法正常使用，因此在雨雪雾霾天，沙尘暴等恶劣天气不能开启，受环境影响大。并且没有穿透能力，探头必须完全外露才能达到探测效果，对于安装车辆来说影响车辆外形美观。因此，激光雷达防撞器在使用过程中局限性较大。
为了解决上述问题，本文实施例提供了一种室内停车场地图构建方法，图1示出了本文实施例中提供的一种室内停车场地图构建方法的步骤示意图，如图1所示，所述方法应用于设置有激光雷达和环视相机的车辆中，所述方法包括以下步骤：
步骤S102、对所述环视相机采集到的图像数据进行语义提取，获得所述图像数据中的每个语义像素点在当前车身坐标系下的坐标值。
在具体的实施过程中，在车辆运动过程中，可以通过设置在车辆上的多个鱼眼相机实时采集车辆周围的环境信息，如室内停车场地面上的引导线、停车线、减速带等。在本实施例中，鱼眼相机的个数可以是4个，分别用于采集车辆左前、左后、右前、右后的地面图像，其中鱼眼相机的相机视野朝下。
在上述实施例基础上，本说明书一个实施例中，所述对所述环视相机采集到的图像数据进行语义提取，获得所述图像数据中的每个语义像素点在当前车身坐标系下的坐标值，之前还包括：
对所述激光雷达、所述环视相机和所述车辆的内参标定。
内参的参数可以包括鱼眼相机内参数矩阵，畸变系数矩阵，各鱼眼相机与车体坐标系之间的变换矩阵。
在一些可能的实施例中，图2示出了本文实施例中提供的另一种室内停车场地图构建方法的步骤示意图，如图2所示，所述对所述环视相机采集到的图像数据进行语义提取，获得所述图像数据中的每个语义像素点在当前车身坐标系下的坐标值，包括：
步骤S302、将每个鱼眼相机采集到的鱼眼图像拼接得到中间图像数据；
具体的，鱼眼相机采集的图像存在畸变，可以预先对鱼眼相机的内参进行标定，利用标定后结果，对鱼眼相机采集的图像进行去畸变，鱼眼相机的坐标系存在一点P(x,y,z)，获得该点的去畸变过程可以通过如下步骤实现：
根据鱼眼相机的成像原理，可以求得未发生畸变时，点P的像点P0(a，b)，极坐标形式表示为
Figure BDA0003190114400000071
以及点P的投影入射角θ，实际由于畸变的存在，光线出射角θd≠θ，实际的像点为P′(x′,y′)，利用等距投影公式以及泰勒展开式，可以近似求得θd＝θ(1+k1θ2+k2θ4+k3θ8+k4θ8)，因为θd＝θ(1+k1θ2+k2θ4+k3θ8+k4θ8)，因为rd＝θd，所以点P′的极坐标为
Figure BDA0003190114400000072
从而求得笛卡尔坐标值x′＝(θd/r)a,y′＝(θd/r)b，最后根据鱼眼相机的内参将P′转换到像素坐标系：u＝fxx′+cx，v＝fyy′+cy。
将转换后的鱼眼图像利用特征匹配的方式将全部的鱼眼图像拼接得到中间图像数据。
其中，k1、k2、k3和k4是畸变参数，由鱼眼相机的标定结果提供。
可以理解的是，每个鱼眼图像均携带有时间戳，中间图像数据是由相同时间戳的多个鱼眼图像拼接成的。
步骤S304、利用所述激光雷达、所述环视相机和所述车辆的内参标定结果，将所述中间图像数据转换至当前车身坐标系下得到图像数据。
具体的，所述将所述中间图像数据转换至当前车身坐标系下得到图像数据，是根据如下公式转换的：
Figure BDA0003190114400000073
其中，
Figure BDA0003190114400000081
为语义像素点，πc为鱼眼相机的投影矩阵，
Figure BDA0003190114400000082
为鱼眼相机坐标系到车体坐标系的变换矩阵，
Figure BDA0003190114400000083
为在车体坐标系下坐标值。
步骤S306、分别对每个鱼眼图像进行语义提取得到每个鱼眼图像的每个语义像素点；
具体的，语义像素点可以利用预先建立的语义提取神经网络模型进行语义提取，
具体地，可以建立预先建立的语义提取神经网络模型，预先建立的语义提取神经网络模型中包括多个模型参数，模型参数可以表示约束条件，具体可以根据专家经验等进行设置。可以利用历史用鱼眼图像，对语义提取神经网络模型进行模型训练，历史鱼眼图像中可以包括至少一个语义像素点(如：引导线、停车线、减速带)。将历史鱼眼图像作为语义提取神经网络模型的输入，将历史鱼眼图像中的语义像素点作为输出，对语义提取神经网络模型中的模型参数进行不断的调整，直至语义提取神经网络模型达到预设要求如:满足预设精度、模型参数调整次数满足预设次数要求，则完成模型训练。具体可以参考机器学习算法如:GBDT(Gradient Boosting Decision Tree，梯度提升决策树)算法等进行模型训练。
基于历史鱼眼图像进行模型训练，构建语义提取神经网络模型，语义提取神经网络模型可以识别出每个鱼眼图像中的语义像素点，可以提高语义提取确定的准确性。
步骤S308、将全部所述语义像素点投影至所述图像数据中，得到每个语义像素点在当前车身坐标系下的坐标值。
具体的，并将这些语义像素点投影到车体坐标系下，可以通过如下公式实现：
Figure BDA0003190114400000084
其中
Figure BDA0003190114400000085
为相机语义像素点，πc为相机的投影矩阵，
Figure BDA0003190114400000086
为相机坐标系到车体坐标系的变换矩阵，
Figure BDA0003190114400000087
为在车体坐标系下坐标值，λ为语义像素点的尺度信息。
其中，语义像素点可以采用特征向量的形式体现。
步骤S104、基于所述激光雷达确定的里程计信息将当前车身坐标系下的每个所述语义像素点的坐标值转化为世界坐标系的坐标值，得到世界坐标系下的图像数据。
在具体的实施过程中，激光雷达采集的数据可以采用NDT匹配算法可以得到
Figure BDA0003190114400000091
将当前车身坐标系下的每个所述语义像素点的坐标值转化为世界坐标系的坐标值是根据如下公式确定的：
Figure BDA0003190114400000092
其中，
Figure BDA0003190114400000093
为世界坐标系下的语义像素点的坐标值，
Figure BDA0003190114400000094
为当前车身坐标系与世界坐标系的旋转矩阵，
Figure BDA0003190114400000095
为当前车身坐标系的语义像素点的坐标值，
Figure BDA0003190114400000096
为当前车身坐标系与世界坐标系的平移矩阵。
步骤S106、当检索到历史语义像素点的坐标值与当前语义像素点的坐标值小于预设距离阈值时，保存世界坐标系下的所述语义像素点的坐标值。
在具体的实施过程中，可以利用kd-tree算法检索历史局部地图中的语义像素点的坐标值。
步骤S108、根据所述世界坐标系下的所述语义像素点的坐标值和预设间隔内的多个历史世界坐标系下的所述语义像素点的坐标值建立当前局部地图。
在具体的实施过程中，由于世界坐标系的原点是固定的，因此可以将保存的世界坐标系下的语义像素点的坐标值全部投影至世界坐标系中，以构建当前局部地图。
可以理解的是，预设间隔内的多个历史世界坐标系下的所述语义像素点可以根据实际需要进行设置，在本说明书实施例中不做具体限定，预设间隔内的多个历史世界坐标系下的所述语义像素点可以是构建当前局部地图的限定值。
可以理解的是，当前局部地图可以是在世界坐标系下包括全部语义像素点及每个语义像素点对应的尺度信息的图像数据。
需要说明的是，世界坐标系可以是车辆在启动时或在室内停车场的全局地图开始构建时车辆所在的坐标系。
步骤S108、利用所述激光雷达采集到历史里程计信息和当前里程计信息确定出所述历史局部地图与所述当前局部地图的相对位姿。
在具体的实施过程中，两个局部地图之间的相对关系初值可利用其在前端计算得到的全局值计算，公式如下所示：
Figure BDA0003190114400000101
以
Figure BDA0003190114400000102
为相对位姿，利用NDT匹配算法可以得到i(当前局部地图)，j(历史局部地图)两个局部地图的相对位姿。
其中，预设距离阈值表征相邻的图像数据是否相关，即相邻的图像数据中具有多个相同的语义特征点。
步骤S108、当所述相对位姿小于预设位姿阈值且所述历史局部地图与所述当前局部地图的间隔大于预设索引值时，根据所述历史局部地图与所述当前局部地图构建室内停车场的全局地图。
在具体的实施过程中，预设位姿阈值可以表征相对位姿对应的两个车辆所在的位置是接近的。预设索引值在本说明书实施例中不做具体限定。
需要说明的是，每个局部地图均具有索引值，即在车辆行进过程中，拼接的每张当前局部地图携带的标签参数，标签参数可以是数字，用于表征当前局部地图的顺序。
所述当所述相对位姿小于预设位姿阈值且所述历史局部地图与所述当前局部地图间隔大于预设索引值时，根据所述历史局部地图与所述当前局部地图构建室内停车场的全局地图，包括：
当所述相对位姿小于预设位姿阈值且所述历史局部地图与所述当前局部地图的间隔大于预设索引值时，确定出所述历史局部地图和所述当前局部地图为回环候选对；
将所述回环候选对之间的图像数据及全部局部地图优化拼接得到室内停车场的全局地图
在具体的实施过程中，在车辆行进过程中，以局部地图的位置坐标系为参考值，定时检测当两个局部地图的位置接近且索引值的差值大于预设索引值时，则可确定出所述历史局部地图和所述当前局部地图为回环候选对，同样利用
Figure BDA0003190114400000111
的逻辑可以得到这一对回环候选对的相对位姿，基于历史局部地图、中间局部地图和当前局部地图则可确定出室内停车场的全局地图。可以理解的是，当前局部地图和历史局部地图之间可以存在多个中间局部地图，
在构建室内停车场的全局地图后可以利用如下公式可以对室内停车场的全局地图后进行优化，以消除室内停车场的全局地图后中语义像素点坐标值的误差：
Figure BDA0003190114400000112
其中，χ*＝[T0,T1,...,Tt-1 Tt]T，为0到t时刻的变换矩阵，
Figure BDA0003190114400000113
为i和i+1时刻的相对变换矩阵，
Figure BDA0003190114400000114
为回环候选k和j的相对变换矩阵，f为计算两局部地图的相对关系函数，p为核函数方程，通过这个大的图优化后就可以得到一个相对比较精确的定位了。
在上述实施例基础上，本说明书一个实施例中，图3示出了本文实施例中提供的又一种室内停车场地图构建方法的步骤示意图，如图3所示，所述方法还包括：
步骤S702、获取当前车辆的相邻图像数据的变换矩阵。
步骤S704、根据所述相邻图像数据的变换矩阵在所述室内停车场的全局地图中确定所述当前车辆的位置。
在实际应用中，事先已经建立好相邻局部地图间的位姿变化情况，因此在获取到车辆相邻图像数据的变换矩阵后，可以根据所述相邻图像数据的变换矩阵在所述室内停车场的全局地图中确定所述当前车辆的位置。
本说明书实施例提供的室内停车场地图构建方法有效解决单个设备的应用的局限性，并结合停车场的特殊环境，提取强语义信息，从而能够有效地解决在没有全局定位设备如UWB、WIFI下的停车难题。
另一方面，本发明提供一种室内停车场地图构建装置，图3示出了本文实施例中一种室内停车场地图构建装置的结构示意图，如图3所示，所述装置可以包括：
坐标值确定模块11，用于对所述环视相机采集到的图像数据进行语义提取，获得所述图像数据中的每个语义像素点在当前车身坐标系下的坐标值；
转换模块12，用于基于所述激光雷达确定的里程计信息将当前车身坐标系下的每个所述语义像素点的坐标值转化为世界坐标系的坐标值，得到世界坐标系下的图像数据；
判断模块13，用于当检索到历史语义像素点的坐标值与当前语义像素点的坐标值小于预设距离阈值时，保存世界坐标系下的所述语义像素点的坐标值；
当前局部地图确定模块14，用于根据所述世界坐标系下的所述语义像素点的坐标值和预设间隔内的多个历史世界坐标系下的所述语义像素点的坐标值建立当前局部地图；
相对位姿确定模块15，用于利用所述激光雷达采集到历史里程计信息和当前里程计信息确定出所述历史局部地图与所述当前局部地图的相对位姿；
全局地图构建模块16，用于当所述相对位姿小于预设位姿阈值且所述历史局部地图与所述当前局部地图的间隔大于预设索引值时，根据所述历史局部地图与所述当前局部地图构建室内停车场的全局地图。
另一方面，本说明书实施例一种计算机可读存储介质，所述存储介质中存储有至少一条指令或者至少一段程序，所述至少一条指令或者至少一段程序由处理器加载并执行以实现如上述所述的基于毫米波雷达和双目相机的同时定位与建图方法。
再一方面，本说明书实施例提供一种室内停车场地图构建装置的电子设备，图4示出了本文实施例提供的一种室内停车场地图构建的电子设备的结构示意图，如图4所示，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或者至少一段程序，所述至少一条指令或者至少一段程序由所述处理器加载并执行以实现如上述任一所述的室内停车场地图构建装置。
由于室内停车场地图构建装置、计算机可读存储介质及室内停车场地图构建设备与室内停车场地图构建装置方法的技术效果相同，在此不在赘述。
另一方面，本申请提供一种车辆，所述车辆设置有自动驾驶系统，所述自动驾驶系统包括室内停车场地图构建装置；其中，所述室内停车场地图构建装置包括转换模块、判断模块、当前局部地图确定模块、相对位姿确定模块及全局地图构建模块。
其中，转换模块，用于基于所述激光雷达确定的里程计信息将当前车身坐标系下的每个所述语义像素点的坐标值转化为世界坐标系的坐标值，得到世界坐标系下的图像数据；
判断模块，用于当检索到历史语义像素点的坐标值与当前语义像素点的坐标值小于预设距离阈值时，保存世界坐标系下的所述语义像素点的坐标值；
当前局部地图确定模块，用于根据所述世界坐标系下的所述语义像素点的坐标值和预设间隔内的多个历史世界坐标系下的所述语义像素点的坐标值建立当前局部地图；
相对位姿确定模块，用于利用所述激光雷达采集到历史里程计信息和当前里程计信息确定出所述历史局部地图与所述当前局部地图的相对位姿；
全局地图构建模块，用于当所述相对位姿小于预设位姿阈值且所述历史局部地图与所述当前局部地图的间隔大于预设索引值时，根据所述历史局部地图与所述当前局部地图构建室内停车场的全局地图。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。本发明实施例所提供测试方法，其实现原理及产生的技术效果和前述系统实施例相同，为简要描述，方法实施例部分未提及之处，可参考前述系统实施例中相应内容。
应理解，在本文的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本文实施例的实施过程构成任何限定。
还应理解，在本文实施例中，术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本文的范围。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本文所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本文实施例方案的目的。
另外，在本文各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本文的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本文各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本文中应用了具体实施例对本文的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本文的方法及其核心思想；同时，对于本领域的一般技术人员，依据本文的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本文的限制。

Claims (10)

1.一种室内停车场地图构建方法，其特征在于，所述方法应用于设置有激光雷达和环视相机的车辆中，所述方法包括：
对所述环视相机采集到的图像数据进行语义提取，获得所述图像数据中的每个语义像素点在当前车身坐标系下的坐标值；
基于所述激光雷达确定的里程计信息将当前车身坐标系下的每个所述语义像素点的坐标值转化为世界坐标系的坐标值，得到世界坐标系下的图像数据；
当检索到历史语义像素点的坐标值与当前语义像素点的坐标值小于预设距离阈值时，保存世界坐标系下的所述语义像素点的坐标值；
根据所述世界坐标系下的所述语义像素点的坐标值和预设间隔内的多个历史世界坐标系下的所述语义像素点的坐标值建立当前局部地图；
利用所述激光雷达采集到历史里程计信息和当前里程计信息确定出所述历史局部地图与所述当前局部地图的相对位姿；
当所述相对位姿小于预设位姿阈值且所述历史局部地图与所述当前局部地图的间隔大于预设索引值时，根据所述历史局部地图与所述当前局部地图构建室内停车场的全局地图。
2.根据权利要求1所述室内停车场地图构建方法，其特征在于，所述对所述环视相机采集到的图像数据进行语义提取，获得所述图像数据中的每个语义像素点在当前车身坐标系下的坐标值，之前还包括：
对所述激光雷达、所述环视相机和所述车辆的内参标定。
3.根据权利要求1所述室内停车场地图构建方法，其特征在于，所述环视相机包括多个鱼眼相机；
所述对所述环视相机采集到的图像数据进行语义提取，获得所述图像数据中的每个语义像素点在当前车身坐标系下的坐标值，包括：
将每个鱼眼相机采集到的鱼眼图像拼接得到中间图像数据；
所述环视相机和所述车辆的内参标定结果，将所述中间图像数据转换至当前车身坐标系下得到图像数据；
分别对每个鱼眼图像进行语义提取得到每个鱼眼图像的每个语义像素点；
将全部所述语义像素点投影至所述图像数据中，得到每个语义像素点在当前车身坐标系下的坐标值。
4.根据权利要求3所述室内停车场地图构建方法，其特征在于，所述将当前车身坐标系下的每个所述语义像素点的坐标值转化为世界坐标系的坐标值是根据如下公式确定的：
Figure FDA0003190114390000021
其中，
Figure FDA0003190114390000022
为世界坐标系下的语义像素点的坐标值，
Figure FDA0003190114390000023
为当前车身坐标系与世界坐标系的旋转矩阵，
Figure FDA0003190114390000024
为当前车身坐标系的语义像素点的坐标值，
Figure FDA0003190114390000025
为当前车身坐标系与世界坐标系的平移矩阵。
5.根据权利要求1所述室内停车场地图构建方法，其特征在于，所述当所述相对位姿小于预设位姿阈值且所述历史局部地图与所述当前局部地图间隔大于预设索引值时，根据所述历史局部地图与所述当前局部地图构建室内停车场的全局地图，包括：
当所述相对位姿小于预设位姿阈值且所述历史局部地图与所述当前局部地图的间隔大于预设索引值时，确定出所述历史局部地图和所述当前局部地图为回环候选对；
将所述回环候选对之间的图像数据及全部局部地图优化拼接得到室内停车场的全局地图。
6.根据权利要求3所述室内停车场地图构建方法，其特征在于，所述将所述中间图像数据转换至当前车身坐标系下得到图像数据，是根据如下公式转换的：
Figure FDA0003190114390000026
其中，
Figure FDA0003190114390000031
为语义像素点，πc为鱼眼相机的投影矩阵，
Figure FDA0003190114390000032
为鱼眼相机坐标系到车体坐标系的变换矩阵，
Figure FDA0003190114390000033
为在车体坐标系下坐标值。
7.根据权利要求5所述室内停车场地图构建方法，其特征在于，所述方法还包括：
利用如下公式对所述室内停车场的全局地图优化：
Figure FDA0003190114390000034
其中，χ*＝[T0,T1,...,Tt-1 Tt]T为0到t时刻的局部地图转换至世界坐标系的变换矩阵，
Figure FDA0003190114390000035
为i和i+1时刻的相对变换矩阵，
Figure FDA0003190114390000036
为回环候选对k和j的相对变换矩阵，f为计算两个局部地图的相对关系函数，p为核函数方程。
8.一种室内停车场地图构建装置，其特征在于，所述装置包括：
坐标值确定模块，用于对环视相机采集到的图像数据进行语义提取，获得所述图像数据中的每个语义像素点在当前车身坐标系下的坐标值；
转换模块，用于基于激光雷达确定的里程计信息将当前车身坐标系下的每个所述语义像素点的坐标值转化为世界坐标系的坐标值，得到世界坐标系下的图像数据；
判断模块，用于当检索到历史语义像素点的坐标值与当前语义像素点的坐标值小于预设距离阈值时，保存世界坐标系下的所述语义像素点的坐标值；
当前局部地图确定模块，用于根据所述世界坐标系下的所述语义像素点的坐标值和预设间隔内的多个历史世界坐标系下的所述语义像素点的坐标值建立当前局部地图；
相对位姿确定模块，用于利用所述激光雷达采集到历史里程计信息和当前里程计信息确定出所述历史局部地图与所述当前局部地图的相对位姿；
全局地图构建模块，用于当所述相对位姿小于预设位姿阈值且所述历史局部地图与所述当前局部地图的间隔大于预设索引值时，根据所述历史局部地图与所述当前局部地图构建室内停车场的全局地图。
9.一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如权利要求1-7中任一项所述室内停车场地图构建方法。
10.一种电子设备，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现如权利要求1-7中任一项所述室内停车场地图构建方法。
CN202110874450.3A 2021-07-30 2021-07-30 一种室内停车场地图构建方法及装置 Pending CN113624223A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110874450.3A CN113624223A (zh) 2021-07-30 2021-07-30 一种室内停车场地图构建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110874450.3A CN113624223A (zh) 2021-07-30 2021-07-30 一种室内停车场地图构建方法及装置

Publications (1)

Publication Number Publication Date
CN113624223A true CN113624223A (zh) 2021-11-09

Family

ID=78381900

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110874450.3A Pending CN113624223A (zh) 2021-07-30 2021-07-30 一种室内停车场地图构建方法及装置

Country Status (1)

Country Link
CN (1) CN113624223A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359410A (zh) * 2022-01-10 2022-04-15 杭州巨岩欣成科技有限公司 泳池防溺水多相机空间融合方法、装置、计算机设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107677279A (zh) * 2017-09-26 2018-02-09 上海思岚科技有限公司 一种定位建图的方法及系统
CN108337915A (zh) * 2017-12-29 2018-07-27 深圳前海达闼云端智能科技有限公司 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品
CN108680177A (zh) * 2018-05-31 2018-10-19 安徽工程大学 基于啮齿类动物模型的同步定位与地图构建方法及装置
WO2019169540A1 (zh) * 2018-03-06 2019-09-12 斯坦德机器人（深圳）有限公司 紧耦合视觉slam的方法、终端及计算机可读存储介质
CN111486855A (zh) * 2020-04-28 2020-08-04 武汉科技大学 一种具有物体导航点的室内二维语义栅格地图构建方法
CN112197764A (zh) * 2020-12-07 2021-01-08 广州极飞科技有限公司 实时位姿确定方法、装置及电子设备
CN112734845A (zh) * 2021-01-08 2021-04-30 浙江大学 一种融合场景语义的室外单目同步建图与定位方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107677279A (zh) * 2017-09-26 2018-02-09 上海思岚科技有限公司 一种定位建图的方法及系统
CN108337915A (zh) * 2017-12-29 2018-07-27 深圳前海达闼云端智能科技有限公司 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品
WO2019169540A1 (zh) * 2018-03-06 2019-09-12 斯坦德机器人（深圳）有限公司 紧耦合视觉slam的方法、终端及计算机可读存储介质
CN108680177A (zh) * 2018-05-31 2018-10-19 安徽工程大学 基于啮齿类动物模型的同步定位与地图构建方法及装置
CN111486855A (zh) * 2020-04-28 2020-08-04 武汉科技大学 一种具有物体导航点的室内二维语义栅格地图构建方法
CN112197764A (zh) * 2020-12-07 2021-01-08 广州极飞科技有限公司 实时位姿确定方法、装置及电子设备
CN112734845A (zh) * 2021-01-08 2021-04-30 浙江大学 一种融合场景语义的室外单目同步建图与定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘会平;: "基于全局视图的车辆辅助导航", 科技视界, no. 04, pages 223 - 224 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359410A (zh) * 2022-01-10 2022-04-15 杭州巨岩欣成科技有限公司 泳池防溺水多相机空间融合方法、装置、计算机设备及存储介质
CN114359410B (zh) * 2022-01-10 2024-04-19 杭州巨岩欣成科技有限公司 泳池防溺水多相机空间融合方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN110988912B (zh) 自动驾驶车辆的道路目标与距离检测方法、系统、装置
CN112270249B (zh) 一种融合rgb-d视觉特征的目标位姿估计方法
CN110032949B (zh) 一种基于轻量化卷积神经网络的目标检测与定位方法
EP3690482A1 (en) Learning method and learning device for integrating an image acquired by a camera and a point-cloud map acquired by radar or lidar in a neural network and testing method and testing device using the same
CN110325818B (zh) 经由多模融合的联合3d对象检测和取向估计
US20190236414A1 (en) FPGA Device for Image Classification
CN110796692A (zh) 用于同时定位与建图的端到端深度生成模型
DE102018205915A1 (de) Monokulare Lokalisierung in städtischen Umgebungen unter Verwendung von Straßenmarkierungen
EP3686775B1 (en) Method for detecting pseudo-3d bounding box based on cnn capable of converting modes according to poses of objects using instance segmentation
CN112465970B (zh) 导航地图构建方法、装置、系统、电子装置和存储介质
CN114022830A (zh) 一种目标确定方法以及目标确定装置
CN111860072A (zh) 泊车控制方法、装置、计算机设备及计算机可读存储介质
CN113936139A (zh) 一种视觉深度信息与语义分割相结合的场景鸟瞰图重构方法及系统
CN112348921A (zh) 一种基于视觉语义点云的建图方法及系统
CN112861755B (zh) 一种目标多类别实时分割方法及系统
US11703596B2 (en) Method and system for automatically processing point cloud based on reinforcement learning
CN117058646B (zh) 基于多模态融合鸟瞰图的复杂道路目标检测方法
CN114841910A (zh) 车载镜头遮挡识别方法及装置
CN114295139A (zh) 一种协同感知定位方法及系统
CN114419605B (zh) 基于多网联车空间对齐特征融合的视觉增强方法及系统
CN116434088A (zh) 基于无人机航拍图像的车道线检测及车道辅助保持方法
EP3686776B1 (en) Method for detecting pseudo-3d bounding box to be used for military purpose, smart phone or virtual driving based on cnn capable of converting modes according to conditions of objects
CN113624223A (zh) 一种室内停车场地图构建方法及装置
CN115346184A (zh) 一种车道信息检测方法、终端及计算机存储介质
CN114972945A (zh) 多机位信息融合的车辆识别方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination