CN115546303A - 室内停车场的定位方法、装置、车辆及存储介质 - Google Patents

室内停车场的定位方法、装置、车辆及存储介质 Download PDF

Info

Publication number
CN115546303A
CN115546303A CN202211288245.XA CN202211288245A CN115546303A CN 115546303 A CN115546303 A CN 115546303A CN 202211288245 A CN202211288245 A CN 202211288245A CN 115546303 A CN115546303 A CN 115546303A
Authority
CN
China
Prior art keywords
vehicle
pose
semantic
map
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211288245.XA
Other languages
English (en)
Inventor
闫耀威
彭祥军
林鑫余
康轶非
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Changan Automobile Co Ltd
Original Assignee
Chongqing Changan Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Changan Automobile Co Ltd filed Critical Chongqing Changan Automobile Co Ltd
Priority to CN202211288245.XA priority Critical patent/CN115546303A/zh
Publication of CN115546303A publication Critical patent/CN115546303A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及车辆泊车技术领域，特别涉及一种室内停车场的定位方法、装置、车辆及存储介质，其中，方法包括以下步骤：获取车辆周围的环境图像；提取环境图像中车辆周围停车位的至少一个坐标语义特征，以坐标语义特征为索引，查询预先构建得到的全局语义地图，得到与坐标语义特征匹配的目标特征，其中，全局语义地图基于停车位的坐标语义特征预先构建得到；根据目标特征定位车辆的初始位置根据车辆的当前加速度和当前角速度修正初始位姿，得到车辆在室内停车的实际位置。由此，解决了视觉SLAM建图精度低，算法计算复杂，在车辆计算资源受限时，计算效率低，导致车辆在室内停车场的定位精度较低的等问题。

Description

室内停车场的定位方法、装置、车辆及存储介质
技术领域
本申请涉及车辆泊车技术领域，特别涉及一种室内停车场的定位方法、装置、车辆及存储介质。
背景技术
由于室内停车场区域狭窄，视线不明，因此因泊车问题导致的交通拥堵和交通事故等现象仍有发生。为了更好的实现自动泊车技术，停车场SLAM(SimultaneousLocalization and Mapping，即时定位与地图构建)建图的精度要求越来越高。
相关技术中，停车场SLAM建图经常会出现特征匹配失败、跟踪丢失等现象，导致SLAM的精度较低，此外，SLAM建图中的视觉SLAM由于算法复杂，导致在车辆计算资源受限时，计算效率较低；由此，导致车辆在室内停车场的定位精度较低。
发明内容
本申请提供一种室内停车场的定位方法、装置、车辆及存储介质，以解决相关技术中停车场SLAM建图精度低且计算效率低，导致车辆在室内停车场的定位精度较低等问题。
本申请第一方面实施例提供一种室内停车场的定位方法，包括以下步骤：获取车辆周围的环境图像；提取所述环境图像中所述车辆周围停车位的至少一个坐标语义特征，以所述坐标语义特征为索引，查询预先构建得到的全局语义地图，得到与所述坐标语义特征匹配的目标特征，其中，所述全局语义地图基于停车位的坐标语义特征预先构建得到；根据所述目标特征定位所述车辆的初始位置根据所述车辆的当前加速度和当前角速度修正所述初始位姿，得到所述车辆在室内停车的实际位置。
根据上述技术手段，本申请实施例可以使用停车位角点信息的语义特征构建语义地图，由于角点信息占用计算资源更少，因此可以提升构图的效率和鲁棒性，且在构建完成语义地图之后，可以结合语义特征、加速度和当前角速度共同实现室内的实时定位，提升了室内定位的精度，有效解决了无人车在室内停车场环境下行驶安全性低的问题。
可选地，所述全局语义地图基于停车位的坐标语义特征预先构建得到，包括：获取测试车辆周围任意时刻的环境图像；提取每个时刻所述环境图像中所述车辆周围停车位的至少一个坐标语义特征，并基于每个时刻的坐标语义特征构建一帧局部语义地图，并对每帧局部语义地图进行回环检测和位姿图优化，生成所述全局语义地图。
根据上述技术手段，本申请实施例通过对车辆周边停车位的坐标语义特征构建局部语义地图，并通过局部语义地图生成全局语义地图，对建图环境更具有适配性，从而可以基于语义特征构建室内停车场的语义地图，有效改善了停车场SLAM建图精度较低的问题，提升了SLAM建图的精度。
可选地，所述对每帧局部语义地图进行回环检测和位姿图优化，生成所述全局语义地图，包括：将每帧局部语义地图通过滑动窗口进行局部优化，随着窗口的移动，每隔预设位移的帧为预设关键帧，其他帧为预设普通帧，并计算相邻两个关键帧之间的位姿矩阵；对所述预设关键帧进行回环检测，得到回环检测的结果，基于所述位姿矩阵回环检测的结果进行位姿图优化，得到所述全局语义地图。
根据上述技术手段，本申请实施例可以对显示停车位的局部语义地图通过融合回环检测和位姿优化的方法生成全局语义地图，降低了视觉SLAM建图的复杂度，使位姿优化更加高效，提高了SLAM建图的精度，减少误差。
可选地，基于所述位姿矩阵回环检测的结果进行位姿图优化之后，还包括：识别每帧局部语义地图得到初始位姿数据；根据所述初始位姿数据检测所述预设关键帧的位姿变化值是否大于预设值，并在所述位姿变化值大于所述预设值时，根据所述位姿矩阵更新所述相邻两个关键帧预设范围内的预设普通帧的位姿矩阵。
根据上述技术手段，本申请实施例在根据位姿矩阵回环检测的结果进行位姿优化之后，还需要检测位姿发生较大变化的关键帧，并通过相对位姿矩阵更新其周围普通帧的位姿矩阵，消除了里程计的累计误差，提高了定位的精确度。
可选地，在查询预先构建得到的全局语义地图之前，包括：获取所述车辆当前所在区域；根据所述当前所在区域匹配得到所述当前所在区域的室内停车场的全局语义地图。
根据上述技术手段，本申请实施例可以通过获取车辆当前所在区域匹配所相对应的室内停车场的全局语义地图，能够精确获取预先构建的全局语义地图，增加了室内停车场SLAM建图的实时性。
本申请第二方面实施例提供一种室内停车场的定位装置，包括：获取模块，用于获取车辆周围的环境图像；查询模块，用于提取所述环境图像中所述车辆周围停车位的至少一个坐标语义特征，以所述坐标语义特征为索引，查询预先构建得到的全局语义地图，得到与所述坐标语义特征匹配的目标特征，其中，所述全局语义地图基于停车位的坐标语义特征预先构建得到；定位模块，用于根据所述目标特征定位所述车辆的初始位置，并根据所述车辆的当前加速度和当前角速度修正所述初始位姿，得到所述车辆在室内停车的实际位置。。
可选地，还包括：构建模块，用于获取测试车辆周围任意时刻的环境图像；提取每个时刻所述环境图像中所述车辆周围停车位的至少一个坐标语义特征，并基于每个时刻的坐标语义特征构建一帧局部语义地图，并对每帧局部语义地图进行回环检测和位姿图优化，生成所述全局语义地图。
可选地，所述构建模块进一步用于：将每帧局部语义地图通过滑动窗口进行局部优化，随着窗口的移动，每隔预设位移的帧为预设关键帧，其他帧为预设普通帧，并计算相邻两个关键帧之间的位姿矩阵；对所述预设关键帧进行回环检测，得到回环检测的结果，基于所述位姿矩阵回环检测的结果进行位姿图优化，得到所述全局语义地图。
本申请第三方面实施例提供一种车辆，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的一种室内停车场的定位方法。
本申请第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的一种室内停车场的定位方法。
由此，本申请至少具有如下有益效果：
(1)本申请实施例可以使用停车位角点信息的语义特征构建语义地图，由于角点信息占用计算资源更少，因此可以提升构图的效率和鲁棒性，且在构建完成语义地图之后，可以结合语义特征、加速度和当前角速度共同实现室内的实时定位，提升了室内定位的精度，有效解决了无人车在室内停车场环境下行驶安全性低的问题；
(2)本申请实施例通过对车辆周边停车位的坐标语义特征构建局部语义地图，并通过局部语义地图生成全局语义地图，对建图环境更具有适配性，从而可以基于语义特征构建室内停车场的语义地图，有效改善了停车场SLAM建图精度较低的问题，提升了SLAM建图的精度；
(3)本申请实施例可以对显示停车位的局部语义地图通过融合回环检测和位姿优化的方法生成全局语义地图，降低了视觉SLAM建图的复杂度，使位姿优化更加高效，提高了SLAM建图的精度，减少误差；
(4)本申请实施例在根据位姿矩阵回环检测的结果进行位姿优化之后，还需要检测位姿发生较大变化的关键帧，并通过相对位姿矩阵更新其周围普通帧的位姿矩阵，消除了里程计的累计误差，提高了定位的精确度；
(5)本申请实施例可以通过获取车辆当前所在区域匹配所相对应的室内停车场的全局语义地图，能够精确获取预先构建的全局语义地图，增加了室内停车场SLAM建图的实时性。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请实施例提供的室内停车场的定位方法的整体框架图；
图2为根据本申请实施例提供的室内停车场的定位方法的建图框架图；
图3为根据本申请实施例提供的室内停车场的定位方法的里程计框架图；
图4为根据本申请实施例提供的一种室内停车场的定位方法的流程图；
图5为根据本申请实施例提供的高效位姿优化方法生成停车位的框架图；
图6为根据本申请实施例提供的停车位语义地图的示意图；
图7为根据本申请实施例提供的室内停车场的定位装置的方框图；
图8为根据本申请实施例提供的车辆的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
由于室内停车场区域狭窄，视线不明，故因泊车问题导致的交通拥挤和交通事故等现象时有发生。为了更好的实现自动泊车技术，停车场SLAM建图的精度要求越来越高。传统的停车场SLAM(即时定位与地图构建)建图经常会出现特征匹配失败，跟踪丢失等现象，使得SLAM的精度较低。此外，由于时间和空间的移动，同一区域的特征信息也会有所差别，这使得很难基于外观的地图重新定位车辆。
SLAM建图可分为视觉SLAM和激光SLAM，激光SLAM受到激光雷达成本的制约，难以实现量产；视觉SLAM由于采集的数据更加丰富，相机的成本较低，一直受到青睐，但视觉SLAM技术较为复杂，对计算机的要求更高，并且视觉SLAM的精度问题一直备受关注。
相关技术中使用激光雷达信息构建室内环境平面栅格地图，获取室内环境的三维点云信息以及室内环境中存在的物体的类别语义标签，空间位置及大小，计算所有空间物体的三维包围盒，将所有空间物体的包围盒投影到平面栅格地图上，构建出室内语义地图，而本申请则使用效率更高的停车位角点信息制作语义地图，这在算力要求和系统的鲁棒性上优于相关技术。
相关技术中基于视觉语义分割技术的车辆实时定位方法，标定全景环视相机的内外参数，用于获取车辆的全景拼接图像，并获取图像中物体与车辆的位置关系；训练语义分割模型；实时采集相机图像，通过搭载在车上的4个环视语义相机采集图像，输入到控制系统；拼接全景俯视图，输出全景拼接俯视图；通过建立的语义分割模型，输出语义分割结果；提取语义与形状信息，形成多个语义目标块；地图比对，迭代优化自车在地图中的位置，完成准确定位。而本申请使用鱼眼摄像头输出的目标级语义信息，进行语义建图，并同语义地图中的矢量化信息做匹配，完成精准定位，占用资源更少，对建图环境更具有适配性。
下面参考附图描述本申请实施例的室内停车场的定位方法、装置、车辆及存储介质。针对上述背景技术中提到的停车场SLAM建图定位精度较低，对定位算法的计算资源需求高且效率低的问题，本申请提供了一种室内停车场的定位方法，在该方法中，通过获得基于传感器感知到的停车位角点信息制作的语义地图后，使用相机和IMU(InertialMeasurement Unit，惯性测量单元)对车辆的当前位置进行融合定位，根据车辆的加速度和角速度修正初始位姿。由此，解决了停车场SLAM建图精度低且计算效率低，导致车辆在室内停车场的定位精度较低等问题。
具体而言，室内停车场的定位方法可以分为两部分：建图和定位，整体框架图如图1所示。
其中，建图框架图如图2所示，地图模块包含两个模式分别为建图模式和查询模式。建图模式下地图模块接收里程计信号和感知结果，推算出车辆行驶过的路径及路径数据。查询模式下地图模块使用定位位置输入输出定位周边路标信息和路径信息。
其中，里程计模块基于底盘信号、IMU信号、控制信号演算车辆行驶过的里程。里程计模块输出结果包含脉冲里程计和融合里程计，如图3所示。
室内停车场的定位方法中的定位模块需要五个输入信号，分别为感知结果、里程计信号、GPS定位源、控制信号、地图数据。基于输入数据定位模块推理、输出定位结果，包括语义定位信息、融合定位信息、里程计信息。
下面将基于上述的室内停车场的定位方法的建图和定位模块对室内停车场的定位方法进行具体阐述，具体而言，图4为本申请实施例所提供的一种室内停车场的定位方法的流程示意图。
如图4所示，该室内停车场的定位方法包括以下步骤：
在步骤S101中，获取车辆周围的环境图像。
其中，获取车辆周围的环境图像的方式有多种，比如可以通过车载环视鱼眼相机采集，对此不做具体限定。
在步骤S102中，提取环境图像中车辆周围停车位的至少一个坐标语义特征，以坐标语义特征为索引，查询预先构建得到的全局语义地图，得到与坐标语义特征匹配的目标特征，其中，全局语义地图基于停车位的坐标语义特征预先构建得到。
其中，坐标语义特征是指停车位中的一个坐标所能获得到的特征信息。全局语义地图是指停车场全局所能获得到的信息组成的一张地图，基于停车位的坐标语义特征进行构建，将在如下进行详细阐述。
在本申请实施例中，全局语义地图基于停车位的坐标语义特征预先构建得到，包括：获取测试车辆周围任意时刻的环境图像；提取每个时刻环境图像中车辆周围停车位的至少一个坐标语义特征，并基于每个时刻的坐标语义特征构建一帧局部语义地图，并对每帧局部语义地图进行回环检测和位姿图优化，生成所述全局语义地图。
其中，局部语义地图是基于每个时刻的坐标语义特征建立的一个局部地图，局部语义地图通过回环检测和位姿图优化后，生成停车场的全局语义地图。获取得到的停车位坐标，将停车位坐标转换到车体坐标系下，通过可视化软件，显示在局部语义地图上。
其中，回环检测又称闭环检测，是指机器人识别曾到达某场景，使得地图闭环的能力。
其中，位姿图是一种控制后端优化规模的方式。位姿图优化的过程为：以图的行驶建立优化模型，图由结点和边组成，所述点是指每一帧语义图中的车位角点坐标，所述边就是相邻两帧之间车辆和车位的相对位姿矩阵，根据图优化模型中边和点的关系，列出边误差方程，并使用高斯牛顿发迭代进行优化。
需要说明的是，在视觉SLAM问题中，位姿的估计往往是一个递推的过程，即由上一帧位姿解算当前帧位姿，因此其中的误差便这样一帧一帧的传递下去，导致了里程计的累计误差。因此，需要通过回环检测和位姿图优化来减少累计误差，提高建图的精确度。
在本申请实施例中，对每帧局部语义地图进行回环检测和位姿图优化，生成全局语义地图，包括：将每帧局部语义地图通过滑动窗口进行局部优化，随着窗口的移动，每隔预设位移的帧为预设关键帧，其他帧为预设普通帧，并计算相邻两个关键帧之间的位姿矩阵；对预设关键帧进行回环检测，得到回环检测的结果，基于位姿矩阵回环检测的结果进行位姿图优化，得到所述全局语义地图。
其中，关键帧是指窗口的移动为预设位移的帧，预设位移可以根据具体情况进行设定，对此不做限制。
具体而言，位姿优化方法生成停车位的方框图如图5所示，一方面，将每一帧局部语义地图存储到内存中，并输出初始位姿数据。另一方面，将每一帧局部语义地图通过滑动窗口的方法进行局部优化，并且随着窗口的移动，每移动一定的位移会产生一个关键帧，计算相邻两个关键帧之间的位姿矩阵，并将位姿矩阵作为后端位姿图优化的位姿约束条件。此外，为了消除累计误差，将关键帧输入到回环检测模块，回环检测的结果也将作为后端位姿图优化的约束条件。
在本申请实施例中，基于位姿矩阵回环检测的结果进行位姿图优化之后，还包括：识别每帧局部语义地图得到初始位姿数据；根据初始位姿数据检测预设关键帧的位姿变化值是否大于预设值，并在位姿变化值大于预设值时，根据位姿矩阵更新相邻两个关键帧预设范围内的预设普通帧的位姿矩阵。
需要说明的是，每完成一次位姿图优化，还需检测位姿发生较大变化的关键帧，并通过相对位姿矩阵更新其周围普通帧的位姿矩阵，从而使得位姿优化方法更加高效。
在本申请实施例中，在查询预先构建得到的全局语义地图之前，包括：获取车辆当前所在区域；根据当前所在区域匹配得到当前所在区域的室内停车场的全局语义地图。
可以理解的是，需要先确定车辆当前的位置，匹配相对应的室内停车场的全局语义地图，才可以进行下一步的定位操作，实现精准停车。获取车辆当前的位置可以通过GPS进行定位获得。室内停车场的全局语义地图依据上述方法进行获得，在此不再赘述。
具体而言，如图6所示，室内停车场的全局语义地图的结果，在事先创建地图的轨迹±1m范围内，为定位模块输入各类感知结果、里程计数据、GPS定位结果、控制信号以及地图数据，定位模块能够以25Hz的频率输出车辆的语义定位结果、融合定位结果以及里程计信息，定位精度可达±20cm，±1°，大大提高了定位的精确度。
在步骤S103中，根据目标特征定位车辆的初始位置根据车辆的当前加速度和当前角速度修正初始位姿，得到车辆在室内停车的实际位置。
其中，目标特征是指根据坐标语义特征匹配到的特征。
需要说明的是，IMU以100Hz的频率输出加速度和角速度数据，轮速计以50Hz的频率输出轮脉冲信号，视觉感知以25Hz的频率输出语义感知数据。每收到一帧语义感知数据，根据里程计的信息，将这些语义特征映射到全局的坐标系下。
具体而言，车辆停车时，使用相机和IMU对当前位置进行融合定位。根据ICP配准点将当前特征点与地图进行匹配来估计当前的位姿，IMU通过测量车辆当前的加速度和角速度，并与相机的状态量结合起来构建运动观测方程，再对状态量进行状态估计。
最后采用扩展卡尔曼滤波器(ESKF)将视觉定位结果与里程计融合，保证了能够正在无纹理的停车场环境中，系统能够输出稳定的定位结果，以100Hz的频率输出定位结果，实现对车辆的高精度定位。其中，本申请实施例对定位的平移绝对位姿误差和旋转绝对位姿误差的测试结果如表1所示，可以实现高精度定位，表1为实车测试报告表。
表1
theta(度)偏差合格率 距离(cm)偏差合格率
融合定位 97％ 100％
语义定位 100％ 100％
融合定位 97％ 97％
语义定位 100％ 100％
融合定位 95％ 96％
语义定位 100％ 100％
下面将通过一个具体实施例对室内停车场的定位方法进行阐述，具体如下：
(1)无人车移动过程中，通过四个环视鱼眼相机采集停车场周围环境数据；
(2)对所采集的停车场数据周围环境数据进行处理，获取处理后的停车车位坐标P0、P1、P2、P3。
(3)针对所获取的停车位坐标，将停车位转换到车体坐标系下，并显示在局部语义地图上；
(4)在优化环节，在进一步的实施方式中，为了降低视觉SLAM算法的复杂度，本发明提供了一种融合回环检测和位姿图优化的高效位姿优化的方法。一方面，将每一帧局部语义地图存储到内存中，并输出初始位姿数据。另一方面，将每一帧局部语义地图通过滑动窗口的方法进行局部优化，并且随着窗口的移动，每移动一定的位移会产生一个关键帧，计算相邻两个关键帧之间的位姿矩阵，并将位姿矩阵作为后端位姿图优化的位姿约束条件。此外，为了消除累计误差，将关键帧输入到回环检测模块，回环检测的结果也将作为后端位姿图优化的约束条件。每完成一次位姿图优化，还需检测位姿发生较大变化的关键帧，并通过相对位姿矩阵更新其周围普通帧的位姿矩阵。
(5)使用优化完的全局语义地图，通过GPS定位到车辆所在的商场，并加载当前的停车场语义地图，使用相机和IMU对当前位置进行融合定位。一方面，根据ICP配准法将当前特征点与地图进行匹配来估计当前的位姿；另一方面，IMU通过测量车辆当前的加速度和角速度，并与相机的状态量结合起来构建运动观测方程，再对状态量进行状态估计。此外，为了保证输出轨迹的平滑性和系统的鲁棒性，采用EKF模型优化估计后的轨迹。
根据本申请实施例提出的室内停车场的定位方法，可以使用停车位角点信息的语义特征构建语义地图，由于角点信息占用计算资源更少，因此可以提升构图的效率和鲁棒性，且在构建完成语义地图之后，可以结合语义特征、加速度和当前角速度共同实现室内的实时定位，提升了室内定位的精度，有效解决了无人车在室内停车场环境下行驶安全性低的问题；通过对车辆周边停车位的坐标语义特征构建局部语义地图，并通过局部语义地图生成全局语义地图，对建图环境更具有适配性，从而可以基于语义特征构建室内停车场的语义地图，有效改善了停车场SLAM建图精度较低的问题，提升了SLAM建图的精度；可以对显示停车位的局部语义地图通过融合回环检测和位姿优化的方法生成全局语义地图，降低了视觉SLAM建图的复杂度，使位姿优化更加高效，提高了SLAM建图的精度，减少误差；在根据位姿矩阵回环检测的结果进行位姿优化之后，还需要检测位姿发生较大变化的关键帧，并通过相对位姿矩阵更新其周围普通帧的位姿矩阵，消除了里程计的累计误差，提高了定位的精确度；可以通过获取车辆当前所在区域匹配所相对应的室内停车场的全局语义地图，能够精确获取预先构建的全局语义地图，增加了室内停车场SLAM建图的实时性。
其次参照附图描述根据本申请实施例提出的室内停车场的定位装置。
图7是本申请实施例的室内停车场的定位装置的方框示意图。
如图7所示，该室内停车场的定位装置10包括：获取模块100、查询模块200和定位模块300。
其中，获取模块100用于获取车辆周围的环境图像；查询模块200用于提取环境图像中车辆周围停车位的至少一个坐标语义特征，以坐标语义特征为索引，查询预先构建得到的全局语义地图，得到与坐标语义特征匹配的目标特征，其中，全局语义地图基于停车位的坐标语义特征预先构建得到；定位模块300用于根据目标特征定位车辆的初始位置，并根据车辆的当前加速度和当前角速度修正初始位姿，得到车辆在室内停车的实际位置。
在本申请实施例中，室内停车场的定位装置10还包括：构建模块。构建模块用于获取测试车辆周围任意时刻的环境图像；提取每个时刻环境图像中车辆周围停车位的至少一个坐标语义特征，并基于每个时刻的坐标语义特征构建一帧局部语义地图，并对每帧局部语义地图进行回环检测和位姿图优化，生成全局语义地图。
其中，构建模块进一步用于：将每帧局部语义地图通过滑动窗口进行局部优化，随着窗口的移动，每隔预设位移的帧为预设关键帧，其他帧为预设普通帧，并计算相邻两个关键帧之间的位姿矩阵；对预设关键帧进行回环检测，得到回环检测的结果，基于位姿矩阵回环检测的结果进行位姿图优化，得到全局语义地图。
需要说明的是，前述对室内停车场的定位方法实施例的解释说明也适用于该实施例的室内停车场的定位装置，此处不再赘述。
根据本申请实施例提出的室内停车场的定位装置，可以使用停车位角点信息的语义特征构建语义地图，由于角点信息占用计算资源更少，因此可以提升构图的效率和鲁棒性，且在构建完成语义地图之后，可以结合语义特征、加速度和当前角速度共同实现室内的实时定位，提升了室内定位的精度，有效解决了无人车在室内停车场环境下行驶安全性低的问题；通过对车辆周边停车位的坐标语义特征构建局部语义地图，并通过局部语义地图生成全局语义地图，对建图环境更具有适配性，从而可以基于语义特征构建室内停车场的语义地图，有效改善了停车场SLAM建图精度较低的问题，提升了SLAM建图的精度；可以对显示停车位的局部语义地图通过融合回环检测和位姿优化的方法生成全局语义地图，降低了视觉SLAM建图的复杂度，使位姿优化更加高效，提高了SLAM建图的精度，减少误差；在根据位姿矩阵回环检测的结果进行位姿优化之后，还需要检测位姿发生较大变化的关键帧，并通过相对位姿矩阵更新其周围普通帧的位姿矩阵，消除了里程计的累计误差，提高了定位的精确度；可以通过获取车辆当前所在区域匹配所相对应的室内停车场的全局语义地图，能够精确获取预先构建的全局语义地图，增加了室内停车场SLAM建图的实时性。
图8为本申请实施例提供的车辆的结构示意图。该车辆可以包括：
存储器801、处理器802及存储在存储器801上并可在处理器802上运行的计算机程序。
处理器802执行程序时实现上述实施例中提供的室内停车场的定位方法。
进一步地，车辆还包括：
通信接口803，用于存储器801和处理器802之间的通信。
存储器801，用于存放可在处理器802上运行的计算机程序。
存储器801可能包含高速RAM(Random Access Memory，随机存取存储器)存储器，也可能还包括非易失性存储器，例如至少一个磁盘存储器。
如果存储器801、处理器802和通信接口803独立实现，则通信接口803、存储器801和处理器802可以通过总线相互连接并完成相互间的通信。总线可以是ISA(IndustryStandard Architecture，工业标准体系结构)总线、PCI(Peripheral Component，外部设备互连)总线或EISA(Extended Industry Standard Architecture，扩展工业标准体系结构)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器801、处理器802及通信接口803，集成在一块芯片上实现，则存储器801、处理器802及通信接口803可以通过内部接口完成相互间的通信。
处理器802可能是一个CPU(Central Processing Unit，中央处理器)，或者是ASIC(Application Specific Integrated Circuit，特定集成电路)，或者是被配置成实施本申请实施例的一个或多个集成电路。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的室内停车场的定位方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不是必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列，现场可编程门阵列等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种室内停车场的定位方法，其特征在于，包括以下步骤：
获取车辆周围的环境图像；
提取所述环境图像中所述车辆周围停车位的至少一个坐标语义特征，以所述坐标语义特征为索引，查询预先构建得到的全局语义地图，得到与所述坐标语义特征匹配的目标特征，其中，所述全局语义地图基于停车位的坐标语义特征预先构建得到；
根据所述目标特征定位所述车辆的初始位置根据所述车辆的当前加速度和当前角速度修正所述初始位姿，得到所述车辆在室内停车的实际位置。
2.根据权利要求1所述的方法，其特征在于，所述全局语义地图基于停车位的坐标语义特征预先构建得到，包括：
获取测试车辆周围任意时刻的环境图像；
提取每个时刻所述环境图像中所述车辆周围停车位的至少一个坐标语义特征，并基于每个时刻的坐标语义特征构建一帧局部语义地图，并对每帧局部语义地图进行回环检测和位姿图优化，生成所述全局语义地图。
3.根据权利要求2所述的方法，其特征在于，所述对每帧局部语义地图进行回环检测和位姿图优化，生成所述全局语义地图，包括：
将每帧局部语义地图通过滑动窗口进行局部优化，随着窗口的移动，每隔预设位移的帧为预设关键帧，其他帧为预设普通帧，并计算相邻两个关键帧之间的位姿矩阵；
对所述预设关键帧进行回环检测，得到回环检测的结果，基于所述位姿矩阵回环检测的结果进行位姿图优化，得到所述全局语义地图。
4.根据权利要求3所述的方法，其特征在于，基于所述位姿矩阵回环检测的结果进行位姿图优化之后，还包括：
识别每帧局部语义地图得到初始位姿数据；
根据所述初始位姿数据检测所述预设关键帧的位姿变化值是否大于预设值，并在所述位姿变化值大于所述预设值时，根据所述位姿矩阵更新所述相邻两个关键帧预设范围内的预设普通帧的位姿矩阵。
5.根据权利要求1所述的方法，其特征在于，在查询预先构建得到的全局语义地图之前，包括：
获取所述车辆当前所在区域；
根据所述当前所在区域匹配得到所述当前所在区域的室内停车场的全局语义地图。
6.一种室内停车场的定位装置，其特征在于，包括：
获取模块，用于获取车辆周围的环境图像；
查询模块，用于提取所述环境图像中所述车辆周围停车位的至少一个坐标语义特征，以所述坐标语义特征为索引，查询预先构建得到的全局语义地图，得到与所述坐标语义特征匹配的目标特征，其中，所述全局语义地图基于停车位的坐标语义特征预先构建得到；
定位模块，用于根据所述目标特征定位所述车辆的初始位置，并根据所述车辆的当前加速度和当前角速度修正所述初始位姿，得到所述车辆在室内停车的实际位置。
7.根据权利要求6所述的装置，其特征在于，还包括：
构建模块，用于获取测试车辆周围任意时刻的环境图像；提取每个时刻所述环境图像中所述车辆周围停车位的至少一个坐标语义特征，并基于每个时刻的坐标语义特征构建一帧局部语义地图，并对每帧局部语义地图进行回环检测和位姿图优化，生成所述全局语义地图。
8.根据权利要求7所述的装置，其特征在于，所述构建模块进一步用于：
将每帧局部语义地图通过滑动窗口进行局部优化，随着窗口的移动，每隔预设位移的帧为预设关键帧，其他帧为预设普通帧，并计算相邻两个关键帧之间的位姿矩阵；
对所述预设关键帧进行回环检测，得到回环检测的结果，基于所述位姿矩阵回环检测的结果进行位姿图优化，得到所述全局语义地图。
9.一种车辆，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-5任一项所述的室内停车场的定位方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-5任一项所述的室内停车场的定位方法。
CN202211288245.XA 2022-10-20 2022-10-20 室内停车场的定位方法、装置、车辆及存储介质 Pending CN115546303A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211288245.XA CN115546303A (zh) 2022-10-20 2022-10-20 室内停车场的定位方法、装置、车辆及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211288245.XA CN115546303A (zh) 2022-10-20 2022-10-20 室内停车场的定位方法、装置、车辆及存储介质

Publications (1)

Publication Number Publication Date
CN115546303A true CN115546303A (zh) 2022-12-30

Family

ID=84735366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211288245.XA Pending CN115546303A (zh) 2022-10-20 2022-10-20 室内停车场的定位方法、装置、车辆及存储介质

Country Status (1)

Country Link
CN (1) CN115546303A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115880673A (zh) * 2023-02-22 2023-03-31 西南石油大学 一种基于计算机视觉的避障方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115880673A (zh) * 2023-02-22 2023-03-31 西南石油大学 一种基于计算机视觉的避障方法及系统
CN115880673B (zh) * 2023-02-22 2023-05-26 西南石油大学 一种基于计算机视觉的避障方法及系统

Similar Documents

Publication Publication Date Title
CN110160542B (zh) 车道线的定位方法和装置、存储介质、电子装置
AU2018282302B2 (en) Integrated sensor calibration in natural scenes
Alonso et al. Accurate global localization using visual odometry and digital maps on urban environments
CN107167826B (zh) 一种自动驾驶中基于可变网格的图像特征检测的车辆纵向定位系统及方法
CN110726409B (zh) 一种基于激光slam和视觉slam地图融合方法
CN111220153B (zh) 基于视觉拓扑节点和惯性导航的定位方法
CN109443348B (zh) 一种基于环视视觉和惯导融合的地下车库库位跟踪方法
CN109766757B (zh) 一种融合车辆和视觉信息的泊车位高精度定位方法及系统
CN110530372B (zh) 定位方法、路径确定方法、装置、机器人及存储介质
CN113678079A (zh) 从车辆传感器和相机阵列生成结构化地图数据
Dawood et al. Harris, SIFT and SURF features comparison for vehicle localization based on virtual 3D model and camera
CN110260866A (zh) 一种基于视觉传感器的机器人定位与避障方法
CN112819711B (zh) 一种基于单目视觉的利用道路车道线的车辆反向定位方法
CN115690338A (zh) 地图构建方法、装置、设备及存储介质
CN114636414A (zh) 高清晰度城市地图绘制
CN114943952A (zh) 多相机重叠视域下障碍物融合方法、系统、设备和介质
CN116399324A (zh) 建图方法、装置及控制器、无人驾驶车辆
CN115546303A (zh) 室内停车场的定位方法、装置、车辆及存储介质
CN114264301A (zh) 车载多传感器融合定位方法、装置、芯片及终端
JP7203805B2 (ja) 移動体の定位誤差の分析
EP3795952A1 (en) Estimation device, estimation method, and computer program product
Yang et al. Simultaneous estimation of ego-motion and vehicle distance by using a monocular camera
CN112862818A (zh) 惯性传感器和多鱼眼相机联合的地下停车场车辆定位方法
CN115560744A (zh) 机器人以及基于多传感器的三维建图方法、存储介质
CN113034538B (zh) 一种视觉惯导设备的位姿跟踪方法、装置及视觉惯导设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination