CN114863096A - 室内停车场的语义地图构建及定位方法和装置 - Google Patents

室内停车场的语义地图构建及定位方法和装置 Download PDF

Info

Publication number
CN114863096A
CN114863096A CN202210343503.3A CN202210343503A CN114863096A CN 114863096 A CN114863096 A CN 114863096A CN 202210343503 A CN202210343503 A CN 202210343503A CN 114863096 A CN114863096 A CN 114863096A
Authority
CN
China
Prior art keywords
semantic
features
vehicle
semantic map
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210343503.3A
Other languages
English (en)
Other versions
CN114863096B (zh
Inventor
曹旭东
赵天坤
陈泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hozon New Energy Automobile Co Ltd
Original Assignee
Hozon New Energy Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hozon New Energy Automobile Co Ltd filed Critical Hozon New Energy Automobile Co Ltd
Priority to CN202210343503.3A priority Critical patent/CN114863096B/zh
Publication of CN114863096A publication Critical patent/CN114863096A/zh
Priority to PCT/CN2022/117351 priority patent/WO2023184869A1/zh
Application granted granted Critical
Publication of CN114863096B publication Critical patent/CN114863096B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了一种室内停车场的语义地图构建及定位方法和装置，涉及室内定位技术领域。该方法包括：获取车辆运行过程中采集的原始图像，原始图像至少包括前视原始图像；将原始图像拼接为鸟瞰图；对鸟瞰图进行语义分割处理，得到具有语义特征的分割图像；对前视原始图像进行特征提取，得到立柱特征，对鸟瞰图进行特征提取，得到车位角点特征；根据语义特征、立柱特征和车位角点特征，生成语义地图，计算车辆在语义地图中的位姿；根据车辆在语义地图中的位姿，对语义地图进行非线性优化；根据优化后的语义地图、多帧相邻的鸟瞰图及对应的里程计信息，优化车辆在语义地图中的位姿。该方法基于纯视觉的特征建图，成本低，鲁棒性高，应用场景广泛。

Description

室内停车场的语义地图构建及定位方法和装置
技术领域
本发明涉及室内定位技术领域，尤其涉及一种室内停车场的语义地图构建及定位方法和装置。
背景技术
实时定位与建图(Simultaneous Localization And Mapping，SLAM)技术大量用于自动驾驶场景中，在实时建立周边环境地图，后续输出车辆定位信息等具体功能上扮演着重要的作用。SLAM根据所采用的传感器可以分为激光SLAM和视觉SLAM，主要可以分为由激光雷达直接采集得到的激光点云地图，以及由摄像头采集的图像转化得到的视觉点云地图。视觉SLAM相比于激光SLAM，成本优势巨大，但传统的视觉SLAM受限于精度，对环境变换的鲁棒性较差，因此没有像激光SLAM一样得到大规模的应用。因此，如何提升视觉SLAM的建图精度和鲁棒性，降低视觉信息冗余度和储存消耗，成为亟待解决的问题。
发明内容
为解决上述技术问题或至少部分地解决上述技术问题，本发明实施例提供一种室内停车场的语义地图构建及定位方法、装置、电子设备及计算机可读介质。
在本发明实施例的第一方面，提供了一种室内停车场的语义地图构建及定位方法，包括：
获取车辆运行过程中采集的原始图像，所述原始图像至少包括前视原始图像；
将所述原始图像拼接为鸟瞰图；
对所述鸟瞰图进行语义分割处理，得到具有语义特征的分割图像；
对所述前视原始图像进行特征提取，得到立柱特征，以及对所述鸟瞰图进行特征提取，得到车位角点特征；
根据所述语义特征、所述立柱特征和所述车位角点特征，生成语义地图，并计算所述车辆在所述语义地图中的位姿；
根据所述车辆在所述语义地图中的位姿，对所述语义地图进行非线性优化；
根据优化后的语义地图、多帧相邻的鸟瞰图及与所述多帧相邻的鸟瞰图对应的里程计信息，约束优化所述车辆在所述语义地图中的位姿。
在本发明实施例的第二方面，提供了一种室内停车场的语义地图构建及定位装置，包括：
图像获取模块，用于获取车辆运行过程中采集的原始图像，所述原始图像至少包括前视原始图像；
图像拼接模块，用于将所述原始图像拼接为鸟瞰图；
语义分割模块，用于对所述鸟瞰图进行语义分割处理，得到具有语义特征的分割图像；
图像检测模块，用于对所述前视原始图像进行特征提取，得到立柱特征，以及对所述鸟瞰图进行特征提取，得到车位角点特征；
地图重建模块，用于根据所述语义特征、所述立柱特征和所述车位角点特征，生成语义地图，并计算所述车辆在所述语义地图中的位姿；
优化模块，用于根据所述车辆在所述语义地图中的位姿，对所述语义地图进行非线性优化；根据优化后的语义地图、多帧相邻的鸟瞰图及与所述多帧相邻的鸟瞰图对应的里程计信息，约束优化所述车辆在所述语义地图中的位姿。
在本发明实施例的第三方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现室内停车场的语义地图构建及定位方法。
在本发明实施例的第四方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现室内停车场的语义地图构建及定位方法。
上述发明中的一个实施例具有如下优点或有益效果：
本发明实施例首先通过将原始图像拼接成鸟瞰图，对鸟瞰图进行语义分割，得到语义特征，其次分别对前视原始图像和鸟瞰图进行特征检测，得到前视原始图像中的立柱特征以及鸟瞰图中的车位角点特征，然后通过语义特征、立柱特征和车位角点特征进行建图和车辆定位，最后通过语义特征、里程计信息对语义地图和车辆位姿进行非线性约束优化，能够实现低成本、高精度、高鲁棒性的实时定位；在本发明实施例中仅使用了视觉特征，不需要GPS、激光雷达等传感器，有效地降低了成本，能够应用于更广泛的场景中，适用于无GPS信号的场景下；本发明实施例中使用了语义特征和检测特征两种特征信息，更为全面的利用了视觉传感器，提高了定位精度。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1示意性示出了本发明实施例的室内停车场的语义地图构建及定位方法中的多个坐标系；
图2示意性示出了本发明实施例的室内停车场的语义地图构建及定位方法的流程示意图；
图3示意性示出了本发明实施例的室内停车场的语义地图构建及定位方法中的语义分割图像；
图4示意性示出了本发明实施例的室内停车场的语义地图构建及定位方法中的立柱特征；
图5示意性示出了本发明实施例的室内停车场的语义地图构建及定位方法的子流程的示意图；
图6示意性示出了本发明实施例的室内停车场的语义地图构建及定位装置的结构示意图；
图7示意性示出了本发明实施例的电子设备的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
为便于理解，以下对本发明实施例所涉及的坐标系进行说明。在本发明实施例中包括世界坐标系、鸟瞰图坐标系(也可以称为虚拟顶视相机坐标系)、前视相机坐标系、车辆坐标系(也可以称为里程计坐标系)和像素坐标系。图1示意性示出了上述各坐标系的示意图。如图1所示，鸟瞰图坐标系采用xt，yt，zt描述，鸟瞰图坐标系的原点位于左右鱼眼相机中心线与前后鱼眼相机中心线的焦点，水平向右(指向右鱼眼相机的方向)为x轴正方向，水平向后为y轴正方向，竖直向下为z轴正方向。前视相机坐标系采用xc，yc，zc描述，前视相机坐标系的原点位于前视相机的中心，水平向前为z轴正方向，水平向右为x轴正方向，竖直向下为y轴正方向。车体坐标系采用xb，yb，zb描述，车体坐标系位于车底地平面上，以车辆后轴中心垂直到地面的交点为原点，水平向前为x轴正方向，水平向左为y轴正方向，竖直向上为z轴正方向。世界坐标系采用xw，yw，zw描述，水平向前为x轴正方向，水平向左为y轴正方向，竖直向上为z轴正方向。世界坐标系为第一帧车辆坐标系，即世界坐标系为车辆刚刚启动时的车辆坐标系。像素坐标系采用u，v描述。
鸟瞰图中的像素点到原始鱼眼图像像素坐标的映射关系如下所示：
pcuv＝kcTtckt -1ptuv
其中，ptuv表示鸟瞰图中像素点的坐标，pcuv表示原始鱼眼图像中对应的像素点坐标，kt表示虚拟顶视相机的内参，kc表示鱼眼相机的内参，Ttc表示虚拟顶视相机到鱼眼相机的变换矩阵。
图2示意性示出了本发明实施例的室内停车场的语义地图构建及定位方法的流程示意图，如图2所示，该方法包括：
步骤201：获取车辆运行过程中采集的原始图像，所述原始图像至少包括前视原始图像。
在本发明实施例中通过车载相机采集车辆运行过程中的环境图像，该环境图像即为原始图像。
在可选的实施例中，在车辆上安装有一个前视鱼眼相机，该前视鱼眼相机安装在车身的前部，例如该前视鱼眼相机可以安装在挡风玻璃上侧居中的位置或前车牌上侧居中的位置。该前视鱼眼相机采集的原始图像即为前视原始图像。
在另一可选的实施例中，在车辆上安装有一个前视针孔相机和至少一个鱼眼相机。其中，前视针孔相机采集的环境图像为前视原始图像。上述至少一个鱼眼相机安装在车辆的周围，例如可以安装在前车牌上侧居中的位置、后车牌上侧居中的位置、左后视镜下方或右后视镜下方。优选的，在车辆上安装有4个鱼眼相机，该4个鱼眼相机分别安装在前车牌上侧居中的位置、后车牌上侧居中的位置、左后视镜下方、右后视镜下方。该4个鱼眼相机也可以称为环视鱼眼相机。
步骤202：将所述原始图像拼接为鸟瞰图。
在本步骤中可以利用IPM算法(Inverse Perspective Mapping，逆透视变换算法)将原始图像拼接为鸟瞰图。当车辆上仅安装有一个前视鱼眼相机时，利用IPM算法将该前视鱼眼相机采集的原始图像拼接为鸟瞰图。当车辆上安装有至少一个鱼眼相机和一个前视针孔相机时，利用IPM算法将至少一个鱼眼相机采集的原始图像拼接为鸟瞰图。
步骤203：对所述鸟瞰图进行语义分割处理，得到具有语义特征的分割图像。其中，该语义特征包括车位线特征和车道线特征。
对鸟瞰图进行语义分割处理是指将鸟瞰图中的每一个像素进行分类，将每一个像素关联到预设的语义标签上，该语义标签包括车位线标签和车道线标签。在本实施例中可以利用预构建的卷积神经网络模型对鸟瞰图进行语义分割处理，例如，可以利用FCN网络(Fully Convolutional Networks for Semantic Segmentation，全卷积神经网络)、U-net网络或SegNet网络对鸟瞰图进行语义分割处理。作为示例，对鸟瞰图进行语义分割处理后得到的分割图像如图3所示，图3中白色的线条表示车位线和车道线。
步骤204：对所述前视原始图像进行特征提取，得到立柱特征，以及对所述鸟瞰图进行特征提取，得到车位角点特征。
其中，立柱是指室内停车场内的结构柱和承重柱。在本步骤中可以利用预构建的卷积神经网络对前视原始图像进行特征提取，从而获得前视原始图像中的立柱特征。作为示例，前视原始图像为前视鱼眼相机采集的，该前视原始图像中的立柱特征如图4所示。
角点通常被定义为两条边的交点，在本实施例中，车位角点是指车位线的交点。在本步骤中可以利用预构建的卷积神经网络对鸟瞰图进行特征提取，从而获得车位角点特征，也可以利用角点检测算法例如Harris角点检测算法提取鸟瞰图中的车位角点特征。
步骤205：根据所述语义特征、所述立柱特征和所述车位角点特征，生成语义地图，并计算所述车辆在所述语义地图中的位姿。
其中，语义地图是在世界坐标系下的地图。
根据所述语义特征、所述立柱特征和所述车位角点特征，生成语义地图的过程包括：
将所述语义特征在鸟瞰图坐标系中的坐标投影到世界坐标系中，将所述立柱特征在相机坐标系中的坐标投影到世界坐标系中，将所述车位角点特征在鸟瞰图坐标系中的坐标投影到世界坐标系中；
根据所述语义特征、所述立柱特征和所述车位角点特征在世界坐标系中坐标，生成语义地图。
其中，在对语义特征、立柱特征和车位角点特征进行投影时，可以根据相关坐标系之间的变换关系、相机的参数，将其投影到世界坐标系中。以语义特征为例进行说明，根据下式将语义特征在鸟瞰图坐标系中的坐标投影到世界坐标系：
pw＝TwbTtbkt -1ptuv
pw表示语义特征在世界坐标系中的坐标，Twb为当前时刻车辆在世界坐标系中的位姿，Ttb表示鸟瞰图坐标系到车辆坐标系的变换关系，kt表示虚拟顶视相机的内参，ptuv表示语义特征在鸟瞰图中的像素坐标。
在对立柱特征进行投影时，根据当前车辆位姿、前视相机坐标系到车辆坐标系的变换关系、前视相机的内参、立柱特征在前视鱼眼图像中的像素坐标，计算立柱特征在世界坐标系中的坐标。
在对车位角点特征进行投影时，根据当前车辆位姿、鸟瞰图坐标系到车辆坐标系的变换关系、虚拟顶视相机的内参、车位角点特征在鸟瞰图中的像素坐标，计算车位角点特征在世界坐标系中的坐标，即计算车位角点在世界坐标系中的坐标的公式与计算语义特征在世界坐标系中的坐标的公式相同。
在生成语义地图之后，需要计算车辆在语义地图中的位姿。计算车辆在语义地图中的位姿的过程包括：
获取里程计信息；
根据所述里程计信息，计算得到所述车辆由上一时刻到当前时刻的位移量；
根据所述车辆上一时刻在所述语义地图中的位姿和所述位移量，确定所述车辆当前时刻在所述语义地图中的位姿。
其中，里程计是指安装在车辆上的测量行程的装置。里程计的工作原理是根据安装在左右两个驱动轮电机上的光电编码器来检测车轮在一定时间内转过的弧度，进而推算车辆相对位姿的变化。在本实施例中，里程计信息包括车辆驱动轮在当前时刻的转数。在得到里程计信息之后可以使用差速模型计算车辆由上一时刻到当前时刻的位移量。然后，可以根据下式计算车辆当前时刻在所述语义地图中的位姿：
Figure BDA0003580205440000081
其中，
Figure BDA0003580205440000082
表示车辆在j时刻在语义地图中的位姿，
Figure BDA0003580205440000083
表示车辆在i时刻在语义地图中的位姿，vij表示车辆从i时刻到j时刻的位移量。
步骤206：根据所述车辆在所述语义地图中的位姿，对所述语义地图进行非线性优化。
具体的，该步骤包括：
步骤501：根据所述车辆在所述语义地图中的位姿，在所述语义地图中搜索所述车辆附近的语义特征；
步骤502：将搜索到的语义特征投影到所述分割图像中，确定所述语义特征在所述分割图像中的投影位置；即，将搜索到的语义特征在世界坐标系下的坐标变换到在鸟瞰图坐标系下的坐标；
步骤503：确定搜索到的语义特征在所述分割图像中的观测位置；语义特征的观测位置是语义特征在分割图像中的真实位置；
步骤504：将所述语义特征的投影位置与观测位置之间的误差作为第一约束关系，约束优化所述语义地图。
其中，车辆附近所涵盖的范围可以根据需求灵活设置，本发明在此不做限制，例如，以车辆为中心，以1米为半径的圆所覆盖的范围为车辆附近。
对于步骤502，可以根据如下方程确定语义特征在所述分割图像中的投影位置ptuv：
Figure BDA0003580205440000084
pb＝Tbwpw
pb＝Founction(pb)＝[-pby m-pbx h]
Figure BDA0003580205440000085
其中，Twb表示车辆在当前时刻在语义地图中的位姿，pw为语义特征在世界坐标系下的坐标，m表示车辆坐标系到顶视虚拟相机中心x方向上的距离，h为虚拟相机距离地面的高度。
对于步骤504，语义特征的投影位置与观测位置之间的误差为：
err1＝I(puv)-I(kTcbTbwpw)
其中，err1表示语义特征的投影位置与观测位置之间的误差，puv表示语义特征的观测位置，pw表示语义特征在语义地图中的位置(即在世界坐标系下的坐标)，k表示虚拟顶视相机的内参，Tcb表示前视相机坐标系到车辆坐标系的变换关系，Tbw表示车辆当前时刻在语义地图中的位姿，I()表示获取像素点的像素值。
将所述语义特征的投影位置与观测位置之间的误差作为第一约束关系约束优化语义地图的问题可以转化为最小化语义特征的投影位置与观测位置之间的误差。
步骤207：根据优化后的语义地图、多帧相邻的鸟瞰图及与所述多帧相邻的鸟瞰图对应的里程计信息，约束优化所述车辆在所述语义地图中的位姿，其中，多帧相邻的鸟瞰图包括当前帧和所述当前帧的相邻帧。
具体的，该步骤包括：
将所述相邻帧的语义特征通过变换关系投影到所述当前帧，确定投影误差，将所述投影误差作为第二约束关系；
根据所述相邻帧对应的里程计信息和所述当前帧对应的里程计信息，确定里程计误差，将所述里程计误差作为第三约束关系；
根据所述第一约束关系、所述第二约束关系和所述第三约束关系，约束优化所述车辆在所述语义地图中的位姿。
其中，投影误差根据下式确定：
err2＝I(p′uv)-I(kTbc -1TbibjTbck-1puv)
err2表示投影误差，p′uv表示语义特征在当前帧中的坐标，puv表示语义特征在相邻帧中的坐标，k表示虚拟顶视相机的内参，Tbc表示车辆坐标系到前视相机坐标系的变换矩阵，Tbibj表示相邻帧到当前帧的位姿变换矩阵，I()表示获取像素点的像素值。
里程计误差根据下式确定：
err3＝Tbibj*Tlast -1Tcurrent
err3表示里程计误差，Tbibj表示相邻帧到当前帧的位姿变换矩阵，Tlast表示从开始到last时刻里程计累加值，Tcurrent表示从开始到current时刻里程计累加值，均为世界坐标系结果，即相对于开始时刻里程计坐标系结果。
本发明实施例的方法，首先通过将原始图像拼接成鸟瞰图，对鸟瞰图进行语义分割，得到语义特征，其次分别对前视原始图像和鸟瞰图进行特征检测，得到前视原始图像中的立柱特征以及鸟瞰图中的车位角点特征，然后通过语义特征、立柱特征和车位角点特征进行建图和车辆定位，最后通过语义特征、里程计信息对语义地图和车辆位姿进行非线性约束优化，能够实现低成本、高精度、高鲁棒性的实时定位；在本发明实施例中仅使用了视觉特征，不需要GPS、激光雷达等传感器，有效地降低了成本，能够应用于更广泛的场景中，适用于无GPS信号的场景下；本发明实施例中使用了语义特征和检测特征两种特征信息，更为全面的利用了视觉传感器，提高了定位精度。
图6示意性示出了本发明实施例的室内停车场的语义地图构建及定位装置600的结构示意图，如图6所示，该装置600包括：
图像获取模块601，用于获取车辆运行过程中采集的原始图像，所述原始图像至少包括前视原始图像；
图像拼接模块602，用于将所述原始图像拼接为鸟瞰图；
语义分割模块603，用于对所述鸟瞰图进行语义分割处理，得到具有语义特征的分割图像；
图像检测模块604，用于对所述前视原始图像进行特征提取，得到立柱特征，以及对所述鸟瞰图进行特征提取，得到车位角点特征；
地图重建模块605，用于根据所述语义特征、所述立柱特征和所述车位角点特征，生成语义地图，并计算所述车辆在所述语义地图中的位姿；
优化模块606，用于根据所述车辆在所述语义地图中的位姿，对所述语义地图进行非线性优化；根据优化后的语义地图、多帧相邻的鸟瞰图及与所述多帧相邻的鸟瞰图对应的里程计信息，约束优化所述车辆在所述语义地图中的位姿。
本发明实施例的室内停车场的语义地图构建及定位装置，首先通过将原始图像拼接成鸟瞰图，对鸟瞰图进行语义分割，得到语义特征，其次分别对前视原始图像和鸟瞰图进行特征检测，得到前视原始图像中的立柱特征以及鸟瞰图中的车位角点特征，然后通过语义特征、立柱特征和车位角点特征进行建图和车辆定位，最后通过语义特征、里程计信息对语义地图和车辆位姿进行非线性约束优化，能够实现低成本、高精度、高鲁棒性的实时定位；在本发明实施例中仅使用了视觉特征，不需要GPS、激光雷达等传感器，有效地降低了成本，能够应用于更广泛的场景中，适用于无GPS信号的场景下；本发明实施例中使用了语义特征和检测特征两种特征信息，更为全面的利用了视觉传感器，提高了定位精度。
可选地，所述图像获取模块还用于：获取安装在车辆上的前视鱼眼相机采集的原始图像，所述前视鱼眼相机采集的原始图像为前视原始图像；或获取安装在车辆上的前视针孔相机和安装在所述车辆周围的至少一个鱼眼相机采集的原始图像，所述前视针孔相机采集的原始图像为前视原始图像；
所述图像拼接模块还用于：将所述前视鱼眼相机采集的前视原始图像拼接为鸟瞰图；或将所述至少一个鱼眼相机采集的原始图像拼接为鸟瞰图。
可选地，所述地图重建模块还用于：将所述语义特征在鸟瞰图坐标系中的坐标投影到世界坐标系中，将所述立柱特征在相机坐标系中的坐标投影到世界坐标系中，将所述车位角点特征在鸟瞰图坐标系中的坐标投影到世界坐标系中；根据所述语义特征、所述立柱特征和所述车位角点特征在世界坐标系中坐标，生成语义地图；获取里程计信息；根据所述里程计信息，计算得到所述车辆由上一时刻到当前时刻的位移量；根据所述车辆上一时刻在所述语义地图中的位姿和所述位移量，确定所述车辆当前时刻在所述语义地图中的位姿。
可选地，所述优化模块还用于：根据所述车辆在所述语义地图中的位姿，在所述语义地图中搜索所述车辆附近的语义特征；将搜索到的语义特征投影到所述分割图像中，确定所述语义特征在所述分割图像中的投影位置；确定搜索到的语义特征在所述分割图像中的观测位置；将所述语义特征的投影位置与观测位置之间的误差作为第一约束关系，约束优化所述语义地图。
可选地，所述多帧相邻的鸟瞰图包括当前帧和所述当前帧的相邻帧；
所述优化模块还用于：将所述相邻帧的语义特征通过变换关系投影到所述当前帧，确定投影误差，将所述投影误差作为第二约束关系；根据所述相邻帧对应的里程计信息和所述当前帧对应的里程计信息，确定里程计误差，将所述里程计误差作为第三约束关系；根据所述第一约束关系、所述第二约束关系和所述第三约束关系，约束优化所述车辆在所述语义地图中的位姿。
上述装置可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。
本发明实施例还提供了一种电子设备，如图7所示，包括处理器701、通信接口702、存储器703和通信总线704，其中，处理器701，通信接口702，存储器503通过通信总线704完成相互间的通信，
存储器703，用于存放计算机程序；
处理器701，用于执行存储器703上所存放的程序时，实现如下步骤：
获取车辆运行过程中采集的原始图像，所述原始图像至少包括前视原始图像；
将所述原始图像拼接为鸟瞰图；
对所述鸟瞰图进行语义分割处理，得到具有语义特征的分割图像；
对所述前视原始图像进行特征提取，得到立柱特征，以及对所述鸟瞰图进行特征提取，得到车位角点特征；
根据所述语义特征、所述立柱特征和所述车位角点特征，生成语义地图，并计算所述车辆在所述语义地图中的位姿；
根据所述车辆在所述语义地图中的位姿，对所述语义地图进行非线性优化；
根据优化后的语义地图、多帧相邻的鸟瞰图及与所述多帧相邻的鸟瞰图对应的里程计信息，约束优化所述车辆在所述语义地图中的位姿。
上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种室内停车场的语义地图构建及定位方法，其特征在于，包括：
获取车辆运行过程中采集的原始图像，所述原始图像至少包括前视原始图像；
将所述原始图像拼接为鸟瞰图；
对所述鸟瞰图进行语义分割处理，得到具有语义特征的分割图像；
对所述前视原始图像进行特征提取，得到立柱特征，以及对所述鸟瞰图进行特征提取，得到车位角点特征；
根据所述语义特征、所述立柱特征和所述车位角点特征，生成语义地图，并计算所述车辆在所述语义地图中的位姿；
根据所述车辆在所述语义地图中的位姿，对所述语义地图进行非线性优化；
根据优化后的语义地图、多帧相邻的鸟瞰图及与所述多帧相邻的鸟瞰图对应的里程计信息，约束优化所述车辆在所述语义地图中的位姿。
2.根据权利要求1所述的方法，其特征在于，获取车辆运行过程中采集的原始图像包括：
获取安装在车辆上的前视鱼眼相机采集的原始图像，所述前视鱼眼相机采集的原始图像为前视原始图像；
或
获取安装在车辆上的前视针孔相机和安装在所述车辆周围的至少一个鱼眼相机采集的原始图像，所述前视针孔相机采集的原始图像为前视原始图像；
将所述原始图像拼接为鸟瞰图包括：
将所述前视鱼眼相机采集的前视原始图像拼接为鸟瞰图；
或
将所述至少一个鱼眼相机采集的原始图像拼接为鸟瞰图。
3.根据权利要求1所述的方法，其特征在于，根据所述语义特征、所述立柱特征和所述车位角点特征，生成语义地图，并计算所述车辆在所述语义地图中的位姿包括：
将所述语义特征在鸟瞰图坐标系中的坐标投影到世界坐标系中，将所述立柱特征在相机坐标系中的坐标投影到世界坐标系中，将所述车位角点特征在鸟瞰图坐标系中的坐标投影到世界坐标系中；
根据所述语义特征、所述立柱特征和所述车位角点特征在世界坐标系中坐标，生成语义地图；
获取里程计信息；
根据所述里程计信息，计算得到所述车辆由上一时刻到当前时刻的位移量；
根据所述车辆上一时刻在所述语义地图中的位姿和所述位移量，确定所述车辆当前时刻在所述语义地图中的位姿。
4.根据权利要求1所述的方法，其特征在于，根据所述车辆在所述语义地图中的位姿，对所述语义地图进行非线性优化包括：
根据所述车辆在所述语义地图中的位姿，在所述语义地图中搜索所述车辆附近的语义特征；
将搜索到的语义特征投影到所述分割图像中，确定所述语义特征在所述分割图像中的投影位置；
确定搜索到的语义特征在所述分割图像中的观测位置；
将所述语义特征的投影位置与观测位置之间的误差作为第一约束关系，约束优化所述语义地图。
5.根据权利要求4所述的方法，其特征在于，所述多帧相邻的鸟瞰图包括当前帧和所述当前帧的相邻帧；
根据优化后的语义地图、多帧相邻的鸟瞰图及与所述多帧相邻的鸟瞰图对应的里程计信息，约束优化所述车辆在所述语义地图中的位姿包括：
将所述相邻帧的语义特征通过变换关系投影到所述当前帧，确定投影误差，将所述投影误差作为第二约束关系；
根据所述相邻帧对应的里程计信息和所述当前帧对应的里程计信息，确定里程计误差，将所述里程计误差作为第三约束关系；
根据所述第一约束关系、所述第二约束关系和所述第三约束关系，约束约束优化所述车辆在所述语义地图中的位姿。
6.一种室内停车场的语义地图构建及定位装置，其特征在于，包括：
图像获取模块，用于获取车辆运行过程中采集的原始图像，所述原始图像至少包括前视原始图像；
图像拼接模块，用于将所述原始图像拼接为鸟瞰图；
语义分割模块，用于对所述鸟瞰图进行语义分割处理，得到具有语义特征的分割图像；
图像检测模块，用于对所述前视原始图像进行特征提取，得到立柱特征，以及对所述鸟瞰图进行特征提取，得到车位角点特征；
地图重建模块，用于根据所述语义特征、所述立柱特征和所述车位角点特征，生成语义地图，并计算所述车辆在所述语义地图中的位姿；
优化模块，用于根据所述车辆在所述语义地图中的位姿，对所述语义地图进行非线性优化；根据优化后的语义地图、多帧相邻的鸟瞰图及与所述多帧相邻的鸟瞰图对应的里程计信息，约束优化所述车辆在所述语义地图中的位姿。
7.根据权利要求6所述的装置，其特征在于，所述优化模块还用于：
根据所述车辆在所述语义地图中的位姿，在所述语义地图中搜索所述车辆附近的语义特征；
将搜索到的语义特征投影到所述分割图像中，确定所述语义特征在所述分割图像中的投影位置；
确定搜索到的语义特征在所述分割图像中的观测位置；
将所述语义特征的投影位置与观测位置之间的误差作为第一约束关系，约束优化所述语义地图。
8.根据权利要求7所述的装置，其特征在于，所述多帧相邻的鸟瞰图包括当前帧和所述当前帧的相邻帧；
所述优化模块还用于：
将所述相邻帧的语义特征通过变换关系投影到所述当前帧，确定投影误差，将所述投影误差作为第二约束关系；
根据所述相邻帧对应的里程计信息和所述当前帧对应的里程计信息，确定里程计误差，将所述里程计误差作为第三约束关系；
根据所述第一约束关系、所述第二约束关系和所述第三约束关系，约束优化所述车辆在所述语义地图中的位姿。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。
10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-5中任一所述的方法。
CN202210343503.3A 2022-04-02 2022-04-02 室内停车场的语义地图构建及定位方法和装置 Active CN114863096B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210343503.3A CN114863096B (zh) 2022-04-02 2022-04-02 室内停车场的语义地图构建及定位方法和装置
PCT/CN2022/117351 WO2023184869A1 (zh) 2022-04-02 2022-09-06 室内停车场的语义地图构建及定位方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210343503.3A CN114863096B (zh) 2022-04-02 2022-04-02 室内停车场的语义地图构建及定位方法和装置

Publications (2)

Publication Number Publication Date
CN114863096A true CN114863096A (zh) 2022-08-05
CN114863096B CN114863096B (zh) 2024-04-16

Family

ID=82629187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210343503.3A Active CN114863096B (zh) 2022-04-02 2022-04-02 室内停车场的语义地图构建及定位方法和装置

Country Status (2)

Country Link
CN (1) CN114863096B (zh)
WO (1) WO2023184869A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023184869A1 (zh) * 2022-04-02 2023-10-05 合众新能源汽车股份有限公司 室内停车场的语义地图构建及定位方法和装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013137698A (ja) * 2011-12-28 2013-07-11 Suzuki Motor Corp 俯瞰画像提示装置
US20180246515A1 (en) * 2017-02-28 2018-08-30 Mitsubishi Electric Research Laboratories, Inc. Vehicle Automated Parking System and Method
CN110243370A (zh) * 2019-05-16 2019-09-17 西安理工大学 一种基于深度学习的室内环境三维语义地图构建方法
CN111862672A (zh) * 2020-06-24 2020-10-30 北京易航远智科技有限公司 基于顶视图的停车场车辆自定位及地图构建方法
CN112116654A (zh) * 2019-06-20 2020-12-22 杭州海康威视数字技术股份有限公司 一种车辆位姿确定方法、装置及电子设备
US20210042540A1 (en) * 2019-08-09 2021-02-11 Otobrite Electronics Inc. Method for recognizing parking space for vehicle and parking assistance system using the method
US20210201050A1 (en) * 2019-12-31 2021-07-01 Lyft, Inc. Generating training data from overhead view images
CN113781645A (zh) * 2021-08-31 2021-12-10 同济大学 一种面向室内泊车环境的定位和建图方法
CN113781300A (zh) * 2021-08-17 2021-12-10 东风汽车集团股份有限公司 一种用于远距离自主泊车的车辆视觉定位方法
CN113903011A (zh) * 2021-10-26 2022-01-07 江苏大学 一种适用于室内停车场的语义地图构建及定位方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201100279A (en) * 2009-06-23 2011-01-01 Automotive Res & Testing Ct Composite-image-type parking auxiliary system
CN114863096B (zh) * 2022-04-02 2024-04-16 合众新能源汽车股份有限公司 室内停车场的语义地图构建及定位方法和装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013137698A (ja) * 2011-12-28 2013-07-11 Suzuki Motor Corp 俯瞰画像提示装置
US20180246515A1 (en) * 2017-02-28 2018-08-30 Mitsubishi Electric Research Laboratories, Inc. Vehicle Automated Parking System and Method
CN110243370A (zh) * 2019-05-16 2019-09-17 西安理工大学 一种基于深度学习的室内环境三维语义地图构建方法
CN112116654A (zh) * 2019-06-20 2020-12-22 杭州海康威视数字技术股份有限公司 一种车辆位姿确定方法、装置及电子设备
US20210042540A1 (en) * 2019-08-09 2021-02-11 Otobrite Electronics Inc. Method for recognizing parking space for vehicle and parking assistance system using the method
US20210201050A1 (en) * 2019-12-31 2021-07-01 Lyft, Inc. Generating training data from overhead view images
CN111862672A (zh) * 2020-06-24 2020-10-30 北京易航远智科技有限公司 基于顶视图的停车场车辆自定位及地图构建方法
CN113781300A (zh) * 2021-08-17 2021-12-10 东风汽车集团股份有限公司 一种用于远距离自主泊车的车辆视觉定位方法
CN113781645A (zh) * 2021-08-31 2021-12-10 同济大学 一种面向室内泊车环境的定位和建图方法
CN113903011A (zh) * 2021-10-26 2022-01-07 江苏大学 一种适用于室内停车场的语义地图构建及定位方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023184869A1 (zh) * 2022-04-02 2023-10-05 合众新能源汽车股份有限公司 室内停车场的语义地图构建及定位方法和装置

Also Published As

Publication number Publication date
WO2023184869A1 (zh) 2023-10-05
CN114863096B (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
CN110163930B (zh) 车道线生成方法、装置、设备、系统及可读存储介质
CN113554698B (zh) 车辆位姿信息生成方法、装置及电子设备、存储介质
CN107341453B (zh) 一种车道线提取方法及装置
CN113657224B (zh) 车路协同中用于确定对象状态的方法、装置、设备
KR102200299B1 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
CN109596121B (zh) 一种机动站自动目标检测与空间定位方法
CN109741241B (zh) 鱼眼图像的处理方法、装置、设备和存储介质
CN111986261B (zh) 一种车辆定位方法、装置、电子设备及存储介质
CN111008660A (zh) 语义地图的生成方法、装置、系统、存储介质及电子设备
CN111986214B (zh) 一种地图中人行横道的构建方法和电子设备
CN115164918B (zh) 语义点云地图构建方法、装置及电子设备
CN113808098A (zh) 道路病害识别方法、装置、电子设备及可读存储介质
CN114663852A (zh) 车道线图的构建方法、装置、电子设备及可读存储介质
CN114037762A (zh) 基于图像与高精度地图配准的实时高精度定位方法
CN114863096B (zh) 室内停车场的语义地图构建及定位方法和装置
CN116012817A (zh) 基于双网络深度学习的实时全景车位检测方法、装置
CN110197104B (zh) 基于车辆的测距方法及装置
CN114120254A (zh) 道路信息识别方法、装置及存储介质
CN112507891B (zh) 自动化识别高速路口并构建路口向量的方法及装置
CN114648639B (zh) 一种目标车辆的检测方法、系统及装置
CN116052120A (zh) 基于图像增强和多传感器融合的挖掘机夜间物体检测方法
CN114428259A (zh) 一种基于地图车采集的地库激光点云中车辆自动提取方法
CN116762094A (zh) 数据处理方法和设备
CN117315034B (zh) 横坡车位坐标的确定方法、装置、计算机设备及存储介质
WO2022099525A1 (zh) 车辆定位方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 314500 988 Tong Tong Road, Wu Tong Street, Tongxiang, Jiaxing, Zhejiang

Applicant after: United New Energy Automobile Co.,Ltd.

Address before: 314500 988 Tong Tong Road, Wu Tong Street, Tongxiang, Jiaxing, Zhejiang

Applicant before: Hezhong New Energy Vehicle Co.,Ltd.

GR01 Patent grant
GR01 Patent grant