CN112116654B - 一种车辆位姿确定方法、装置及电子设备 - Google Patents

一种车辆位姿确定方法、装置及电子设备 Download PDF

Info

Publication number
CN112116654B
CN112116654B CN201910537501.6A CN201910537501A CN112116654B CN 112116654 B CN112116654 B CN 112116654B CN 201910537501 A CN201910537501 A CN 201910537501A CN 112116654 B CN112116654 B CN 112116654B
Authority
CN
China
Prior art keywords
vehicle
semantic information
pose
scene
semantic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910537501.6A
Other languages
English (en)
Other versions
CN112116654A (zh
Inventor
胡兵
吕吉鑫
孟超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201910537501.6A priority Critical patent/CN112116654B/zh
Priority to PCT/CN2020/097180 priority patent/WO2020253842A1/zh
Priority to EP20826498.6A priority patent/EP3989170A4/en
Publication of CN112116654A publication Critical patent/CN112116654A/zh
Application granted granted Critical
Publication of CN112116654B publication Critical patent/CN112116654B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请实施例提供了一种车辆位姿确定方法、装置及电子设备。其中，待定位车辆设置有环视相机，所述环视相机用于拍摄所述待定位车辆所处场景的鸟瞰图，所述方法包括：对所述鸟瞰图进行语义分割，得到所述待定位车辆所处场景的局部语义信息；根据包括所述待定位车辆所处场景在内的预设区域的全局语义信息，在所述预设区域内确定与所述局部语义信息匹配的位姿，作为所述待定位车辆所处的位姿。可以通过从环视相机拍摄到的鸟瞰图中提取语义信息，以获取待定位车辆所处场景的特征，进而通过地图匹配，确定出待定位车辆的位姿。可以在不借助GPS信号的前提下，实现位姿的确定。因此即使在无法正常接收到GPS信号的场景中也能够准确确定位姿。

Description

一种车辆位姿确定方法、装置及电子设备
技术领域
本申请涉及图像分析技术领域，特别是涉及一种车辆位姿确定方法、装置及电子设备。
背景技术
在一些应用场景中，可能需要对车辆进行高精度、高频率的位姿(位置和朝向角)确定，例如无人驾驶系统中出于安全性的考虑，需要对车辆进行高精度、高频率的位姿确定。
相关技术中，可以通过在车辆上设置GPS(Global Position System，全球定位系统)传感器，以确定车辆的位姿。但是，GPS传感器需要接收GPS基站发送的GPS信号才能够正常工作。而在一些应用场景中车辆可能处于信号较差的场景中，如地下停车场，GPS传感器可能无法正常接收到GPS信号，导致无法对车辆进行位姿确定。
发明内容
本申请实施例的目的在于提供一种车辆位姿确定方法，以实现在无法正常接收到GPS信号的场景中，准确确定位姿。具体技术方案如下：
在本申请实施例的第一方面，提供了一种位姿确定方法，待定位车辆设置有环视相机，所述方法包括：
对所述鸟瞰图进行语义分割，得到所述待定位车辆所处场景的局部语义信息；
根据包括所述待定位车辆所处场景在内的预设区域的全局语义信息，在所述预设区域内确定与所述局部语义信息匹配的位姿，作为所述待定位车辆所处的位姿。
在一种可能的实施例中，所述对所述鸟瞰图进行语义分割，得到所述待定位车辆所处场景的局部语义信息，包括：
对所述鸟瞰图进行语义分割，得到所述待定位车辆所处场景的语义点云，作为局部语义信息，其中，语义点云用于表示各空间点的几何信息和语义信息，所述语义信息表示各空间点对应的标识类型；
所述根据包括所述待定位车辆所处场景在内的预设区域的全局语义信息，在所述预设区域内确定与所述局部语义信息匹配的位姿，作为所述待定位车辆所处的位姿，包括：
基于所述局部语义信息所表示的几何信息以及语义信息，将所述局部语义信息与预设区域的全局语义信息进行匹配，得到所述预设区域内中与所述局部语义信息匹配的位姿，作为所述待定位车辆所处的位姿，所述全局语义信息为所述预设区域的语义点云。
在一种可能的实施例中，所述标识类型包括：车道线、车位框、停车线、减速带、道路箭头、车位编号。
在一种可能的实施例中，所述环视相机包括多个鱼眼相机，所述多个鱼眼相机分别设置在待定位车辆的不同方位，用于拍摄所对应方向上的图像；
在所述对所述鸟瞰图进行语义分割，得到所述待定位车辆所处场景的局部语义信息之前，所述方法还包括：
根据逆透视变换原理，对所述多个鱼眼相机拍摄到的图像进行变换并拼接，得到所述待定位车辆所处场景的鸟瞰图。
在一种可能的实施例中，所述待定位车辆还设置有位姿传感器，用于测量所述待定位车辆在不同时间节点上的相对位姿；
所述对所述鸟瞰图进行语义分割，得到所述待定位车辆所处场景的局部语义信息，包括：
对包括当前时刻在内的多个时间节点上拍摄到的鸟瞰图进行语义分割，得到所述待定位车辆在所述多个时间节点上所处场景的语义信息；
获取所述多个时间节点上的感应相对位姿，所述感应相对位姿为读取所述位姿传感器得到的；
基于所述待定位车辆在所述多个时间节点上的感应相对位姿，对所述多个时间节点上所述待定位车辆所处场景的语义信息进行叠加，得到叠加结果；
对所述叠加结果进行滤波，得到所述待定位车辆在包括当前时刻在内的时间窗口内所处场景的语义信息，作为局部语义信息。
在本申请实施例的第二方面，提供了一种车辆位姿确定装置，待定位车辆设置有环视相机，所述环视相机用于拍摄所述待定位车辆所处场景的鸟瞰图，所述装置包括：
语义分割模块，用于对所述鸟瞰图进行语义分割，得到所述待定位车辆所处场景的局部语义信息；
语义匹配模块，用于根据包括所述待定位车辆所处场景在内的预设区域的全局语义信息，在所述预设区域内确定与所述局部语义信息匹配的位姿，作为所述待定位车辆所处的位姿。
在一种可能的实现方式中，所述语义分割模块，具体用于对所述鸟瞰图进行语义分割，得到所述待定位车辆所处场景的语义点云，作为局部语义信息，其中，语义点云用于表示各空间点的几何信息和语义信息，所述语义信息表示各空间点对应的标识类型；
所述语义匹配模块，具体用于基于所述局部语义信息所表示的几何信息以及语义信息，将所述局部语义信息与预设区域的全局语义信息进行匹配，得到所述预设区域内中与所述局部语义信息匹配的位姿，作为所述待定位车辆所处的位姿，所述全局语义信息为所述预设区域的语义点云。
在一种可能的实现方式中，所述语义分割模块，具体用于对所述鸟瞰图进行语义分割，得到所述待定位车辆所处场景的语义点云，作为局部语义信息，其中，语义点云用于表示各空间点的几何信息和语义信息，所述语义信息表示各空间点对应的标识类型；
所述语义匹配模块，具体用于基于所述局部语义信息所表示的几何信息以及语义信息，将所述局部语义信息与预设区域的全局语义信息进行匹配，得到所述预设区域内中与所述局部语义信息匹配的位姿，作为所述待定位车辆所处的位姿，所述全局语义信息为所述预设区域的语义点云。
在一种可能的实现方式中，所述标识类型包括：车道线、车位框、停车线、减速带、道路箭头、车位编号。
在一种可能的实现方式中，所述环视相机包括多个鱼眼相机，所述多个鱼眼相机分别设置在待定位车辆的不同方位，用于拍摄所对应方向上的图像；
所述装置还包括图像拼接模块，用于在所述对所述鸟瞰图进行语义分割，得到所述待定位车辆所处场景的局部语义信息之前，所述方法还包括：
根据逆透视变换原理，对所述多个鱼眼相机拍摄到的图像进行变换并拼接，得到所述待定位车辆所处场景的鸟瞰图。
在一种可能的实现方式中，所述待定位车辆还设置有位姿传感器，用于测量所述待定位车辆在不同时间节点上的相对位姿；
所述语义分割模块，具体用于对包括当前时刻在内的多个时间节点上拍摄到的鸟瞰图进行语义分割，得到所述待定位车辆在所述多个时间节点上所处场景的语义信息；
获取所述多个时间节点上的感应相对位姿，所述感应相对位姿为读取所述位姿传感器得到的；
基于所述待定位车辆在所述多个时间节点上的感应相对位姿，对所述多个时间节点上所述待定位车辆所处场景的语义信息进行叠加，得到叠加结果；
对所述叠加结果进行滤波，得到所述待定位车辆在包括当前时刻在内的时间窗口内所处场景的语义信息，作为局部语义信息。
在一种可能的实现方式中，所述语义分割模块还用于在所述对包括当前时刻在内的多个时间节点上拍摄到的鸟瞰图进行语义分割，得到所述待定位车辆在所述多个时间节点上所处场景的语义信息之后，获取所述多个时间节点上的视觉相对位姿，所述视觉相对位姿为通过所述多个时间节点的语义信息匹配得到的；
融合所述感应相对位姿和所述视觉相对位姿，得到融合相对位姿；
所述语义分割模块，具体用于基于所述待定位车辆在所述多个时间节点上的融合相对位姿，对所述多个时间节点上所述待定位车辆所处场景的语义信息进行叠加，得到叠加结果。
在一种可能的实现方式中，所述语义匹配模块，具体用于根据确定得到的所述待定位车辆历史时刻所处的位置，预估所述待定位车辆当前时刻所处的位置，作为预估位置；
根据预设区域中所述预估位置的预设范围内的先验语义信息，在所述预设位置的预设范围内确定与所述局部语义信息匹配的位姿，作为所述待定位车辆所处的位姿。
在本申请实施例的第三方面，提供了一种电子设备，包括：
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述第一方面任一所述的方法步骤。
在本申请实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一所述的方法步骤。
在本申请实施例的第五方面，提供了一种车辆位姿环视系统，包括：环视相机和至少一个处理器，所述环视相机用于拍摄所述待定位车辆所处场景的鸟瞰图，所述处理器用于：对所述鸟瞰图进行语义分割，得到所述待定位车辆所处场景的局部语义信息；根据包括所述待定位车辆所处场景在内的预设区域的全局语义信息，在所述预设区域内确定与所述局部语义信息匹配的位姿，作为所述待定位车辆所处的位姿。
本申请实施例提供的车辆位姿确定方法、装置及电子设备，可以通过从环视相机拍摄到的鸟瞰图中提取语义信息，以获取待定位车辆所处场景的特征，进而通过地图匹配，确定出待定位车辆的位姿。可以在不借助GPS信号的前提下，实现位姿的确定。因此即使在无法正常接收到GPS信号的场景中也能够准确确定位姿。当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的车辆位姿确定方法的一种流程示意图；
图2为本申请实施例提供的车辆位姿确定方法的另一种流程示意图；
图3为本申请实施例提供的车辆位姿确定的一种原理示意图；
图4为本申请实施例提供的车辆位姿确定装置的一种结构示意图；
图5为本申请实施例提供的用于车辆位姿确定的电子设备的一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本发明实施例中，待定位车辆设置有环视相机，用于拍摄待定位车辆所处场景的鸟瞰图。环视相机的设置方式，根据应用场景的不同可以不同，本实施例对此不做限制。参见图1，图1所示为本申请实施例提供的车辆位姿确定方法的一种流程示意图，可以包括：
S101，对鸟瞰图进行语义分割，得到待定位车辆所处场景的局部语义信息。
局部语义信息可以用于表示待定位车辆所处场景中标识的标识类型以及位置信息。示例性的，局部语义信息可以表示待定位车辆所处场景中，空间坐标为(1,2,3)的空间点属于停车线。局部语义信息的表示方式根据应用场景的不同可以不同，本实施例对此不做限制。
在一种可能的实施例中，局部语义信息可以是以语义点云的形式表示的。其中，语义点云用于表示各空间点的几何信息和语义信息，语义信息表示各空间点对应的标识类型。根据应用场景不同，标识类型可以不同。示例性的，在一种可能的应用场景中，标识类型可以包括车道线、车位框、停车线、减速带、道路箭头、车位编号等地面标识中的一个或多个。语义点云可以视为多个点的集合，每个点可以用(loc，label)的形式表示，其中loc表示该点的空间坐标，label表示该点对应的标识类型所对应的标签，例如存在一个空间坐标为(3，2，0)的点，并且该点属于停车线，停车线所对应的标签为2，则语义点云中该点可以表示为(3，2，0，2)。
S102，根据待定位车辆所处场景在内的预设区域的全局语义信息，在预设区域内确定与局部语义信息匹配的位姿，作为待定位车辆所处的位姿。
全局语义信息的表示方式与局部语义信息的表示方式相同，示例性的，假设局部语义信息是以语义点云的形式表示的，则全局语义信息也是以语义点云的形式表示的。
位姿与局部语义信息匹配，可以是指基于全局语义信息，假设待定位车辆处于该位姿时，理论上可以测量得到的局部语义信息与S101中实际测量得到的局部语义信息能够匹配。
根据语义信息表示方式的不同，确定与局部语义信心匹配的位姿的方式也可以不同。可以是基于局部语义信息所表示的几何信息以及语义信息，将局部语义信息与预设区域的全局语义信息匹配，得到预设区域内与局部语义信息匹配的位姿，作为待定位车辆所处的位姿。为描述方便，下面将以全局语义信息和局部语义信息是以语义点云的形式表示的为例进行说明，可以包括以下步骤：
步骤1、基于局部语义信息所表示的几何信息以及语义信息，将局部语义信息与预设的全局语义信息进行匹配，得到局部语义信息与全局语义信息的匹配点对。
如果局部语义信息中的一个点，与全局语义信息中的一个点的几何信息相匹配，并且语义信息也相匹配，则可以认为这两个点对应于同一个空间点，即这两个点构成关联关系。
在其他可选的实施例中，也可以是根据确定得到的待定位车辆历史时刻所处的位置，预估待定位车辆当前时刻所处的位置，作为预估位置。示例性的，待定位车辆在t＝10s时，处于位置A，当前时刻为t＝15s，可以从位姿传感器读取这5s内的相对位姿变化，得到预估位置A`。进而从全局语义信息中，截取位置A`附近预设范围内的语义信息，作为先验语义信息，并且通过将先验语义信息与局部语义信息进行匹配，得到局部语义信息与先验语义信息的匹配点对，可以理解，由于先验语义信息为全局语义信息的一部分，因此局部语义信息与先验语义信息的匹配点对，可以视为局部语义信息与全局语义信息的匹配点对。同时，先验语义信息为全局语义信息的一部分，因此完成局部语义信息与先验语义信息的匹配所需要的计算量，低于完成局部语义信息与全局语义信息的匹配所需要的计算量。
步骤2、基于匹配点对的坐标转换关系，确定待定位车辆在全局语义信息的空间坐标系中的位姿。
为描述方便，假设全局语义信息的空间坐标系为全局坐标系，而局部语义信息的空间坐标系为局部坐标系。可以理解的是，一个匹配点对中包括一个全局语义信息中的点，以及局部语义信息中相匹配的点，如前述分析，这两个点理论上表示空间中的同一个点，只是分别以全局坐标系中的坐标和局部坐标系中的坐标进行表示。因此，综合多个匹配点对，可以确定出全局坐标系与局部坐标系之间的坐标变换关系。
待定位车辆与环视相机之间的相对位置关系可以认为是固定并且已知的，而局部语义信息为基于环视相机拍摄到的鸟瞰图所构建的待定位车辆所处场景的语义点云，因此可以认为待定位车辆在局部坐标系中的局部坐标和朝向角是已知的。进而可以基于匹配点对所反映出的全局坐标系与局部坐标系之间的坐标转换关系，确定待定位车辆在全局坐标系中的全局坐标以及朝向角，即可以确定得到待定位车辆的位姿。
选用该实施例，可以通过从环视相机拍摄到的鸟瞰图中提取语义信息，以获取待定位车辆所处场景的特征，进而通过地图匹配，确定出待定位车辆的位姿。可以在不借助GPS信号的前提下，实现位姿的确定。因此即使在无法正常接收到GPS信号的场景中也能够准确确定位姿。
另一方面，本申请实施例也可以在不借助激光定位器和声波定位器的前提下，实现位姿的确定。相比于相关技术中，利用激光定位和/或声波定位器进行定位的方案，可以有效降低位姿确定的成本。
参见图2，图2所示为本申请实施例提供的车辆位姿确定方法的另一种流程示意图，其中，待定位车辆设置有位姿传感器和环视相机，位姿传感器用于测量待定位车辆在不同时间节点上的相对位姿。方法可以包括：
S201，对包括当前时刻在内的多个时间节点上拍摄到的鸟瞰图进行语义分割，得到待定位车辆在多个时间节点上所处场景的语义点云。
为描述方便，假设当前时刻为t1,，并且多个时间节点为{t1，t2…，tn}，并且将在ti上拍摄到的鸟瞰图称为鸟瞰图i，待定位车辆在ti上所处场景的语义点云称为语义点云i，其中，i为[1,n]中的任意正整数。
对不同的鸟瞰图可以是在不同时间分别进行语义分割的，也可以是在相同时间并行语义分割的，示例性的，可以是在每拍摄到一个鸟瞰图后，对该拍摄到的鸟瞰图进行语义分割，也可以是在拍摄到鸟瞰图1-鸟瞰图n后，并行对鸟瞰图1-鸟瞰图n进行语义分割，本实施例对此不做限制。
S202，获取位姿传感器在多个时间节点上测量得到的待定位车辆的相对位姿，作为感应相对位姿。
位姿传感器可以包括IMU(Inertial measurement unit，惯性测量单元)和轮速计数器。其中，IMU用于测量车辆三轴加速度和角速度，轮速计数器用于测量车辆轮胎的旋转圈数，并且基于测量得到的旋转圈数，计算车辆的运动距离。待定位车辆在一个时间节点上的相对位姿，可以是待定位车辆在时间节点上所处的位姿，相对于该时间节点之前的某一时间节点上待定位车辆所处位姿的变化量。在已知车辆三轴加速度、角速度以及车辆运动距离的情况下，可以计算出车辆在指定时间窗口内运动的变化量，因此位姿传感器可以测量得到待定位车辆的相对位姿。
可以理解的是，在一些实施例中，位姿传感器和环视相机的采样频率可能不同，因此可以设置时间同步单元，以同步环视相机采集到的鸟瞰图和位姿传感器测量得到的相对位姿。
S203，基于待定位车辆在多个时间节点上的感应相对位姿，对多个时间节点上待定位车辆所处场景的语义点云进行叠加，得到叠加结果。
为描述方便，将待定位车辆在ti上的感应相对位姿称为loci，则可以是将语义点云1设置在loc1，将语义点云2叠加的设置在loc2…依次类推，直至将语义点云n叠加的设置在locn，以得到叠加结果。
可以理解的是，位姿传感器可能存在一定误差，以位姿传感器包括IMU和轮速计数器为例，IMU和轮速计数器可能存在累计误差和随机涨落，导致测量得到的三轴加速度、角速度以及车辆运动距离不够准确，基于不准确的三轴加速度、角速度以及车辆运动距离，得到的相对位姿不够准确，即感应相对位姿可能存在一定误差。
有鉴于此，在一种可选的实施例中，可以对待定位车辆在多个时间节点上所处场景的语义点云进行匹配，得到待定位车辆在多个时间节点上的相对位姿，作为视觉相对位姿。并融合感应相对位姿与视觉相对位姿，得到融合相对位姿。由于融合位姿中综合了基于语义点云匹配得到的视觉相对位姿，因此可以将融合相对位姿视为基于视觉相对位姿，对感应相对位姿进行修正得到的修正结果。
因此基于融合相对位姿，对多个时间节点上待定位车辆所处场景的语义点云进行叠加，可以使得得到的叠加结果更加准确。
S204，对叠加结果进行滤波，得到待定位车辆在包括当前时刻在内的时间窗口内所处场景的语义点云，作为局部语义信息。
滤波所使用的算法根据应用场景的不同可以不同，本实施例对此不做限制。由于叠加结果为包括当前时刻在内的多个时间节点上待定位车辆所处场景的语义点云，因此经过滤波得到的结果，可以视为待定位车辆在包括当前时刻在内的时间窗口内所处场景的语义点云，也可以视为待定位车辆最近运动的一段距离内的场景的语义点云。
S205，根据包括待定位车辆所处场景在内的预设区域的全局语义信息，在预设区域内确定与局部语义信息匹配的位姿，作为待定位车辆所处的位姿。
该步骤与S102相同，可以参见前述S102的相关描述，在此不再赘述。
选用该实施例，可以通过叠加多个不同时间节点上所处场景的语义点云，增加局部语义信息中所包含的几何信息以及语义信息，使得局部语义信息可以与全局语义信息更准确地进行匹配，从而提高确定得到的位姿的准确性。
下面将结合具体的应用场景的对本申请实施例提供的车辆位姿确定方法进行说明，在一种可能的实施例中，环视相机包括四个鱼眼相机(在其他可选的实施例中所包括的鱼眼相机的数目也可以不同)，分别设置在待定位车辆的四周。该待定位车辆还设置有IMU和轮速计数器。可以参见图3，包括：
S301，四个鱼眼相机拍摄对应方向上的图像，并将拍摄到的图像和时间戳发送至数据采集平台。
其中，数据采集平台可以是设置在该车辆上的，也可以是设置在与该车辆存在通信连接的网络设备上。鱼眼相机所发送的图像包含有用于表示拍摄时间的时间戳。
S302，数据采集平台根据逆透视变换原理，对多个鱼眼相机拍摄到的图像进行变换并拼接，得到待定位车辆所处场景的鸟瞰图。
例如，假设四个鱼眼相机分别在t＝10s时拍摄到对应方向上的图像，根据逆透视变换原理，对这四个鱼眼相机在t＝10s时拍摄到的对应方向的图像进行变化和拼接，可以得到t＝10s时待定位车辆所处场景的鸟瞰图。
S303，数据采集平台对鸟瞰图进行语义分割，得到待定位车辆所处场景的语义点云。
该步骤与S101相同，可以参见前述关于S101的描述，在此不再赘述。
S304，数据采集平台根据接收到的时间戳，同步读取各个图像所对应的IMU数据和轮速计数器数据。
其中，IMU数据为IMU测量得到的数据，轮速计数器数据为轮速计数器测量得到的数据。示例性的，假设一个图像的时间戳为t＝10s，则数据采集平台可以读取t＝10s时IMU的读数，作为IMU数据，并读取t＝10s时轮速计数器的读数，作为轮速计数器读数。
S305，数据采集平台将得到的IMU数据、轮速计数器数据、语义点云发送至数据分析平台。
其中，数据分析平台可以是设置于车辆上，也可以是设置于与车辆建立有通信连接的网络设备上。
S306，数据分析平台基于IMU数据、轮速计数器数据确定感应相对位姿，并基于不同时间节点的语义点云确定视觉相对位姿。
关于感应相对位姿和视觉相对位姿可以参见前述S202和S203中的相关描述，在此不再赘述。
S307，数据分析平台融合感应相对位姿和视觉相对位姿，得到融合相对位姿。
关于融合相对位姿可以参见前述S203中的相关描述，在此不再赘述。
S308，数据分析平台基于待定位车辆在多个时间节点上的融合相对位姿，对多个时间节点上待定位车辆所处场景的语义点云进行叠加，得到叠加结果。
S309，数据分析平台对叠加结果进行滤波，得到待定位车辆在包括当前时刻在内的时间窗口内所处场景的语义点云，作为局部语义信息。
S310，数据分析平台基于局域语义地图所表示的几何信息和语义信息，将局部语义信息与预设的全局语义信息进行匹配，得到局部语义信息与全局语义信息的匹配点对。
可以参见前述S102中的相关描述，在此不再赘述。
S311，数据分析平台基于匹配点对的坐标变换关系，确定待定位车辆在全局语义信息的空间坐标系中的位姿。
可以参见前述S102中的相关描述，在此不再赘述。
该实施例中数据采集平台和数据分析平台可以是相互独立的两个电子设备，也可以是集成在同一个电子设备上的两个不同模块，本实施例对此不做限制。在一种可选的实施例中，还可以包括数据显示平台，用于根据数据分析平台所确定的位姿显示该车辆。
参见图4，图4所示为本申请实施例提供的车辆位姿确定装置的一种结构示意图，可以包括：
语义分割模块401，用于对鸟瞰图进行语义分割，得到待定位车辆所处场景的局部语义信息；
语义匹配模块402，用于根据包括待定位车辆所处场景在内的预设区域的全局语义信息，在预设区域内确定与局部语义信息匹配的位姿，作为待定位车辆所处的位姿。
在一种可选的实施例中，语义分割模块401，具体用于对鸟瞰图进行语义分割，得到待定位车辆所处场景的语义点云，作为局部语义信息，其中，语义点云用于表示各空间点的几何信息和语义信息，语义信息表示各空间点对应的标识类型；
语义匹配模块402，具体用于基于局部语义信息所表示的几何信息以及语义信息，将局部语义信息与预设区域的全局语义信息进行匹配，得到预设区域内中与局部语义信息匹配的位姿，作为待定位车辆所处的位姿，全局语义信息为预设区域的语义点云。
在一种可选的实施例中，标识类型包括：车道线、车位框、停车线、减速带、道路箭头、车位编号。
在一种可选的实施例中，环视相机包括多个鱼眼相机，多个鱼眼相机分别设置在待定位车辆的不同方位，用于拍摄所对应方向上的图像；
装置还包括图像拼接模块，用于在对鸟瞰图进行语义分割，得到待定位车辆所处场景的局部语义信息之前，方法还包括：
根据逆透视变换原理，对多个鱼眼相机拍摄到的图像进行变换并拼接，得到待定位车辆所处场景的鸟瞰图。
在一种可选的实施例中，待定位车辆还设置有位姿传感器，用于测量待定位车辆在不同时间节点上的相对位姿；
语义分割模块401，具体用于对包括当前时刻在内的多个时间节点上拍摄到的鸟瞰图进行语义分割，得到待定位车辆在多个时间节点上所处场景的语义信息；
获取多个时间节点上的感应相对位姿，感应相对位姿为读取位姿传感器得到的；
基于待定位车辆在多个时间节点上的感应相对位姿，对多个时间节点上待定位车辆所处场景的语义信息进行叠加，得到叠加结果；
对叠加结果进行滤波，得到待定位车辆在包括当前时刻在内的时间窗口内所处场景的语义信息，作为局部语义信息。
在一种可能的实施例中，语义分割模块401还用于在对包括当前时刻在内的多个时间节点上拍摄到的鸟瞰图进行语义分割，得到待定位车辆在多个时间节点上所处场景的语义信息之后，获取多个时间节点上的视觉相对位姿，视觉相对位姿为通过多个时间节点的语义信息匹配得到的；
融合感应相对位姿和视觉相对位姿，得到融合相对位姿；
语义分割模块401，具体用于基于待定位车辆在多个时间节点上的融合相对位姿，对多个时间节点上待定位车辆所处场景的语义信息进行叠加，得到叠加结果。
在一种可能的实施例中，语义匹配模块402，具体用于根据确定得到的待定位车辆历史时刻所处的位置，预估待定位车辆当前时刻所处的位置，作为预估位置；
根据预设区域中预估位置的预设范围内的先验语义信息，在预设位置的预设范围内确定与局部语义信息匹配的位姿，作为待定位车辆所处的位姿。
本申请实施例还提供了一种电子设备，如图5所示，包括：
存储器501，用于存放计算机程序；
处理器502，用于执行存储器501上所存放的程序时，实现如下步骤：
对鸟瞰图进行语义分割，得到待定位车辆所处场景的局部语义信息；
根据包括待定位车辆所处场景在内的预设区域的全局语义信息，在预设区域内确定与局部语义信息匹配的位姿，作为待定位车辆所处的位姿。
在一种可选的实施例中，对鸟瞰图进行语义分割，得到待定位车辆所处场景的局部语义信息，包括：
对鸟瞰图进行语义分割，得到待定位车辆所处场景的语义点云，作为局部语义信息，其中，语义点云用于表示各空间点的几何信息和语义信息，语义信息表示各空间点对应的标识类型；
根据包括待定位车辆所处场景在内的预设区域的全局语义信息，在预设区域内确定与局部语义信息匹配的位姿，作为待定位车辆所处的位姿，包括：
基于局部语义信息所表示的几何信息以及语义信息，将局部语义信息与预设区域的全局语义信息进行匹配，得到预设区域内与局部语义信息匹配的位姿，作为待定位车辆所处的位姿，全局语义信息为预设区域的语义点云。
在一种可选的实施例中，标识类型包括：车道线、车位框、停车线、减速带、道路箭头、车位编号。
在一种可选的实施例中，环视相机包括多个鱼眼相机，多个鱼眼相机分别设置在待定位车辆的不同方位，用于拍摄所对应方向上的图像；
在对鸟瞰图进行语义分割，得到待定位车辆所处场景的局部语义信息之前，方法还包括：
根据逆透视变换原理，对多个鱼眼相机拍摄到的图像进行变换并拼接，得到待定位车辆所处场景的鸟瞰图。
在一种可选的实施例中，待定位车辆还设置有位姿传感器，用于测量待定位车辆在不同时间节点上的相对位姿；
对鸟瞰图进行语义分割，得到待定位车辆所处场景的局部语义信息，包括：
对包括当前时刻在内的多个时间节点上拍摄到的鸟瞰图进行语义分割，得到待定位车辆在多个时间节点上所处场景的语义信息；
获取多个时间节点上的感应相对位姿，感应相对位姿为读取位姿传感器得到的；
基于待定位车辆在多个时间节点上的感应相对位姿，对多个时间节点上待定位车辆所处场景的语义信息进行叠加，得到叠加结果；
对叠加结果进行滤波，得到待定位车辆在包括当前时刻在内的时间窗口内所处场景的语义信息，作为局部语义信息。
在一种可能的实施例中，在对包括当前时刻在内的多个时间节点上拍摄到的鸟瞰图进行语义分割，得到待定位车辆在多个时间节点上所处场景的语义信息之后，方法还包括：
获取多个时间节点上的视觉相对位姿，视觉相对位姿为通过多个时间节点的语义信息匹配得到的；
融合感应相对位姿和视觉相对位姿，得到融合相对位姿；
基于待定位车辆在多个时间节点上的感应相对位姿，对多个时间节点上待定位车辆所处场景的语义信息进行叠加，得到叠加结果，包括：
基于待定位车辆在多个时间节点上的融合相对位姿，对多个时间节点上待定位车辆所处场景的语义信息进行叠加，得到叠加结果。
在一种可能的实施例中，根据包括待定位车辆所处场景在内的预设区域的全局语义信息，在预设区域内确定与局部语义信息匹配的位姿，作为待定位车辆所处的位姿，包括：
根据确定得到的待定位车辆历史时刻所处的位置，预估待定位车辆当前时刻所处的位置，作为预估位置；
根据预设区域中预估位置的预设范围内的先验语义信息，在预设位置的预设范围内确定与局部语义信息匹配的位姿，作为待定位车辆所处的位姿。
上述电子设备提到的存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一车辆位姿确定方法。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一车辆位姿确定方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
本申请实施例提供了一种车辆位姿环视系统，包括：环视相机和至少一个处理器，所述环视相机用于拍摄所述待定位车辆所处场景的鸟瞰图，所述处理器用于：对所述鸟瞰图进行语义分割，得到所述待定位车辆所处场景的局部语义信息；根据包括所述待定位车辆所处场景在内的预设区域的全局语义信息，在所述预设区域内确定与所述局部语义信息匹配的位姿，作为所述待定位车辆所处的位姿。
该系统还可以包括显示器，用于显示所述待定位车辆所处场景的鸟瞰图，和或，地图。
显示器显示的地图可以包含如下信息的至少一个：语义信息，待定位车辆的位姿，环视相机所在的车辆的图像。
鸟瞰图也可以包含如下信息的至少一个：语义信息，待定位车辆的位姿，环视相机所在的车辆的图像。
利用本发明实施例在地下室、室内、多层建筑、GPS信号弱的场景中，可以更准确的确定车辆位姿，进一步使得地图导航更为精准，能够更精准的定位、导航，实现辅助驾驶。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、系统、计算机可读存储介质以及计算机程序产品的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (13)

1.一种车辆位姿确定方法，其特征在于，待定位车辆设置有环视相机，所述环视相机用于拍摄所述待定位车辆所处场景的鸟瞰图，所述方法包括：
对所述鸟瞰图进行语义分割，得到所述待定位车辆所处场景的局部语义信息；
根据包括所述待定位车辆所处场景在内的预设区域的全局语义信息，在所述预设区域内确定与所述局部语义信息匹配的位姿，作为所述待定位车辆所处的位姿；
所述待定位车辆还设置有位姿传感器，用于测量所述待定位车辆在不同时间节点上的相对位姿，作为感应相对位姿；
所述对所述鸟瞰图进行语义分割，得到所述待定位车辆所处场景的局部语义信息，包括：
对包括当前时刻在内的多个时间节点上拍摄到的鸟瞰图进行语义分割，得到所述待定位车辆在所述多个时间节点上所处场景的语义信息；
获取所述多个时间节点上的感应相对位姿，所述感应相对位姿为读取所述位姿传感器得到的；
基于所述待定位车辆在所述多个时间节点上的感应相对位姿，对所述多个时间节点上所述待定位车辆所处场景的语义信息进行叠加，得到叠加结果；
对所述叠加结果进行滤波，得到所述待定位车辆在包括当前时刻在内的时间窗口内所处场景的语义信息，作为局部语义信息。
2.根据权利要求1所述的方法，其特征在于，所述对所述鸟瞰图进行语义分割，得到所述待定位车辆所处场景的局部语义信息，包括：
对所述鸟瞰图进行语义分割，得到所述待定位车辆所处场景的语义点云，作为局部语义信息，其中，语义点云用于表示各空间点的几何信息和语义信息，所述语义信息表示各空间点对应的标识类型；
所述根据包括所述待定位车辆所处场景在内的预设区域的全局语义信息，在所述预设区域内确定与所述局部语义信息匹配的位姿，作为所述待定位车辆所处的位姿，包括：
基于所述局部语义信息所表示的几何信息以及语义信息，将所述局部语义信息与预设区域的全局语义信息进行匹配，得到所述预设区域内与所述局部语义信息匹配的位姿，作为所述待定位车辆所处的位姿，所述全局语义信息为所述预设区域的语义点云。
3.根据权利要求2所述的方法，其特征在于，所述标识类型包括：车道线、车位框、停车线、减速带、道路箭头、车位编号。
4.根据权利要求1所述的方法，其特征在于，所述环视相机包括多个鱼眼相机，所述多个鱼眼相机分别设置在待定位车辆的不同方位，用于拍摄所对应方向上的图像；
在所述对所述鸟瞰图进行语义分割，得到所述待定位车辆所处场景的局部语义信息之前，所述方法还包括：
根据逆透视变换原理，对所述多个鱼眼相机拍摄到的图像进行变换并拼接，得到所述待定位车辆所处场景的鸟瞰图。
5.根据权利要求1所述的方法，其特征在于，在所述对包括当前时刻在内的多个时间节点上拍摄到的鸟瞰图进行语义分割，得到所述待定位车辆在所述多个时间节点上所处场景的语义信息之后，所述方法还包括：
获取所述多个时间节点上的视觉相对位姿，所述视觉相对位姿为通过所述多个时间节点的语义信息匹配得到的；
融合所述感应相对位姿和所述视觉相对位姿，得到融合相对位姿；
所述基于所述待定位车辆在所述多个时间节点上的感应相对位姿，对所述多个时间节点上所述待定位车辆所处场景的语义信息进行叠加，得到叠加结果，包括：
基于所述待定位车辆在所述多个时间节点上的融合相对位姿，对所述多个时间节点上所述待定位车辆所处场景的语义信息进行叠加，得到叠加结果。
6.根据权利要求1所述的方法，其特征在于，所述根据包括所述待定位车辆所处场景在内的预设区域的全局语义信息，在所述预设区域内确定与所述局部语义信息匹配的位姿，作为所述待定位车辆所处的位姿，包括：
根据确定得到的所述待定位车辆历史时刻所处的位置，预估所述待定位车辆当前时刻所处的位置，作为预估位置；
根据预设区域中所述预估位置的预设范围内的先验语义信息，在所述预估位置的预设范围内确定与所述局部语义信息匹配的位姿，作为所述待定位车辆所处的位姿。
7.一种车辆位姿确定装置，其特征在于，待定位车辆设置有环视相机，所述环视相机用于拍摄所述待定位车辆所处场景的鸟瞰图，所述装置包括：
语义分割模块，用于对所述鸟瞰图进行语义分割，得到所述待定位车辆所处场景的局部语义信息；
语义匹配模块，用于根据包括所述待定位车辆所处场景在内的预设区域的全局语义信息，在所述预设区域内确定与所述局部语义信息匹配的位姿，作为所述待定位车辆所处的位姿；
所述待定位车辆还设置有位姿传感器，用于测量所述待定位车辆在不同时间节点上的相对位姿，作为感应相对位姿；
所述语义分割模块，具体用于对包括当前时刻在内的多个时间节点上拍摄到的鸟瞰图进行语义分割，得到所述待定位车辆在所述多个时间节点上所处场景的语义信息；
获取所述多个时间节点上的感应相对位姿，所述感应相对位姿为读取所述位姿传感器得到的；
基于所述待定位车辆在所述多个时间节点上的感应相对位姿，对所述多个时间节点上所述待定位车辆所处场景的语义信息进行叠加，得到叠加结果；
对所述叠加结果进行滤波，得到所述待定位车辆在包括当前时刻在内的时间窗口内所处场景的语义信息，作为局部语义信息。
8.根据权利要求7所述的装置，其特征在于，所述语义分割模块，具体用于对所述鸟瞰图进行语义分割，得到所述待定位车辆所处场景的语义点云，作为局部语义信息，其中，语义点云用于表示各空间点的几何信息和语义信息，所述语义信息表示各空间点对应的标识类型；
所述语义匹配模块，具体用于基于所述局部语义信息所表示的几何信息以及语义信息，将所述局部语义信息与预设区域的全局语义信息进行匹配，得到所述预设区域内中与所述局部语义信息匹配的位姿，作为所述待定位车辆所处的位姿，所述全局语义信息为所述预设区域的语义点云。
9.根据权利要求8所述的装置，其特征在于，所述标识类型包括：车道线、车位框、停车线、减速带、道路箭头、车位编号。
10.根据权利要求7所述的装置，其特征在于，所述环视相机包括多个鱼眼相机，所述多个鱼眼相机分别设置在待定位车辆的不同方位，用于拍摄所对应方向上的图像；
所述装置还包括图像拼接模块，用于在所述对所述鸟瞰图进行语义分割，得到所述待定位车辆所处场景的局部语义信息之前，
根据逆透视变换原理，对所述多个鱼眼相机拍摄到的图像进行变换并拼接，得到所述待定位车辆所处场景的鸟瞰图。
11.根据权利要求7所述的装置，其特征在于，所述语义分割模块还用于在所述对包括当前时刻在内的多个时间节点上拍摄到的鸟瞰图进行语义分割，得到所述待定位车辆在所述多个时间节点上所处场景的语义信息之后，获取所述多个时间节点上的视觉相对位姿，所述视觉相对位姿为通过所述多个时间节点的语义信息匹配得到的；
融合所述感应相对位姿和所述视觉相对位姿，得到融合相对位姿；
所述语义分割模块，具体用于基于所述待定位车辆在所述多个时间节点上的融合相对位姿，对所述多个时间节点上所述待定位车辆所处场景的语义信息进行叠加，得到叠加结果。
12.根据权利要求7所述的装置，其特征在于，所述语义匹配模块，具体用于根据确定得到的所述待定位车辆历史时刻所处的位置，预估所述待定位车辆当前时刻所处的位置，作为预估位置；
根据预设区域中所述预估位置的预设范围内的先验语义信息，在所述预估位置的预设范围内确定与所述局部语义信息匹配的位姿，作为所述待定位车辆所处的位姿。
13.一种车辆位姿环视系统，其特征在于，包括：环视相机和至少一个处理器，所述环视相机用于拍摄待定位车辆所处场景的鸟瞰图，所述处理器用于：对所述鸟瞰图进行语义分割，得到所述待定位车辆所处场景的局部语义信息；根据包括所述待定位车辆所处场景在内的预设区域的全局语义信息，在所述预设区域内确定与所述局部语义信息匹配的位姿，作为所述待定位车辆所处的位姿；
所述待定位车辆还设置有位姿传感器，用于测量所述待定位车辆在不同时间节点上的相对位姿，作为感应相对位姿；
所述对所述鸟瞰图进行语义分割，得到所述待定位车辆所处场景的局部语义信息，包括：
对包括当前时刻在内的多个时间节点上拍摄到的鸟瞰图进行语义分割，得到所述待定位车辆在所述多个时间节点上所处场景的语义信息；
获取所述多个时间节点上的感应相对位姿，所述感应相对位姿为读取所述位姿传感器得到的；
基于所述待定位车辆在所述多个时间节点上的感应相对位姿，对所述多个时间节点上所述待定位车辆所处场景的语义信息进行叠加，得到叠加结果；
对所述叠加结果进行滤波，得到所述待定位车辆在包括当前时刻在内的时间窗口内所处场景的语义信息，作为局部语义信息。
CN201910537501.6A 2019-06-20 2019-06-20 一种车辆位姿确定方法、装置及电子设备 Active CN112116654B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910537501.6A CN112116654B (zh) 2019-06-20 2019-06-20 一种车辆位姿确定方法、装置及电子设备
PCT/CN2020/097180 WO2020253842A1 (zh) 2019-06-20 2020-06-19 一种车辆位姿确定方法、装置及电子设备
EP20826498.6A EP3989170A4 (en) 2019-06-20 2020-06-19 METHOD AND DEVICE FOR DETERMINING THE POSITION OF A VEHICLE, AS WELL AS DEVICE AND ELECTRONIC DEVICE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910537501.6A CN112116654B (zh) 2019-06-20 2019-06-20 一种车辆位姿确定方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN112116654A CN112116654A (zh) 2020-12-22
CN112116654B true CN112116654B (zh) 2024-06-07

Family

ID=73796634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910537501.6A Active CN112116654B (zh) 2019-06-20 2019-06-20 一种车辆位姿确定方法、装置及电子设备

Country Status (3)

Country Link
EP (1) EP3989170A4 (zh)
CN (1) CN112116654B (zh)
WO (1) WO2020253842A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913491A (zh) * 2021-02-08 2022-08-16 广州汽车集团股份有限公司 一种车辆定位方法及系统、计算机可读存储介质
CN113012160A (zh) * 2021-02-23 2021-06-22 Oppo广东移动通信有限公司 图像处理方法、装置、终端设备及计算机可读存储介质
CN112966622B (zh) * 2021-03-15 2024-03-29 广州小鹏汽车科技有限公司 一种停车场语义地图完善方法、装置、设备和介质
CN114088114B (zh) * 2021-11-19 2024-02-13 智道网联科技(北京)有限公司 车辆位姿校准方法、装置和电子设备
CN114323020B (zh) * 2021-12-06 2024-02-06 纵目科技（上海）股份有限公司 车辆的定位方法、系统、设备及计算机可读存储介质
CN114863096B (zh) * 2022-04-02 2024-04-16 合众新能源汽车股份有限公司 室内停车场的语义地图构建及定位方法和装置
CN114648639B (zh) * 2022-05-19 2022-08-23 魔视智能科技(武汉)有限公司 一种目标车辆的检测方法、系统及装置
CN115164906B (zh) * 2022-09-02 2022-11-15 深圳鹏行智能研究有限公司 定位方法、机器人和计算机可读存储介质
CN115164918B (zh) * 2022-09-06 2023-02-03 联友智连科技有限公司 语义点云地图构建方法、装置及电子设备
CN115923847B (zh) * 2023-03-15 2023-06-02 安徽蔚来智驾科技有限公司 自动驾驶车辆的感知信息的预处理方法、装置及车辆
CN116105603B (zh) * 2023-04-13 2023-09-19 安徽蔚来智驾科技有限公司 用于确定移动物体在场所中的位置的方法及系统
CN116358573B (zh) * 2023-05-31 2023-08-29 小米汽车科技有限公司 地图建立方法、装置、存储介质以及车辆

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008204304A (ja) * 2007-02-22 2008-09-04 Hitachi Ltd 車両挙動再現方法およびシステム
CN107145578A (zh) * 2017-05-08 2017-09-08 深圳地平线机器人科技有限公司 地图构建方法、装置、设备和系统
CN107144285A (zh) * 2017-05-08 2017-09-08 深圳地平线机器人科技有限公司 位姿信息确定方法、装置和可移动设备
CN107328411A (zh) * 2017-06-30 2017-11-07 百度在线网络技术（北京）有限公司 车载定位系统和自动驾驶车辆
CN107328410A (zh) * 2017-06-30 2017-11-07 百度在线网络技术（北京）有限公司 用于定位自动驾驶车辆的方法和汽车电脑
CN108387241A (zh) * 2017-02-02 2018-08-10 百度（美国）有限责任公司 更新自动驾驶车辆的定位地图的方法和系统
CN108732584A (zh) * 2017-04-17 2018-11-02 百度在线网络技术（北京）有限公司 用于更新地图的方法和装置
CN108981726A (zh) * 2018-06-09 2018-12-11 安徽宇锋智能科技有限公司 基于感知定位监测的无人车语义地图建模及构建应用方法
CN109186586A (zh) * 2018-08-23 2019-01-11 北京理工大学 一种面向动态泊车环境的同时定位及混合地图构建方法
CN109544629A (zh) * 2018-11-29 2019-03-29 南京人工智能高等研究院有限公司 摄像头位姿确定方法和装置以及电子设备
CN109740604A (zh) * 2019-04-01 2019-05-10 深兰人工智能芯片研究院（江苏）有限公司 一种行驶区域检测的方法和设备
CN109887032A (zh) * 2019-02-22 2019-06-14 广州小鹏汽车科技有限公司 一种基于单目视觉slam的车辆定位方法及系统
CN109887053A (zh) * 2019-02-01 2019-06-14 广州小鹏汽车科技有限公司 一种slam地图拼接方法及系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6649191B2 (ja) * 2016-06-29 2020-02-19 クラリオン株式会社 車載処理装置
CN106403964A (zh) * 2016-08-30 2017-02-15 北汽福田汽车股份有限公司 一种定位导航系统及车辆
CN106407315B (zh) * 2016-08-30 2019-08-16 长安大学 一种基于街景图像数据库的车辆自主定位方法
US10282861B2 (en) * 2016-12-12 2019-05-07 Here Global B.V. Pose error estimation and localization using static features
JP6882664B2 (ja) * 2017-02-07 2021-06-02 富士通株式会社 移動体位置推定システム、移動体位置推定端末装置、情報格納装置、及び移動体位置推定方法
CN107339996A (zh) * 2017-06-30 2017-11-10 百度在线网络技术（北京）有限公司 车辆自定位方法、装置、设备及存储介质
CN107292818B (zh) * 2017-07-08 2020-04-28 上海交通大学 一种基于环视相机的捕线器自动定位系统及方法
GB2568286B (en) * 2017-11-10 2020-06-10 Horiba Mira Ltd Method of computer vision based localisation and navigation and system for performing the same
CN110147094A (zh) * 2018-11-08 2019-08-20 北京初速度科技有限公司 一种基于车载环视系统的车辆定位方法及车载终端
CN111508258B (zh) * 2020-04-17 2021-11-05 北京三快在线科技有限公司 一种定位方法及装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008204304A (ja) * 2007-02-22 2008-09-04 Hitachi Ltd 車両挙動再現方法およびシステム
CN108387241A (zh) * 2017-02-02 2018-08-10 百度（美国）有限责任公司 更新自动驾驶车辆的定位地图的方法和系统
CN108732584A (zh) * 2017-04-17 2018-11-02 百度在线网络技术（北京）有限公司 用于更新地图的方法和装置
CN107145578A (zh) * 2017-05-08 2017-09-08 深圳地平线机器人科技有限公司 地图构建方法、装置、设备和系统
CN107144285A (zh) * 2017-05-08 2017-09-08 深圳地平线机器人科技有限公司 位姿信息确定方法、装置和可移动设备
CN107328411A (zh) * 2017-06-30 2017-11-07 百度在线网络技术（北京）有限公司 车载定位系统和自动驾驶车辆
CN107328410A (zh) * 2017-06-30 2017-11-07 百度在线网络技术（北京）有限公司 用于定位自动驾驶车辆的方法和汽车电脑
CN108981726A (zh) * 2018-06-09 2018-12-11 安徽宇锋智能科技有限公司 基于感知定位监测的无人车语义地图建模及构建应用方法
CN109186586A (zh) * 2018-08-23 2019-01-11 北京理工大学 一种面向动态泊车环境的同时定位及混合地图构建方法
CN109544629A (zh) * 2018-11-29 2019-03-29 南京人工智能高等研究院有限公司 摄像头位姿确定方法和装置以及电子设备
CN109887053A (zh) * 2019-02-01 2019-06-14 广州小鹏汽车科技有限公司 一种slam地图拼接方法及系统
CN109887032A (zh) * 2019-02-22 2019-06-14 广州小鹏汽车科技有限公司 一种基于单目视觉slam的车辆定位方法及系统
CN109740604A (zh) * 2019-04-01 2019-05-10 深兰人工智能芯片研究院（江苏）有限公司 一种行驶区域检测的方法和设备

Also Published As

Publication number Publication date
WO2020253842A1 (zh) 2020-12-24
CN112116654A (zh) 2020-12-22
EP3989170A4 (en) 2022-08-17
EP3989170A1 (en) 2022-04-27

Similar Documents

Publication Publication Date Title
CN112116654B (zh) 一种车辆位姿确定方法、装置及电子设备
JP6812404B2 (ja) 点群データを融合させるための方法、装置、コンピュータ読み取り可能な記憶媒体、及びコンピュータプログラム
CN110160542B (zh) 车道线的定位方法和装置、存储介质、电子装置
US10788830B2 (en) Systems and methods for determining a vehicle position
CN106610294B (zh) 定位方法及装置
US9275458B2 (en) Apparatus and method for providing vehicle camera calibration
CN111311902B (zh) 一种数据处理方法、装置、设备和机器可读介质
KR101444685B1 (ko) 영상기반 멀티센서 데이터를 이용한 차량의 위치자세 결정 방법 및 장치
CN111551186A (zh) 一种车辆实时定位方法、系统及车辆
JP6950832B2 (ja) 位置座標推定装置、位置座標推定方法およびプログラム
JP2007232690A (ja) 現在地検出装置、地図表示装置、および現在地検出方法
CN110617821A (zh) 定位方法、装置及存储介质
CN115164918B (zh) 语义点云地图构建方法、装置及电子设备
CN111323029B (zh) 导航方法及车载终端
CN112689234A (zh) 室内车辆定位方法、装置、计算机设备和存储介质
CN116045964A (zh) 高精地图更新方法及装置
CN111435565A (zh) 道路交通状态检测方法、装置、电子设备及存储介质
CN115597584A (zh) 多图层高精地图生成方法和装置
Randeniya et al. Calibration of inertial and vision systems as a prelude to multi-sensor fusion
CN115523929B (zh) 一种基于slam的车载组合导航方法、装置、设备及介质
US20230394679A1 (en) Method for measuring the speed of a vehicle
CN114440864A (zh) 一种汽车定位的方法及装置
CN117760464A (zh) 导航系统的定位修正方法、装置、存储介质及车辆
CN117387610A (zh) 视觉式车辆定位融合系统及其方法
CN114440860A (zh) 定位方法、装置、计算机存储介质及处理器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant