CN114543819B - 车辆定位方法、装置、电子设备及存储介质 - Google Patents

车辆定位方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114543819B
CN114543819B CN202111089405.3A CN202111089405A CN114543819B CN 114543819 B CN114543819 B CN 114543819B CN 202111089405 A CN202111089405 A CN 202111089405A CN 114543819 B CN114543819 B CN 114543819B
Authority
CN
China
Prior art keywords
map
matching
determining
elements
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111089405.3A
Other languages
English (en)
Other versions
CN114543819A (zh
Inventor
王超
张弛
刘颢
谢志军
杨奎元
郭坤
蔡锐
李志伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN202111089405.3A priority Critical patent/CN114543819B/zh
Priority to EP22153461.3A priority patent/EP4151951A1/en
Priority to US17/588,076 priority patent/US20230078721A1/en
Publication of CN114543819A publication Critical patent/CN114543819A/zh
Application granted granted Critical
Publication of CN114543819B publication Critical patent/CN114543819B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3476—Special cost functions, i.e. other than distance or default speed limit of road segments using point of interest [POI] information, e.g. a route passing visible POIs
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3461—Preferred or disfavoured areas, e.g. dangerous zones, toll or emission zones, intersections, manoeuvre types, segments such as motorways, toll roads, ferries
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Abstract

本公开提出一种车辆定位方法、装置、电子设备及存储介质，该方法包括：获取车辆所处场景的图像，图像包括：语义元素，并确定与语义元素对应的元素类别，再采用与元素类别对应的匹配方法对语义元素与地图元素进行匹配，以得到匹配结果，以及根据匹配结果，确定车辆的定位信息。通过本公开，可以实现采用与语义元素的元素类别对应的匹配方法对语义元素与地图元素进行匹配，从而在采用匹配结果确定车辆的定位信息时，能够有效地提升车辆定位的准确性，提升车辆定位方法的鲁棒性和适用性。

Description

车辆定位方法、装置、电子设备及存储介质
技术领域
本公开涉及智能驾驶技术领域，尤其涉及一种车辆定位方法、装置、电子设备及存储介质。
背景技术
自主代客泊车(Automated Valet Parking，AVP)是无人驾驶技术应用中的一个常见场景。泊车功能的基本要求是：用户在指定地点通过给车辆下达指令，车辆能够响应于用户的指令，自动行驶到停车场停车位或从停车场停车位到达指定位置，由于一些泊车场景中，可能存在无法接收全球定位系统(Global Position System，GPS)信号的问题，这要求车辆具有能够在无GPS信号的情况下进行准确定位的能力。
相关技术中的车辆定位方法，会受到车辆所处场景的光照强度变化，场景外貌变化，相机视角变化的影响，导致车辆定位的准确性较差，影响车辆定位方法的鲁棒性。
发明内容
本公开旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本公开的目的在于提出一种车辆定位方法、装置、电子设备及存储介质，可以实现采用与语义元素的元素类别对应的匹配方法对语义元素与地图元素进行匹配，从而在采用匹配结果确定车辆的定位信息时，能够有效地提升车辆定位的准确性，提升车辆定位方法的鲁棒性和适用性。
为达到上述目的，本公开第一方面实施例提出的车辆定位方法，包括：获取车辆所处场景的图像，所述图像包括：语义元素；确定与所述语义元素对应的元素类别；采用与所述元素类别对应的匹配方法对所述语义元素与地图元素进行匹配，以得到匹配结果；根据所述匹配结果，确定所述车辆的定位信息。
在本公开的一些实施例中，所述元素类别包括以下至少一种：
离散路标类型、连续细路标类型，以及连续粗路标类型。
在本公开的一些实施例中，所述采用与所述元素类别对应的匹配方法对所述语义元素与地图元素进行匹配，以得到匹配结果，包括：
如果所述元素类别是所述离散路标类型，则确定与所述语义元素对应的第一轮廓，所述第一轮廓包括：多个第一轮廓像素；
确定所述地图元素的多条边；
从所述多条边中分别确定与所述多个第一轮廓像素对应的多个第一地图线段，其中，所述多个第一轮廓像素与分别对应的所述多个第一地图线段共同构成所述匹配结果。
在本公开的一些实施例中，所述采用与所述元素类别对应的匹配方法对所述语义元素与地图元素进行匹配，以得到匹配结果，包括：
如果所述元素类别是所述连续细路标类型，则确定与所述地图元素对应的折线表示信息；
根据所述折线表示信息从所述语义元素中解析得到多个候选像素；
对所述多个候选像素进行降采样处理，以得到多个参考像素；
根据所述折线表示信息，从所述地图元素中识别出与所述多个参考像素分别对应的多个第二地图线段，其中，所述多个参考像素与分别对应的所述多个第二地图线段共同构成所述匹配结果。
在本公开的一些实施例中，所述采用与所述元素类别对应的匹配方法对所述语义元素与地图元素进行匹配，以得到匹配结果，包括：
如果所述元素类别是所述连续粗路标类型，则确定与所述语义元素对应的第二轮廓，所述第二轮廓包括：多个第二轮廓像素；
确定主方向；
基于所述主方向分别对所述多个第二轮廓像素进行投影处理，以得到多个投影像素；
从所述地图元素中识别出与所述多个投影像素分别对应的多个第三地图线段，其中，所述多个投影像素与分别对应的所述多个第三地图线段共同构成所述匹配结果。
在本公开的一些实施例中，所述确定主方向，包括：
确定与所述多个第二轮廓像素分别对应的多个像素坐标；
采用主成分分析方法处理所述多个像素坐标，以得到所述主方向。
在本公开的一些实施例中，其特征在于，所述根据所述匹配结果，确定所述车辆的定位信息，包括：
根据所述匹配结果，判断是否发生定位漂移事件；
如果发生所述定位漂移事件，则对所述车辆进行重定位处理，以得到重定位信息，并将所述重定位信息作为所述定位信息；
如果未发生所述定位漂移事件，则根据所述匹配结果，确定所述车辆的定位信息。
在本公开的一些实施例中，所述图像的数量是多个，多个所述图像分别具有对应的多个匹配结果，
其中，所述根据所述匹配结果，判断是否发生定位漂移事件，包括：
确定与多个所述图像分别对应的多个匹配程度，所述匹配程度，描述相应所述匹配结果的匹配情况；
如果大于或者等于设定数量的所述图像对应的匹配程度均小于匹配阈值，则判定发生所述定位漂移事件，其中，所述大于或者等于设定数量的所述图像是连续采集的图像。
在本公开的一些实施例中，所述地图元素是从场景地图中提取得到的，所述对所述车辆进行重定位处理，以得到重定位信息，包括：
从所述场景地图中提取多个参考地图元素，至少部分所述参考地图元素之间相邻，且所述多个参考地图元素具有对应的排列次序；
根据所述排列次序对所述图像中的候选语义元素进行识别，以得到多个候选语义元素；
判断所述多个参考地图元素和所述多个候选语义元素之间是否满足匹配条件，以得到判断结果；
根据所述判断结果，确定所述重定位信息。
在本公开的一些实施例中，所述根据所述判断结果，确定所述重定位信息，包括：
如果所述多个候选语义元素与所述多个参考地图元素之间满足所述匹配条件，则根据与所述多个参考地图元素分别对应的多个地图位置确定所述重定位信息；
如果所述多个候选语义元素与所述多个参考地图元素之间不满足所述匹配条件，则重新从所述场景地图中提取多个目标地图元素，并采用所述多个目标地图元素分别对所述多个参考地图元素进行更新，直至确定出所述重定位信息。
本公开第一方面实施例提出的车辆定位方法，通过获取车辆所处场景的图像，图像包括：语义元素，并确定与语义元素对应的元素类别，再采用与元素类别对应的匹配方法对语义元素与地图元素进行匹配，以得到匹配结果，以及根据匹配结果，确定车辆的定位信息，可以实现采用与语义元素的元素类别对应的匹配方法对语义元素与地图元素进行匹配，从而在采用匹配结果确定车辆的定位信息时，能够有效地提升车辆定位的准确性，提升车辆定位方法的鲁棒性和适用性。
为达到上述目的，本公开第二方面实施例提出的车辆定位装置，包括：获取模块，用于获取车辆所处场景的图像，所述图像包括：语义元素；第一确定模块，用于确定与所述语义元素对应的元素类别；匹配模块，用于采用与所述元素类别对应的匹配方法对所述语义元素与地图元素进行匹配，以得到匹配结果；第二确定模块，用于根据所述匹配结果，确定所述车辆的定位信息。
在本公开的一些实施例中，所述元素类别是以下任一种：
离散路标类型、连续细路标类型，以及连续粗路标类型。
在本公开的一些实施例中，所述匹配模块，具体用于：
如果所述元素类别是所述离散路标类型，则确定与所述语义元素对应的第一轮廓，所述第一轮廓包括：多个第一轮廓像素；
确定所述地图元素的多条边；
从所述多条边中分别确定与所述多个第一轮廓像素对应的多个第一地图线段，其中，所述多个第一轮廓像素与分别对应的所述多个第一地图线段共同构成所述匹配结果。
在本公开的一些实施例中，所述匹配模块，具体用于：
如果所述元素类别是所述连续细路标类型，则确定与所述地图元素对应的折线表示信息；
根据所述折线表示信息从所述语义元素中解析得到多个候选像素；
对所述多个候选像素进行降采样处理，以得到多个参考像素；
根据所述折线表示信息，从所述地图元素中识别出与所述多个参考像素分别对应的多个第二地图线段，其中，所述多个参考像素与分别对应的所述多个第二地图线段共同构成所述匹配结果。
在本公开的一些实施例中，所述匹配模块，包括：
第一确定子模块，用于在所述元素类别是所述连续粗路标类型，确定与所述语义元素对应的第二轮廓，所述第二轮廓包括：多个第二轮廓像素；
第二确定子模块，用于确定主方向；
投影子模块，用于基于所述主方向分别对所述多个第二轮廓像素进行投影处理，以得到多个投影像素；
识别子模块，用于从所述地图元素中识别出与所述多个投影像素分别对应的多个第三地图线段，其中，所述多个投影像素与分别对应的所述多个第三地图线段共同构成所述匹配结果。
在本公开的一些实施例中，所述第二确定子模块，具体用于：
确定与所述多个第二轮廓像素分别对应的多个像素坐标；
采用主成分分析方法处理所述多个像素坐标，以得到所述主方向。
在本公开的一些实施例中，其特征在于，所述第二确定模块，包括：
判断子模块，用于根据所述匹配结果，判断是否发生定位漂移事件；
重定位子模块，用于在发生所述定位漂移事件时，则对所述车辆进行重定位处理，以得到重定位信息，并将所述重定位信息作为所述定位信息；
第三确定子模块，用于在未发生所述定位漂移事件时，则根据所述匹配结果，确定所述车辆的定位信息。
在本公开的一些实施例中，所述图像的数量是多个，多个所述图像分别具有对应的多个匹配结果，
其中，所述判断子模块，具体用于：
确定与多个所述图像分别对应的多个匹配程度，所述匹配程度，描述相应所述匹配结果的匹配情况；
如果大于或者等于设定数量的所述图像对应的匹配程度均小于匹配阈值，则判定发生所述定位漂移事件，其中，所述大于或者等于设定数量的所述图像是连续采集的图像。
在本公开的一些实施例中，所述地图元素是从场景地图中提取得到的，所述重定位子模块，包括：
提取单元，用于从所述场景地图中提取多个参考地图元素，至少部分所述参考地图元素之间相邻，且所述多个参考地图元素具有对应的排列次序；
识别单元，用于根据所述排列次序对所述图像中的候选语义元素进行识别，以得到多个候选语义元素；
判断单元，用于判断所述多个参考地图元素和所述多个候选语义元素之间是否满足匹配条件，以得到判断结果；
确定单元，用于根据所述判断结果，确定所述重定位信息。
在本公开的一些实施例中，所述确定单元，具体用于：
如果所述多个候选语义元素与所述多个参考地图元素之间满足所述匹配条件，则根据与所述多个参考地图元素分别对应的多个地图位置确定所述重定位信息；
如果所述多个候选语义元素与所述多个参考地图元素之间不满足所述匹配条件，则重新从所述场景地图中提取多个目标地图元素，并采用所述多个目标地图元素分别对所述多个参考地图元素进行更新，直至确定出所述重定位信息。
本公开第二方面实施例提出的车辆定位装置，通过获取车辆所处场景的图像，图像包括：语义元素，并确定与语义元素对应的元素类别，再采用与元素类别对应的匹配方法对语义元素与地图元素进行匹配，以得到匹配结果，以及根据匹配结果，确定车辆的定位信息，可以实现采用与语义元素的元素类别对应的匹配方法对语义元素与地图元素进行匹配，从而在采用匹配结果确定车辆的定位信息时，能够有效地提升车辆定位的准确性，提升车辆定位方法的鲁棒性和适用性。
本公开第三方面实施例提出的电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本公开第一方面实施例提出的车辆定位方法。
本公开第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开第一方面实施例提出的车辆定位方法。
本公开第五方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，执行如本公开第一方面实施例提出的车辆定位方法。
本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是本公开一实施例提出的车辆定位方法的流程示意图；
图2是本公开实施例中车辆定位方法的应用场景示意图；
图3是本公开实施例中匹配效果示意图；
图4是本公开另一实施例提出的车辆定位方法的流程示意图；
图5是本公开另一实施例提出的车辆定位方法的流程示意图；
图6是本公开实施例中参考地图元素组合的示意图；
图7是本公开另一实施例提出的车辆定位方法的流程示意图；
图8是本公开另一实施例提出的车辆定位方法的流程示意图；
图9是本公开一实施例提出的车辆定位装置的结构示意图；
图10是本公开另一实施例提出的车辆定位装置的结构示意图；
图11为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本公开，而不能理解为对本公开的限制。相反，本公开的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
图1是本公开一实施例提出的车辆定位方法的流程示意图。
本实施例以车辆定位方法被配置为车辆定位装置中来举例说明。
本实施例中车辆定位方法可以被配置在车辆定位装置中，该车辆定位装置可以设置在服务器中，或者也可以设置在移动终端中，本公开实施例对此不作限制。
需要说明的是，本实施例的执行主体，在硬件上可以例如为服务器或者移动终端中的中央处理器(Central Processing Unit，CPU)，在软件上可以例如为服务器或者移动终端中的相关的后台服务，对此不作限制。
如图1所示，该车辆定位方法，包括：
S101：获取车辆所处场景的图像，图像包括：语义元素。
其中，车辆所处场景的图像的数量可以是一张或者多张，该图像可以是通过手机、相机等具有拍摄功能的摄像装置，对车辆所处场景进行拍摄得到的，或者，该图像也可以是从视频流中解析得到的，例如，该图像可以是从视频流中提取出的包含车辆所处场景的部分视频帧图像，对此不做限制。
其中，车辆所处场景的图像可以包括：语义元素，该语义元素可以用于对车辆所处的场景进行表征，例如当车辆所处场景为停车场时，语义元素可以具体例如为车道线、停车线、减速带、箭头、斑马线、虚线段等，对此不做限制。
本公开实施例中，获取车辆所处场景的图像，可以是针对车辆预先配置的若干个鱼眼相机，如采用四个鱼眼相机，四个鱼眼相机(鱼眼相机的数量可以根据实际业务场景自适应配置，对此不做限制)可以针对车辆所处场景的不同区域进行拍摄，以得到多个车辆所处场景不同区域的图像，后可以对前述得到的多个车辆所处场景不同区域的图像进行拼接，以得到车辆所处场景的鸟瞰图(Bird's Eye View，BEV)，该BEV图像即可以被称为车辆所处场景的图像。
上述在得到车辆所处场景的BEV图像后，可以采用预先训练好的卷积神经网络对BEV图像进行语义分割，以得到BEV图像的语义元素，对此不做限制。
S102：确定与语义元素对应的元素类别。
上述在得到车辆所处场景的图像的语义元素后，可以确定与语义元素对应的元素类别，该元素类别可以用于描述语义元素对应的元素类型。
其中，该元素类别可以具体例如为离散路标类型、连续细路标类型、连续粗路标类型等，对此不做限制。
一些实施例中，确定与语义元素对应的元素类别，可以是获取车辆所处具体场景的图像的语义元素的元素特征(例如：形状特征，颜色特征，维度特征等)，而后根据语义元素的元素特征，确定与语义元素对应的元素类别，或者也可以采用其他任意可能的方式，确定与语义元素对应的元素类别，对此不做限制。
举例而言，当车辆所处场景为停车场时，可以获取车辆所处停车场的图像，而后获取车辆所处停车场的图像的语义元素(车道线、停车线、减速带、箭头、斑马线、虚线段等)，并获取与前述语义元素对应的元素特征，再根据该元素特征，确定语义元素(方向箭头、斑马线)对应的元素类别可以是离散路标类型，语义元素(车道线、停车线)对应的元素类别可以是连续细路标类型，语义元素(减速带)对应的元素类别可以是连续粗路标类型，对此不做限制。
S103：采用与元素类别对应的匹配方法对语义元素与地图元素进行匹配，以得到匹配结果。
其中，不同的元素类别，可以对应不同的匹配方法，由此，在确定与语义元素对应的元素类别之后，可以采用与元素类别对应的匹配方法对语义元素与地图元素进行匹配，以得到相应的结果，该结果即可以被称为匹配结果。
其中，地图可以是根据车辆所处的实际场景获取得到的，相应地，用于对地图进行表征的元素即可以被称为地图元素，以地图是矢量地图为例，地图元素可以是语义元素在矢量地图中的矢量表示，如图2所示，图2是本公开实施例中车辆定位方法的应用场景示意图，图2中白色线框即可以看做是车道线、停车线、减速带、箭头、斑马线、虚线段等语义元素，在矢量地图中对应的地图元素。
一些实施例中，采用与元素类别对应的匹配方法对语义元素与地图元素进行匹配，可以是先确定与语义元素的元素类别对应的匹配方法，再采用与元素类别对应的匹配方法对语义元素与地图元素进行匹配，以得到相应的匹配结果。
举例而言，如果上述在确定与语义元素(方向箭头、斑马线)对应的元素类别是离散路标类型后，可以确定与离散路标类型对应的匹配方法为匹配方法A，可以采用匹配方法A对语义元素(方向箭头、斑马线)与地图元素进行匹配，以得到匹配结果。
其中，上述匹配方法可以具体例如为特征匹配方法，模型匹配方法等，对此不做限制。
本实施例中，采用与元素类别对应的匹配方法对语义元素与地图元素进行匹配，可以是采用与车辆所处场景图像的语义元素的元素类别对应的匹配方法，对语义元素和车辆所处场景的矢量地图的地图元素进行匹配，以得到相应的匹配结果。
举例而言，可以采用与元素类别对应的匹配算法分别对语义元素与地图元素进行匹配，以得到BEV图像的语义元素与矢量地图的地图元素的匹配点集合，该匹配点集合即可以被称为匹配结果，如图3所示，图3是本公开实施例中匹配效果示意图。
S104：根据匹配结果，确定车辆的定位信息。
上述在采用与元素类别对应的匹配方法对语义元素与地图元素进行匹配，以得到匹配结果后，可以根据匹配结果，确定车辆的定位信息。
其中，用于描述车辆位置的信息，即可以被称为车辆的定位信息，定位信息可以具体例如为汽车的位姿，汽车的坐标位置，汽车的全球定位系统(Global Position System，GPS)数据等，对此不做限制。
一些实施例中，根据匹配结果，确定车辆的定位信息，可以是将上述匹配结果作为预先训练好的深度学习模型的输入参数，以得到深度学习模型输出的车辆的定位信息，或者，也可以采用其他任意可能的方式，根据匹配结果，确定车辆的定位信息，例如，特征解析的方式，数学计算的方式等，对此不做限制。
本公开实施例中，上述在得到BEV图像的语义元素与矢量地图的地图元素的匹配点集合后，匹配点集合中的多个匹配点可以构成一个观测约束，再使用传感器融合的算法(Error State Kalman Filter，ESKF)，确定车辆的定位信息，具体计算过程为：
其中，xw表示BEV图中一个像素对应的点在全局坐标系下坐标，xv是该像素点在车辆所在坐标系的坐标，ci是矢量地图线段的端点坐标，q是车辆上惯性测量单元(InertialMeasurement Unit，IMU)相对于全局坐标下的四元数，p是车辆上IMU相对于全局坐标系的平移，是车辆所在坐标系到IMU坐标系的变换。
本实施例中，通过获取车辆所处场景的图像，图像包括：语义元素，并确定与语义元素对应的元素类别，再采用与元素类别对应的匹配方法对语义元素与地图元素进行匹配，以得到匹配结果，以及根据匹配结果，确定车辆的定位信息，可以实现采用与语义元素的元素类别对应的匹配方法对语义元素与地图元素进行匹配，从而在采用匹配结果确定车辆的定位信息时，能够有效地提升车辆定位的准确性，提升车辆定位方法的鲁棒性和适用性。
图4是本公开另一实施例提出的车辆定位方法的流程示意图。
如图4所示，该车辆定位方法，包括：
S401：获取车辆所处场景的图像，图像包括：语义元素。
S402：确定与语义元素对应的元素类别。
S401-S402的描述说明可以具体参见上述实施例，在此不再赘述。
S403：如果元素类别是离散路标类型，则确定与语义元素对应的第一轮廓，第一轮廓包括：多个第一轮廓像素。
其中，在采用与元素类别对应的匹配方法对语义元素与地图元素进行匹配时，如果元素类别是离散路标类型时，则可以确定与语义元素对应的元素的轮廓，该轮廓即可以被称为第一轮廓，第一轮廓可以包括：多个第一轮廓像素。
其中，当元素类别是离散路标类型时，第一轮廓可以具体是语义元素(箭头，斑马线)的轮廓。
S404：确定地图元素的多条边。
其中，当元素类别是离散路标类型时，语义元素(箭头、斑马线)在矢量地图上是以多边形的形式进行表示的，多变形可以具有对应的多条边，此时可以确定多边形的多条边，从而触发后续步骤。
S405：从多条边中分别确定与多个第一轮廓像素对应的多个第一地图线段，其中，多个第一轮廓像素与分别对应的多个第一地图线段共同构成匹配结果。
上述在确定地图元素的多条边后，可以从地图元素的多条边中，分别确定与第一轮廓像素对应的多个地图线段，该地图线段即可以被称为多个第一地图线段。
其中，多个第一轮廓像素与分别对应的多个第一地图线段共同构成匹配结果。
本公开实施例中，从多条边中分别确定与多个第一轮廓像素对应的多个第一线段，可以是采用与离散路标类型对应的匹配机制，从地图元素的多条边中，确定与多个第一轮廓像素对应的多个第一地图线段，并将多个第一地图线段共同作为匹配结果。
本实施例中，由于是采用与离散路标类型对应的匹配方法，对所述语义元素与地图元素进行匹配，以得到匹配结果，从而使得匹配方法与离散路标类型相适配，当采用该与离散路标类型对应的匹配方法进行匹配时，能够有效地降低其他外界因素对离散路标类型的语义元素的匹配过程带来的干扰，有效地剔除外界干扰因素，从而能够有效地提升离散路标类型的语义元素与地图元素的匹配效果。
S406：根据匹配结果，判断是否发生定位漂移事件。
其中，定位漂移事件是指车辆的定位信息与车辆实际的位置信息偏差较大，即在车辆定位方法的执行过程中，如果发生定位漂移事件，则可以认为车辆的定位信息与车辆的实际位置信息偏差较大。
可选地，一些实施例中，根据匹配结果，判断是否发生定位漂移事件，可以是确定与多个图像分别对应的多个匹配程度，在大于或者等于设定数量的图像对应的匹配程度均小于匹配阈值时，则判定发生定位漂移事件，由于是结合匹配阈值，对是否发生定位漂移事件进行判断，能够有效地避免定位漂移事件的漏识别，有效地提升定位漂移事件判断的准确率。
其中，匹配程度可以用于描述相应匹配结果的匹配情况。
其中，匹配阈值可以用于描述匹配程度的界限范围或临界值，匹配阈值可以根据实际业务场景自适应配置，对此不做限制。
其中，大于或者等于设定数量的所述图像是连续采集的图像。
本实施例中，可以用匹配程度值对相应的匹配程度进行量化，匹配程度值的计算方法如：
其中，r为匹配程度值，S为从BEV图中提取到的语义像素点集合，s为集合中的一个点，l为矢量地图中的线段元素，d(s，l)为集合中的点到线段元素的距离，τm为预先设定的距离阈值。
上述在分别计算得到多个连续采集的图像的匹配程度值后，可以将多个连续采集的图像的匹配程度值与匹配阈值进行比对，如果大于或者等于设定数量的连续采集的图像对应的匹配程度均小于匹配阈值，则判定发生定位漂移事件。
S407：如果发生定位漂移事件，则对车辆进行重定位处理，以得到重定位信息，并将重定位信息作为定位信息。
其中，对车辆进行重新定位处理的过程即可以被称为重定位处理，相应地，对车辆进行重定位处理所产生的车辆的定位信息，即可以被称为重定位信息。
上述根据判匹配结果，判断发生定位漂移事件后，可以对车辆进行重定位处理，以得到重定位信息，并将重定位信息作为定位信息。
可选地，一些实施例中，如图5所示，图5是本公开另一实施例提出的车辆定位方法的流程示意图，对车辆进行重定位处理，以得到重定位信息，包括：
S501：从场景地图中提取多个参考地图元素，至少部分参考地图元素之间相邻，且多个参考地图元素具有对应的排列次序。
其中，用作对车辆进行重定位处理参考的地图元素，即可以被称为参考地图元素，多个参考地图元素可以具有对应的排列次序。
本公开实施例中，从场景地图中提取多个参考地图元素，可以是设计了一个新的特征描述方法用来区别矢量地图的不同区域，例如可以从场景地图中提取多个路标，并将多个路标作为参考地图元素，相邻几个路标的按一定顺序排列可以构成一个参考地图元素组合，如图6所示，图6是本公开实施例中参考地图元素组合的示意图，图6中虚线框内的多个路标可以构成一个参考地图元素组合，该参考地图元素组合在数学上是通过对组合中每一个路标用三个属性的向量表示{pi，θi，ci}，pi为路标中心位置的坐标，θi为路标的朝向，ci为路标的类型，i为组合中的第i个元素。
S502：根据排列次序对图像中的候选语义元素进行识别，以得到多个候选语义元素。
上述在从场景地图中提取多个参考地图元素后，可以根据参考地图元素对应的排列次序对图像中的候选语义元素进行识别，以得到多个语义元素，该语义元素即可以被称为候选语义元素。
本实施例中，在从场景地图中提取多个路标，并将相邻的多个路标构成参考地图元素组合后，可以根据参考地图元素对应的排列次序从BEV图中，识别得到多个候选语义元素，多个候选语义元素可以构成候选语义元素组合。
S503：判断多个参考地图元素和多个候选语义元素之间是否满足匹配条件，以得到判断结果。
上述在根据排列次序对图像中的候选语义元素进行识别，以得到多个候选语义元素后，可以判断多个参考地图元素和多个候选语义元素之间是否满足匹配条件，以得到判断结果。
本实施例中，判断多个参考地图元素和多个候选语义元素之间是否满足匹配条件，可以是通过以下公式进行判断：
||(pαi-pα1)-(pγi-pγ1)||<τp；
||(θαi-θα1)-(θγi-θγ1)||<τθ；
cαi＝cγi；
其中，α是参考地图元素组合，β是候选语义元素组合，γ表示β中任一种排列方式，pαi表示组合α组合中第i个元素的位置，pγi表示γ组合中第i个元素的位置，θαi表示α组合中第i个元素的朝向，θγi表示γ组合中第i个元素的朝向，cαi表示α组合中第i个元素的类型，cγi表示γ组合中第i个元素的类型，τp表示元素的位置误差阈值，τθ表示元素的角度误差阈值(τp和τθ的值可以根据实际业务场景自适应配置，对此不做限制)。
其中，如果多个参考地图元素和多个候选语义元素之间是否满足匹配条件，可以得到一对匹配信息{pαi，θαi，cαi}和{pβi，θβi，cβi}。
S504：根据判断结果，确定重定位信息。
一些实施例中，如果所述多个候选语义元素与所述多个参考地图元素之间满足所述匹配条件，则根据与所述多个参考地图元素分别对应的多个地图位置确定所述重定位信息，由此能够有效地提升重定位信息的准确率。
本实施例中，在多个候选语义元素与所述多个参考地图元素之间满足所述匹配条件时，可以根据上述得到的匹配信息{pαi，θαi，cαi}和{pβi，θβi，cβi}，确定车辆的初始位姿，计算方式如下：
R＝AngleAxis(θβi-θαi，[0,0，1]T)；
t＝pβi-pαi；
其中，R是车辆相对于全局坐标系的旋转角度，t是车辆相对于全局坐标系的平移位置，R和t即可以用于描述车辆的初始位姿。
其中，在确定车辆的初始位姿后，可以建立BEV图像的语义元素和矢量地图的地图元素之间的匹配关系，再通过非线性优化的方式进一步优化车辆的位姿估计，以确定车辆的重定位信息。
另一些实施例中，如果多个候选语义元素与多个参考地图元素之间不满足匹配条件，则重新从场景地图中提取多个目标地图元素，并采用多个目标地图元素分别对多个参考地图元素进行更新，直至确定出重定位信息，由于是采用多个目标地图元素分别对多个参考地图元素进行更新，能够有效地保障车辆的定位效果。
其中，当多个候选语义元素与所述多个参考地图元素之间不满足所述匹配条件时，可以重新从场景地图中提取多个除参考地图元素之外的地图元素，该地图元素即可以被称为目标地图元素，并采用多个目标地图元素分别对前述提取出的参考地图元素进行更新，直至目标地图元素和多个候选元素之间满足匹配条件，再根据相应的判断结果确定车辆的重定位信息。
本实施例中，通过从场景地图中提取多个参考地图元素，至少部分参考地图元素之间相邻，且多个参考地图元素具有对应的排列次序，并根据排列次序对图像中的候选语义元素进行识别，以得到多个候选语义元素，再判断多个参考地图元素和多个候选语义元素之间是否满足匹配条件，以得到判断结果，以及根据判断结果，确定重定位信息，由此能够有效地提升重定位信息的准确性和可靠性，从而能够有效地辅助提升车辆的定位效果。
S408：如果未发生定位漂移事件，则根据匹配结果，确定车辆的定位信息。
上述在检测到车辆未发生定位漂移事件时，可以根据匹配结果，确定车辆的定位信息。
其中，本公开实施例中，根据匹配结果，确定车辆的定位信息的描述说明可以具体参见上述实施例的解释说明，在此不再赘述。
从而本公开实施例中，通过判断是否发生定位漂移事件，从而在车辆发生定位漂移事件时，对车辆进行重定位处理，有效地避免定位漂移事件给车辆定位信息造成的误差，有效地提升车辆定位的准确性。在车辆未发生定位漂移事件时，根据匹配结果，直接确定车辆的定位信息，可以避免无效操作，有效提升车辆控制方法的执行效率。
本实施例中，通过获取车辆所处场景的图像，图像包括：语义元素，并确定与语义元素对应的元素类别，再采用与离散路标类型对应的匹配方法，对所述语义元素与地图元素进行匹配，以得到匹配结果，从而使得匹配方法与离散路标类型相适配，当采用该与离散路标类型对应的匹配方法进行匹配时，能够有效地降低其他外界因素对离散路标类型的语义元素的匹配过程带来的干扰，有效地剔除外界干扰因素，从而能够有效地提升离散路标类型的语义元素与地图元素的匹配效果，根据匹配结果，判断是否发生定位漂移事件，从而在车辆发生定位漂移事件时，对车辆进行重定位处理，有效地避免定位漂移事件给车辆定位信息造成的误差，有效地提升车辆定位的准确性。在车辆未发生定位漂移事件时，根据匹配结果，直接确定车辆的定位信息，可以避免无效操作，有效提升车辆控制方法的执行效率。
图7是本公开另一实施例提出的车辆定位方法的流程示意图。
如图7所示，该车辆定位方法，包括：
S701：获取车辆所处场景的图像，图像包括：语义元素。
S702：确定与语义元素对应的元素类别。
S701-S702的描述说明可以具体参见上述实施例，在此不再赘述。
S703：如果元素类别是连续细路标类型，则确定与地图元素对应的折线表示信息。
其中，当元素类别是连续细路标类型时，语义元素(车道线、停车线)在矢量地图中是以折线的形式进行表示的，相应地，用于对折线进行描述的信息即可以被称为折线表示信息，折线表示信息可以具体例如为折线的像素信息，折线的长度信息，折线的弯曲度信息等，对此不做限制。
S704：根据折线表示信息从语义元素中解析得到多个候选像素。
上述在确定与地图元素对应的折线信息后，可以根据折线表示信息从语义元素中解析得到多个像素，该像素即可以被称为候选像素。
S705：对多个候选像素进行降采样处理，以得到多个参考像素。
上述在根据折线表示信息从语义元素中解析得到多个候选像素后，可以对多个候选像素进行降采样处理，以得到降采样处理后的多个像素，该像素即可以被称为参考像素。
S706：根据折线表示信息，从地图元素中识别出与多个参考像素分别对应的多个第二地图线段，其中，多个参考像素与分别对应的多个第二地图线段共同构成匹配结果。
上述在对多个候选像素进行降采样处理，以得到多个参考像素后，可以根据折线表示信息，从地图元素中识别出与多个参考像素分别对应的多个地图线段，该地图线段即可以被称为第二地图线段，多个参考像素与分别对应的多个第二地图线段共同构成匹配结果。
本实施例中，根据折线表示信息，从地图元素中识别出与多个参考像素分别对应的多个第二地图线段，可以是采用与连续细路标类型对应的匹配机制，从地图元素中确定与多个参考像素分别对应的多个第二地图线段，并将多个参考像素与分别对应的多个第二地图线段共同作为匹配结果，由于是采用与连续细路标类型对应的匹配方法，对所述语义元素与地图元素进行匹配，以得到匹配结果，从而使得匹配方法与连续细路标类型相适配，当采用与连续细路标类型对应的匹配方法进行匹配时，能够有效地提升连续细路标类型的语义元素与地图元素的匹配效果，从而可以基于匹配效果有效地避免对车辆定位信息估计的发散，有效地提升车辆定位的准确性。
S707：根据匹配结果，确定车辆的定位信息。
S707的描述说明可以具体参见上述实施例，在此不再赘述。
本实施例中，通过获取车辆所处场景的图像，图像包括：语义元素，并确定与语义元素对应的元素类别，采用与连续细路标类型对应的匹配方法，对所述语义元素与地图元素进行匹配，以得到匹配结果，从而使得匹配方法与连续细路标类型相适配，当采用与连续细路标类型对应的匹配方法进行匹配时，能够有效地提升连续细路标类型的语义元素与地图元素的匹配效果，再根据匹配结果，确定车辆的定位信息，从而可以基于匹配效果有效地避免对车辆定位信息估计的发散，有效地提升车辆定位的准确性。
图8是本公开另一实施例提出的车辆定位方法的流程示意图。
如图8所示，该车辆定位方法，包括：
S801：获取车辆所处场景的图像，图像包括：语义元素。
S802：确定与语义元素对应的元素类别。
S801-S802的描述说明可以具体参见上述实施例，在此不再赘述。
S803：如果元素类别是连续粗路标类型，则确定与语义元素对应的第二轮廓，第二轮廓包括：多个第二轮廓像素。
其中，在采用与元素类别对应的匹配方法对语义元素与地图元素进行匹配时，如果元素类别是连续粗路标类型时，则可以确定与语义元素对应的元素的轮廓，该轮廓即可以被称为第二轮廓，第二轮廓可以包括：多个第二轮廓像素。
其中，当元素类别是连续粗路标类型时，语义元素(减速带)在矢量地图上是以折线或者线段的形式进行表示的，相应地，第二轮廓可以具体是减速带的轮廓。
S804：确定主方向。
其中，在车辆定位方法的应用场景中，可以对多个第二轮廓像素进行降维处理，以得到第二轮廓像素的投影方向，而后可以参照该投影方向对第二轮廓像素进行投影处理，该投影方向即可以被称为主方向。
可选地，一些实施例中，确定主方向，可以是确定与多个第二轮廓像素分别对应的多个像素坐标，再采用主成分分析法处理多个像素坐标，以得到主方向，由此能够有效地保障所确定的主方向的可靠性，从而能够基于主方向保障后续车辆定位方法的顺利执行。
或者，也可以采用其他任意可能的方式确定主方向，例如后特征消除的方式，高相关性的方式等，对此不做限制。
S805：基于主方向分别对多个第二轮廓像素进行投影处理，以得到多个投影像素。
上述在确定主方向后，可以基于主方向分别对多个第二轮廓像素进行投影处理，以得到多个像素，该像素即可以被称为投影像素。
也即是说，在确定主方向后，可以将语义元素对应的轮廓像素投影到主方向上，以得到多个投影像素。
S806：从地图元素中识别出与多个投影像素分别对应的多个第三地图线段，其中，多个投影像素与分别对应的多个第三地图线段共同构成匹配结果。
上述在基于主方向分别对多个第二轮廓像素进行投影处理，以得到多个投影像素后，可以从矢量地图的地图元素中识别出与多个投影像素分别对应的多个地图线段，该地图线段即可以被称为第三地图线段。
本实施例中，从地图元素中识别出与多个投影元素分别对应的多个第三地图线段，可以是采用与连续粗路标类型对应的匹配机制，从地图元素中识别出与多个投影像素分别对应的多个第三地图线段，并将多个投影像素与分别对应的多个第三地图线段共同作为匹配结果，由于是采用与连续粗路标类型对应的匹配方法，对所述语义元素与地图元素进行匹配，以得到匹配结果，从而使得匹配方法与连续粗路标类型相适配，当采用与连续粗路标类型对应的匹配方法进行匹配时，能够较大程度地保障连续粗路标类型的语义元素与地图元素间匹配效果，从而可以基于匹配结果有效地辅助提升车辆的定位效果。
S807：根据匹配结果，确定车辆的定位信息。
S807的描述说明可以具体参见上述实施例，在此不再赘述。
本实施例中，通过获取车辆所处场景的图像，图像包括：语义元素，并确定与语义元素对应的元素类别，再采用与连续粗路标类型对应的匹配方法，对所述语义元素与地图元素进行匹配，以得到匹配结果，从而使得匹配方法与连续粗路标类型相适配，当采用与连续粗路标类型对应的匹配方法进行匹配时，能够较大程度地保障连续粗路标类型的语义元素与地图元素间匹配效果，再根据匹配结果，确定车辆的定位信息，从而可以基于匹配结果有效地辅助提升车辆的定位效果。
图9是本公开一实施例提出的车辆定位装置的结构示意图。
如图9所示，该车辆定位装置90，包括：
获取模块901，用于获取车辆所处场景的图像，图像包括：语义元素；
第一确定模块902，用于确定与语义元素对应的元素类别；
匹配模块903，用于采用与元素类别对应的匹配方法对语义元素与地图元素进行匹配，以得到匹配结果；
第二确定模块904，用于根据匹配结果，确定车辆的定位信息。
在本公开的一些实施例中，如图10所示，图10是本公开另一实施例提出的车辆定位装置的结构示意图，其中，元素类别包括以下至少一种：
离散路标类型、连续细路标类型，以及连续粗路标类型。
在本公开的一些实施例中，其特征在于，匹配模块903，具体用于：
如果元素类别是离散路标类型，则确定与语义元素对应的第一轮廓，第一轮廓包括：多个第一轮廓像素；
确定地图元素的多条边；
从多条边中分别确定与多个第一轮廓像素对应的多个第一地图线段，其中，多个第一轮廓像素与分别对应的多个第一地图线段共同构成匹配结果。
在本公开的一些实施例中，其特征在于，匹配模块903，具体用于：
如果元素类别是连续细路标类型，则确定与地图元素对应的折线表示信息；
根据折线表示信息从语义元素中解析得到多个候选像素；
对多个候选像素进行降采样处理，以得到多个参考像素；
根据折线表示信息，从地图元素中识别出与多个参考像素分别对应的多个第二地图线段，其中，多个参考像素与分别对应的多个第二地图线段共同构成匹配结果。
在本公开的一些实施例中，其特征在于，匹配模块903，包括：
第一确定子模块9031，用于在元素类别是连续粗路标类型，确定与语义元素对应的第二轮廓，第二轮廓包括：多个第二轮廓像素；
第二确定子模块9032，用于确定主方向；
投影子模块9033，用于基于主方向分别对多个第二轮廓像素进行投影处理，以得到多个投影像素；
识别子模块9034，用于从地图元素中识别出与多个投影像素分别对应的多个第三地图线段，其中，多个投影像素与分别对应的多个第三地图线段共同构成匹配结果。
在本公开的一些实施例中，其特征在于，第二确定子模块9032，具体用于：
确定与多个第二轮廓像素分别对应的多个像素坐标；
采用主成分分析方法处理多个像素坐标，以得到主方向。
在本公开的一些实施例中，其特征在于，第二确定模块904，包括：
判断子模块9041，用于根据匹配结果，判断是否发生定位漂移事件；
重定位子模块9042，用于在发生定位漂移事件时，则对车辆进行重定位处理，以得到重定位信息，并将重定位信息作为定位信息；
第三确定子模块9043，用于在未发生定位漂移事件时，则根据匹配结果，确定车辆的定位信息。
在本公开的一些实施例中，其特征在于，图像的数量是多个，多个图像分别具有对应的多个匹配结果，
其中，判断子模块9041，具体用于：
确定与多个图像分别对应的多个匹配程度，匹配程度，描述相应匹配结果的匹配情况；
如果大于或者等于设定数量的图像对应的匹配程度均小于匹配阈值，则判定发生定位漂移事件，其中，大于或者等于设定数量的图像是连续采集的图像。
在本公开的一些实施例中，其特征在于，地图元素是从场景地图中提取得到的，重定位子模块9042，包括：
提取单元90421，用于从场景地图中提取多个参考地图元素，至少部分参考地图元素之间相邻，且多个参考地图元素具有对应的排列次序；
识别单元90422，用于根据排列次序对图像中的候选语义元素进行识别，以得到多个候选语义元素；
判断单元90423，用于判断多个参考地图元素和多个候选语义元素之间是否满足匹配条件，以得到判断结果；
确定单元90424，用于根据判断结果，确定重定位信息。
在本公开的一些实施例中，其特征在于，确定单元90424，具体用于：
如果多个候选语义元素与多个参考地图元素之间满足匹配条件，则根据与多个参考地图元素分别对应的多个地图位置确定重定位信息；
如果多个候选语义元素与多个参考地图元素之间不满足匹配条件，则重新从场景地图中提取多个目标地图元素，并采用多个目标地图元素分别对多个参考地图元素进行更新，直至确定出重定位信息。
需要说明的是，前述对车辆定位方法实施例的解释说明也适用于该实施例的车辆定位装置，此处不再赘述。
本实施例中，通过获取车辆所处场景的图像，图像包括：语义元素，并确定与语义元素对应的元素类别，再采用与元素类别对应的匹配方法对语义元素与地图元素进行匹配，以得到匹配结果，以及根据匹配结果，确定车辆的定位信息，可以实现采用与语义元素的元素类别对应的匹配方法对语义元素与地图元素进行匹配，从而在采用匹配结果确定车辆的定位信息时，能够有效地提升车辆定位的准确性，提升车辆定位方法的鲁棒性和适用性。
图11为本公开实施例提供的一种电子设备的结构示意图。
该电子设备包括：
存储器1101、处理器1102及存储在存储器1101上并可在处理器1102上运行的计算机程序。
处理器1102执行程序时实现上述实施例中提供的车辆定位方法。
在一种可能的实现方式中，电子设备还包括：
通信接口1103，用于存储器1101和处理器1102之间的通信。
存储器1101，用于存放可在处理器1102上运行的计算机程序。
存储器1101可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
处理器1102，用于执行程序时实现上述实施例的车辆定位方法。
如果存储器1101、处理器1102和通信接口1103独立实现，则通信接口1103、存储器1101和处理器1102可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(PeripheralComponent，简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图11中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器1101、处理器1102及通信接口1103，集成在一块芯片上实现，则存储器1101、处理器1102及通信接口1103可以通过内部接口完成相互间的通信。
处理器1102可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本公开实施例的一个或多个集成电路。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的车辆定位方法。
为了实现上述实施例，本公开还提出一种计算机程序产品，当计算机程序产品中的指令由处理器执行时，执行上述实施例示出的车辆定位方法。
需要说明的是，在本公开的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本公开的描述中，除非另有说明，“多个”的含义是两个或两个以上。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施例所属技术领域的技术人员所理解。
应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本公开各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本公开的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本公开的限制，本领域的普通技术人员在本公开的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (18)

1.一种车辆定位方法，其特征在于，所述方法包括：
获取车辆所处场景的图像，所述图像包括：语义元素；
确定与所述语义元素对应的元素类别，所述元素类别包括离散路标类型、连续细路标类型和连续粗路标类型中的至少一种；
采用与所述元素类别对应的匹配方法对所述语义元素与地图元素进行匹配，以得到匹配结果，其中，不同的元素类别对应不同的匹配方法；
根据所述匹配结果，确定所述车辆的定位信息；
所述采用与所述元素类别对应的匹配方法对所述语义元素与地图元素进行匹配，以得到匹配结果，包括：
如果所述元素类别是所述离散路标类型，则确定与所述语义元素对应的第一轮廓，所述第一轮廓包括：多个第一轮廓像素；
确定所述地图元素的多条边；
根据所述语义元素对应的第一轮廓和所述地图元素的多条边得到匹配结果；
如果所述元素类别是所述连续细路标类型，则根据所述地图元素对应的折线表示信息得到匹配结果；
如果所述元素类别是所述连续粗路标类型，则确定与所述语义元素对应的第二轮廓，所述第二轮廓包括：多个第二轮廓像素；
确定主方向；
基于所述主方向分别对所述多个第二轮廓像素进行投影处理，以得到多个投影像素；
从所述地图元素中识别出与所述多个投影像素分别对应的多个第三地图线段，其中，所述多个投影像素与分别对应的所述多个第三地图线段共同构成匹配结果；
所述根据所述匹配结果，确定所述车辆的定位信息，包括：
根据所述匹配结果，判断是否发生定位漂移事件；
如果发生所述定位漂移事件，则对所述车辆进行重定位处理，以得到重定位信息，并将所述重定位信息作为所述定位信息。
2.如权利要求1所述的方法，其特征在于，所述根据所述语义元素对应的第一轮廓和所述地图元素的多条边确定得到匹配结果，包括：
从所述多条边中分别确定与所述多个第一轮廓像素对应的多个第一地图线段，其中，所述多个第一轮廓像素与分别对应的所述多个第一地图线段共同构成所述匹配结果。
3.如权利要求1所述的方法，其特征在于，所述如果所述元素类别是所述连续细路标类型，则根据所述地图元素对应的折线表示信息得到匹配结果，包括：
如果所述元素类别是所述连续细路标类型，则确定与所述地图元素对应的折线表示信息；
根据所述折线表示信息从所述语义元素中解析得到多个候选像素；
对所述多个候选像素进行降采样处理，以得到多个参考像素；
根据所述折线表示信息，从所述地图元素中识别出与所述多个参考像素分别对应的多个第二地图线段，其中，所述多个参考像素与分别对应的所述多个第二地图线段共同构成所述匹配结果。
4.如权利要求1所述的方法，其特征在于，所述确定主方向，包括：
确定与所述多个第二轮廓像素分别对应的多个像素坐标；
采用主成分分析方法处理所述多个像素坐标，以得到所述主方向。
5.如权利要求1所述的方法，其特征在于，所述根据所述匹配结果，判断是否发生定位漂移事件，包括：
如果未发生所述定位漂移事件，则根据所述匹配结果，确定所述车辆的定位信息。
6.如权利要求5所述的方法，其特征在于，所述图像的数量是多个，多个所述图像分别具有对应的多个匹配结果，
其中，所述根据所述匹配结果，判断是否发生定位漂移事件，包括：
确定与多个所述图像分别对应的多个匹配程度，所述匹配程度，描述相应所述匹配结果的匹配情况；
如果大于或者等于设定数量的所述图像对应的匹配程度均小于匹配阈值，则判定发生所述定位漂移事件，其中，所述大于或者等于设定数量的所述图像是连续采集的图像。
7.如权利要求5所述的方法，其特征在于，所述地图元素是从场景地图中提取得到的，所述对所述车辆进行重定位处理，以得到重定位信息，包括：
从所述场景地图中提取多个参考地图元素，至少部分所述参考地图元素之间相邻，且所述多个参考地图元素具有对应的排列次序；
根据所述排列次序对所述图像中的候选语义元素进行识别，以得到多个候选语义元素；
判断所述多个参考地图元素和所述多个候选语义元素之间是否满足匹配条件，以得到判断结果；
根据所述判断结果，确定所述重定位信息。
8.如权利要求7所述的方法，其特征在于，所述根据所述判断结果，确定所述重定位信息，包括：
如果所述多个候选语义元素与所述多个参考地图元素之间满足所述匹配条件，则根据与所述多个参考地图元素分别对应的多个地图位置确定所述重定位信息；
如果所述多个候选语义元素与所述多个参考地图元素之间不满足所述匹配条件，则重新从所述场景地图中提取多个目标地图元素，并采用所述多个目标地图元素分别对所述多个参考地图元素进行更新，直至确定出所述重定位信息。
9.一种车辆定位装置，其特征在于，所述装置包括：
获取模块，用于获取车辆所处场景的图像，所述图像包括：语义元素；
第一确定模块，用于确定与所述语义元素对应的元素类别，所述元素类别包括离散路标类型、连续细路标类型和连续粗路标类型中的至少一种；
匹配模块，用于采用与所述元素类别对应的匹配方法对所述语义元素与地图元素进行匹配，以得到匹配结果；
第二确定模块，用于根据所述匹配结果，确定所述车辆的定位信息；
所述匹配模块，具体用于：
如果所述元素类别是所述离散路标类型，则确定与所述语义元素对应的第一轮廓，所述第一轮廓包括：多个第一轮廓像素；
确定所述地图元素的多条边；
根据所述语义元素对应的第一轮廓和所述地图元素的多条边得到匹配结果；
如果所述元素类别是所述连续细路标类型，则根据所述地图元素对应的折线表示信息得到匹配结果；
如果所述元素类别是所述连续粗路标类型，所述匹配模块，包括：
第一确定子模块，用于确定与所述语义元素对应的第二轮廓，所述第二轮廓包括：多个第二轮廓像素；
第二确定子模块，用于确定主方向；
投影子模块，用于基于所述主方向分别对所述多个第二轮廓像素进行投影处理，以得到多个投影像素；
识别子模块，用于从所述地图元素中识别出与所述多个投影像素分别对应的多个第三地图线段，其中，所述多个投影像素与分别对应的所述多个第三地图线段共同构成所述匹配结果；
所述第二确定模块，包括：
判断子模块，用于根据所述匹配结果，判断是否发生定位漂移事件；
重定位子模块，用于在发生所述定位漂移事件时，则对所述车辆进行重定位处理，以得到重定位信息，并将所述重定位信息作为所述定位信息。
10.如权利要求9所述的装置，其特征在于，所述匹配模块，具体用于：
从所述多条边中分别确定与所述多个第一轮廓像素对应的多个第一地图线段，其中，所述多个第一轮廓像素与分别对应的所述多个第一地图线段共同构成所述匹配结果。
11.如权利要求9所述的装置，其特征在于，所述匹配模块，具体用于：
如果所述元素类别是所述连续细路标类型，则确定与所述地图元素对应的折线表示信息；
根据所述折线表示信息从所述语义元素中解析得到多个候选像素；
对所述多个候选像素进行降采样处理，以得到多个参考像素；
根据所述折线表示信息，从所述地图元素中识别出与所述多个参考像素分别对应的多个第二地图线段，其中，所述多个参考像素与分别对应的所述多个第二地图线段共同构成所述匹配结果。
12.如权利要求9所述的装置，其特征在于，所述第二确定子模块，具体用于：
确定与所述多个第二轮廓像素分别对应的多个像素坐标；
采用主成分分析方法处理所述多个像素坐标，以得到所述主方向。
13.如权利要求9所述的装置，其特征在于，所述第二确定模块，还包括：
第三确定子模块，用于在未发生所述定位漂移事件时，则根据所述匹配结果，确定所述车辆的定位信息。
14.如权利要求13所述的装置，其特征在于，所述图像的数量是多个，多个所述图像分别具有对应的多个匹配结果，
其中，所述判断子模块，具体用于：
确定与多个所述图像分别对应的多个匹配程度，所述匹配程度，描述相应所述匹配结果的匹配情况；
如果大于或者等于设定数量的所述图像对应的匹配程度均小于匹配阈值，则判定发生所述定位漂移事件，其中，所述大于或者等于设定数量的所述图像是连续采集的图像。
15.如权利要求13所述的装置，其特征在于，所述地图元素是从场景地图中提取得到的，所述重定位子模块，包括：
提取单元，用于从所述场景地图中提取多个参考地图元素，至少部分所述参考地图元素之间相邻，且所述多个参考地图元素具有对应的排列次序；
识别单元，用于根据所述排列次序对所述图像中的候选语义元素进行识别，以得到多个候选语义元素；
判断单元，用于判断所述多个参考地图元素和所述多个候选语义元素之间是否满足匹配条件，以得到判断结果；
确定单元，用于根据所述判断结果，确定所述重定位信息。
16.如权利要求15所述的装置，其特征在于，所述确定单元，具体用于：
如果所述多个候选语义元素与所述多个参考地图元素之间满足所述匹配条件，则根据与所述多个参考地图元素分别对应的多个地图位置确定所述重定位信息；
如果所述多个候选语义元素与所述多个参考地图元素之间不满足所述匹配条件，则重新从所述场景地图中提取多个目标地图元素，并采用所述多个目标地图元素分别对所述多个参考地图元素进行更新，直至确定出所述重定位信息。
17.一种电子设备，其特征在于，包括：
存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1-8中任一项所述的车辆定位方法。
18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一项所述的车辆定位方法。
CN202111089405.3A 2021-09-16 2021-09-16 车辆定位方法、装置、电子设备及存储介质 Active CN114543819B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202111089405.3A CN114543819B (zh) 2021-09-16 2021-09-16 车辆定位方法、装置、电子设备及存储介质
EP22153461.3A EP4151951A1 (en) 2021-09-16 2022-01-26 Vehicle localization method and device, electronic device and storage medium
US17/588,076 US20230078721A1 (en) 2021-09-16 2022-01-28 Vehicle localization method and device, electronic device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111089405.3A CN114543819B (zh) 2021-09-16 2021-09-16 车辆定位方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114543819A CN114543819A (zh) 2022-05-27
CN114543819B true CN114543819B (zh) 2024-03-26

Family

ID=80034945

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111089405.3A Active CN114543819B (zh) 2021-09-16 2021-09-16 车辆定位方法、装置、电子设备及存储介质

Country Status (3)

Country Link
US (1) US20230078721A1 (zh)
EP (1) EP4151951A1 (zh)
CN (1) CN114543819B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578386B (zh) * 2022-12-02 2023-06-06 小米汽车科技有限公司 泊车图像生成方法、装置、电子设备及存储介质
CN116105603B (zh) * 2023-04-13 2023-09-19 安徽蔚来智驾科技有限公司 用于确定移动物体在场所中的位置的方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1653505A (zh) * 2002-03-29 2005-08-10 松下电器产业株式会社 地图匹配方法、地图匹配设备、用于形状匹配的数据库、和形状匹配设备
KR20110105478A (ko) * 2010-03-19 2011-09-27 팅크웨어(주) 내비게이션 장치용 맵 매칭 처리 방법 및 그 내비게이션 장치
CN108931245A (zh) * 2018-08-02 2018-12-04 上海思岚科技有限公司 移动机器人的局部自定位方法及设备
CN110189373A (zh) * 2019-05-30 2019-08-30 四川长虹电器股份有限公司 一种基于视觉语义信息的快速重定位方法及装置
CN110197455A (zh) * 2019-06-03 2019-09-03 北京石油化工学院 二维全景图像的获取方法、装置、设备和存储介质
CN110456797A (zh) * 2019-08-19 2019-11-15 杭州电子科技大学 一种基于2d激光传感器的agv重定位系统及方法
CN111144349A (zh) * 2019-12-30 2020-05-12 中国电子科技集团公司信息科学研究院 一种室内视觉重定位方法及系统
CN111427373A (zh) * 2020-03-24 2020-07-17 上海商汤临港智能科技有限公司 一种位姿确定方法、装置、介质和设备
WO2020192105A1 (zh) * 2019-03-28 2020-10-01 魔门塔(苏州)科技有限公司 一种车辆位姿的修正方法和装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2712673A1 (en) * 2008-02-04 2009-08-13 Tele Atlas North America Inc. Method for map matching with sensor detected objects
DE102012013492A1 (de) * 2012-07-09 2013-01-17 Daimler Ag Verfahren zur Positionsbestimmung
EP3343431A1 (en) * 2016-12-28 2018-07-04 Volvo Car Corporation Method and system for vehicle localization from camera image
US10402995B2 (en) * 2017-07-27 2019-09-03 Here Global B.V. Method, apparatus, and system for real-time object detection using a cursor recurrent neural network
DE112019000122T5 (de) * 2018-02-27 2020-06-25 Nvidia Corporation Echtzeiterfassung von spuren und begrenzungen durch autonome fahrzeuge
US20210191397A1 (en) * 2019-12-24 2021-06-24 Industrial Technology Research Institute Autonomous vehicle semantic map establishment system and establishment method
CN111780771B (zh) * 2020-05-12 2022-09-23 驭势科技（北京）有限公司 一种定位方法、装置、电子设备及计算机可读存储介质
CN111860319B (zh) * 2020-07-20 2024-03-26 阿波罗智能技术(北京)有限公司 车道线的确定方法、定位精度的评测方法、装置、设备
US20220326023A1 (en) * 2021-04-09 2022-10-13 Zoox, Inc. Verifying reliability of data used for autonomous driving

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1653505A (zh) * 2002-03-29 2005-08-10 松下电器产业株式会社 地图匹配方法、地图匹配设备、用于形状匹配的数据库、和形状匹配设备
KR20110105478A (ko) * 2010-03-19 2011-09-27 팅크웨어(주) 내비게이션 장치용 맵 매칭 처리 방법 및 그 내비게이션 장치
CN108931245A (zh) * 2018-08-02 2018-12-04 上海思岚科技有限公司 移动机器人的局部自定位方法及设备
WO2020192105A1 (zh) * 2019-03-28 2020-10-01 魔门塔(苏州)科技有限公司 一种车辆位姿的修正方法和装置
CN110189373A (zh) * 2019-05-30 2019-08-30 四川长虹电器股份有限公司 一种基于视觉语义信息的快速重定位方法及装置
CN110197455A (zh) * 2019-06-03 2019-09-03 北京石油化工学院 二维全景图像的获取方法、装置、设备和存储介质
CN110456797A (zh) * 2019-08-19 2019-11-15 杭州电子科技大学 一种基于2d激光传感器的agv重定位系统及方法
CN111144349A (zh) * 2019-12-30 2020-05-12 中国电子科技集团公司信息科学研究院 一种室内视觉重定位方法及系统
CN111427373A (zh) * 2020-03-24 2020-07-17 上海商汤临港智能科技有限公司 一种位姿确定方法、装置、介质和设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Real-Time HD Map Change Detection for Crowdsourcing Update Based on Mid-to-High-End Sensors;Zhang, P等;《SENSORS》;20210430;全文 *
路网更新的轨迹-地图匹配方法;吴涛;向隆刚;龚健雅;;测绘学报;20170415(第04期);全文 *

Also Published As

Publication number Publication date
CN114543819A (zh) 2022-05-27
EP4151951A1 (en) 2023-03-22
US20230078721A1 (en) 2023-03-16

Similar Documents

Publication Publication Date Title
KR102483649B1 (ko) 차량 위치 결정 방법 및 차량 위치 결정 장치
CN110287779B (zh) 车道线的检测方法、装置及设备
CN114543819B (zh) 车辆定位方法、装置、电子设备及存储介质
EP3007099A1 (en) Image recognition system for a vehicle and corresponding method
CN111336951B (zh) 用于校准图像传感器的外部参数的方法和设备
CN109426800B (zh) 一种车道线检测方法和装置
CN109658454B (zh) 一种位姿信息确定方法、相关装置及存储介质
JP7077910B2 (ja) 区画線検出装置及び区画線検出方法
CN110969055B (zh) 用于车辆定位的方法、装置、设备和计算机可读存储介质
KR101694837B1 (ko) 주행 차량에서 촬영된 영상에서의 차량 정보 검출 장치 및 그 방법
Farag Real-time detection of road lane-lines for autonomous driving
CN111098850A (zh) 一种自动停车辅助系统及自动泊车方法
CN110853085A (zh) 基于语义slam的建图方法和装置及电子设备
CN116386000A (zh) 基于高精地图和单目摄像头测量障碍物距离的方法、系统
Truong et al. New lane detection algorithm for autonomous vehicles using computer vision
CN113011285B (zh) 车道线检测方法、装置、自动驾驶车辆及可读存储介质
JP4462533B2 (ja) 路面走行レーン検出装置
CN111460854A (zh) 一种远距离目标检测方法、装置及系统
EP3227827B1 (en) Driver assistance system, motor vehicle and method for classifying a flow vector
CN115249407A (zh) 指示灯状态识别方法、装置、电子设备、存储介质及产品
JP7095559B2 (ja) 区画線検出装置及び区画線検出方法
CN113147746A (zh) 坡道车位的探测方法及装置
JP2001101420A (ja) 障害物検出装置及びその方法
García-García et al. 3D visual odometry for GPS navigation assistance
JPH06265330A (ja) 画像計測装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant