CN115112125A - 自动驾驶车辆的定位方法、装置及电子设备、存储介质 - Google Patents

自动驾驶车辆的定位方法、装置及电子设备、存储介质 Download PDF

Info

Publication number
CN115112125A
CN115112125A CN202210837550.3A CN202210837550A CN115112125A CN 115112125 A CN115112125 A CN 115112125A CN 202210837550 A CN202210837550 A CN 202210837550A CN 115112125 A CN115112125 A CN 115112125A
Authority
CN
China
Prior art keywords
current frame
frame
road surface
historical
image frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210837550.3A
Other languages
English (en)
Inventor
王林杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhidao Network Technology Beijing Co Ltd
Original Assignee
Zhidao Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhidao Network Technology Beijing Co Ltd filed Critical Zhidao Network Technology Beijing Co Ltd
Priority to CN202210837550.3A priority Critical patent/CN115112125A/zh
Publication of CN115112125A publication Critical patent/CN115112125A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种自动驾驶车辆的定位方法、装置及电子设备、存储介质，该方法包括：获取当前帧的路面标识分割数据和历史帧的路面标识分割数据及图像帧之间的第一位姿变换关系，第一位姿变换关系基于惯导测量数据得到；根据当前帧的路面标识分割数据和历史帧的路面标识分割数据，确定图像帧之间的第二位姿变换关系；根据第一位姿变换关系和第二位姿变换关系构建优化模型，利用优化模型确定当前帧与历史帧的相对位姿，并结合历史帧对应的车辆位姿，确定当前定位结果。本申请利用基于视觉技术得到的路面标识分割结果辅助定位，弥补了惯导设备等定位方案在城市峡谷、隧道等场景下定位精度降低的问题，且通过历史帧数据同时进行优化，提高了定位精度。

Description

自动驾驶车辆的定位方法、装置及电子设备、存储介质
技术领域
本申请涉及自动驾驶技术领域，尤其涉及一种自动驾驶车辆的定位方法、装置及电子设备、存储介质。
背景技术
在自动驾驶领域，自动驾驶车辆的位置和姿态等数据的精度对于自动驾驶功能的实现至关重要，这些数据是车辆感知单元和控制单元进行感知决策的先决条件，行驶过程中自动驾驶车辆在车道中的位姿的精确度关系到自动驾驶车辆的安全行驶，因此需要特别关注。
随着自动驾驶技术的快速发展，涌现了多种自动驾驶车辆的定位方法，其中以惯导/卫星组合定位以及里程计(Odometry)等方法最为常见。然而，由于受到卫星可用性、惯导性能、里程计累计误差等影响，目前的定位方法在隧道、城市峡谷等场景下的定位精度仍然很难满足自动驾驶的需求。
发明内容
本申请实施例提供了一种自动驾驶车辆的定位方法、装置及电子设备、存储介质，以提高自动驾驶车辆的定位精度。
本申请实施例采用下述技术方案：
第一方面，本申请实施例提供一种自动驾驶车辆的定位方法，其中，所述方法包括：
获取当前帧的路面标识分割数据和历史帧的路面标识分割数据，以及图像帧之间的第一位姿变换关系，所述图像帧之间的第一位姿变换关系基于惯导测量数据得到；
根据所述当前帧的路面标识分割数据和所述历史帧的路面标识分割数据，确定图像帧之间的第二位姿变换关系；
根据所述图像帧之间的第一位姿变换关系和所述图像帧之间的第二位姿变换关系构建优化模型，并利用所述优化模型确定当前帧与历史帧的相对位姿；
根据所述当前帧与历史帧的相对位姿和历史帧对应的车辆位姿，确定所述自动驾驶车辆的当前定位结果。
可选地，所述获取当前帧的路面标识分割数据和历史帧的路面标识分割数据包括：
获取当前帧的道路图像，并利用预设语义分割模型对所述当前帧的道路图像进行语义分割，得到当前帧的路面标识分割结果；
将所述当前帧的路面标识分割结果转换到当前帧对应的车辆坐标系下，得到转换后的路面标识分割结果；
将所述转换后的路面标识分割结果转换为路面标识点云，作为所述当前帧的路面标识分割数据。
可选地，所述根据所述当前帧的路面标识分割数据和所述历史帧的路面标识分割数据，确定图像帧之间的第二位姿变换关系包括：
将所述当前帧的路面标识分割数据和所述历史帧的路面标识分割数据进行匹配，得到图像帧之间的路面标识匹配关系；
根据所述图像帧之间的路面标识匹配关系确定所述图像帧之间的第二位姿变换关系。
可选地，所述当前帧的路面标识分割数据包括当前帧的车道线分割结果，所述当前帧的车道线分割结果包括当前帧的车道线点、当前帧的车道线属性以及当前帧的车道线之间的几何关系，所述将所述当前帧的路面标识分割数据和所述历史帧的路面标识分割数据进行匹配，得到图像帧之间的路面标识匹配关系包括：
根据所述当前帧的车道线属性，对所述当前帧的车道线点进行拟合，得到当前帧的车道线拟合方程；
根据所述当前帧的车道线拟合方程、所述当前帧的车道线属性以及所述当前帧的车道线之间的几何关系，确定所述图像帧之间的车道线匹配关系。
可选地，所述历史帧包括多个，所述根据所述当前帧的车道线属性对所述当前帧的车道线点进行拟合，得到当前帧的车道线拟合方程包括：
在多个历史帧中确定参考帧；
获取所述当前帧与参考帧的相对位姿，并基于所述当前帧与参考帧的相对位姿，将所述当前帧的车道线点转换到参考帧对应的车辆坐标系下，得到转换后的车道线点；
根据所述当前帧的车道线属性，对所述转换后的车道线点进行拟合，得到当前帧的车道线拟合方程。
可选地，所述根据所述图像帧之间的路面标识匹配关系确定所述图像帧之间的第二位姿变换关系包括：
根据所述图像帧之间的路面标识匹配关系，从与所述当前帧相匹配的历史帧的路面标识分割数据中提取历史帧的车道线采样点；
根据所述历史帧的车道线采样点和所述当前帧的车道线拟合方程，构建点-线误差模型；
根据所述点-线误差模型确定所述图像帧之间的第二位姿变换关系。
可选地，所述根据所述当前帧与历史帧的相对位姿和历史帧对应的车辆位姿，确定所述自动驾驶车辆的当前定位结果包括：
根据所述当前帧与历史帧的相对位姿和所述历史帧对应的车辆位姿，确定当前帧的车辆位姿；
根据所述当前帧的车辆位姿，确定所述自动驾驶车辆的当前定位结果。
第二方面，本申请实施例还提供一种自动驾驶车辆的定位装置，其中，所述装置包括：
获取单元，用于获取当前帧的路面标识分割数据和历史帧的路面标识分割数据，以及图像帧之间的第一位姿变换关系，所述图像帧之间的第一位姿变换关系基于惯导测量数据得到；
第一确定单元，用于根据所述当前帧的路面标识分割数据和所述历史帧的路面标识分割数据，确定图像帧之间的第二位姿变换关系；
优化单元，用于根据所述图像帧之间的第一位姿变换关系和所述图像帧之间的第二位姿变换关系构建优化模型，并利用所述优化模型确定当前帧与历史帧的相对位姿；
第二确定单元，用于根据所述当前帧与历史帧的相对位姿和历史帧对应的车辆位姿，确定所述自动驾驶车辆的当前定位结果。
第三方面，本申请实施例还提供一种电子设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行前述之任一所述方法。
第四方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行前述之任一所述方法。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：本申请实施例的自动驾驶车辆的定位方法，先获取当前帧的路面标识分割数据和历史帧的路面标识分割数据，以及图像帧之间的第一位姿变换关系，图像帧之间的第一位姿变换关系基于惯导测量数据得到；然后根据当前帧的路面标识分割数据和历史帧的路面标识分割数据，确定图像帧之间的第二位姿变换关系；之后根据图像帧之间的第一位姿变换关系和图像帧之间的第二位姿变换关系构建优化模型，并利用优化模型确定当前帧与历史帧的相对位姿；最后根据当前帧与历史帧的相对位姿和历史帧对应的车辆位姿，确定自动驾驶车辆的当前定位结果。本申请实施例的自动驾驶车辆的定位方法利用基于视觉技术得到的路面标识分割结果辅助定位，弥补了惯导设备等定位方案在城市峡谷、隧道等场景下的定位精度降低的问题，且通过一定的历史帧数据同时进行优化，进一步提高了自动驾驶车辆的定位精度。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例中一种自动驾驶车辆的定位方法的流程示意图；
图2为本申请实施例中一种自动驾驶车辆的定位装置的结构示意图；
图3为本申请实施例中一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
以下结合附图，详细说明本申请各实施例提供的技术方案。
本申请实施例提供了一种自动驾驶车辆的定位方法，如图1所示，提供了本申请实施例中一种自动驾驶车辆的定位方法的流程示意图，所述方法至少包括如下的步骤S110至步骤S140：
步骤S110，获取当前帧的路面标识分割数据和历史帧的路面标识分割数据，以及图像帧之间的第一位姿变换关系，所述图像帧之间的第一位姿变换关系基于惯导测量数据得到。
本申请实施例中的自动驾驶车辆的定位方法在进行定位时，需要先获取当前帧的路面标识分割数据以及历史帧的路面标识分割数据，路面标识分割数据可以理解为是基于视觉算法从道路图像中分割出的路面标识等数据，例如路面的车道线、停止线和箭头等，具体分割哪些路面标识，本领域技术人员可以根据实际需求灵活定义，在此不作具体限定。“历史帧”的确定同样也可以根据实际需求灵活调整，例如可以获取最近1s内的历史帧的路面标识分割数据。
除此之外，还需要获取图像帧之间的第一位姿变换关系，图像帧之间的第一位姿变换关系可以通过惯导设备测量的数据得到，例如可以根据惯导设备测量的角速度和线加速度，通过预积分或者其他方法，计算得到两个图像帧之间的第一位姿变换关系。当然需要说明的是，惯导设备测量的数据可以是指惯导设备输出的原始测量数据，也可以是指融合了GPS定位信号或者里程计数据之后输出的测量数据。
步骤S120，根据所述当前帧的路面标识分割数据和所述历史帧的路面标识分割数据，确定图像帧之间的第二位姿变换关系。
基于前述步骤获取到当前帧的路面标识分割数据和历史帧的路面标识分割数据后，还可以将当前帧的路面标识分割数据和历史帧的路面标识分割数据进行匹配，以根据图像帧之间的路面标识的匹配情况确定出图像帧之间的第二位姿变换关系。
步骤S130，根据所述图像帧之间的第一位姿变换关系和所述图像帧之间的第二位姿变换关系构建优化模型，并利用所述优化模型确定当前帧与历史帧的相对位姿。
上述图像帧之间的第一位姿变换关系是基于惯导设备测量的数据计算得到的，第二位姿变换关系是基于图像的路面标识分割数据计算得到的，由于惯导设备的定位结果易受到惯导性能、卫星定位信号好坏等的影响，因此本申请实施例可以结合第二位姿变换关系来进一步辅助自动驾驶车辆的定位过程。
具体可以根据图像帧之间的第一位姿变换关系和第二位姿变换关系来构建优化模型，优化模型例如可以是能够实现位姿优化的任意非线性优化模型，然后利用一定求解算法如最小二乘法等来进行求解，从而可以得到优化后的当前帧与历史帧之间的相对位姿。
步骤S140，根据所述当前帧与历史帧的相对位姿和历史帧对应的车辆位姿，确定所述自动驾驶车辆的当前定位结果。
由于历史帧的车辆位姿已经在前一图像帧时刻完成优化，因此这里可以获取到历史帧的车辆位姿，然后结合当前帧与历史帧的相对位姿确定当前帧的准确位姿，进而以此得到自动驾驶车辆的当前定位结果。
本申请实施例的自动驾驶车辆的定位方法利用基于视觉技术得到的路面标识分割结果辅助定位，弥补了惯导设备等定位方案在城市峡谷、隧道等场景下的定位精度降低的问题，且通过一定的历史帧数据同时进行优化，进一步提高了自动驾驶车辆的定位精度。
在本申请的一些实施例中，所述获取当前帧的路面标识分割数据和历史帧的路面标识分割数据包括：获取当前帧的道路图像，并利用预设语义分割模型对所述当前帧的道路图像进行语义分割，得到当前帧的路面标识分割结果；将所述当前帧的路面标识分割结果转换到当前帧对应的车辆坐标系下，得到转换后的路面标识分割结果；将所述转换后的路面标识分割结果转换为路面标识点云，作为所述当前帧的路面标识分割数据。
本申请实施例在获取当前帧的路面标识分割数据时，可以先获取当前帧的道路图像，具体可以通过自动驾驶车辆的车载摄像头采集得到，然后利用训练好的预设语义分割模型对当前帧的道路图像中包含的路面标识进行语义分割，得到当前帧的路面标识分割结果，预设语义分割模型可以基于现有技术中的卷积神经网络训练得到，例如可以采用U-NET或者LaneNet模型等，当然具体采用何种形式的语义分割模型，本领域技术人员可以根据实际需求灵活选择，在此不作具体限定。
由于道路图像中分割出的路面标识分割结果是位于图像坐标系下的，为了满足自动驾驶场景的定位需求，本申请实施例可以先将当前帧的路面标识分割结果转换到当前帧的道路图像所对应的车辆坐标系中，在车辆坐标系中将当前帧的路面标识分割结果用点云表示，从而便于后续处理。
在本申请的一些实施例中，所述根据所述当前帧的路面标识分割数据和所述历史帧的路面标识分割数据，确定图像帧之间的第二位姿变换关系包括：将所述当前帧的路面标识分割数据和所述历史帧的路面标识分割数据进行匹配，得到图像帧之间的路面标识匹配关系；根据所述图像帧之间的路面标识匹配关系确定所述图像帧之间的第二位姿变换关系。
本申请实施例可以利用一定匹配策略将当前帧的路面标识分割数据和历史帧的路面标识分割数据进行匹配，当历史帧有多个时，可以将当前帧的路面标识分割数据分别与各个历史帧的路面标识分割数据进行匹配，从而找到当前帧与不同历史帧之间对应道路标识的匹配关系，对于任意两帧进行匹配的图像来说，其对应的道路标识匹配效果越好，说明这两帧图像中的道路标识越有可能对应的是同一道路标识，进而可以基于该路面标识匹配关系进一步计算出图像帧之间的第二位姿变换关系。
在本申请的一些实施例中，所述当前帧的路面标识分割数据包括当前帧的车道线分割结果，所述当前帧的车道线分割结果包括当前帧的车道线点、当前帧的车道线属性以及当前帧的车道线之间的几何关系，所述将所述当前帧的路面标识分割数据和所述历史帧的路面标识分割数据进行匹配，得到图像帧之间的路面标识匹配关系包括：根据所述当前帧的车道线属性，对所述当前帧的车道线点进行拟合，得到当前帧的车道线拟合方程；根据所述当前帧的车道线拟合方程、所述当前帧的车道线属性以及所述当前帧的车道线之间的几何关系，确定所述图像帧之间的车道线匹配关系。
在自动驾驶场景下，车道线的识别尤为重要，因此本申请实施例对于当前帧的道路图像的语义分割结果就可以包括车道线分割结果，车道线分割结果具体又可以包括从图像中分割出的车道线点，对应的车道线属性以及车道线之间的几何关系，车道线属性具体可以包括车道线颜色如白色或者黄色，以及车道线类型如实线或者虚线，单线或者双线等等，车道线之间的几何关系例如可以包括当前帧图像中分割出的多个车道线之间的相对位置关系，上述这些信息都可以通过语义分割得到。
基于不同的车道线属性，可以对图像中分割出的车道线点分别进行拟合处理，例如将颜色和类型均相同的车道线点拟合为一条车道线，从而得到当前帧图像中所包含的各个车道线对应的车道线拟合方程。
最后，基于上述得到的当前帧的车道线拟合方程、车道线属性以及车道线之间的几何关系等几个维度，可以确定图像帧之间的车道线匹配关系。例如，对于图像A和图像B，如果图像A中的车道线a1与图像B中的车道线b1对应的车道线拟合方程的参数相同或者相近，两个车道线的颜色和类型也相同，并且图像A中的车道线a1与其他车道线之间的相对位置，与图像B中的车道线b1与其他车道线之间的相对位置也相同，例如都为最左侧车道线，那么则可以认为图像A中的车道线a1与图像B中的车道线b1对应的是同一条车道线，也即可以认为是图像帧之间相匹配的车道线。
在本申请的一些实施例中，所述历史帧包括多个，所述根据所述当前帧的车道线属性对所述当前帧的车道线点进行拟合，得到当前帧的车道线拟合方程包括：在多个历史帧中确定参考帧；获取所述当前帧与参考帧的相对位姿，并基于所述当前帧与参考帧的相对位姿，将所述当前帧的车道线点转换到参考帧对应的车辆坐标系下，得到转换后的车道线点；根据所述当前帧的车道线属性，对所述转换后的车道线点进行拟合，得到当前帧的车道线拟合方程。
本申请实施例的车辆位姿和相对位姿以及路面标识分割数据等都可以以缓存队列的形式管理和维护，车辆位姿缓存队列中的数据来源于每一时刻优化后的车辆位姿，相对位姿缓存队列中的数据来源于惯导设备测量的数据通过预积分等方式计算得到的相对位姿，路面标识分割数据缓存队列中的数据则来源于图像语义分割结果，三个缓存队列中存储的数据可以基于图像的时间戳进行对齐。
本申请实施例在进行车道线拟合时，可以先在多个历史帧中确定出参考帧，作为后续确定相对位姿的基准，这里的参考帧可以是指缓存队列中图像的时间戳最小的那一帧，当缓存队列中有新的数据进入时，最早的数据将从队列中删除，因此参考帧是随着缓存队列中数据的更新而变化的。
由于车辆坐标系通常是以车辆自身建立的局部世界坐标系，随着车辆的运动，每个图像时刻建立的车辆坐标系也不同，为了便于后续处理，本申请实施例可以以上述参考帧为基准进行坐标系的统一和对齐。具体地，可以先从相对位姿缓存队列中获取到当前帧与参考帧的相对位姿，需要说明的是，由于相对位姿缓存队列中的数据是基于惯导设备测量的数据计算得到的，因此这里的当前帧与参考帧的相对位姿可以看作是一个大致的位姿变换关系，关键在于基于当前帧与参考帧的相对位姿可以将当前帧的车道线点转换到以参考帧为坐标系原点构建的车辆坐标系中，由此实现坐标系的对齐。
在本申请的一些实施例中，所述根据所述图像帧之间的路面标识匹配关系确定所述图像帧之间的第二位姿变换关系包括：根据所述图像帧之间的路面标识匹配关系，从与所述当前帧相匹配的历史帧的路面标识分割数据中提取历史帧的车道线采样点；根据所述历史帧的车道线采样点和所述当前帧的车道线拟合方程，构建点-线误差模型；根据所述点-线误差模型确定所述图像帧之间的第二位姿变换关系。
本申请实施例在构建图像帧之间的第二位姿变换关系时，可以先根据图像帧之间的路面标识匹配关系，例如车道线匹配关系，确定出与当前帧的车道线分割结果相匹配或者匹配程度较高的历史帧的车道线分割结果，然后根据这些历史帧的车道线分割结果中包含的车道线矢量化信息，如车道线拟合方程以及车道线属性信息等，从中提取出一定数量的历史帧的车道线采样点，然后与当前帧的车道线拟合方程，构建点-线误差模型，点-线误差模型表征了两帧图像之间相匹配的车道线点与拟合后的车道线之间的误差，后续优化的目的是使该误差越小越好，对于车道线来说，待优化量可以是车辆的横向偏移以及俯仰角和偏航角，由于点-线误差模型对于翻滚角的优化效果一般，因此这里可以不对翻滚角进行优化。
除此之外，本申请实施例还可以针对车道线以外的其他类型的路面标识构建相应的误差模型，例如可以针对停止线标识构建点-线误差模型，待优化量可以是车辆的纵向偏移以及俯仰角和偏航角，针对箭头标识可以构建3D点-3D点误差模型，待优化量可以是车辆的横向偏移和纵向偏移以及俯仰角和偏航角。在后续优化阶段，可以联合不同的误差模型共同进行优化，从而提高优化效率和优化效果。
在本申请的一些实施例中，所述根据所述当前帧与历史帧的相对位姿和历史帧对应的车辆位姿，确定所述自动驾驶车辆的当前定位结果包括：根据所述当前帧与历史帧的相对位姿和所述历史帧对应的车辆位姿，确定当前帧的车辆位姿；根据所述当前帧的车辆位姿，确定所述自动驾驶车辆的当前定位结果。
历史帧对应的车辆位姿表征了历史帧优化后的最终位姿，而基于优化模型也确定出了精度更高的当前帧与历史帧之间的相对位姿，因此结合二者可以计算出当前帧的准确位姿。在实际定位时，可以直接将当前帧的准确位姿作为最终的定位结果，当然也可以进一步结合其他传感器的定位数据，利用卡尔曼滤波器或者扩展卡尔曼滤波器进行融合处理后输出最终的定位结果。
在完成当前时刻的定位后，本申请实施例还可以基于当前的最终定位结果更新前述实施例中的各个缓存队列中的数据，从而为下一次定位提供基础。
综上所述，本申请的自动驾驶车辆的定位方法至少取得了如下的技术效果：
1)基于视觉语义分割得到的路面标识分割数据，在城市峡谷、隧道等场景下辅助惯导设备等定位方案，提高了定位精度；
2)利用一定时间范围内的历史帧数据同时进行位姿优化，提高了位姿计算精度；
3)基于车道线的不同属性以及车道线之间的几何关系进行车道线匹配，提高了车道线匹配精度；
4)利用基于视觉语义分割得到的路面标识分割数据和基于惯导测量数据得到的位姿变换关系构建联合误差优化模型，提高了位姿计算精度。
本申请实施例还提供了一种自动驾驶车辆的定位装置200，如图2所示，提供了本申请实施例中一种自动驾驶车辆的定位装置的结构示意图，所述装置包括：获取单元210、第一确定单元220、优化单元230以及第二确定单元240，其中：
获取单元210，用于获取当前帧的路面标识分割数据和历史帧的路面标识分割数据，以及图像帧之间的第一位姿变换关系，所述图像帧之间的第一位姿变换关系基于惯导测量数据得到；
第一确定单元220，用于根据所述当前帧的路面标识分割数据和所述历史帧的路面标识分割数据，确定图像帧之间的第二位姿变换关系；
优化单元230，用于根据所述图像帧之间的第一位姿变换关系和所述图像帧之间的第二位姿变换关系构建优化模型，并利用所述优化模型确定当前帧与历史帧的相对位姿；
第二确定单元240，用于根据所述当前帧与历史帧的相对位姿和历史帧对应的车辆位姿，确定所述自动驾驶车辆的当前定位结果。
在本申请的一些实施例中，所述获取单元210具体用于：获取当前帧的道路图像，并利用预设语义分割模型对所述当前帧的道路图像进行语义分割，得到当前帧的路面标识分割结果；将所述当前帧的路面标识分割结果转换到当前帧对应的车辆坐标系下，得到转换后的路面标识分割结果；将所述转换后的路面标识分割结果转换为路面标识点云，作为所述当前帧的路面标识分割数据。
在本申请的一些实施例中，所述第一确定单元220具体用于：将所述当前帧的路面标识分割数据和所述历史帧的路面标识分割数据进行匹配，得到图像帧之间的路面标识匹配关系；根据所述图像帧之间的路面标识匹配关系确定所述图像帧之间的第二位姿变换关系。
在本申请的一些实施例中，所述当前帧的路面标识分割数据包括当前帧的车道线分割结果，所述当前帧的车道线分割结果包括当前帧的车道线点、当前帧的车道线属性以及当前帧的车道线之间的几何关系，所述第一确定单元220具体用于：根据所述当前帧的车道线属性，对所述当前帧的车道线点进行拟合，得到当前帧的车道线拟合方程；根据所述当前帧的车道线拟合方程、所述当前帧的车道线属性以及所述当前帧的车道线之间的几何关系，确定所述图像帧之间的车道线匹配关系。
在本申请的一些实施例中，所述历史帧包括多个，所述第一确定单元220具体用于：在多个历史帧中确定参考帧；获取所述当前帧与参考帧的相对位姿，并基于所述当前帧与参考帧的相对位姿，将所述当前帧的车道线点转换到参考帧对应的车辆坐标系下，得到转换后的车道线点；根据所述当前帧的车道线属性，对所述转换后的车道线点进行拟合，得到当前帧的车道线拟合方程。
在本申请的一些实施例中，所述第一确定单元220具体用于：根据所述图像帧之间的路面标识匹配关系，从与所述当前帧相匹配的历史帧的路面标识分割数据中提取历史帧的车道线采样点；根据所述历史帧的车道线采样点和所述当前帧的车道线拟合方程，构建点-线误差模型；根据所述点-线误差模型确定所述图像帧之间的第二位姿变换关系。
在本申请的一些实施例中，所述第二确定单元240具体用于：根据所述当前帧与历史帧的相对位姿和所述历史帧对应的车辆位姿，确定当前帧的车辆位姿；根据所述当前帧的车辆位姿，确定所述自动驾驶车辆的当前定位结果。
能够理解，上述自动驾驶车辆的定位装置，能够实现前述实施例中提供的自动驾驶车辆的定位方法的各个步骤，关于自动驾驶车辆的定位方法的相关阐释均适用于自动驾驶车辆的定位装置，此处不再赘述。
图3是本申请的一个实施例电子设备的结构示意图。请参考图3，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成自动驾驶车辆的定位装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：
获取当前帧的路面标识分割数据和历史帧的路面标识分割数据，以及图像帧之间的第一位姿变换关系，所述图像帧之间的第一位姿变换关系基于惯导测量数据得到；
根据所述当前帧的路面标识分割数据和所述历史帧的路面标识分割数据，确定图像帧之间的第二位姿变换关系；
根据所述图像帧之间的第一位姿变换关系和所述图像帧之间的第二位姿变换关系构建优化模型，并利用所述优化模型确定当前帧与历史帧的相对位姿；
根据所述当前帧与历史帧的相对位姿和历史帧对应的车辆位姿，确定所述自动驾驶车辆的当前定位结果。
上述如本申请图1所示实施例揭示的自动驾驶车辆的定位装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central ProcessingUnit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
该电子设备还可执行图1中自动驾驶车辆的定位装置执行的方法，并实现自动驾驶车辆的定位装置在图1所示实施例的功能，本申请实施例在此不再赘述。
本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图1所示实施例中自动驾驶车辆的定位装置执行的方法，并具体用于执行：
获取当前帧的路面标识分割数据和历史帧的路面标识分割数据，以及图像帧之间的第一位姿变换关系，所述图像帧之间的第一位姿变换关系基于惯导测量数据得到；
根据所述当前帧的路面标识分割数据和所述历史帧的路面标识分割数据，确定图像帧之间的第二位姿变换关系；
根据所述图像帧之间的第一位姿变换关系和所述图像帧之间的第二位姿变换关系构建优化模型，并利用所述优化模型确定当前帧与历史帧的相对位姿；
根据所述当前帧与历史帧的相对位姿和历史帧对应的车辆位姿，确定所述自动驾驶车辆的当前定位结果。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种自动驾驶车辆的定位方法，其中，所述方法包括：
获取当前帧的路面标识分割数据和历史帧的路面标识分割数据，以及图像帧之间的第一位姿变换关系，所述图像帧之间的第一位姿变换关系基于惯导测量数据得到；
根据所述当前帧的路面标识分割数据和所述历史帧的路面标识分割数据，确定图像帧之间的第二位姿变换关系；
根据所述图像帧之间的第一位姿变换关系和所述图像帧之间的第二位姿变换关系构建优化模型，并利用所述优化模型确定当前帧与历史帧的相对位姿；
根据所述当前帧与历史帧的相对位姿和历史帧对应的车辆位姿，确定所述自动驾驶车辆的当前定位结果。
2.如权利要求1所述方法，其中，所述获取当前帧的路面标识分割数据和历史帧的路面标识分割数据包括：
获取当前帧的道路图像，并利用预设语义分割模型对所述当前帧的道路图像进行语义分割，得到当前帧的路面标识分割结果；
将所述当前帧的路面标识分割结果转换到当前帧对应的车辆坐标系下，得到转换后的路面标识分割结果；
将所述转换后的路面标识分割结果转换为路面标识点云，作为所述当前帧的路面标识分割数据。
3.如权利要求1所述方法，其中，所述根据所述当前帧的路面标识分割数据和所述历史帧的路面标识分割数据，确定图像帧之间的第二位姿变换关系包括：
将所述当前帧的路面标识分割数据和所述历史帧的路面标识分割数据进行匹配，得到图像帧之间的路面标识匹配关系；
根据所述图像帧之间的路面标识匹配关系确定所述图像帧之间的第二位姿变换关系。
4.如权利要求3所述方法，其中，所述当前帧的路面标识分割数据包括当前帧的车道线分割结果，所述当前帧的车道线分割结果包括当前帧的车道线点、当前帧的车道线属性以及当前帧的车道线之间的几何关系，所述将所述当前帧的路面标识分割数据和所述历史帧的路面标识分割数据进行匹配，得到图像帧之间的路面标识匹配关系包括：
根据所述当前帧的车道线属性，对所述当前帧的车道线点进行拟合，得到当前帧的车道线拟合方程；
根据所述当前帧的车道线拟合方程、所述当前帧的车道线属性以及所述当前帧的车道线之间的几何关系，确定所述图像帧之间的车道线匹配关系。
5.如权利要求4所述方法，其中，所述历史帧包括多个，所述根据所述当前帧的车道线属性对所述当前帧的车道线点进行拟合，得到当前帧的车道线拟合方程包括：
在多个历史帧中确定参考帧；
获取所述当前帧与参考帧的相对位姿，并基于所述当前帧与参考帧的相对位姿，将所述当前帧的车道线点转换到参考帧对应的车辆坐标系下，得到转换后的车道线点；
根据所述当前帧的车道线属性，对所述转换后的车道线点进行拟合，得到当前帧的车道线拟合方程。
6.如权利要求4所述方法，其中，所述根据所述图像帧之间的路面标识匹配关系确定所述图像帧之间的第二位姿变换关系包括：
根据所述图像帧之间的路面标识匹配关系，从与所述当前帧相匹配的历史帧的路面标识分割数据中提取历史帧的车道线采样点；
根据所述历史帧的车道线采样点和所述当前帧的车道线拟合方程，构建点-线误差模型；
根据所述点-线误差模型确定所述图像帧之间的第二位姿变换关系。
7.如权利要求1所述方法，其中，所述根据所述当前帧与历史帧的相对位姿和历史帧对应的车辆位姿，确定所述自动驾驶车辆的当前定位结果包括：
根据所述当前帧与历史帧的相对位姿和所述历史帧对应的车辆位姿，确定当前帧的车辆位姿；
根据所述当前帧的车辆位姿，确定所述自动驾驶车辆的当前定位结果。
8.一种自动驾驶车辆的定位装置，其中，所述装置包括：
获取单元，用于获取当前帧的路面标识分割数据和历史帧的路面标识分割数据，以及图像帧之间的第一位姿变换关系，所述图像帧之间的第一位姿变换关系基于惯导测量数据得到；
第一确定单元，用于根据所述当前帧的路面标识分割数据和所述历史帧的路面标识分割数据，确定图像帧之间的第二位姿变换关系；
优化单元，用于根据所述图像帧之间的第一位姿变换关系和所述图像帧之间的第二位姿变换关系构建优化模型，并利用所述优化模型确定当前帧与历史帧的相对位姿；
第二确定单元，用于根据所述当前帧与历史帧的相对位姿和历史帧对应的车辆位姿，确定所述自动驾驶车辆的当前定位结果。
9.一种电子设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行所述权利要求1～7之任一所述方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行所述权利要求1～7之任一所述方法。
CN202210837550.3A 2022-07-15 2022-07-15 自动驾驶车辆的定位方法、装置及电子设备、存储介质 Pending CN115112125A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210837550.3A CN115112125A (zh) 2022-07-15 2022-07-15 自动驾驶车辆的定位方法、装置及电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210837550.3A CN115112125A (zh) 2022-07-15 2022-07-15 自动驾驶车辆的定位方法、装置及电子设备、存储介质

Publications (1)

Publication Number Publication Date
CN115112125A true CN115112125A (zh) 2022-09-27

Family

ID=83332783

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210837550.3A Pending CN115112125A (zh) 2022-07-15 2022-07-15 自动驾驶车辆的定位方法、装置及电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN115112125A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503482A (zh) * 2023-06-26 2023-07-28 小米汽车科技有限公司 车辆位置的获取方法、装置及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503482A (zh) * 2023-06-26 2023-07-28 小米汽车科技有限公司 车辆位置的获取方法、装置及电子设备
CN116503482B (zh) * 2023-06-26 2023-10-20 小米汽车科技有限公司 车辆位置的获取方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN114088114B (zh) 车辆位姿校准方法、装置和电子设备
CN115164918B (zh) 语义点云地图构建方法、装置及电子设备
CN114034307A (zh) 基于车道线的车辆位姿校准方法、装置和电子设备
CN115493602A (zh) 语义地图构建方法、装置及电子设备、存储介质
CN115184976B (zh) 自动驾驶车辆的定位方法、装置及电子设备、存储介质
CN115143952A (zh) 基于视觉辅助的自动驾驶车辆定位方法、装置
CN114663852A (zh) 车道线图的构建方法、装置、电子设备及可读存储介质
CN114705121A (zh) 车辆位姿测量方法、装置及电子设备、存储介质
CN114547222A (zh) 语义地图构建方法、装置及电子设备
CN115376090A (zh) 高精地图构建方法、装置及电子设备、存储介质
CN111982132B (zh) 数据处理方法、装置和存储介质
CN115112125A (zh) 自动驾驶车辆的定位方法、装置及电子设备、存储介质
CN114754778A (zh) 一种车辆定位方法以及装置、电子设备、存储介质
CN114114369A (zh) 自动驾驶车辆定位方法和装置、电子设备和存储介质
CN112414415B (zh) 高精度点云地图构建方法
CN117079238A (zh) 道路边沿检测方法、装置、设备及存储介质
CN115950441B (zh) 自动驾驶车辆的融合定位方法、装置及电子设备
CN114755663A (zh) 车辆传感器的外参校准方法、装置及计算机可读存储介质
CN115031755A (zh) 自动驾驶车辆定位方法、装置及电子设备、存储介质
CN114910083A (zh) 定位方法以及定位装置、电子设备、存储介质
CN115127563A (zh) 自动驾驶车辆的定位方法、装置及电子设备、存储介质
CN115601516A (zh) 高精地图的道路标识确定方法、装置及电子设备
CN116503482B (zh) 车辆位置的获取方法、装置及电子设备
CN115128655B (zh) 自动驾驶车辆的定位方法和装置、电子设备和存储介质
CN113932835B (zh) 自动驾驶车辆定位杆臂的标定方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination