CN116052117A - 基于位姿的交通要素匹配方法、设备和计算机存储介质 - Google Patents

基于位姿的交通要素匹配方法、设备和计算机存储介质 Download PDF

Info

Publication number
CN116052117A
CN116052117A CN202310012076.5A CN202310012076A CN116052117A CN 116052117 A CN116052117 A CN 116052117A CN 202310012076 A CN202310012076 A CN 202310012076A CN 116052117 A CN116052117 A CN 116052117A
Authority
CN
China
Prior art keywords
coordinate system
image
calibration
camera
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310012076.5A
Other languages
English (en)
Inventor
苏春龙
李正旭
贾双成
朱磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhidao Network Technology Beijing Co Ltd
Original Assignee
Zhidao Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhidao Network Technology Beijing Co Ltd filed Critical Zhidao Network Technology Beijing Co Ltd
Priority to CN202310012076.5A priority Critical patent/CN116052117A/zh
Publication of CN116052117A publication Critical patent/CN116052117A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请涉及一种基于位姿的交通要素匹配方法、设备和计算机存储介质。该方法包括：获取多帧图像任意一帧图像中采集车的位姿信息和目标交通要素在图像坐标系下的位置M；根据多帧图像任意一帧图像中采集车的位姿信息，获取大地坐标系到车辆坐标系的第一变换矩阵，其中，第一变换矩阵包括旋转矩阵R和平移矩阵t；根据第二变换矩阵、采集车搭载的相机的内参矩阵K、目标交通要素在图像坐标系下的位置M、旋转矩阵R和平移矩阵t，解算多帧图像任意一帧图像中目标交通要素的UTM坐标P；对多帧图像中目标交通要素的UTM坐标进行聚类，得到多帧图像中目标交通要素的匹配结果。本申请的技术方案可以精确匹配交通要素。

Description

基于位姿的交通要素匹配方法、设备和计算机存储介质
技术领域
本申请涉及图像处理领域，尤其涉及基于位姿的交通要素匹配方法、设备和计算机存储介质。
背景技术
电子地图是一套用于在GPS设备上导航的软件，主要是用于路径的规划和导航功能上的实现。电子地图从组成形式上看，由道路、背景、注记和兴趣点等一般要素组成，当然还可以有很多的特色内容，例如，信号灯等特定交通要素。在高精度电子地图的生产制作过程中，不仅需要逐步丰富和完善路面或者空中的信号灯等交通标志，找到提高要素位置精度的方法也尤为重要。由于单张图片解算精度不够，多张图片精度可以提高，但是需要有一种方法来确定多张图片中同一个交通要素即交通要素的匹配。相关技术在对电子地图的交通要素进行匹配时，通常是基于目标物的特征点实现。然而，由于特征点容易受到光照和/或物体形状等因素的影响，导致这种匹配方法的精确度较低。
发明内容
为解决或部分解决相关技术中存在的问题，本申请提供一种基于位姿的交通要素匹配方法、设备和计算机存储介质，可以精确匹配图像中的交通要素。
本申请第一方面提供一种基于位姿的交通要素匹配方法，包括：
获取多帧图像任意一帧图像中采集车的位姿信息和目标交通要素在图像坐标系下的位置M；
根据所述任意一帧图像中采集车的位姿信息，获取大地坐标系到车辆坐标系的第一变换矩阵，所述第一变换矩阵包括旋转矩阵R和平移矩阵t；
根据第二变换矩阵、所述采集车搭载的相机的内参矩阵K、所述目标交通要素在图像坐标系下的位置M、所述旋转矩阵R和所述平移矩阵t，解算所述任意一帧图像中目标交通要素的UTM坐标P，所述第二变换矩阵为大地坐标系至相机坐标系的变换关系；
对所述多帧图像中目标交通要素的UTM坐标进行聚类，得到所述多帧图像中目标交通要素的匹配结果。
本申请第二方面提供一种基于位姿的交通要素匹配装置，包括：
第一获取模块，用于获取多帧图像任意一帧图像中采集车的位姿信息和目标交通要素在图像坐标系下的位置M；
第二获取模块，用于根据所述任意一帧图像中采集车的位姿信息，获取大地坐标系到车辆坐标系的第一变换矩阵，所述第一变换矩阵包括旋转矩阵R和平移矩阵t；
解算模块，用于根据第二变换矩阵、所述采集车搭载的相机的内参矩阵K、所述目标交通要素在图像坐标系下的位置M、所述旋转矩阵R和所述平移矩阵t，解算所述任意一帧图像中目标交通要素的UTM坐标P，所述第二变换矩阵为大地坐标系至相机坐标系的变换关系；
聚类模块，用于对所述多帧图像中目标交通要素的UTM坐标进行聚类，得到所述多帧图像中目标交通要素的匹配结果。
本申请第三方面提供一种电子设备，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。
本申请第四方面提供一种计算机存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。
本申请提供的技术方案可以包括以下有益效果：由于获取多帧图像任意一帧图像中采集车的位姿信息和目标交通要素在图像坐标系下的位置M并不会受环境光照等因素的影响，而采集车搭载的相机的内参矩阵K是相机的属性，亦不会受环境光照等因素的影响，因此，在根据第二变换矩阵、采集车搭载的相机的内参矩阵K、目标交通要素在图像坐标系下的位置M、旋转矩阵R和平移矩阵t，解算任意一帧图像中目标交通要素的UTM坐标P后，对多帧图像中目标交通要素的UTM坐标进行聚类，能够实现对电子地图中交通要素的精确匹配。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
通过结合附图对本申请示例性实施方式进行更详细地描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。
图1是本申请实施例示出的基于位姿的交通要素匹配方法的流程示意图；
图2是本申请实施例示出的基于位姿的交通要素匹配装置的结构示意图；
图3是本申请实施例示出的电子设备的结构示意图；
图4是本申请实施例示出的两个图像帧含有目标交通要素(交通灯)的示意图。
具体实施方式
下面将参照附图更详细地描述本申请的实施方式。虽然附图中显示了本申请的实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
电子地图是一套用于在GPS设备上导航的软件，主要是用于路径的规划和导航功能上的实现。电子地图从组成形式上看，由道路、背景、注记和兴趣点等一般要素组成，当然还可以有很多的特色内容，例如，信号灯等特定交通要素。在高精度电子地图的生产制作过程中，不仅需要逐步丰富和完善路面或者空中的信号灯等交通标志，找到提高要素位置精度的方法也尤为重要。由于单张图片解算精度不够，多张图片精度可以提高，但是需要有一种方法来确定多张图片中同一个交通要素即交通要素的匹配。相关技术在对电子地图的交通要素进行匹配时，通常是基于目标物的特征点实现。然而，由于特征点容易受到光照和/或物体形状等因素的影响，导致这种匹配方法的精确度较低。
针对上述问题，本申请实施例提供一种基于位姿的交通要素匹配方法，可以精确匹配图像中的交通要素。
以下结合附图详细描述本申请实施例的技术方案。
参见图1，是本申请实施例示出的基于位姿的交通要素匹配方法的流程示意图，主要包括步骤S101至步骤S104，说明如下：
步骤S101：获取多帧图像任意一帧图像中采集车的位姿信息和目标交通要素在图像坐标系下的位置M。
在本申请实施例中，多帧图像任意一帧图像中采集车的位姿信息包括采集车在大地坐标系(或世界坐标系)下的位置、姿态等信息，这些位姿信息是可由搭载在采集车上的GPS、惯性测量单元、激光雷达和相机等传感器获取的数据融合后得到，而目标交通要素，例如交通灯在图像坐标系下的位置M，则亦可以通过采集车搭载的激光雷达和/或相机扫描和/或拍摄后，基于算法融合得到。当然，目标交通要素在图像坐标系下的位置M还可以由路侧单元将目标交通要素的图像上传之后台服务器后计算得到，本申请对采集车的位姿信息和目标交通要素在图像坐标系下的位置M的获取方式并不做限定。
步骤S102：根据多帧图像任意一帧图像中采集车的位姿信息，获取大地坐标系到车辆坐标系的第一变换矩阵，其中，第一变换矩阵包括旋转矩阵R和平移矩阵t。
如前所述，采集车的位姿信息是采集车在大地坐标系下的位姿信息，这个位姿信息可从采集车搭载的传感器采集的数据计算得到。当采集车在使用其搭载的传感器采集图像时，每一帧图像都有相应的时间戳。根据这个时间戳，可以获知同一时刻采集车在大地坐标系下的位姿信息和传感器在设备坐标系下的位姿信息，根据这两个位姿信息，可以得到大地坐标系到设备坐标系的变换矩阵。由于传感器和采集车的相对位置固定，意味着传感器所在的坐标系即设备坐标系与采集车所在的坐标系即车辆坐标系的转换关系相对固定，因此，在得到大地坐标系到设备坐标系的变换矩阵，相当于得到了大地坐标系到车辆坐标系的变换矩阵即第一变换矩阵，其包括旋转矩阵R和平移矩阵t。
步骤S103：根据第二变换矩阵、采集车搭载的相机的内参矩阵K、目标交通要素在图像坐标系下的位置M、旋转矩阵R和平移矩阵t，解算多帧图像任意一帧图像中目标交通要素的UTM坐标P，其中，第二变换矩阵表征大地坐标系至相机坐标系的变换关系。
具体地，作为本申请一个实施例，步骤S103的实现可由步骤S1031至步骤S1034实现，详细说明如下：
步骤S1031：根据第二变换矩阵、旋转矩阵R和平移矩阵t，获取多帧图像任意一帧图像中目标交通要素在相机坐标系下的坐标P”的隐式表达式。
假设目标交通要素在大地坐标系下的坐标为Pw，此处，Pw为未知量并且记为：
Figure BDA0004039247730000051
而经上述步骤S102，得到了大地坐标系到车辆坐标系的变换矩阵即第一变换矩阵。因此，目标交通要素在车辆坐标系下的坐标P′可以为表达为：
Figure BDA0004039247730000061
上述表达式中，
Figure BDA0004039247730000062
均是经前述实施例得到的已知量r1。
本申请实施例中，大地坐标系至相机坐标系的变换关系即第二变换矩阵可以通过标定得到。与前述第一变换矩阵类似，第二变换矩阵亦包括旋转矩阵和平移矩阵，记第二变换矩阵的旋转矩阵为Rc，第二变换矩阵的平移矩阵为tc，则任意一帧图像中目标交通要素在相机坐标系下的坐标P”的隐式表达式为：
P″＝RcP′+tc＝Rc(RPw+t)+tc………………(表达式1)
需要说明的是，之所以将任意一帧图像中目标交通要素在相机坐标系下的坐标P”的表达式称为隐式表达式，是因为坐标P”的表达式仍然包含一些未知量，导致坐标P”本身也成为一个未知量。
步骤S1032：根据相机的内参矩阵K和目标交通要素在相机坐标系下的坐标P”，将坐标P”映射至图像坐标系，得到目标交通要素在图像坐标系下的位置M关于内参矩阵K和坐标P”的表达式。
在本申请实施例中，相机的内参矩阵K是由相机的生产厂家提供或者在交付给使用者后使用一段时间后由使用者通过其他方法标定，具体的标定方法可在后文的实施例描述，此处暂时不提。具体地，根据相机的内参矩阵K和目标交通要素在相机坐标系下的坐标P”，将坐标P”映射至图像坐标系可以是按照如下表达式进行映射：
M＝P″………………(表达式2)
步骤S1033：联合求解多帧图像任意一帧图像中目标交通要素在相机坐标系下的坐标P”的隐式表达式和目标交通要素在图像坐标系下的位置M关于相机的内参矩阵K和坐标P”的表达式，得到多帧图像任意一帧图像中目标交通要素在大地坐标系下的坐标Pw。
如前所述，由于目标交通要素在图像坐标系下的位置M可以通过多种方式得到，表达式1只有一个未知量，因此，联合表达式1和表达式2，可以容易得到：
M＝K[Rc(RPw+t)+tc]………………(表达式3)
上述表达式3实际上只有一个未知量即多帧图像任意一帧图像中目标交通要素在大地坐标系下的坐标Pw，不难得到：
Figure BDA0004039247730000071
其中，R-1、
Figure BDA0004039247730000072
和K-1分别是R、Rc和K这三个矩阵的逆矩阵，而R、Rc、K、M、tc和t均是已知量，因此，不难解算出上述任意一帧图像中目标交通要素在大地坐标系下的坐标Pw。
步骤S1034：根据多帧图像任意一帧图像中目标交通要素在大地坐标系下的坐标Pw以及大地坐标系与UTM坐标系的变换矩阵，得到多帧图像任意一帧图像中目标交通要素的UTM坐标。
UTM坐标系即对应于通用横墨卡托格网系统(Universal Transverse MercatorGrid System，UTM)坐标的一种平面直角坐标系。由于UTM坐标系与大地坐标系具有固定的变换关系即大地坐标系与UTM坐标系的变换矩阵，因此，在经上述步骤S1031至步骤S1033，得到多帧图像任意一帧图像中目标交通要素在大地坐标系下的坐标Pw之后，根据多帧图像任意一帧图像中目标交通要素在大地坐标系下的坐标Pw以及大地坐标系与UTM坐标系的变换矩阵，得到多帧图像任意一帧图像中目标交通要素的UTM坐标。
前述实施例提及，采集车搭载的相机的内参矩阵K既可以是由相机厂家提供后直接应用，亦可以是通过标定获取，本申请对此不做限定。考虑到由于各种原因，采集车搭载的相机在使用一段时间后，原始的内参矩阵K可能不再准确。因此，本申请实施例中，仍然可以通过标定，获取采集车搭载的相机的内参矩阵K。具体地，作为本申请的一个实施例，通过标定，获取采集车搭载的相机的内参矩阵K可以是：在标定靶位于标定域时，移动采集车搭载的相机至与标定域对应的位置；拍摄标定靶，得到标定靶的位姿图像；根据标定靶在各标定域的位姿图像，确定标定靶中标定图的像素坐标；根据各标定图的像素坐标和标定靶的标定图在大地坐标下的坐标，计算相机的内参矩阵K。上述实施例中，标定域为预先设置好并且在相机的视野覆盖范围内的区域，以便相机能够拍摄标定域内的标定靶图像。标定图是标定靶自身的图案，可以是方形、圆形或其他可用于标定的图案，而每一个标定域可以预设置好相机对应的位置。当需要拍摄该标定域上的标定靶的位姿图像时，可以将相机移动至与该标定域对应的位置，例如：将标定域中心的正上方作为相机的位置，当需要拍摄该标定域中的标定靶时，则可以相机移动至该标定域中心的正上方，使得相机可以垂直拍摄该标定靶的位姿图像，又或者，将标定域中心的正上方偏左或偏右的位置作为相机的位置，当需要拍摄该标定域中的该标定靶时，则可以相机移动至该标定域中心的正上方偏左或偏右的位置，使得相机可以斜着拍摄该标定靶的位姿图像，等等。此外，为了防止遗漏对标定靶的拍摄，在上述实施例中，还包括在相机拍摄到标定靶时，对标定靶的位姿图像进行完整度校验；在位姿图像不通过校验时，控制相机重新对标定靶进行拍摄以重新得到标定靶的位姿图像。
作为本申请的另一实施例，通过标定，获取采集车搭载的相机的内参矩阵K还可以是：确定相机拍摄的标定图像中的相机可标定区域；若相机可标定区域符合预设条件，则确定标定图像为成功标定图像；基于成功标定图像对相机进行标定，得到相机的内参矩阵K。上述实施例中，可标定区域的判断标准是指该标定域与指定校准区域的交叠度不小于预设阈值，而确定相机拍摄的标定图像中的相机可标定区域的方法可以是将标定域覆盖的区域作为相机的可标定区域，或者，基于特定点确定可标定区域，其中，当标定板为圆形阵列标定板时，特定点可以是圆形阵列构成的圆形的圆心，当标定板为棋盘格标定板时，特定点可以是棋盘格的角点。
考虑到相机在采集车上使用时，由于路况等原因，例如颠簸、崎岖的道路，会导致已经标定的相机的内参矩阵K变得不再准确，影响任意一帧图像中目标交通要素的UTM坐标P的计算结果，因此，在本申请实施例中，在得到标定的相机的内参矩阵K之后，还可以对上述已经标定的相机的内参矩阵K进行矫正，具体可以是：实时获取车辆坐标系下当前标定场的特征；根据标定场特征和车辆坐标系下当前标定场的特征，计算第三变换矩阵；获取进行标定时车辆坐标系至标定时相机坐标系的相机车辆变换矩阵；根据第三变换矩阵、相机车车转换矩阵以及标定时的车辆坐标系对相机的内参矩阵K进行实时矫正，其中，上述实施例的第三变换矩阵定义为当前标定场的特征与标定场特征的乘积，标定场特征是相机在标定时获取的标定场的特征，而实时获取车辆坐标系下当前标定场的特征可以是通过相机对标定场的特征点进行拍摄，得到其三维信息，然后将这些三维信息进行拟合，从而得到车辆坐标系下当前标定场的特征。至于根据第三变换矩阵、相机车车转换矩阵以及标定时的车辆坐标系对相机的内参矩阵K进行实时矫正，一种实现方式是计算第三变换矩阵和相机车辆变换矩阵的乘积，对相机的内参矩阵K进行实时矫正。
步骤S104：对多帧图像中目标交通要素的UTM坐标进行聚类，得到多帧图像中目标交通要素的匹配结果。
在经过步骤S101至步骤S103之后，得到多帧图像中各个目标交通要素的UTM坐标。通过各个目标交通要素的UTM坐标的某些特征，例如其值接近，则可以认为多帧图像中的这些目标交通要素属于同一个交通要素。在本申请实施例中，可以对多帧图像中目标交通要素的UTM坐标进行聚类，若多帧图像中目标交通要素的UTM坐标属于同一个簇(cluster)，则这些多帧图像中的目标交通要素为同一交通要素，可以将这些同一交通元素所在的图像帧划分为同一个分组。至于具体的聚类算法，可以是K-MEANS聚类、均值偏移聚类、DBSCAN聚类、高斯混合模型的期望最大化聚类以及层次聚类算法中的任意一种或者多种聚类算法的组合，本申请对此不做限制。以下结合图4给出的两张图片(分别用A和B标识)，说明图1示例的基于位姿的交通要素匹配方法的技术方案。
图片A和图片B是由采集车搭载的激光雷达和/或相机等雷视设备扫描或拍摄得到，其中含有目标交通要素即两张图片中矩形框框住的交通灯(即图片中字母C所在位置箭头指示的区域)。由于这些采集车还搭载有GPS、惯性测量单元等定位设备。因此，在拍摄图片A和图片B时，通过采集车搭载的上述雷视设备和定位设备获取的数据，基于一些算法融合得到图片A中采集车的位姿信息和交通灯在图像坐标系下的位置Ma以及图片B中采集车的位姿信息和交通灯在图像坐标系下的位置Mb。
当采集车在使用其搭载的传感器采集图像时，每一帧图像都有相应的时间戳。根据这个时间戳，可以获知同一时刻采集车在大地坐标系下的位姿信息和传感器在设备坐标系下的位姿信息，根据这两个位姿信息，可以得到大地坐标系到设备坐标系的变换矩阵。由于传感器和采集车的相对位置固定，意味着传感器所在的坐标系即设备坐标系与采集车所在的坐标系即车辆坐标系的转换关系相对固定，因此，在得到大地坐标系到设备坐标系的变换矩阵，相当于得到了大地坐标系到车辆坐标系的变换矩阵即第一变换矩阵，其包括旋转矩阵R和平移矩阵t。需要说明的是，由于大地坐标系到车辆坐标系的转换关系是确定的，因此，此处既可以根据图片A中采集车的位姿信息，获取大地坐标系到车辆坐标系的第一变换矩阵，亦可以根据图片B中采集车的位姿信息，获取大地坐标系到车辆坐标系的第一变换矩阵。
我们的目标是要求取图片A和图片B中矩形框框住的交通灯的UTM坐标，此处以求取图片A中矩形框框住的交通灯的UTM坐标Pa为例，图片B中矩形框框住的交通灯的UTM坐标Pb计算原理类似。一种实现方案是根据第二变换矩阵、旋转矩阵R和平移矩阵t，获取图片A中交通灯在相机坐标系下的坐标P”的隐式表达式；根据相机的内参矩阵K和图片A中交通灯在相机坐标系下的坐标P”，将坐标P”映射至图像坐标系，得到图片A中交通灯在图像坐标系下的位置M关于内参矩阵K和坐标P”的表达式；联合求解图片A中交通灯在相机坐标系下的坐标P”的隐式表达式和图片A中交通灯在图像坐标系下的位置M关于内参矩阵K和坐标P”的表达式，得到图片A中交通灯在大地坐标系下的坐标Pw；根据图片A中交通灯在大地坐标系下的坐标Pw以及大地坐标系与UTM坐标系的变换矩阵，得到图片A中交通灯的UTM坐标Pa；同理可以得到图片B中矩形框框住的交通灯的UTM坐标Pb。
在得到图片A中交通灯的UTM坐标Pa和图片B中矩形框框住的交通灯的UTM坐标Pb后，可以基于K-MEANS聚类、均值偏移聚类、DBSCAN聚类、高斯混合模型的期望最大化聚类以及层次聚类算法中的任意一种或者多种聚类算法的组合，对UTM坐标Pa和UTM坐标Pb进行聚类。若UTM坐标Pa和UTM坐标Pb属于同一个簇(cluster)，则图片A中矩形框框住的交通灯和图片B中矩形框框住的交通灯为同一交通同灯，可以将这些同一交通灯所在的图片A和图片B划分为同一个分组。
从上述图1示例的基于位姿的交通要素匹配方法可知，由于获取多帧图像任意一帧图像中采集车的位姿信息和目标交通要素在图像坐标系下的位置M并不会受环境光照等因素的影响，而采集车搭载的相机的内参矩阵K是相机的属性，亦不会受环境光照等因素的影响，因此，在根据第二变换矩阵、采集车搭载的相机的内参矩阵K、目标交通要素在图像坐标系下的位置M、旋转矩阵R和平移矩阵t，解算任意一帧图像中目标交通要素的UTM坐标P后，对多帧图像中目标交通要素的UTM坐标进行聚类，能够实现对电子地图中交通要素的精确匹配。
与前述应用功能实现方法实施例相对应，本申请还提供了一种基于位姿的交通要素匹配装置、电子设备及相应的实施例。
参见图2，是本申请实施例示出的基于位姿的交通要素匹配装置的结构示意图。为了便于说明，仅示出了与本申请实施例相关的部分。图2示例的基于位姿的交通要素匹配装置主要包括第一获取模块201、第二获取模块202、解算模块203和聚类模块204，其中：
第一获取模块201，用于获取多帧图像任意一帧图像中采集车的位姿信息和目标交通要素在图像坐标系下的位置M；
第二获取模块202，用于根据多帧图像任意一帧图像中采集车的位姿信息，获取大地坐标系到车辆坐标系的第一变换矩阵，其中，第一变换矩阵包括旋转矩阵R和平移矩阵t；
解算模块203，用于根据第二变换矩阵、采集车搭载的相机的内参矩阵K、目标交通要素在图像坐标系下的位置M、旋转矩阵R和平移矩阵t，解算多帧图像任意一帧图像中目标交通要素的UTM坐标P，其中，第二变换矩阵表征大地坐标系至相机坐标系的变换关系；
聚类模块204，用于对多帧图像中目标交通要素的UTM坐标进行聚类，得到多帧图像中目标交通要素的匹配结果。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不再做详细阐述说明。
从上述图2示例的基于位姿的交通要素匹配装置可知，由于获取多帧图像任意一帧图像中采集车的位姿信息和目标交通要素在图像坐标系下的位置M并不会受环境光照等因素的影响，而采集车搭载的相机的内参矩阵K是相机的属性，亦不会受环境光照等因素的影响，因此，在根据第二变换矩阵、采集车搭载的相机的内参矩阵K、目标交通要素在图像坐标系下的位置M、旋转矩阵R和平移矩阵t，解算任意一帧图像中目标交通要素的UTM坐标P后，对多帧图像中目标交通要素的UTM坐标进行聚类，能够实现对电子地图中交通要素的精确匹配。
图3是本申请实施例示出的电子设备的结构示意图。
参见图3，电子设备300包括存储器310和处理器320。
处理器320可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器310可以包括各种类型的存储单元，例如系统内存、只读存储器(ROM)和永久存储装置。其中，ROM可以存储处理器320或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器310可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(例如DRAM，SRAM，SDRAM，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器310可以包括可读和/或写的可移除的存储设备，例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM，双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等)、磁性软盘等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
存储器310上存储有可执行代码，当可执行代码被处理器320处理时，可以使处理器320执行上文述及的方法中的部分或全部。
此外，根据本申请的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。
或者，本申请还可以实施为一种计算机存储介质(或非暂时性机器可读存储介质或机器可读存储介质)，其上存储有可执行代码(或计算机程序或计算机指令代码)，当可执行代码(或计算机程序或计算机指令代码)被电子设备(或服务器等)的处理器执行时，使处理器执行根据本申请的上述方法的各个步骤的部分或全部。
以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种基于位姿的交通要素匹配方法，其特征在于，所述方法包括：
获取多帧图像任意一帧图像中采集车的位姿信息和目标交通要素在图像坐标系下的位置M；
根据所述任意一帧图像中采集车的位姿信息，获取大地坐标系到车辆坐标系的第一变换矩阵，所述第一变换矩阵包括旋转矩阵R和平移矩阵t；
根据第二变换矩阵、所述采集车搭载的相机的内参矩阵K、所述目标交通要素在图像坐标系下的位置M、所述旋转矩阵R和所述平移矩阵t，解算所述任意一帧图像中目标交通要素的UTM坐标P，所述第二变换矩阵表征大地坐标系至相机坐标系的变换关系；
对所述多帧图像中目标交通要素的UTM坐标进行聚类，得到所述多帧图像中目标交通要素的匹配结果。
2.根据权利要求1所述的基于位姿的交通要素匹配方法，其特征在于，所述根据第二变换矩阵、所述采集车搭载的相机的内参矩阵K、所述目标交通要素在图像坐标系下的位置M、所述旋转矩阵R和所述平移矩阵t，解算所述任意一帧图像中目标交通要素的UTM坐标P，包括：
根据所述第二变换矩阵、旋转矩阵R和所述平移矩阵t，获取所述任意一帧图像中目标交通要素在所述相机坐标系下的坐标P”的隐式表达式；
根据所述相机的内参矩阵K和所述目标交通要素在所述相机坐标系下的坐标P”，将所述坐标P”映射至所述图像坐标系，得到所述目标交通要素在图像坐标系下的位置M关于所述内参矩阵K和所述坐标P”的表达式；
联合求解所述任意一帧图像中目标交通要素在所述相机坐标系下的坐标P”的隐式表达式和所述目标交通要素在图像坐标系下的位置M关于所述内参矩阵K和所述坐标P”的表达式，得到所述任意一帧图像中目标交通要素在大地坐标系下的坐标Pw；
根据所述多帧图像任意一帧图像中目标交通要素在大地坐标系下的坐标Pw以及大地坐标系与UTM坐标系的变换矩阵，得到所述多帧图像任意一帧图像中目标交通要素的UTM坐标。
3.根据权利要求1所述的基于位姿的交通要素匹配方法，其特征在于，所述方法还包括：通过标定，获取所述采集车搭载的相机的内参矩阵K。
4.根据权利要求3所述的基于位姿的交通要素匹配方法，其特征在于，所述通过标定，获取所述采集车搭载的相机的内参矩阵K，包括：
在标定靶位于标定域时，移动所述相机至与所述标定域对应的位置；
拍摄所述标定靶，得到所述标定靶的位姿图像；
根据所述标定靶在各标定域的位姿图像，确定所述标定靶中标定图的像素坐标；
根据各所述标定图的像素坐标和所述标定靶的标定图在大地坐标下的坐标，计算所述相机的内参矩阵K。
5.根据权利要求4所述的基于位姿的交通要素匹配方法，其特征在于，所述方法还包括：
在所述相机拍摄到所述标定靶时，对所述标定靶的位姿图像进行完整度校验；
在所述位姿图像不通过校验时，控制所述相机重新对所述标定靶进行拍摄以重新得到所述标定靶的位姿图像。
6.根据权利要求3所述的基于位姿的交通要素匹配方法，其特征在于，所述通过标定，获取所述采集车搭载的相机的内参矩阵K，包括：
确定所述相机拍摄的标定图像中的相机可标定区域；
若所述相机可标定区域符合预设条件，则确定所述标定图像为成功标定图像；
基于所述成功标定图像对所述相机进行标定，得到所述相机的内参矩阵K。
7.根据权利要求3所述的基于位姿的交通要素匹配方法，其特征在于，所述方法还包括：
实时获取所述车辆坐标系下当前标定场的特征；根据标定场特征和所述车辆坐标系下当前标定场的特征，计算第三变换矩阵，所述标定场特征为所述相机在标定时获取的标定场的特征；
获取进行标定时所述车辆坐标系至所述标定时相机坐标系的相机车辆变换矩阵；
根据所述第三变换矩阵、所述相机车车转换矩阵以及标定时的车辆坐标系对所述相机的内参矩阵K进行实时矫正。
8.一种基于位姿的交通要素匹配装置，其特征在于，所述装置包括：
第一获取模块，用于获取多帧图像任意一帧图像中采集车的位姿信息和目标交通要素在图像坐标系下的位置M；
第二获取模块，用于根据所述任意一帧图像中采集车的位姿信息，获取大地坐标系到车辆坐标系的第一变换矩阵，所述第一变换矩阵包括旋转矩阵R和平移矩阵t；
解算模块，用于根据第二变换矩阵、所述采集车搭载的相机的内参矩阵K、所述目标交通要素在图像坐标系下的位置M、所述旋转矩阵R和所述平移矩阵t，解算所述任意一帧图像中目标交通要素的UTM坐标P，所述第二变换矩阵表征大地坐标系至相机坐标系的变换关系；
聚类模块，用于对所述多帧图像中目标交通要素的UTM坐标进行聚类，得到所述多帧图像中目标交通要素的匹配结果。
9.一种电子设备，其特征在于，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1至7中任意一项所述的方法。
10.一种计算机存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1至7中任意一项所述的方法。
CN202310012076.5A 2023-01-05 2023-01-05 基于位姿的交通要素匹配方法、设备和计算机存储介质 Pending CN116052117A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310012076.5A CN116052117A (zh) 2023-01-05 2023-01-05 基于位姿的交通要素匹配方法、设备和计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310012076.5A CN116052117A (zh) 2023-01-05 2023-01-05 基于位姿的交通要素匹配方法、设备和计算机存储介质

Publications (1)

Publication Number Publication Date
CN116052117A true CN116052117A (zh) 2023-05-02

Family

ID=86126907

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310012076.5A Pending CN116052117A (zh) 2023-01-05 2023-01-05 基于位姿的交通要素匹配方法、设备和计算机存储介质

Country Status (1)

Country Link
CN (1) CN116052117A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117372924A (zh) * 2023-10-18 2024-01-09 中国铁塔股份有限公司 一种视频检测方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117372924A (zh) * 2023-10-18 2024-01-09 中国铁塔股份有限公司 一种视频检测方法及装置
CN117372924B (zh) * 2023-10-18 2024-05-07 中国铁塔股份有限公司 一种视频检测方法及装置

Similar Documents

Publication Publication Date Title
US9965699B2 (en) Methods and systems for enabling improved positioning of a vehicle
JP2020098151A (ja) センサ校正方法およびセンサ校正装置
CN114088114B (zh) 车辆位姿校准方法、装置和电子设备
CN114241062A (zh) 自动驾驶的相机外参确定方法、装置和计算机可读存储介质
CN116052117A (zh) 基于位姿的交通要素匹配方法、设备和计算机存储介质
CN111930877B (zh) 地图路牌的生成方法及电子设备
CN114187579A (zh) 自动驾驶的目标检测方法、装置和计算机可读存储介质
CN114119682A (zh) 一种激光点云和图像配准方法及配准系统
CN113255578B (zh) 交通标识的识别方法及装置、电子设备和存储介质
CN113284194A (zh) 多rs设备的标定方法、装置及设备
CN112967393B (zh) 车辆移动轨迹的修正方法、装置、电子设备及存储介质
CN116152347A (zh) 一种车载摄像头安装姿态角标定方法及系统
CN113284193B (zh) Rs设备的标定方法、装置及设备
CN114863347A (zh) 地图校验方法、装置及设备
CN116051812A (zh) 目标检测方法、装置及电子设备、存储介质
CN115235484A (zh) 高精地图停止线的生成方法及装置
CN114119963A (zh) 一种高精地图路牌的生成方法及装置
CN114755663A (zh) 车辆传感器的外参校准方法、装置及计算机可读存储介质
CN112180348A (zh) 车载多线激光雷达的姿态标定方法和装置
CN116304142B (zh) 点云数据获取方法、装置、设备及存储介质
CN116089560B (zh) 轨迹点赋值方法、装置、设备及存储介质
CN114089317A (zh) 多设备标定方法、装置和计算可读存储介质
CN114820783A (zh) 一种路牌生成方法、装置及设备
CN115345948A (zh) 相机标定方法、装置、电子设备及计算机可读存储介质
CN114332130A (zh) 高精图像的单目相机采集方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination