CN112712563A - 相机取向估计 - Google Patents

相机取向估计 Download PDF

Info

Publication number
CN112712563A
CN112712563A CN202011147155.XA CN202011147155A CN112712563A CN 112712563 A CN112712563 A CN 112712563A CN 202011147155 A CN202011147155 A CN 202011147155A CN 112712563 A CN112712563 A CN 112712563A
Authority
CN
China
Prior art keywords
camera
landmark
vehicle
location
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011147155.XA
Other languages
English (en)
Inventor
王一杰
葛凌廷
干毅骞
侯晓迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tusimple Inc
Original Assignee
Tusimple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tusimple Inc filed Critical Tusimple Inc
Publication of CN112712563A publication Critical patent/CN112712563A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本公开的各实施例涉及相机取向估计。描述了用于估计位于车辆上的一个或多个相机的取向的技术。取向估计技术可以包括：当车辆在道路上行驶时，从位于车辆上的相机获取图像；从地形图来确定与车辆在道路上的位置相距一定距离的界标的位置；在图像中确定界标的像素位置；从所确定的像素位置中选择一个像素位置；以及至少使用相机的本征矩阵和先前已知的非本征矩阵来计算描述相机的取向的值，其中本征矩阵基于至少一个像素位置和界标的位置来表征。

Description

相机取向估计
技术领域
本文献涉及用于估计自动驾驶车辆上的相机的取向的技术。
背景技术
车辆可以包括出于多种目的而附接到车辆的相机。例如，出于安全目的、用于驾驶辅助或便于自动驾驶，相机可以被附接到车辆的车顶。安装在车辆上的相机可以获取车辆周围一个或多个区域的图像。这些图像可以被处理来获得关于道路或关于自动驾驶车辆周围的物体的信息。因此，从自动驾驶车辆上的相机获得的图像可以被用于安全地操纵自动驾驶车辆通过交通或在高速公路上安全地操纵自动驾驶车辆。
发明内容
公开了用于估计位于自动驾驶车辆上的相机的取向的技术。相机的取向可以基于当自动驾驶车辆被驾驶时，由相机获得的图像中检测的界标来估计。示例性技术还可以被用于基于所估计的相机取向以及基于相机与一个或多个附加相机的先前已知的相对位置来估计自动驾驶车辆上的一个或多个附加相机的一个或多个附加取向。
在一个示例性实施例中，估计相机取向的方法包括：当车辆在道路上行驶时，从位于车辆上的相机获得图像；从地形图来确定位于道路上并且与道路上的车辆位置相距一定距离的界标的位置，其中车辆的位置与相机获取图像的时间相关联，以及其中地形图提供了驾驶车辆的空间区域中的点的坐标；在图像中确定界标的像素位置；从所确定的像素位置中选择一个像素位置；以及至少使用相机的本征矩阵和先前已知的非本征矩阵来计算描述相机的取向的值，其中本征矩阵基于至少一个像素位置和界标的位置来表征。
在一些实施例中，界标的像素位置通过以下方式来确定：进行界标被定向在面向相机的方向上的第一确定；进行界标的位置在相机的视场内的第二确定；以及响应于进行第一确定和第二确定：确定多个像素来检测图像中的界标的至少一些；检测界标的至少一些占据图像中的多个像素；以及标识多个像素中包括界标的至少一些的像素的位置。在一些实施例中，多个像素基于界标位置与车辆位置之间的距离来确定。
在一些实施例中，示例性方法还包括：响应于确定界标的位置在位于车辆上的第二相机的视场之外：基于相机的所计算的值以及基于相机和第二相机的先前已知的相对位置，计算描述第二相机的第二取向的第二组值。
在一些实施例中，一个像素位置被选择为与所确定的像素位置的几何中心相同。在一些实施例中，界标包括杆、放置在道路上的物体或交通道路标志。
在又一示例性方面，上述方法以处理器可执行代码的形式体现并存储在计算机可读存储介质中。因此，非暂时性计算机可读存储介质可以在其上存储代码，其中当代码被处理器执行时，使得处理器实现该专利文献中描述的方法。
在又一示例性实施例中，公开了图像处理装置或设备，图像处理装置或设备包括被配置为或可操作为执行上述方法的处理器。
在附图、说明书和权利要求书中更详细地描述了上述方面和其他方面及其实现方式。
附图说明
图1示出了车辆的后视图，车辆包括定位设备和安装在安装平台上的相机。
图2示出了示例图像处理技术，其中至少基于包括相机的车辆的位置以及基于地形图中界标的位置，在从相机获得的图像中检测界标。
图3示出了自动驾驶车辆上位于相对于彼此的已知位置处的三个相机的鸟瞰图，其中来自至少两个相机的图像被处理以检测单独的界标。
图4示出了估计相机取向的示例性流程图。
图5示出了自动驾驶车辆中包括的计算机或服务器的示例性框图。
具体实施方式
当车辆行驶到其目的地时，安装在车辆上的相机会经历来自车辆的振动或来自诸如风的环境元素施加的力的振动。车辆上的计算机对由相机获得的图像执行图像处理，以至少基于相机的预定位置和取向来确定到图像中各个物体的距离。但是，当相机经历振动时，相机的取向可能会暂时或永久更改，这可能会更改位于车辆上或车辆内的相机与定位设备(例如，全球定位系统(GPS)单元和/或惯性测量单元(IMU))之间的相对取向。此类事件可能会影响从相机获得的图像导出的信息的可靠性。例如，当相机的取向发生变化时，如果计算机依赖于描述相机先前取向的非表征矩阵和/或如果计算机依赖于相机和车辆定位设备之间的相对取向，则计算机无法可靠地或精确地确定物体在由相机获得的图像上的位置。
该专利文献描述了用于估计位于车辆上的相机的取向的技术。所公开的技术可以基于可能位于道路上的界标而以高精度来估计安装在车辆上的多个相机的取向。界标可以包括杆、特殊放置的物体(例如，带有矩阵条形码的纸板、颜色独特的交通代码或可以放置在道路上的信标)或交通路标(例如，停止标志、让路标志或限速标志)。因此，在示例性实施例中，相机的取向可以基于在驾驶自动驾驶车辆时，从由相机获得的图像中检测的界标来估计。在一些实施例中，自动驾驶车辆上的一个或多个附加相机的一个或多个附加取向可以基于所估计的相机取向并且基于相机与一个或多个附加相机的先前已知的相对位置来进行估计。
图1示出了车辆102的后视图，车辆102包括定位设备104和安装在安装平台108上的相机106a-106c。定位设备104位于车辆102上或车辆102内，并且可以包括全球定位系统(GPS)单元和/或惯性测量单元(IMU)。定位设备104提供车辆在车辆被定位或被驾驶的空间区域中的位置信息。位置信息可以包括车辆的定位设备104的三维(3D)世界坐标或GPS坐标。空间区域包括包围车辆的环境，其中环境包括车辆被驾驶或被定位的道路或表面。
图1示出了三个相机106a-106c，三个相机106a-106c被安装在车辆102的顶部的安装平台108上。安装平台108的一个示例可以是刚性杆，相机106a-106c可以被直接或间接地耦接至刚性杆。由于相机106a-106c被耦接到安装平台108，所以相机106a-106c之间的相对位置是先前已知的。相机106a-106c被示出为沿不同方向安装，以允许相机从车辆102周围的各个区域获得图像。例如，由于图1示出了车辆102的后视图，所以相机106c被示出为从车辆的前方和/或侧面的位置捕获图像，相机106b被示出为从车辆102的后方和/或侧面的位置捕获图像，并且相机106a被示出为从车辆102的位置到侧面捕获图像。用于估计相机取向的技术可以被应用于位于车辆上的三个相机或附加相机中的每一个。
图2示出了一个示例图像处理技术，在从车辆上的相机获得的图像中检测到的界标与地形图中的界标位置匹配。界标可以位于道路上。例如，停止标志指示车辆在停止标志处必须完全停止，或者限速标志指示车辆在道路的某些部分上，必须以小于或等于所指示的速度极限的速度行驶。图2的左侧示出的相机照片202可以是由前置相机(例如，图1中的相机106c)获得的图像。由相机获得的图像可以包括当车辆在道路上行驶时，在相机的视场内的道路204和界标206(例如，交通标志)。
图2右侧所示的地图是包括道路210和界标212的地形图208的一部分的鸟瞰图。地形图提供关于车辆行驶的道路以及道路上各种界标的位置的信息。在一些实施例中，地形图可以提供车辆被定位或被驾驶的空间区域中的各个点(例如，界标)的3D世界坐标。地形图可以被存储在位于车辆中的计算机或服务器(图5中示出为500)中的地形图数据库(图5中示出为525)中。
图2中所示的地形图的部分对应于当由相机获得相机照片202时车辆的位置。由相机捕获的每个图像均可以由相机加上时间戳，并被发送到计算机或服务器中的界标模块(图5中的530)，使得界标模块可以使用图像的时间戳信息来从定位设备获取在该时间处车辆在道路上的位置。基于车辆的位置，界标模块可以从地形图数据库获取与道路上的车辆位置相距一定距离的界标的位置。在一些实现方式中，界标模块可以查询地形图数据库来获取位于距车辆位置预定距离(例如，300米)内的一个或多个界标。
地形图还可以提供关于界标面向的取向或方向的信息。例如，如果在车辆沿北行方向行驶时获得相机照片202，则地形图可以指示距车辆一定距离内的界标206是朝南的，使得如下文进一步所述，计算机或服务器中的界标像素位置模块(图5中示出为535)可以确定界标206在相机照片206中的像素位置。
位于车辆中的计算机或服务器可以对由被安装在车辆上的一个或多个相机所获得的图像执行图像处理，以检测图像中的界标。例如，对于图2中所示的相机照片202，计算机或服务器中的界标像素位置模块从相机获得图像202并确定界标在图像202中的像素位置。由于由相机获取的图像(例如，在图3的示例场景中，由相机302b获取的图像)可能未记录界标，所以在一些实施例中，界标像素位置模块可以通过首先确定界标的位置在相机的视场内并且界标被定向或面向相机来有效地使用计算资源。由于每个相机被安装在安装平台上的固定位置处并且指向固定方向，因此车辆上安装的每个相机的视场被预先确定。
在界标像素位置模块确定界标位于相机的视场内并且界标被定向或面向相机之后，界标像素位置模块确定可能包括图像中的界标的至少一些的多个像素(或像素大小)。基于所确定的多个像素，界标像素位置模块可以采用对象检测技术(例如，语义分割技术或神经网络分类技术)来检测界标占据图像中的多个像素，并标识包含或包括界标的至少一些的多个像素的像素位置。
基于所确定的多个像素来检测界标是有利的技术特征，至少因为它简化并改进了计算性能。多个像素可以基于界标的粗糙3D形状、车辆与界标之间的距离以及从车辆到界标的假想线与界标所面向的方向之间的相对角度来确定或计算。多个像素可以在无需获取相机的任何先前取向值的情况下被确定。因此，通过减少用于对象检测技术的搜索空间或假设空间，基于多个像素检测界标的计算性能可以被改进。在没有关于可以包括界标的至少一些部分的多个像素的信息的情况下，用于对象检测技术的搜索空间可以包括位置、大小和取向的笛卡尔积，但是在具有与可以包括界标的多个像素有关的信息的情况下，搜索空间可以被缩小为位置和取向的笛卡尔积。
在一些实施例中，界标像素位置模块基于界标位置与车辆位置之间的距离来确定多个像素。例如，如果界标像素位置模块确定界标与车辆之间的距离为5米，则界标像素模块可以确定图像中可以表示界标的多个像素可以是50个像素。在另一示例中，如果界标与车辆之间的距离为20米，则界标像素模块可以确定图像中表示界标的多个像素可以是12.5个像素。
在界标像素位置模块确定包含或包括界标的至少一些的多个像素的像素位置之后，界标像素位置模块从所确定的像素位置中选择一个像素位置。所选择的一个像素位置被发送到相机取向模块(图5中的540所示)，以估计其图像已被处理的相机的取向，以确定界标的像素位置。在一些实施例中，界标像素位置模块确定所确定的像素位置的几何中心，其中几何中心被选择为被发送到相机取向模块以进行进一步计算的一个像素位置。
相机取向模块计算描述相机的取向的值，该相机的图像已被处理来确定界标的像素位置。取向值可以至少使用相机的本征矩阵和先前已知的(或静态校准的)非本征矩阵来计算，其中本征矩阵基于至少一个像素位置和界标的位置来表征。相机取向值可以包括3x3旋转矩阵，3x3旋转矩阵是相机的非本征矩阵的一部分。
在一个示例实现方式中，以下操作可以由相机取向模块针对图像平面上的像素位置x、y、z来执行，图像在图像平面上被相机获取。如等式(1)所示，像素位置x、y、z可以被表示为Ρ([x y z])，其中像素位置被归一化：
Figure BDA0002740037480000071
以下参数描述了使用等式(2)执行的操作。组中相机(例如，被刚性偶接到车辆上的相机安装件的相机)的数量可以被表示为C，其中相机的先前已知的(或静态校准的)非本征矩阵相对于第一相机为E(1),...,E(C)，其中第一相机的本征矩阵为E(1)＝I。与相机相对应的本征矩阵可以被表示为K(1),...,K(C)。车辆的位置可以是l0，每个相机中可见界标的数量可以是n1,...,nC，并且每个相机中可见界标的位置可以是
Figure BDA0002740037480000072
界标的相应像素位置可以为
Figure BDA0002740037480000073
使用这些参数，等式(2)可以针对旋转矩阵
Figure BDA0002740037480000074
被求解，旋转矩阵包括相机取向值，使得对应的针对每个相机调整的非本征矩阵可以是
Figure BDA0002740037480000075
Figure BDA0002740037480000076
在相机的取向值被确定之后，取向值由相机取向模块存储在用于该相机的计算机上，使得从相机获取的图像可以由图像处理模块(在图5中示出为545)利用非本征矩阵来处理，以基于针对相机确定的取向值来确定物体在图像中的位置。在一些实施例中，当针对多个相机确定了多个相机取向值时，计算机的相机取向模块可以确定多个相机取向值的平均值并将每个相机的平均值存储在计算机上，使得从相机获取的图像可以由图像处理模块利用非本征矩阵来处理，以基于平均取向值来确定物体在图像中的位置。
在一些实施例中，车辆上安装的一个或多个相机可以获取界标206的图像，使得所描述的相机取向估计技术可以被应用于一个或多个相机中的每一个。例如，图3示出了图2的三个相机的鸟瞰图，三个相机位于自动驾驶车辆上相对于彼此的已知位置处，其中来自至少两个相机302a和302c的图像被处理来分别检测单独的界标304和306。因此，上述相机取向估计技术可以被联合或同时应用于从相机302a和302c获取的图像，使得分别描述相机302a和302c的取向的值可以被独立地计算。
图3示出了界标304和306的位置在侧置相机302b的视场之外。在第一相机302a获取界标的图像、但是第二相机302b没有获取具有相同界标或另一界标的图像的实施例中，所估计的第一相机302a的相机取向可以由相机取向模块使用，以至少基于所计算的第一相机的取向值并且基于第一相机与第二相机之间的先前已知的相对位置来估计第二相机的取向值。因此，所公开的相机取向估计技术的技术优点在于，并非所有相机都需要获得界标的图像来估计和调整其相应的取向。
图4示出了估计相机取向的一个示例性流程图。在获取操作402处，界标模块和界标像素位置模块可以在车辆在道路上行驶时，从位于车辆上的相机获取图像。在确定操作404处，界标模块从地形图来确定位于道路上并且与车辆在道路上的位置相距一定距离的界标的位置。车辆的位置可以与通过相机获取图像的时间相关联，并且地形图可以提供车辆正在行驶的空间区域中的点的坐标。在一些实施例中，界标包括杆、放置在道路上的物体或交通道路标志。
在确定操作406处，界标像素位置模块在图像中确定界标的像素位置。在一些实施例中，界标的像素位置通过以下方式来确定：进行界标在面向相机的方向上被定向的第一确定；进行界标的位置在相机的视场内的第二确定；以及响应于进行第一确定和第二确定：确定多个像素来检测图像中的界标的至少一些；检测界标的至少一些占据图像中的多个像素；以及标识多个像素中包括界标的至少一些的像素的位置。在一些实施例中，多个像素基于界标位置与车辆位置之间的距离来确定。
在选择操作408处，界标像素位置模块从所确定的像素位置中选择一个像素位置。在一些实施例中，一个像素位置被选择为与所确定的像素位置的几何中心相同。在计算操作410处，相机取向模块至少使用相机的本征矩阵和先前已知的非本征矩阵来计算描述相机的取向的值，其中本征矩阵基于至少一个像素位置和界标的位置来表征。
在一些实施例中，图4的方法还包括：响应于确定界标的位置在位于车辆上的第二相机的视场之外：基于相机的所计算的值并且基于先前已知的相机和第二相机的相对位置，计算描述第二相机的第二取向的第二组值。
图5示出了在图1所示的车辆中包括的计算机或服务器500的示例性框图。计算机500包括至少一个处理器510和其上存储有指令的存储器505。指令在由处理器510执行时，将计算机500配置为执行针对如图1至图4所述的各个模块所描述的操作，和/或在本专利文献的各个实施例或各部分中针对模块描述的操作。
在本文献中，术语“示例性”用于表示“…的示例”，并且除非另有说明，否则并不意味着理想的或优选的实施例。
在方法或过程的一般上下文中描述了本文所述的一些实施例，这些方法或过程可以在一个实施例中由计算机可读介质中体现的计算机程序产品来实现，计算机程序产品包括由计算机在联网环境中执行的计算机可执行指令(例如，程序代码)。计算机可读介质可以包括可移动和不可移动存储设备，包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、光盘(CD)、数字通用盘(DVD)等。因此，计算机可读介质可以包括非暂时性存储介质。通常，程序模块可以包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。计算机可执行指令或处理器可执行指令、相关联的数据结构和程序模块表示用于执行本文所公开的方法的步骤的程序代码的示例。这样的可执行指令或相关联的数据结构的特定序列表示用于实现在这样的步骤或过程中描述的功能的对应动作的示例。
所公开的一些实施例可以使用硬件电路、软件或其组合而被实现为设备或模块。例如，硬件电路实现方式可以包括例如被集成为印刷电路板的一部分的离散模拟组件和/或数字组件。备选地或附加地，所公开的组件或模块可以被实现为专用集成电路(ASIC)和/或被实现为现场可编程门阵列(FPGA)设备。一些实现方式可以附加地或备选地包括数字信号处理器(DSP)，数字信号处理器(DSP)是专用微处理器，其具有针对与本申请所公开的功能相关联的数字信号处理的操作需求而优化的架构。类似地，每个模块内的各种组件或子组件可以以软件、硬件或固件来实现。模块和/或模块内的组件之间的连接可以使用本领域中已知的任何一种连接方法和介质来提供，包括但不限于使用适当协议的互联网、有线或无线网络上的通信。
尽管该文献包含许多细节，但是这些细节不应被解释为对所要求保护的发明或可能被要求保护的发明的范围的限制，而是对特定实施例的特定特征的描述。在本文献中，在独立的实施例的上下文中描述的某些特征也可以在单个实施例中以组合实现。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中或以任何合适的子组合来单独实现。此外，尽管以上可以将特征描述为以某些组合起作用并且甚至最初如此而被要求保护，但是在某些情况下，所要求保护的组合中的一个或多个特征可以从组合中切除，并且所要求保护的组合可以针对子组合或子组合的变型。类似地，尽管在附图中以特定顺序描绘了操作，但是这不应被理解为要求以所示的特定顺序或以连续的顺序来执行这样的操作，或者执行所有示出的操作来实现期望的结果。
仅描述了一些实现方式和示例，并且可以基于本公开中描述和图示的内容进行其他实现、增强和变化。

Claims (18)

1.一种估计相机取向的方法，包括：
当车辆在道路上行驶时，从位于所述车辆上的相机获取图像；
从地形图来确定位于所述道路上、并且与所述道路上的所述车辆的位置相距一定距离的界标的位置，
其中所述车辆的所述位置与所述相机获取所述图像的时间相关联，以及
其中所述地形图提供了驾驶所述车辆的空间区域中的点的坐标；
在所述图像中确定所述界标的像素位置；
从所确定的像素位置中选择一个像素位置；以及
至少使用所述相机的本征矩阵和先前已知的非本征矩阵，来计算描述所述相机的取向的值，其中所述本征矩阵基于至少所述一个像素位置和所述界标的所述位置来表征。
2.根据权利要求1所述的方法，其中所述界标的所述像素位置通过以下方式来确定：
进行所述界标被定向在面向所述相机的方向上的第一确定；
进行所述界标的所述位置在所述相机的视场内的第二确定；以及
响应于进行所述第一确定和所述第二确定：
确定多个像素来检测所述图像中的所述界标的至少一些；
检测所述界标的所述至少一些占据所述图像中的所述多个像素；以及
标识所述多个像素中包括所述界标的所述至少一些的所述像素的位置。
3.根据权利要求2所述的方法，其中所述多个像素基于所述界标的所述位置与所述车辆的所述位置之间的所述距离来确定。
4.根据权利要求1所述的方法，还包括：
响应于确定所述界标的所述位置在位于所述车辆上的第二相机的视场之外：
基于所述相机的所计算的值、以及基于所述相机和所述第二相机的先前已知的相对位置，计算描述所述第二相机的第二取向的第二组值。
5.根据权利要求1所述的方法，其中所述一个像素位置被选择为与所确定的像素位置的几何中心相同。
6.根据权利要求1所述的方法，其中所述界标包括杆、放置在所述道路上的物体、或交通道路标志。
7.一种非暂时性计算机可读存储介质，具有存储在所述非暂时性计算机可读存储介质上的代码，所述代码在被处理器执行时，使得所述处理器实现一种方法，所述方法包括：
当车辆在道路上行驶时，从位于所述车辆上的相机获取图像；
从地形图来确定位于所述道路上、并且与所述道路上的所述车辆的位置相距一定距离的界标的位置，
其中所述车辆的所述位置与所述相机获取所述图像的时间相关联，以及
其中所述地形图提供了驾驶所述车辆的空间区域中的点的坐标；
在所述图像中确定所述界标的像素位置；
从所确定的像素位置中选择一个像素位置；以及
至少使用所述相机的本征矩阵和先前已知的非本征矩阵，来计算描述所述相机的取向的值，其中所述本征矩阵基于至少所述一个像素位置和所述界标的所述位置来表征。
8.根据权利要求7所述的非暂时性计算机可读存储介质，其中所述界标的所述像素位置通过以下方式来确定：
进行所述界标被定向在面向所述相机的方向上的第一确定；
进行所述界标的所述位置在所述相机的视场内的第二确定；以及
响应于进行所述第一确定和所述第二确定：
确定多个像素来检测所述图像中的所述界标的至少一些；
检测所述界标的所述至少一些占据所述图像中的所述多个像素；以及
标识所述多个像素中包括所述界标的所述至少一些的所述像素的位置。
9.根据权利要求8所述的非暂时性计算机可读存储介质，其中所述多个像素基于所述界标的所述位置与所述车辆的所述位置之间的所述距离来确定。
10.根据权利要求7所述的非暂时性计算机可读存储介质，还包括：
响应于确定所述界标的所述位置在位于所述车辆上的第二相机的视场之外：
基于所述相机的所计算的值、以及基于所述相机和所述第二相机的先前已知的相对位置，计算描述所述第二相机的第二取向的第二组值。
11.根据权利要求1所述的方法，其中所述一个像素位置被选择为与所确定的像素位置的几何中心相同。
12.根据权利要求7所述的非暂时性计算机可读存储介质，其中所述界标包括杆、放置在所述道路上的物体、或交通道路标志。
13.一种图像处理装置，用于自动驾驶车辆，所述图像处理装置包括处理器，所述图像处理装置被配置为：
当车辆在道路上行驶时，从位于所述车辆上的相机获取图像；
从地形图来确定位于所述道路上、并且与所述道路上的所述车辆的位置相距一定距离的界标的位置，
其中所述车辆的所述位置与所述相机获取所述图像的时间相关联，以及
其中所述地形图提供了驾驶所述车辆的空间区域中的点的坐标；
在所述图像中确定所述界标的像素位置；
从所确定的像素位置中选择一个像素位置；以及
至少使用所述相机的本征矩阵和先前已知的非本征矩阵，来计算描述所述相机的取向的值，其中所述本征矩阵基于至少所述一个像素位置和所述界标的所述位置来表征。
14.根据权利要求13所述的图像处理装置，其中所述界标的所述像素位置由所述处理器来确定，所述处理器被配置为执行以下方法：
进行所述界标被定向在面向所述相机的方向上的第一确定；
进行所述界标的所述位置在所述相机的视场内的第二确定；以及
响应于进行所述第一确定和所述第二确定：
确定多个像素来检测所述图像中的所述界标的至少一些；
检测所述界标的所述至少一些占据所述图像中的所述多个像素；以及
标识所述多个像素中包括所述界标的所述至少一些的所述像素的位置。
15.根据权利要求14所述的图像处理装置，其中所述多个像素基于所述界标的所述位置与所述车辆的所述位置之间的所述距离来确定。
16.根据权利要求13所述的图像处理装置，其中所述处理器还被配置为：
响应于确定所述界标的所述位置在位于所述车辆上的第二相机的视场之外：
基于所述相机的所计算的值、以及基于所述相机和所述第二相机的先前已知的相对位置，计算描述所述第二相机的第二取向的第二组值。
17.根据权利要求13所述的图像处理装置，其中所述一个像素位置被选择为与所确定的像素位置的几何中心相同。
18.根据权利要求13所述的图像处理装置，其中所述界标包括杆、放置在所述道路上的物体、或交通道路标志。
CN202011147155.XA 2019-10-24 2020-10-23 相机取向估计 Pending CN112712563A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/663,242 2019-10-24
US16/663,242 US11189051B2 (en) 2019-10-24 2019-10-24 Camera orientation estimation

Publications (1)

Publication Number Publication Date
CN112712563A true CN112712563A (zh) 2021-04-27

Family

ID=73005416

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011147155.XA Pending CN112712563A (zh) 2019-10-24 2020-10-23 相机取向估计

Country Status (4)

Country Link
US (3) US11189051B2 (zh)
EP (1) EP3813020A1 (zh)
CN (1) CN112712563A (zh)
AU (1) AU2020257038A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114801954A (zh) * 2022-03-23 2022-07-29 南京智电汽车研究院有限公司 一种无人驾驶矿用车车身及包含其的矿用车

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11189051B2 (en) * 2019-10-24 2021-11-30 Tusimple, Inc. Camera orientation estimation

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5144685A (en) 1989-03-31 1992-09-01 Honeywell Inc. Landmark recognition for autonomous mobile robots
JP2019527832A (ja) * 2016-08-09 2019-10-03 ナウト, インコーポレイテッドNauto, Inc. 正確な位置特定およびマッピングのためのシステムおよび方法
US20180188736A1 (en) * 2016-08-16 2018-07-05 Faraday&Future Inc. System and method for vehicle localization assistance using sensor data
US10268203B2 (en) 2017-04-20 2019-04-23 GM Global Technology Operations LLC Calibration validation for autonomous vehicle operations
US11282225B2 (en) * 2018-09-10 2022-03-22 Mapbox, Inc. Calibration for vision in navigation systems
US11417017B2 (en) * 2019-04-22 2022-08-16 Texas Instmments Incorporated Camera-only-localization in sparse 3D mapped environments
US11003945B2 (en) * 2019-05-22 2021-05-11 Zoox, Inc. Localization using semantically segmented images
US11189051B2 (en) * 2019-10-24 2021-11-30 Tusimple, Inc. Camera orientation estimation

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114801954A (zh) * 2022-03-23 2022-07-29 南京智电汽车研究院有限公司 一种无人驾驶矿用车车身及包含其的矿用车

Also Published As

Publication number Publication date
US11721038B2 (en) 2023-08-08
US20210125370A1 (en) 2021-04-29
US20220076446A1 (en) 2022-03-10
EP3813020A1 (en) 2021-04-28
AU2020257038A1 (en) 2021-05-13
US11189051B2 (en) 2021-11-30
US20230334696A1 (en) 2023-10-19

Similar Documents

Publication Publication Date Title
JP6821712B2 (ja) 自然光景中での統合センサの較正
CN111436216B (zh) 用于彩色点云生成的方法和系统
CN108694882B (zh) 用于标注地图的方法、装置和设备
JP6899369B2 (ja) ローカライゼーション基準データを生成及び使用する方法及びシステム
JP7082545B2 (ja) 情報処理方法、情報処理装置およびプログラム
JP6950832B2 (ja) 位置座標推定装置、位置座標推定方法およびプログラム
JP2008002906A (ja) 測位装置
US20230334696A1 (en) Camera orientation estimation
US10872246B2 (en) Vehicle lane detection system
CN113847930A (zh) 多传感器校准系统
US20230236038A1 (en) Position estimation method, position estimation device, and position estimation program
CN111381585B (zh) 一种构建占据栅格地图的方法及其装置、相关设备
CN111353453A (zh) 用于车辆的障碍物检测方法和装置
JP2022008790A (ja) マルチセンサキャリブレーションシステム
JP2018073275A (ja) 画像認識装置
JP2023068009A (ja) 地図情報作成方法
WO2022133986A1 (en) Accuracy estimation method and system
AU2018102199A4 (en) Methods and systems for color point cloud generation
JP2020060496A (ja) 情報処理装置
JP7391117B2 (ja) 車両用画像処理装置および車両用画像処理方法
CN116433771A (zh) 视觉slam定位方法、装置、电子设备及可存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination