CN113516711A - 相机位姿估计技术 - Google Patents

相机位姿估计技术 Download PDF

Info

Publication number
CN113516711A
CN113516711A CN202110386026.4A CN202110386026A CN113516711A CN 113516711 A CN113516711 A CN 113516711A CN 202110386026 A CN202110386026 A CN 202110386026A CN 113516711 A CN113516711 A CN 113516711A
Authority
CN
China
Prior art keywords
lane
vehicle
lane marker
image
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110386026.4A
Other languages
English (en)
Inventor
钱辰哲
罗毅
许可
王明东
侯晓迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tusimple Inc
Original Assignee
Tusimple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tusimple Inc filed Critical Tusimple Inc
Publication of CN113516711A publication Critical patent/CN113516711A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

描述了用于估计位于车辆上的相机的位姿的技术。估计相机位姿的示例性方法包括：从位于车辆上的相机获得图像，所述图像包括车辆行驶的道路上的车道标记；以及估计相机的位姿，使得相机的位姿提供根据从所述图像确定的所述车道标记的第一位置和从存储的所述道路的地图确定的所述车道标记的第二位置之间的准则的最佳匹配。

Description

相机位姿估计技术
相关申请的交叉引用
本申请要求于2020年4月9日提交的题为“CAMERA POSE ESTIMATION TECHNIQUES”的美国临时专利申请No.63/007,895的优先权，其公开内容通过引用并入本文。
技术领域
本文涉及用于估计位于车辆上或车辆中的相机的位姿的技术。
背景技术
车辆可以包括出于多种目的而附接到车辆的相机。例如，出于安全目的，用于驾驶辅助或用于促进自主驾驶，可以将相机附接到车辆的车顶。安装在车辆上的相机可以获取车辆周围一个或多个区域的图像。可以对这些图像进行处理，以获得关于道路或关于车辆周围的对象的信息。例如，可以分析由相机获得的图像以确定自主车辆周围的对象的距离，使得可以安全地操纵自主车辆绕开对象。
发明内容
本专利文件描述了用于估计位于车辆上或车辆中的相机的位姿的示例性技术。一种估计相机位姿的方法，包括：从位于车辆上的相机获得图像，所述图像包括车辆行驶的道路上的车道标记；以及估计相机的位姿，使得相机的位姿提供根据从所述图像确定的所述车道标记的第一位置和从存储的所述道路的地图确定的所述车道标记的第二位置之间的准则的最佳匹配。
在一些实施例中，所述第一位置对应于与所述车道标记的角部相关联的像素位置，以及其中，所述第二位置对应于所述车道标记的角部的三维(3D)世界坐标。在一些实施例中，第一位置对应于与车道标记相关联的像素位置，以及其中，第二位置对应于车道标记的三维(3D)世界坐标。在一些实施例中，根据所述准则的最佳匹配是通过以下方式最小化未对准项的代价的函数来确定的：最小化从所述车道标记的角部的3D世界坐标到与所述车道标记的角部相关联的像素位置的距离。在一些实施例中，通过最小化与所述车道标记的角部相关联的像素位置与所述车道标记的角部的3D世界坐标之间的平方距离的和来最小化所述距离。
在一些实施例中，根据所述准则的最佳匹配是通过最小化未对准项的代价和约束项的代价的组合的函数来确定的，约束项的代价表示限制参数搜索空间的约束，以及约束项的代价是通过最小化所述像素位置与来自车辆行驶时获得的先前图像的所述车道标记的角部的第三位置之间的差值来确定的。
在一些实施例中，所述方法还包括：根据从相机获得的图像来生成二进制图像；以及从二进制图像生成灰度图像。所述灰度图像包括具有相应值的像素。每个像素的值是所述灰度图像中的像素位置与所述灰度图像中车道标记的角部的第一位置之间的距离的函数。
在一些实施例中，所述车道标记的第二位置是基于所述车辆的位置、所述车辆行驶的方向以及所述相机的预定视场(FOV)来确定的。在一些实施例中，所述车道标记的第二位置是通过以下方式确定的：从存储的地图并基于所述车辆的位置获得位于距所述车辆预定距离之内的第一组一个或多个车道标记；基于所述车辆行驶的方向，从第一组一个或多个车道标记中获得第二组一个或多个车道标记；基于所述相机的预定FOV，从第二组一个或多个车道标记中获得第三组一个或多个车道标记；以及从第三组一个或多个车道标记中获得所述车道标记的第二位置。在一些实施例中，第三组一个或多个车道标记不包括被确定为被一个或多个对象遮挡的一个或多个车道标记。
在另一示例性方面，上述方法以处理器可执行代码的形式体现并存储在非暂时性计算机可读存储介质中。非暂时性计算机可读存储器包括代码，所述代码在由处理器执行时使处理器实现本专利文件中所描述的方法。
在又一示例性实施例中，公开了一种被配置为或可操作为执行上述方法的设备。
在附图、说明书和权利要求书中更详细地描述了上述和其他方面及其实现。
附图说明
图1示出了用于估计位于车辆上或车辆中的相机的位姿的框图。
图2示出了包括道路上的车辆的示例性系统。
图3示出了执行用于获得静态车道标记的操作的流程图。
图4示出了执行用于获得观察车道标记和估计相机位姿的操作的流程图。
图5示出了用于估计相机位姿的操作的示例性流程图。
图6示出了位于车辆中的用于估计相机位姿的计算机的示例性框图。
具体实施方式
自主车辆包括相机，用于获得自主车辆周围的一个或多个区域的图像。这些图像可以由自主车辆上的计算机分析，以获得与道路或与自主车辆周围的对象有关的距离或其他信息。但是，需要确定相机的位姿，以便自主车辆上的计算机能够精确或准确地检测对象并确定其距离。
图1示出了用于估计位于车辆上或车辆中的相机的位姿的框图。可以在自主车辆被操纵或行驶在道路上时实时估计相机的位姿。在自主车辆中，可以将多个相机耦接至驾驶室的车顶，以捕捉自主车辆正朝其行驶的区域的图像。由于相机可以通过其耦接到自主车辆的机械结构的非刚性，因此当发动机开启和/或当自主车辆在道路上行驶时，或者由于风的作用，相机可能经历随机振动。图1示出了能够用于估计六自由度(DoF)的相机位姿(朝向和位置)的框图。六个DoF参数包括三个用于相机朝向(例如，翻滚角、俯仰角、偏航角)的变量和三个用于相机平移(x、y、z)的变量。精确而强大的实时相机位姿对自主驾驶相关的应用(例如，对自主车辆周围对象的跟踪、深度估计和速度估计)产生重大影响。
在图1的顶部，在操作102，示例性相机位姿估计技术包括可以存储与道路上的车道标记(在图2中显示为210a、210b)有关的信息的高清(HD)地图。HD地图可以存储诸如每个车道标记的四个角部(在图2中示为212a-212b)的三维(3D)世界坐标之类的信息。HD地图可以被存储在位于自主车辆中的计算机中，其中该计算机执行本专利文件中描述的相机位姿估计技术。
在操作104处，定位可以包括位于自主车辆中的全球定位系统(GPS)收发器，该GPS收发器可以提供自主车辆在3D世界坐标中的位置或地点。位于自主车辆中的计算机可以接收自主车辆的位置，并且可以查询(在操作106中示出)HD地图(在操作102中示出)以获得位于自主车辆的预定距离(例如100米)内的车道标记的角部的3D位置。基于查询(操作106)，计算机可以获得关于车道标记的角部的位置信息。在操作108，可以将每个车道标记的角部的位置信息视为静态车道标记信息。
在图1的底部，在操作110，示例性相机位姿估计技术包括从位于自主车辆上或自主车辆中的相机获得的图像。位于自主车辆中的计算机可以从相机获得图像(操作110)，并且可以在操作112处执行深度学习车道检测技术，以识别图像中的车道标记和车道标记的角部的二维位置(操作110)。深度学习车道检测技术(操作112)还可以识别位于图像中的每个车道标记的角部的二维(2D)像素位置。在操作114，可以将每个识别出的车道标记和图像中每个车道标记的角部的像素位置(操作110)视为观察车道标记。在示例性实施例中，深度学习车道检测可以包括使用卷积神经网络(CNN)，CNN可以基于基本框架进行操作。
在一些实施例中，位于自主车辆中的计算机可以每5毫秒执行数据和图像处理以获得静态车道标记(操作108)和观察车道标记(操作114)。位于自主车辆中的计算机可以执行匹配操作(操作116)，以最小化从HD地图获得的车道标记的至少一个角部的3D世界坐标与图像中的对应车道标记的至少一个角部的2D像素位置之间的距离。匹配操作(操作116)可以提供从图像获得的车道标记与从HD地图获得的对应车道标记之间的最佳匹配或最佳拟合。通过最小化来自HD地图的车道标记与来自图像的对应车道标记之间的距离，计算机可以在操作118处获得估计的相机位姿。估计的相机位姿可以包括描述相机位姿的六个DoF变量的值。
图2示出了示例性系统200，其包括道路208上的车辆202，其中车辆202包括多个相机。为了便于描述，在图2中示出了单个相机204。然而，多个相机可以位于车辆202上或定位在车辆202上，以在车辆202行驶时获得包括车道标记210a、210b的道路208的图像。这里针对相机204所描述的相机位姿估计技术可以应用于估计位于车辆202上的其他相机的位姿。车辆202可以是自主车辆。
道路208包括可附于道路208两侧的车道标记210a、201b。车道标记包括位于道路208的第一侧的第一组车道标记210a和位于道路208的与第一侧相对的第二侧上的第二组车道标记210b。每个车道标记可以包括多个角部212a-212b(例如，矩形车道标记的四个角部)。如图1所示，计算机可以位于车辆202中，其中计算机可以包括HD地图，该HD地图包括每个车道标记的角部的3D世界坐标。在每组车道标记中，一个车道标记可以与另一车道标记分开预定距离，以在道路上形成一组虚线。车道标记210a、210b可以具有矩形形状并且可以具有白色，或者车道标记210a、210b可以具有另一形状(例如正方形、多边形等)并且可以具有颜色(例如黑色、白色、红色等)。如图2所示，第一和第二组车道标记210a、210b可以彼此平行。
图3示出了执行用于获得图1中描述的静态车道标记的操作的流程图。如图1所示，位于自主车辆中的计算机可以从HD地图获得关于第一组一个或多个车道标记的角部的位置信息，其中第一组一个或多个车道标记可以至少基于从GPS收发器获得的自主车辆的位置来获得。在图1中描述的定位还可以包括位于车辆上的惯性测量单元(IMU)传感器，该IMU传感器可以提供自主车辆的前进方向。在操作302处，基于前进方向，位于自主车辆中的计算机可以通过从第一组一个或多个车道标记中过滤掉或移除位于自主车辆侧面或后面的那些车道标记来按前进方向进行过滤，以便计算机可以获得位于自主车辆前面的第二组一个或多个车道标记。接下来，在操作304，计算机可以通过相机的预定视场(FOV)来执行过滤，以将第二组一个或多个车道标记进一步缩小到被估计为位于其位姿正在被估计的相机的预定FOV内(例如，预定的视角范围内)的那些车道标记。在过滤操作(操作304)，计算机可以过滤从静态HD图获取、并通过前进方向过滤的车道标记，以投影到相机的视场上，从而获得第三组一个或多个车道标记。然后，在操作306，计算机可选地执行光线追踪过滤或其他过滤方法，以移除被地形几何遮挡的车道标记。例如，计算机可以执行光线追踪过滤以移除可预见的上坡后方的车道标记或被树木或墙壁遮挡的车道标记。更具体地说，光线追踪过滤或其他过滤方法可以移除3D世界坐标中存在但无法从2D图像中看到的车道标记。
接下来，在操作308，计算机可以通过图像尺寸过滤第三组一个或多个车道标记，以滤除图像中不容易感知的一个或多个车道标记。例如，计算机可以滤除或移除位于距自主车辆的位置超过预定距离(例如，超过50米)的一个或多个车道标记。过滤操作(操作308)可以产生位于自主车辆的位置的预定距离(例如50米)内的第四组一个或多个车道标记。最终，在操作310中，计算机可选地通过动态对象遮挡执行过滤，以从第四组车道标记中滤除计算机确定为被道路上的一个或多个对象(例如，地形、其他车辆等)遮挡或阻挡的一个或多个车道标记，以获得计算机可以用以执行图5中所述的匹配操作的第五组一个或多个车道标记。如本专利文件中进一步描述的，在匹配操作中，计算机可以确定并且最小化从HD地图获得的车道标记的角部的3D位置与从图像获得、且由相机查看到的车道标记的角部的像素位置之间的差值，其中从HD地图获得的车道标记对应于从图像获得的车道标记。
图4示出了执行用于如图1所述的获得观察车道标记和估计相机位姿的操作的流程图。在分割后处理操作(操作402)，位于自主车辆中的计算机中的观察车道标记模块(在图6中示为观察车道标记模块625)可以处理从相机获得的图像，以提取图像中的车道标记的表示。如图1所示，分割后处理操作(操作402)可以涉及使用深度学习车道检测技术的观察车道标记模块，以从捕捉的图像中提取车道标记并识别车道标记的角部的像素位置。在分割后处理操作(操作402)，观察车道标记模块还可以根据获得的图像生成二进制图像。
观察车道标记模块可以执行距离变换操作(操作404)以平滑二值图像，从而获得灰度图像。每个像素都有一个与其关联的值，该值越小，则越靠近车道标记或车道标记的像素(例如，车道标记的角部的像素位置)，以及该值越大，则距离车道标记或车道标记的像素(例如，车道标记的角部的像素位置)越远。
位于自主车辆中的计算机中的相机位姿模块(在图6中示为相机位姿模块630)可以基于其位置与预定参考点(例如车道标记的角部)相关联的一组像素来估计相机位姿(在操作406处)。预定参考点的位置可以从HD地图(在图6中显示为HD地图615)获得。计算机可以通过最小化从高清地图获取的车道标记到相机所捕捉的与该车道标记相关联的车道标记的最接近车道分割像素的平方距离的和来估计6个DoF参数。在一些实施例中，相机位姿模块可以在操作406处通过对像素位置的位置的预定距离之内的车道标记执行以下所示的公式(1)来估计相机位姿：
Figure BDA0003013020730000071
其中Ecost是针对未对准的代价项，而Econ是针对约束的代价项。针对未对准的代价项Ecost在下面的公式(2)至(4)中描述，而针对约束的代价项Econ在下面的公式(5)中描述：
Figure BDA0003013020730000072
ei，j＝ρ(DT(xi，j)) 公式(3)
Figure BDA0003013020730000073
其中e(i，j)表示从地图获取的第i个车道标记的第j个角部点的未对准误差，函数ρ(DT(xi，j))表示鲁棒损失函数，而DT表示距离变换函数。X(i，j)是表示齐次坐标系中一个点的向量。K表示3x3相机内参数矩阵，I_(3x3)表示3x3单位矩阵。函数/pi用于归一化齐次坐标。
在一些实施例中，计算机可以通过最小化在自主车辆的位置的预定范围内的从HD地图获得的车道标记的一个或多个角部的3D世界坐标与来自所获得的图像的对应车道标记(例如，车道标记的角部)的像素位置之间的距离，来确定描述相机位姿的6个DoF变量。
在一些实施例中，计算机可以通过添加正则化项来估计相机位姿(例如，在操作406处)，以使用如下所示的公式(5)至(10)来实现平滑：
Figure BDA0003013020730000081
其中公式(5)中的θ()是用于根据公式(7)至(10)进一步描述的se(3)获得翻滚角、俯仰角、偏航角的函数。SE(3)是特殊欧几里德变换，表示3D空间中的刚性变换，它是4x4矩阵。SE(3)的李氏代数是se(3)，它具有与SE(3)的指数映射，并且是1x6的向量。函数φ()旨在从se(3)获取平移向量。函数ξ(cor)是校正后的相机位姿的se(3)表示，而ξ(prev)是先前帧相机位姿的se(3)表示。Ω1至Ω4项是对角矩阵，其中Ω表示该项的权重。我们还为每个自由度设置边界，并且将函数η(ξ(cor)，ξ(prev))定义为：
Figure BDA0003013020730000082
公式(6)的正则化项可以看作是约束参数搜索空间的空间的一种约束类型。添加正则化项是技术上有益的特征，至少是因为这样做可以最大程度地减少一次估计的所有6个DoF参数的变化。如公式(5)所示，相机的位姿可以基于增加限制参数搜索空间的约束的函数。公式(5)中所示的约束项的代价是通过最小化当前时间帧处的估计的(校正的)相机位姿与从先前时间帧所估计的位姿之间的差值来确定的。
θ(ξcor)＝(rx，ry，rz)T 公式(7)
其中θ(ξcor)是根据李氏代数中的se(3)获得旋转的函数，而rx、ry和rz分别是在获得相机图像的像平面上相对于沿x、y和z轴的相机坐标的旋转值。
φ(ξcor)＝(tx，ty，tz)T 公式(8)
其中φ(ξcor)是获得平移的函数，tx、ty和tz分别是在像平面上相对于x、y和z轴的相机坐标的平移值。
θ(ξcor)-θ(ξprev)＝(Δrx，Δry，Δrz)T 公式(9)
其中θ(ξcor)-θ(ξprev)是旋转的当前值与从先前图像帧计算出的先前旋转之间的差。
φ(ξcor)-φ(ξprev)＝(Δtx，Δty，Δtz)T 公式(10)
其中φ(ξcor)-φ(ξprev)是平移的当前值与先前图像帧的先前平移之间的差。
图5示出了执行用于估计相机位姿的操作的示例性流程图。在获得操作502处，观察车道标记模块(在图6中示为观察车道标记模块625)可以从位于车辆上的相机获得图像，其中图像包括车辆在其上行驶的道路上的车道标记。在估计操作504处，相机位姿模块(在图6中示为相机位姿模块630)可以估计相机的位姿，使得相机的位姿提供从该图像确定的车道标记的第一位置与从存储的道路的地图确定的车道标记的第二位置之间的准则的最佳匹配。
在一些实施例中，第一位置对应于与车道标记的角部相关联的像素位置，以及第二位置对应于车道标记的角部的三维(3D)世界坐标。在一些实施例中，根据准则的最佳匹配是通过以下方式最小化未对准项的代价的函数来确定的：最小化从车道标记的角部的3D世界坐标到与车道标记的角部相关联的像素位置的距离。在一些实施例中，通过最小化与车道标记的角部相关联的像素位置与车道标记的角部的3D世界坐标之间的平方距离的和来最小化该距离。
在一些实施例中，根据该准则的最佳匹配是通过最小化未对准项的代价和约束项的代价的组合的函数来确定的，其中约束项的代价表示限制参数搜索空间的约束，以及其中约束项的代价是通过最小化所述像素位置与来自车辆行驶时获得的先前图像的车道标记的角部的第三位置之间的差值来确定的。
在一些实施例中，图5的方法还包括：根据从相机获得的图像来生成二进制图像；以及从二进制图像生成灰度图像，其中该灰度图像包括具有相应值的像素。每个像素的值是该灰度图像中的像素位置与该灰度图像中车道标记的角部的第一位置之间的距离的函数。在一些实施例中，图5的方法还包括：根据该图像来生成灰度图像，其中该灰度图像包括具有相应值的像素。每个像素的值是该灰度图像中的像素位置与该灰度图像中车道标记的角部的第一位置之间的距离的函数。
在一些实施例中，车道标记的第二位置是由静态车道标记模块(在图6中示为静态车道标记模块620)基于车辆的位置、车辆行驶的方向、以及相机的预定视场(FOV)来确定的。在一些实施例中，车道标记的第二位置是由静态车道标记模块通过以下方式确定的：从存储的地图并基于所述车辆的位置获得位于距所述车辆预定距离之内的第一组一个或多个车道标记；基于车辆行驶的方向，从第一组一个或多个车道标记中获得第二组一个或多个车道标记；基于相机的预定FOV，从第二组一个或多个车道标记中获得第三组一个或多个车道标记；以及从第三组一个或多个车道标记中获得车道标记的第二位置。在一些实施例中，第三组一个或多个车道标记不包括被确定为被一个或多个对象遮挡的一个或多个车道标记。
在一些实施例中，第一位置对应于与车道标记相关联的至少一个位置，并且其中第二位置对应于车道标记的至少一个位置的三维(3D)世界坐标。在一些实施例中，根据该准则的最佳匹配是通过以下方式最小化未对准项的代价的函数来确定的：最小化从车道标记的至少一个位置的3D世界坐标到该车道标记的至少一个位置的距离。在一些实施例中，根据该准则的最佳匹配是通过最小化未对准项的代价和约束项的代价的函数来确定的。在一些实施例中，约束项的代价表示限制搜索空间的约束。在一些实施例中，约束项的代价是通过最小化至少一个位置与来自车辆行驶时获得的先前图像的车道标记的角部的第三位置之间的差值来确定的。
在一些实施例中，至少基于车辆的位置来确定车道标记的第二位置。在一些实施例中，车道标记的第二位置是通过以下方式确定的：从存储的地图并基于车辆的位置获得位于距车辆预定距离之内的第一组车道标记；基于车辆行驶的方向，从第一组车道标记中获得第二组车道标记；基于相机的预定FOV，从第二组车道标记中获得第三组车道标记；以及从第三组车道标记中获得车道标记的第二位置。
在一些实现中，在本专利文件的各个实施例中描述的方法被体现在存储在非暂时性计算机可读介质上的计算机可读程序中。该计算机可读程序包括代码，所述代码在由处理器执行时使处理器执行本专利文件中所描述的方法，包括图5中所描述的方法。
在一些实施例中，一种系统包括处理器和存储器。存储器存储与静态车道标记模块、观察车道标记模块和/或相机位姿估计模块相关联的指令，该指令可由处理器执行，以执行用于估计相机位姿的操作。例如，该系统可以包括诸如计算机之类的装置，其中该装置包括上述存储器和上述处理器。
图6示出了如本专利文件中所述的位于自主车辆中用于估计相机位姿的计算机的示例性框图。计算机600包括至少一个处理器610和其上存储有指令的存储器605。指令在由处理器610执行时将计算机600配置为执行图1至5中所示的操作和/或在本专利文件的各个实施例中描述的操作。静态车道标记模块620可以执行在图1和图3以及本专利文件的各种实施例中描述的用于获得与静态车道标记相关的信息的操作。观察车道标记模块625可以执行在图1、图4和图5以及本专利文件的各种实施例中描述的用于获得与观察车道标记相关的信息的操作。相机位姿模块630可以执行在图1、图4和图5以及本专利文件的各种实施例中描述的用于估计相机位姿的操作。
在本文中，术语“示例性”用于表示“……的示例”，并且除非另有说明，否则并不意味着理想的或优选的实施例。
本文描述的一些实施例是在方法或过程的一般上下文中描述的，方法或过程可以在一个实施例中由包含在计算机可读介质中的计算机程序产品来实现，该计算机程序产品包括诸如程序代码之类的由网络环境中的计算机执行计算机可执行指令。计算机可读介质可以包括可移除和不可移除的存储设备，包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、光盘(CD)、数字通用光盘(DVD)等。因此，计算机可读介质可以包括非暂时性存储介质。通常，程序模块可以包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。计算机或处理器可执行指令、相关联的数据结构和程序模块代表用于执行本文公开的方法的步骤的程序代码的示例。这样的可执行指令或相关联数据结构的特定序列表示用于实现在这样的步骤或过程中描述的功能的相应动作的示例。
所公开的实施例中的一些可以使用硬件电路、软件或其组合来实现为设备或模块。例如，硬件电路实现可以包括例如作为印刷电路板的一部分被集成的离散的模拟和/或数字组件。替代地或附加地，所公开的组件或模块可以被实现为专用集成电路(ASIC)和/或被实现为现场可编程门阵列(FPGA)设备。一些实施方式可以附加地或替代地包括数字信号处理器(DSP)，其是专用微处理器，具有针对与本申请的公开功能相关联的数字信号处理的操作需求而优化的架构。类似地，每个模块内的各种组件或子组件可以以软件、硬件或固件来实现。可以使用本领域中已知的任何一种连接方法和介质来提供模块之间和/或模块内的组件之间的连接，包括但不限于使用通过互联网、有线或无线网络，使用适当的协议的通信。
虽然本专利文件包含许多细节，但是这些不应该被解释为对任何发明或可以要求保护的内容的范围的限制，而是作为可以特定于特定发明的特定实施例的特征的描述。在本专利文件中在分开的实施例的上下文中描述的特定特征也可以以组合的形式实现在单个实施例中。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中分开地实现或以任何合适的子组合的方式实现。此外，尽管特征可以在上面描述为在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合的一个或多个特征在一些情况下可以从组合中删除，并且所要求保护的组合可以针对子组合或子组合的变体。类似地，尽管在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以示出的特定顺序或以顺序次序执行，或者需要执行所有示出的操作来实现期望的结果。
仅描述了几个实施方式和示例，并且可以基于本公开中描述和示出的内容来产生其他实施方式、增强和变化。

Claims (20)

1.一种估计相机位姿的方法，包括：
从位于车辆上的相机获得图像，所述图像包括车辆行驶的道路上的车道标记；以及
估计相机的位姿，使得相机的位姿提供根据从所述图像确定的所述车道标记的第一位置和从存储的所述道路的地图确定的所述车道标记的第二位置之间的准则的最佳匹配。
2.根据权利要求1所述的方法，其中，所述第一位置对应于与所述车道标记的角部相关联的像素位置，以及其中，所述第二位置对应于所述车道标记的角部的三维3D世界坐标。
3.根据权利要求2所述的方法，其中，根据所述准则的最佳匹配是通过以下方式最小化未对准项的代价的函数来确定的：
最小化从所述车道标记的角部的3D世界坐标到与所述车道标记的角部相关联的像素位置的距离。
4.根据权利要求3所述的方法，其中，通过最小化与所述车道标记的角部相关联的像素位置与所述车道标记的角部的3D世界坐标之间的平方距离的和来最小化所述距离。
5.根据权利要求3所述的方法，
其中，根据所述准则的最佳匹配是通过最小化未对准项的代价和约束项的代价的组合的函数来确定的，
其中，约束项的代价表示限制参数搜索空间的约束，以及
其中，约束项的代价是通过最小化所述像素位置与来自车辆行驶时获得的先前图像的所述车道标记的角部的第三位置之间的差值来确定的。
6.根据权利要求2所述的方法，还包括：
根据从相机获得的图像来生成二进制图像；以及
从二进制图像生成灰度图像，其中，所述灰度图像包括具有相应值的像素，其中，每个像素的值是所述灰度图像中的像素位置与所述灰度图像中车道标记的角部的第一位置之间的距离的函数。
7.根据权利要求1所述的方法，其中，所述车道标记的第二位置是基于所述车辆的位置、所述车辆行驶的方向以及所述相机的预定视场FOV来确定的。
8.根据权利要求7所述的方法，其中，所述车道标记的第二位置是通过以下方式确定的：
从存储的地图并基于所述车辆的位置获得位于距所述车辆预定距离之内的第一组一个或多个车道标记；
基于所述车辆行驶的方向，从第一组一个或多个车道标记中获得第二组一个或多个车道标记；
基于所述相机的预定FOV，从第二组一个或多个车道标记中获得第三组一个或多个车道标记；以及
从第三组一个或多个车道标记中获得所述车道标记的第二位置。
9.根据权利要求8所述的方法，其中，第三组一个或多个车道标记不包括被确定为被一个或多个对象遮挡的一个或多个车道标记。
10.一种系统，包括：
处理器；以及
存储器，用于存储所述处理器可执行的指令，以：
从位于车辆上的相机获得图像，所述图像包括车辆行驶的道路上的车道标记；以及
估计相机的位姿，使得相机的位姿提供根据从所述图像确定的所述车道标记的第一位置和从存储的所述道路的地图确定的所述车道标记的第二位置之间的准则的最佳匹配。
11.根据权利要求10所述的系统，其中，所述第一位置对应于与所述车道标记相关联的至少一个位置，以及其中，所述第二位置对应于所述车道标记的所述至少一个位置的三维3D世界坐标。
12.根据权利要求11所述的系统，其中，根据所述准则的最佳匹配是通过以下方式最小化未对准项的代价的函数来确定的：最小化从所述车道标记的所述至少一个位置的3D世界坐标到所述车道标记的所述至少一个位置的距离。
13.根据权利要求12所述的系统，
其中，根据所述准则的最佳匹配是通过最小化未对准项的代价和约束项的代价的函数来确定的。
14.根据权利要求13所述的系统，其中，约束项的代价表示限制搜索空间的约束。
15.根据权利要求13所述的系统，其中，约束项的代价是通过最小化所述至少一个位置与来自车辆行驶时获得的先前图像的所述车道标记的角部的第三位置之间的差值来确定的。
16.一种非暂时性计算机可读存储介质，其上存储有代码，所述代码在由处理器执行时使处理器实现一种方法，所述方法包括：
从位于车辆上的相机获得图像，所述图像包括车辆行驶的道路上的车道标记；以及
估计相机的位姿，使得相机的位姿提供根据从所述图像确定的所述车道标记的第一位置和从存储的所述道路的地图确定的所述车道标记的第二位置之间的准则的最佳匹配。
17.根据权利要求16所述的非暂时性计算机可读存储介质，其中，所述第一位置对应于与所述车道标记相关联的像素位置，以及其中，所述第二位置对应于所述车道标记的三维3D世界坐标。
18.根据权利要求17所述的非暂时性计算机可读存储介质，其中，所述方法还包括：
根据所述图像生成灰度图像，其中，所述灰度图像包括具有相应值的像素，其中，每个像素的值是所述灰度图像中的像素位置与所述灰度图像中车道标记的第一位置之间的距离的函数。
19.根据权利要求16所述的非暂时性计算机可读存储介质，其中，所述车道标记的第二位置至少基于所述车辆的位置来确定。
20.根据权利要求19所述的非暂时性计算机可读存储介质，其中，所述车道标记的第二位置是通过以下方式确定的：
从存储的地图并基于所述车辆的位置获得位于距所述车辆预定距离之内的第一组车道标记；
基于所述车辆行驶的方向，从第一组车道标记中获得第二组车道标记；
基于所述相机的预定FOV，从第二组车道标记中获得第三组车道标记；以及
从第三组车道标记中获得所述车道标记的第二位置。
CN202110386026.4A 2020-04-09 2021-04-09 相机位姿估计技术 Pending CN113516711A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063007895P 2020-04-09 2020-04-09
US63/007,895 2020-04-09

Publications (1)

Publication Number Publication Date
CN113516711A true CN113516711A (zh) 2021-10-19

Family

ID=75377676

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110386026.4A Pending CN113516711A (zh) 2020-04-09 2021-04-09 相机位姿估计技术

Country Status (4)

Country Link
US (2) US11810322B2 (zh)
EP (1) EP3893150A1 (zh)
CN (1) CN113516711A (zh)
AU (1) AU2021202120A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11977150B2 (en) * 2021-03-05 2024-05-07 Black Sesame Technologies Inc. Vehicle localization precision enhancement via multi-sensor fusion
CN114034307B (zh) * 2021-11-19 2024-04-16 智道网联科技(北京)有限公司 基于车道线的车辆位姿校准方法、装置和电子设备
US20230252667A1 (en) * 2022-02-08 2023-08-10 Ford Global Technologies, Llc Vehicle localization

Family Cites Families (260)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2608513A1 (de) 1976-03-02 1977-09-08 Standard Elektrik Lorenz Ag Anordnung zur weichensteuerung fuer ein verkehrssystem
AU642638B2 (en) 1989-12-11 1993-10-28 Caterpillar Inc. Integrated vehicle positioning and navigation system, apparatus and method
US6822563B2 (en) 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US5877897A (en) 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
US7103460B1 (en) 1994-05-09 2006-09-05 Automotive Technologies International, Inc. System and method for vehicle diagnostics
US7783403B2 (en) 1994-05-23 2010-08-24 Automotive Technologies International, Inc. System and method for preventing vehicular accidents
US7655894B2 (en) 1996-03-25 2010-02-02 Donnelly Corporation Vehicular image sensing system
US6084870A (en) 1996-07-22 2000-07-04 Qualcomm Incorporated Method and apparatus for the remote monitoring and configuration of electronic control systems
US6263088B1 (en) 1997-06-19 2001-07-17 Ncr Corporation System and method for tracking movement of objects in a scene
JP3183501B2 (ja) 1997-07-07 2001-07-09 本田技研工業株式会社 車両用走行制御装置
US6594821B1 (en) 2000-03-30 2003-07-15 Transmeta Corporation Translation consistency checking for modified target instructions by comparing to original copy
JP3777398B2 (ja) 2000-04-26 2006-05-24 株式会社ジェイテクト 車両用操舵制御装置
US8711217B2 (en) 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US6882287B2 (en) 2001-07-31 2005-04-19 Donnelly Corporation Automotive lane change aid
US7363149B2 (en) 2001-12-13 2008-04-22 Robert Bosch Gmbh Autonomous in-vehicle navigation system and diagnostic system
US7167519B2 (en) 2001-12-20 2007-01-23 Siemens Corporate Research, Inc. Real-time video object generation for smart cameras
WO2003093857A2 (en) 2002-05-03 2003-11-13 Donnelly Corporation Object detection system for vehicle
US9007197B2 (en) 2002-05-20 2015-04-14 Intelligent Technologies International, Inc. Vehicular anticipatory sensor system
US6975923B2 (en) 2002-10-01 2005-12-13 Roke Manor Research Limited Autonomous vehicle guidance on or near airports
US6777904B1 (en) 2003-02-25 2004-08-17 Ford Global Technologies, Llc Method and system for controlling a motor
US8855405B2 (en) 2003-04-30 2014-10-07 Deere & Company System and method for detecting and analyzing features in an agricultural field for vehicle guidance
WO2005098739A1 (en) 2004-04-08 2005-10-20 Mobileye Technologies Limited Pedestrian detection
WO2005098751A1 (en) 2004-04-08 2005-10-20 Mobileye Technologies Limited Crowd detection
ATE396470T1 (de) 2004-04-08 2008-06-15 Mobileye Technologies Ltd Kollisionswarnsystem
US7526103B2 (en) 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
US8078338B2 (en) 2004-10-22 2011-12-13 Irobot Corporation System and method for behavior based control of an autonomous vehicle
KR100954621B1 (ko) 2005-02-23 2010-04-27 파나소닉 전공 주식회사 자동운전차량 및 평면 장애물인식방법
US7728869B2 (en) 2005-06-14 2010-06-01 Lg Electronics Inc. Matching camera-photographed image with map data in portable terminal and travel route guidance method
KR100802511B1 (ko) 2005-10-11 2008-02-13 주식회사 코리아 와이즈넛 토픽 기반의 검색 서비스 제공 시스템 및 그 방법
EP1790541A2 (en) 2005-11-23 2007-05-30 MobilEye Technologies, Ltd. Systems and methods for detecting obstructions in a camera field of view
US8164628B2 (en) 2006-01-04 2012-04-24 Mobileye Technologies Ltd. Estimating distance to an object using a sequence of images recorded by a monocular camera
US8150155B2 (en) 2006-02-07 2012-04-03 Qualcomm Incorporated Multi-mode region-of-interest video object segmentation
US8265392B2 (en) 2006-02-07 2012-09-11 Qualcomm Incorporated Inter-mode region-of-interest video object segmentation
US7689559B2 (en) 2006-02-08 2010-03-30 Telenor Asa Document similarity scoring and ranking method, device and computer program product
US8050863B2 (en) 2006-03-16 2011-11-01 Gray & Company, Inc. Navigation and control system for autonomous vehicles
US8417060B2 (en) 2006-03-20 2013-04-09 Arizona Board Of Regents For And On Behalf Of Arizona State University Methods for multi-point descriptors for image registrations
US8108092B2 (en) 2006-07-14 2012-01-31 Irobot Corporation Autonomous behaviors for a remote vehicle
JP4938351B2 (ja) 2006-05-16 2012-05-23 トヨタ自動車株式会社 車両用測位情報更新装置
US7786898B2 (en) 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
US7876926B2 (en) 2006-11-03 2011-01-25 Delphi Technologies, Inc. Lane marker detection and fitting methods
EP1930863B1 (en) 2006-12-06 2011-08-03 Mobileye Technologies Limited Detecting and recognizing traffic signs
US20080249667A1 (en) 2007-04-09 2008-10-09 Microsoft Corporation Learning and reasoning to enhance energy efficiency in transportation systems
US7839292B2 (en) 2007-04-11 2010-11-23 Nec Laboratories America, Inc. Real-time driving danger level prediction
US8229163B2 (en) 2007-08-22 2012-07-24 American Gnc Corporation 4D GIS based virtual reality for moving target prediction
US8041111B1 (en) 2007-10-15 2011-10-18 Adobe Systems Incorporated Subjective and locatable color theme extraction for images
US9176006B2 (en) 2008-01-15 2015-11-03 Mobileye Vision Technologies Ltd. Detection and classification of light sources using a diffraction grating
US9117133B2 (en) 2008-06-18 2015-08-25 Spectral Image, Inc. Systems and methods for hyperspectral imaging
US20100049397A1 (en) 2008-08-22 2010-02-25 Garmin Ltd. Fuel efficient routing
US8126642B2 (en) 2008-10-24 2012-02-28 Gray & Company, Inc. Control and systems for autonomously driven vehicles
US8345956B2 (en) 2008-11-03 2013-01-01 Microsoft Corporation Converting 2D video into stereo video
US9459515B2 (en) 2008-12-05 2016-10-04 Mobileye Vision Technologies Ltd. Adjustable camera mount for a vehicle windshield
US8175376B2 (en) 2009-03-09 2012-05-08 Xerox Corporation Framework for image thumbnailing based on visual similarity
EP2411961B1 (en) 2009-03-26 2012-10-31 TP Vision Holding B.V. Method and apparatus for modifying an image by using a saliency map based on color frequency
US8271871B2 (en) 2009-04-30 2012-09-18 Xerox Corporation Automated method for alignment of document objects
WO2010134502A1 (ja) 2009-05-18 2010-11-25 小平アソシエイツ株式会社 画像情報出力方法
US8392117B2 (en) 2009-05-22 2013-03-05 Toyota Motor Engineering & Manufacturing North America, Inc. Using topological structure for path planning in semi-structured environments
US9683854B2 (en) 2009-07-19 2017-06-20 Aaron T. Emigh Pricing by historical comparison
DE102009046124A1 (de) 2009-10-28 2011-05-05 Ifm Electronic Gmbh Verfahren und Vorrichtung zur Kalibrierung eines 3D-TOF-Kamerasystems
TWI393074B (zh) 2009-12-10 2013-04-11 Ind Tech Res Inst 移動物體偵測裝置與方法
JP2011176748A (ja) 2010-02-25 2011-09-08 Sony Corp 画像処理装置および方法、並びにプログラム
US8726305B2 (en) 2010-04-02 2014-05-13 Yahoo! Inc. Methods and systems for application rendering and management on internet television enabled displays
KR101145112B1 (ko) 2010-05-11 2012-05-14 국방과학연구소 자율이동차량의 조향제어장치, 이를 구비하는 자율이동차량 및 자율이동차량의 조향제어방법
US9753128B2 (en) 2010-07-23 2017-09-05 Heptagon Micro Optics Pte. Ltd. Multi-path compensation using multiple modulation frequencies in time of flight sensor
US8751100B2 (en) 2010-08-13 2014-06-10 Deere & Company Method for performing diagnostics or software maintenance for a vehicle
WO2012026406A1 (ja) 2010-08-27 2012-03-01 京セラ株式会社 携帯電子機器及び携帯電子機器の使用方法
US9118816B2 (en) 2011-12-06 2015-08-25 Mobileye Vision Technologies Ltd. Road vertical contour detection
US9280711B2 (en) 2010-09-21 2016-03-08 Mobileye Vision Technologies Ltd. Barrier and guardrail detection using a single camera
US8509982B2 (en) 2010-10-05 2013-08-13 Google Inc. Zone driving
EP3588939B1 (en) 2010-10-31 2023-10-18 Mobileye Vision Technologies Ltd. Bundling night vision and other driver assistance systems (das) using near infra red (nir) illumination and a rolling shutter
CN103210651B (zh) 2010-11-15 2016-11-09 华为技术有限公司 用于视频概要的方法和系统
EP2993654B1 (en) 2010-12-07 2017-05-03 Mobileye Vision Technologies Ltd. Method and system for forward collision warning
US9823339B2 (en) 2010-12-21 2017-11-21 Microsoft Technology Licensing, Llc Plural anode time-of-flight sensor
AU2012206427A1 (en) 2011-01-14 2013-08-01 Bae Systems Plc Data transfer system and method thereof
US9323250B2 (en) 2011-01-28 2016-04-26 Intouch Technologies, Inc. Time-dependent navigation of telepresence robots
AU2012221159B2 (en) 2011-02-21 2015-11-26 Stratech Systems Limited A surveillance system and a method for detecting a foreign object, debris, or damage in an airfield
US8401292B2 (en) 2011-04-26 2013-03-19 Eastman Kodak Company Identifying high saliency regions in digital images
US9233659B2 (en) 2011-04-27 2016-01-12 Mobileye Vision Technologies Ltd. Pedestrian collision warning system
KR101777875B1 (ko) 2011-04-28 2017-09-13 엘지디스플레이 주식회사 입체 영상 표시장치와 그 입체 영상 조절 방법
US20120314070A1 (en) 2011-06-09 2012-12-13 GM Global Technology Operations LLC Lane sensing enhancement through object vehicle information for lane centering/keeping
US9183447B1 (en) 2011-06-09 2015-11-10 Mobileye Vision Technologies Ltd. Object detection using candidate object alignment
GB2492848A (en) 2011-07-15 2013-01-16 Softkinetic Sensors Nv Optical distance measurement
DE112012003140T5 (de) 2011-07-28 2014-06-26 Honda Motor Co., Ltd. Drahtloses Energieübertragungsverfahren
US8744123B2 (en) 2011-08-29 2014-06-03 International Business Machines Corporation Modeling of temporarily static objects in surveillance video data
WO2013039472A1 (en) 2011-09-12 2013-03-21 Intel Corporation Networked capture and 3d display of localized, segmented images
DE102011083749B4 (de) 2011-09-29 2015-06-11 Aktiebolaget Skf Rotorblatt einer Windkraftanlage mit einer Vorrichtung zum Erfassen eines Abstandswertes und Verfahren zum Erfassen eines Abstandswertes
US8891820B2 (en) 2011-09-29 2014-11-18 The Boeing Company Multi-modal sensor fusion
US20140143839A1 (en) 2011-11-16 2014-05-22 Flextronics Ap, Llc. On board vehicle remote control module
WO2013084225A1 (en) 2011-12-05 2013-06-13 Brightway Vision Ltd. Smart traffic sign system and method
US9324151B2 (en) 2011-12-08 2016-04-26 Cornell University System and methods for world-scale camera pose estimation
US9297641B2 (en) 2011-12-12 2016-03-29 Mobileye Vision Technologies Ltd. Detection of obstacles at night by analysis of shadows
FR2984254B1 (fr) 2011-12-16 2016-07-01 Renault Sa Controle de vehicules autonomes
US8810666B2 (en) 2012-01-16 2014-08-19 Google Inc. Methods and systems for processing a video for stabilization using dynamic crop
US20150253428A1 (en) 2013-03-15 2015-09-10 Leap Motion, Inc. Determining positional information for an object in space
JP5605381B2 (ja) 2012-02-13 2014-10-15 株式会社デンソー クルーズ制御装置
US9042648B2 (en) 2012-02-23 2015-05-26 Microsoft Technology Licensing, Llc Salient object segmentation
US8457827B1 (en) 2012-03-15 2013-06-04 Google Inc. Modifying behavior of autonomous vehicle based on predicted behavior of other vehicles
US9476970B1 (en) 2012-03-19 2016-10-25 Google Inc. Camera based localization
US8737690B2 (en) 2012-04-06 2014-05-27 Xerox Corporation Video-based method for parking angle violation detection
US8718861B1 (en) 2012-04-11 2014-05-06 Google Inc. Determining when to drive autonomously
CN107690050B (zh) 2012-04-18 2020-07-31 布莱特瓦维森有限公司 用于提供白天场景和夜间场景的改进的图像的系统
US9723233B2 (en) 2012-04-18 2017-08-01 Brightway Vision Ltd. Controllable gated sensor
US9549158B2 (en) 2012-04-18 2017-01-17 Brightway Vision Ltd. Controllable single pixel sensors
JP6416085B2 (ja) 2012-05-29 2018-10-31 ブライトウェイ ビジョン リミテッド 適用可能な被写界深度を使用するゲーテッド撮像
US9134402B2 (en) 2012-08-13 2015-09-15 Digital Signal Corporation System and method for calibrating video and lidar subsystems
US9620010B2 (en) 2012-08-21 2017-04-11 Brightway Vision Ltd. Simultaneously illuminating traffic light signals at different ranges
US9025880B2 (en) 2012-08-29 2015-05-05 Disney Enterprises, Inc. Visual saliency estimation for images and video
GB2521312B (en) 2012-09-06 2016-07-06 Faro Tech Inc Laser scanner with additional sensing device
US9165190B2 (en) 2012-09-12 2015-10-20 Avigilon Fortress Corporation 3D human pose and shape modeling
US9120485B1 (en) 2012-09-14 2015-09-01 Google Inc. Methods and systems for smooth trajectory generation for a self-driving vehicle
US9111444B2 (en) 2012-10-31 2015-08-18 Raytheon Company Video and lidar target detection and tracking system and method for segmenting moving targets
EP2925494B1 (en) 2012-12-03 2020-07-08 ABB Schweiz AG Teleoperation of machines having at least one actuated mechanism and one machine controller comprising a program code including instructions for transferring control of the machine from said controller to a remote control station
DE102013225676B4 (de) 2012-12-17 2018-06-07 pmdtechnologies ag Lichtlaufzeitkamera mit einer Bewegungserkennung
US9602807B2 (en) 2012-12-19 2017-03-21 Microsoft Technology Licensing, Llc Single frequency time of flight de-aliasing
US9081385B1 (en) 2012-12-21 2015-07-14 Google Inc. Lane boundary detection using images
US9092430B2 (en) 2013-01-02 2015-07-28 International Business Machines Corporation Assigning shared catalogs to cache structures in a cluster computing system
US8788134B1 (en) 2013-01-04 2014-07-22 GM Global Technology Operations LLC Autonomous driving merge management system
JP6285958B2 (ja) 2013-01-15 2018-02-28 モービルアイ ビジョン テクノロジーズ リミテッド ローリングシャッターを伴うステレオ支援
US9277132B2 (en) 2013-02-21 2016-03-01 Mobileye Vision Technologies Ltd. Image distortion correction of a camera with a rolling shutter
US9111355B1 (en) 2013-03-13 2015-08-18 Hrl Laboratories, Llc Selective color processing for vision systems that enables optimal detection and recognition
US9147255B1 (en) 2013-03-14 2015-09-29 Hrl Laboratories, Llc Rapid object detection by combining structural information from image segmentation with bio-inspired attentional mechanisms
US9652860B1 (en) 2013-03-15 2017-05-16 Puretech Systems, Inc. System and method for autonomous PTZ tracking of aerial targets
US9342074B2 (en) 2013-04-05 2016-05-17 Google Inc. Systems and methods for transitioning control of an autonomous vehicle to a driver
CN103198128A (zh) 2013-04-11 2013-07-10 苏州阔地网络科技有限公司 一种云教育平台的数据搜索方法及系统
AU2013205548A1 (en) 2013-04-30 2014-11-13 Canon Kabushiki Kaisha Method, system and apparatus for tracking objects of a scene
US9438878B2 (en) 2013-05-01 2016-09-06 Legend3D, Inc. Method of converting 2D video to 3D video using 3D object models
US9025825B2 (en) 2013-05-10 2015-05-05 Palo Alto Research Center Incorporated System and method for visual motion based object segmentation and tracking
US9729860B2 (en) 2013-05-24 2017-08-08 Microsoft Technology Licensing, Llc Indirect reflection suppression in depth imaging
CN105659304B (zh) 2013-06-13 2020-01-03 移动眼视力科技有限公司 车辆、导航系统及生成并递送导航信息的方法
IL227265A0 (en) 2013-06-30 2013-12-31 Brightway Vision Ltd Smart flash for the camera
KR102111784B1 (ko) 2013-07-17 2020-05-15 현대모비스 주식회사 차량 위치 인식 장치 및 방법
US9315192B1 (en) 2013-09-30 2016-04-19 Google Inc. Methods and systems for pedestrian avoidance using LIDAR
US9122954B2 (en) 2013-10-01 2015-09-01 Mobileye Vision Technologies Ltd. Performing a histogram using an array of addressable registers
US9738280B2 (en) 2013-10-03 2017-08-22 Robert Bosch Gmbh Adaptive cruise control with on-ramp detection
US9330334B2 (en) 2013-10-24 2016-05-03 Adobe Systems Incorporated Iterative saliency map estimation
US9299004B2 (en) 2013-10-24 2016-03-29 Adobe Systems Incorporated Image foreground detection
US9528834B2 (en) 2013-11-01 2016-12-27 Intelligent Technologies International, Inc. Mapping techniques using probe vehicles
US9156473B2 (en) 2013-12-04 2015-10-13 Mobileye Vision Technologies Ltd. Multi-threshold reaction zone for autonomous vehicle navigation
EP2887311B1 (en) 2013-12-20 2016-09-14 Thomson Licensing Method and apparatus for performing depth estimation
CA2935617C (en) 2013-12-30 2023-09-12 Craig Arnold Tieman Connected vehicle system with infotainment interface for mobile devices
CN106462727B (zh) 2014-01-30 2020-02-11 移动眼视力科技有限公司 车辆、车道终止检测系统和方法
WO2015125022A2 (en) 2014-02-20 2015-08-27 Mobileye Vision Technologies Ltd. Navigation based on radar-cued visual imaging
CN103793925B (zh) 2014-02-24 2016-05-18 北京工业大学 融合时空特征的视频图像视觉显著程度检测方法
US9981389B2 (en) 2014-03-03 2018-05-29 California Institute Of Technology Robotics platforms incorporating manipulators having common joint designs
EP2918974B1 (en) 2014-03-11 2019-01-16 Volvo Car Corporation Method and system for determining a position of a vehicle
US9476730B2 (en) 2014-03-18 2016-10-25 Sri International Real-time system for multi-modal 3D geospatial mapping, object recognition, scene annotation and analytics
JP6282498B2 (ja) 2014-03-19 2018-02-21 株式会社東芝 画像処理装置、その方法、及び、そのプログラム
DE102014205170A1 (de) 2014-03-20 2015-11-26 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Ermitteln einer Trajektorie für ein Fahrzeug
US9739609B1 (en) 2014-03-25 2017-08-22 Amazon Technologies, Inc. Time-of-flight sensor with configurable phase delay
US9151626B1 (en) * 2014-04-11 2015-10-06 Nissan North America, Inc. Vehicle position estimation system
US9471889B2 (en) 2014-04-24 2016-10-18 Xerox Corporation Video tracking based method for automatic sequencing of vehicles in drive-thru applications
CN105100134A (zh) 2014-04-28 2015-11-25 思科技术公司 屏幕共享缓存管理
EP4187523A1 (en) 2014-05-14 2023-05-31 Mobileye Vision Technologies Ltd. Systems and methods for curb detection and pedestrian hazard assessment
US9720418B2 (en) 2014-05-27 2017-08-01 Here Global B.V. Autonomous vehicle monitoring and control
WO2015186002A2 (en) 2014-06-03 2015-12-10 Mobileye Vision Technologies Ltd. Systems and methods for detecting an object
US9457807B2 (en) 2014-06-05 2016-10-04 GM Global Technology Operations LLC Unified motion planning algorithm for autonomous driving vehicle in obstacle avoidance maneuver
IL233356A (en) 2014-06-24 2015-10-29 Brightway Vision Ltd Sensor-based imaging system with minimum wait time between sensor exposures
US9628565B2 (en) 2014-07-23 2017-04-18 Here Global B.V. Highly assisted driving platform
US20160026787A1 (en) 2014-07-25 2016-01-28 GM Global Technology Operations LLC Authenticating messages sent over a vehicle bus that include message authentication codes
US9766625B2 (en) 2014-07-25 2017-09-19 Here Global B.V. Personalized driving of autonomously driven vehicles
EP4254383A3 (en) 2014-08-18 2023-12-20 Mobileye Vision Technologies Ltd. Recognition and prediction of lane constraints
US9554030B2 (en) 2014-09-29 2017-01-24 Yahoo! Inc. Mobile device image acquisition using objects of interest recognition
US9248834B1 (en) 2014-10-02 2016-02-02 Google Inc. Predicting trajectories of objects based on contextual information
US9746550B2 (en) 2014-10-08 2017-08-29 Ford Global Technologies, Llc Detecting low-speed close-range vehicle cut-in
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US9773155B2 (en) 2014-10-14 2017-09-26 Microsoft Technology Licensing, Llc Depth from time of flight camera
US9959903B2 (en) 2014-10-23 2018-05-01 Qnap Systems, Inc. Video playback method
EP3018448B1 (en) 2014-11-04 2021-01-06 Volvo Car Corporation Methods and systems for enabling improved positioning of a vehicle
US9547985B2 (en) 2014-11-05 2017-01-17 Here Global B.V. Method and apparatus for providing access to autonomous vehicles based on user context
KR101664582B1 (ko) 2014-11-12 2016-10-10 현대자동차주식회사 자율주행차량의 주행경로 생성장치 및 방법
US9494935B2 (en) 2014-11-13 2016-11-15 Toyota Motor Engineering & Manufacturing North America, Inc. Remote operation of autonomous vehicle in unexpected environment
KR102312273B1 (ko) 2014-11-13 2021-10-12 삼성전자주식회사 거리영상 측정용 카메라 및 그 동작방법
CN107624155B (zh) 2014-12-05 2021-09-28 苹果公司 自主导航系统
US9347779B1 (en) 2014-12-10 2016-05-24 Here Global B.V. Method and apparatus for determining a position of a vehicle based on driving behavior
KR20160078724A (ko) 2014-12-24 2016-07-05 한국전자통신연구원 카메라 감시 영역 표시 방법 및 장치
US9805294B2 (en) 2015-02-12 2017-10-31 Mitsubishi Electric Research Laboratories, Inc. Method for denoising time-of-flight range images
US10115024B2 (en) 2015-02-26 2018-10-30 Mobileye Vision Technologies Ltd. Road vertical contour detection using a stabilized coordinate frame
JP6421684B2 (ja) 2015-04-17 2018-11-14 井関農機株式会社 乗用草刈機
US9649999B1 (en) 2015-04-28 2017-05-16 Sprint Communications Company L.P. Vehicle remote operations control
US10635761B2 (en) 2015-04-29 2020-04-28 Energid Technologies Corporation System and method for evaluation of object autonomy
US9483839B1 (en) 2015-05-06 2016-11-01 The Boeing Company Occlusion-robust visual object fingerprinting using fusion of multiple sub-region signatures
US10345809B2 (en) 2015-05-13 2019-07-09 Uber Technologies, Inc. Providing remote assistance to an autonomous vehicle
US9613273B2 (en) 2015-05-19 2017-04-04 Toyota Motor Engineering & Manufacturing North America, Inc. Apparatus and method for object tracking
DE102015210015A1 (de) 2015-06-01 2016-12-01 Robert Bosch Gmbh Verfahren und Vorrichtung zur Positionsbestimmung eines Fahrzeugs
US9690290B2 (en) 2015-06-04 2017-06-27 Toyota Motor Engineering & Manufacturing North America, Inc. Situation-based transfer of vehicle sensor data during remote operation of autonomous vehicles
JP6503906B2 (ja) 2015-06-10 2019-04-24 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
DE102015211926A1 (de) 2015-06-26 2016-12-29 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln bzw. Bewerten einer Soll-Trajektorie eines Kraftfahrzeugs
WO2017013875A1 (ja) 2015-07-23 2017-01-26 日本電気株式会社 経路切替装置、経路切替システムおよび経路切替方法
US9989965B2 (en) 2015-08-20 2018-06-05 Motionloft, Inc. Object detection and analysis via unmanned aerial vehicle
US10282591B2 (en) 2015-08-24 2019-05-07 Qualcomm Incorporated Systems and methods for depth map sampling
US9587952B1 (en) 2015-09-09 2017-03-07 Allstate Insurance Company Altering autonomous or semi-autonomous vehicle operation based on route traversal values
CN107209854A (zh) 2015-09-15 2017-09-26 深圳市大疆创新科技有限公司 用于支持顺畅的目标跟随的系统和方法
KR20170049453A (ko) 2015-10-28 2017-05-10 엘지이노텍 주식회사 광출력 모듈 및 이를 포함하는 자동차 및 그 제어 방법
US9507346B1 (en) 2015-11-04 2016-11-29 Zoox, Inc. Teleoperation system and method for trajectory modification of autonomous vehicles
WO2017079349A1 (en) 2015-11-04 2017-05-11 Zoox, Inc. System for implementing an active safety system in an autonomous vehicle
US9734455B2 (en) 2015-11-04 2017-08-15 Zoox, Inc. Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles
US9754490B2 (en) 2015-11-04 2017-09-05 Zoox, Inc. Software application to request and control an autonomous vehicle service
US9630619B1 (en) 2015-11-04 2017-04-25 Zoox, Inc. Robotic vehicle active safety systems and methods
KR20170065083A (ko) * 2015-12-02 2017-06-13 현대오트론 주식회사 도로 시설물 정보를 이용한 차선 표시 장치 및 방법
US10127685B2 (en) 2015-12-16 2018-11-13 Objectvideo Labs, Llc Profile matching of buildings and urban structures
US10102434B2 (en) 2015-12-22 2018-10-16 Omnivision Technologies, Inc. Lane detection system and method
KR102373926B1 (ko) 2016-02-05 2022-03-14 삼성전자주식회사 이동체 및 이동체의 위치 인식 방법
US9568915B1 (en) 2016-02-11 2017-02-14 Mitsubishi Electric Research Laboratories, Inc. System and method for controlling autonomous or semi-autonomous vehicle
CN105667518B (zh) 2016-02-25 2018-07-24 福州华鹰重工机械有限公司 车道检测的方法及装置
CN105825173B (zh) 2016-03-11 2019-07-19 福州华鹰重工机械有限公司 通用道路和车道检测系统与方法
US9760837B1 (en) 2016-03-13 2017-09-12 Microsoft Technology Licensing, Llc Depth from time-of-flight using machine learning
EP3433131B1 (en) 2016-03-23 2023-07-12 Netradyne, Inc. Advanced path prediction
US9535423B1 (en) 2016-03-29 2017-01-03 Adasworks Kft. Autonomous vehicle with improved visual detection ability
US9776638B1 (en) 2016-04-20 2017-10-03 GM Global Technology Operations LLC Remote interrogation and override for automated driving system
US10362429B2 (en) 2016-04-28 2019-07-23 California Institute Of Technology Systems and methods for generating spatial sound information relevant to real-world environments
JP6838285B2 (ja) * 2016-04-28 2021-03-03 日立Astemo株式会社 レーンマーカ認識装置、自車両位置推定装置
US9672446B1 (en) 2016-05-06 2017-06-06 Uber Technologies, Inc. Object detection for an autonomous vehicle
JP2017224876A (ja) 2016-06-13 2017-12-21 アイシン精機株式会社 撮影画像判定装置
US10719083B2 (en) 2016-07-01 2020-07-21 Uatc, Llc Perception system for autonomous vehicle
EP3290864A1 (en) 2016-08-30 2018-03-07 Continental Automotive GmbH Driver assistance system for determining a position of a vehicle
CN113140125B (zh) 2016-08-31 2022-06-17 北京万集科技股份有限公司 车路协同辅助驾驶方法及路侧设备
US10514258B2 (en) 2016-09-09 2019-12-24 Nextnav, Llc Systems and methods for calibrating unstable sensors
KR101876968B1 (ko) 2016-10-21 2018-07-12 네이버 주식회사 실내 자율 주행 로봇을 위한 제어 방법 및 시스템
KR20180050823A (ko) 2016-11-07 2018-05-16 삼성전자주식회사 3차원의 도로 모델을 생성하는 방법 및 장치
WO2018100617A1 (ja) 2016-11-29 2018-06-07 三菱重工機械システム株式会社 マップマッチング装置、マップマッチングシステム、マップマッチング方法及びプログラム
US10261574B2 (en) 2016-11-30 2019-04-16 University Of Macau Real-time detection system for parked vehicles
US11295458B2 (en) 2016-12-01 2022-04-05 Skydio, Inc. Object tracking by an unmanned aerial vehicle using visual sensors
CN106781591A (zh) 2016-12-19 2017-05-31 吉林大学 一种基于车路协同的城市车辆导航系统
US10837773B2 (en) 2016-12-30 2020-11-17 DeepMap Inc. Detection of vertical structures based on LiDAR scanner data for high-definition maps for autonomous vehicles
KR102535540B1 (ko) 2017-01-12 2023-05-23 모빌아이 비젼 테크놀로지스 엘티디. 차량 움직임에 기반한 항법
GB2559196B (en) 2017-01-31 2021-11-17 Sony Europe Bv Determining a position of a vehicle on a track
US9953236B1 (en) 2017-03-10 2018-04-24 TuSimple System and method for semantic segmentation using dense upsampling convolution (DUC)
US10147193B2 (en) 2017-03-10 2018-12-04 TuSimple System and method for semantic segmentation using hybrid dilated convolution (HDC)
US10430968B2 (en) 2017-03-14 2019-10-01 Ford Global Technologies, Llc Vehicle localization using cameras
US10209359B2 (en) 2017-03-28 2019-02-19 Luminar Technologies, Inc. Adaptive pulse rate in a lidar system
US10209089B2 (en) 2017-04-03 2019-02-19 Robert Bosch Gmbh Automated image labeling for vehicles based on maps
CN107015238A (zh) * 2017-04-27 2017-08-04 睿舆自动化（上海）有限公司 基于三维激光雷达的无人车自主定位方法
US10990829B2 (en) 2017-04-28 2021-04-27 Micro Focus Llc Stitching maps generated using simultaneous localization and mapping
US10444759B2 (en) 2017-06-14 2019-10-15 Zoox, Inc. Voxel based ground plane estimation and object segmentation
US10466704B2 (en) 2017-06-22 2019-11-05 GM Global Technology Operations LLC Autonomous vehicle localization
US20180373980A1 (en) 2017-06-27 2018-12-27 drive.ai Inc. Method for training and refining an artificial intelligence
US10816354B2 (en) 2017-08-22 2020-10-27 Tusimple, Inc. Verification module system and method for motion-based lane detection with multiple sensors
US10223807B1 (en) 2017-08-23 2019-03-05 TuSimple Feature extraction from 3D submap and global map system and method for centimeter precision localization using camera-based submap and lidar-based global map
US10762673B2 (en) 2017-08-23 2020-09-01 Tusimple, Inc. 3D submap reconstruction system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10565457B2 (en) 2017-08-23 2020-02-18 Tusimple, Inc. Feature matching and correspondence refinement and 3D submap position refinement system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10223806B1 (en) 2017-08-23 2019-03-05 TuSimple System and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10410055B2 (en) 2017-10-05 2019-09-10 TuSimple System and method for aerial video traffic analysis
US10666730B2 (en) 2017-10-28 2020-05-26 Tusimple, Inc. Storage architecture for heterogeneous multimedia data
US10812589B2 (en) 2017-10-28 2020-10-20 Tusimple, Inc. Storage architecture for heterogeneous multimedia data
US10528823B2 (en) 2017-11-27 2020-01-07 TuSimple System and method for large-scale lane marking detection using multimodal sensor data
CN108010360A (zh) 2017-12-27 2018-05-08 中电海康集团有限公司 一种基于车路协同的自动驾驶环境感知系统
AU2019206509A1 (en) 2018-01-09 2020-07-23 Tusimple, Inc. Real-time remote control of vehicles with high redundancy
CN115834617A (zh) 2018-01-11 2023-03-21 图森有限公司 用于自主车辆操作的监视系统
CN108182817A (zh) 2018-01-11 2018-06-19 北京图森未来科技有限公司 自动驾驶辅助系统、路侧端辅助系统和车载端辅助系统
US11009356B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization and fusion
US11009365B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization
US10529089B2 (en) * 2018-02-23 2020-01-07 GM Global Technology Operations LLC Crowd-sensed point cloud map
US10685244B2 (en) 2018-02-27 2020-06-16 Tusimple, Inc. System and method for online real-time multi-object tracking
WO2019169358A1 (en) * 2018-03-02 2019-09-06 DeepMap Inc. Camera based localization for autonomous vehicles
CN110858405A (zh) * 2018-08-24 2020-03-03 北京市商汤科技开发有限公司 车载摄像头的姿态估计方法、装置和系统及电子设备
JP2020034472A (ja) * 2018-08-31 2020-03-05 株式会社デンソー 自律的ナビゲーションのための地図システム、方法および記憶媒体
US10621452B2 (en) * 2018-09-14 2020-04-14 Lyft, Inc. Determining and mapping location-based information for a vehicle
CN111256693B (zh) * 2018-12-03 2022-05-13 北京魔门塔科技有限公司 一种计算位姿变化方法及车载终端
WO2020154972A1 (en) * 2019-01-30 2020-08-06 Baidu.Com Times Technology (Beijing) Co., Ltd. Lidar localization using 3d cnn network for solution inference in autonomous driving vehicles
CN112307810B (zh) * 2019-07-26 2023-08-04 北京魔门塔科技有限公司 一种视觉定位效果自检方法及车载终端
WO2021046829A1 (zh) * 2019-09-12 2021-03-18 华为技术有限公司 定位方法、装置及系统

Also Published As

Publication number Publication date
AU2021202120A1 (en) 2021-10-28
US20230410363A1 (en) 2023-12-21
US20210319584A1 (en) 2021-10-14
US11810322B2 (en) 2023-11-07
EP3893150A1 (en) 2021-10-13

Similar Documents

Publication Publication Date Title
CN113516711A (zh) 相机位姿估计技术
US20170339397A1 (en) Stereo auto-calibration from structure-from-motion
JP5926228B2 (ja) 自律車両用の奥行き検知方法及びシステム
WO2021046716A1 (zh) 目标对象的检测方法、系统、设备及存储介质
US20160104047A1 (en) Image recognition system for a vehicle and corresponding method
US11908163B2 (en) Multi-sensor calibration system
Jeong et al. Adaptive inverse perspective mapping for lane map generation with SLAM
US10187630B2 (en) Egomotion estimation system and method
KR20090103165A (ko) 모노큘러 모션 스테레오 기반의 주차 공간 검출 장치 및방법
US11887336B2 (en) Method for estimating a relative position of an object in the surroundings of a vehicle and electronic control unit for a vehicle and vehicle
US11702089B2 (en) Multi-sensor sequential calibration system
KR102104005B1 (ko) 자동차의 도로변의 물체를 검출하는 방법, 컴퓨팅 장치, 운전자 보조 시스템 및 자동차
EP3929872A1 (en) Multi-sensor calibration system
CN114419098A (zh) 基于视觉变换的运动目标轨迹预测方法及装置
Shan et al. Probabilistic egocentric motion correction of lidar point cloud and projection to camera images for moving platforms
CN113167579B (zh) 用于测量对象物位置的系统、方法以及存储介质
WO2022133986A1 (en) Accuracy estimation method and system
Li et al. Lane detection and road surface reconstruction based on multiple vanishing point & symposia
JP6492603B2 (ja) 画像処理装置、システム、画像処理方法、およびプログラム
JP2024038527A (ja) 信号処理装置、信号処理方法及び信号処理システム
US20230421739A1 (en) Robust Stereo Camera Image Processing Method and System
WO2023145442A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
CN110908366B (zh) 自动驾驶方法及装置
KR20240066751A (ko) 차량 및 차량위치산출방법
KR20230086921A (ko) 라이다 데이터 및 컬러 정보 매핑 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination