CN102037735A - 用于车辆照相机的照相机外在参数的自标定 - Google Patents

用于车辆照相机的照相机外在参数的自标定 Download PDF

Info

Publication number
CN102037735A
CN102037735A CN2009801181270A CN200980118127A CN102037735A CN 102037735 A CN102037735 A CN 102037735A CN 2009801181270 A CN2009801181270 A CN 2009801181270A CN 200980118127 A CN200980118127 A CN 200980118127A CN 102037735 A CN102037735 A CN 102037735A
Authority
CN
China
Prior art keywords
camera
ground
images
point
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009801181270A
Other languages
English (en)
Other versions
CN102037735B (zh
Inventor
W.张
M.J.沃尔斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN102037735A publication Critical patent/CN102037735A/zh
Application granted granted Critical
Publication of CN102037735B publication Critical patent/CN102037735B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种用于在车辆驾驶时标定车辆上的照相机的系统和方法。所述方法包括识别来自于车辆的至少两个照相机图像中的至少两个特征点，所述车辆在获取所述图像之间已经移动。所述方法然后确定两个照相机位置之间的照相机移动方向。之后，所述方法基于来自于图像的相应特征点和照相机移动方向来确定照相机坐标中的地平面。所述方法然后确定照相机在地面上方的高度和照相机在车辆坐标中的旋转。

Description

用于车辆照相机的照相机外在参数的自标定
技术领域
本发明总体上涉及用于标定车辆上的照相机的系统和方法，且更具体地涉及用于自动地标定车辆上的照相机的系统和方法，所述照相机跟踪地面上的点。
背景技术
现代车辆有时包括一个或多个照相机，所述照相机提供备用辅助，获得车辆驾驶员的图像以确定驾驶员的睡意或注意力，在车辆行驶时提供道路图像以用于避免碰撞目的，提供结构识别（例如道路标志等）。对于图形叠加在照相机图像上的那些应用，重要的是准确地标定照相机相对于车辆的位置和取向。由于制造公差，在每个车辆上必须针对诸如预测车辆路线的准确叠加的事情进行独立的生产线结束（end-of-line）照相机标定或售后照相机调节。
一些已知照相机系统不提供照相机标定，而是回归可能提供几度误差的缺省值。其它照相机系统提供预先标定方法，其中，照相机图像上的点被手动标记，且特征点位置在车辆坐标中手动测量，例如通过提供图像的检测板图案。然而，这些标定技术通常是耗时的且必须在维护位置进行。因而，如果车辆在行驶且碰撞道路中的突起物或一些其它障碍物，照相机位置可能改变，此时，标定将不准确，直到车辆被带到维护位置以被校正。
照相机标定包括确定一组参数，所述参数将照相机图像坐标与车辆坐标相关联，反之亦然。一些照相机参数（如，照相机焦距、光学中心等）是稳定的，而其它参数（如，照相机取向和位置）不稳定。例如，照相机的高度取决于车辆的负载，负载将随时间而变。该变化可使得在照相机图像上叠加的车辆轨迹图形不准确。因而，需要一种在车辆驾驶时自动地标定较不稳定的照相机参数的照相机标定过程，其中，车辆照相机系统随时间连续地调节自身。
发明内容
根据本发明的教导，公开了一种用于在车辆驾驶时标定车辆上的照相机的系统和方法。所述方法包括识别来自于车辆的至少两个照相机图像中的至少两个特征点，所述车辆在获取所述图像之间已经移动。所述方法然后确定两个照相机位置之间的照相机移动。之后，所述方法基于来自于图像的相应特征和照相机移动方向来确定照相机坐标中的地平面。所述方法然后确定照相机在地面上方的高度和照相机在车辆坐标中的旋转。
本发明的附加特征从以下说明和所附权利要求结合附图显而易见。
附图说明
图1是车辆附近的地面的照相机图像，所述图像包括叠加图形；
图2（a）和2（b）示出了两个连续照相机帧的照相机图像的图示；
图3是包括照相机的车辆从一个位置移动到另一个位置的图示，其中，地面上的点用于标定照相机；
图4是照相机相对于地面的图示，以确定地平面；
图5是照相机相对于地面的图示，以确定在地面上方的照相机高度；
图6是车辆相对于地面的图示，以确定车辆坐标；
图7是照相机相对于地面的图示，以确定在车辆坐标中的照相机旋转；
图8是照相机相对于地面的图示，以使用两个点确定照相机的标定；
图9是照相机在相对于地面的不同位置处的图示，以在没有车辆行驶距离的情况下确定地平面；
图10是用于限定地平面的图示，其中，多个照相机快照示出了在照相机坐标<O1>和<O2>中的三维点；
图11是用于限定地平面的图示，其中，多个照相机快照示出了在照相机坐标<O1>中的三维点；
图12是示出了具有在照相机坐标中的三维点的地平面取向识别的图示；
图13是地平面取向识别的图示，示出了照相机坐标中的三维点；
图14是示出了地平面取向识别和合并地平面的图示；
图15是照相机相对于地面的图示，以在车辆转向时确定照相机标定；
图16是照相机相对于地面的图示，用于确定地平面；
图17是照相机相对于两个伪地平面的图示，用于确定地平面位置；和
图18是示出了用于标定照相机的自动标定过程的流程图，所述自动标定过程提供累进迭代。
具体实施方式
涉及用于在车辆驾驶时标定车辆上的照相机的系统和方法的本发明实施例的以下阐述本质上仅仅是示例性的且不旨在以任何方式限制本发明或其应用或使用。例如，本发明标定车辆上的照相机。然而，如本领域技术人员理解的那样，本发明的照相机标定方法可以应用于标定可能不在车辆上的其它照相机。
如上所述，对于某些照相机应用，由照相机生成的照相机图像用图形（例如，车辆路径或轨迹）叠加，以帮助车辆驾驶员导航车辆。图1是在车辆（未示出）后面的地面的照相机图像10的图示，其中，车辆倒车进入驻车空间12。叠加图形线14和16在照相机图像上显示，照相机图像将在仪表盘的显示屏上显示给车辆驾驶员，以给驾驶员显示车辆正确地倒车进入驻车空间12需要的路径。
如下文将详细讨论的那样，将描述用于标定照相机的各种技术，取决于什么信息可用以确定照相机在地面上方的高度和照相机在车辆坐标中的取向。在第一种情况下，车辆以直线行驶，地面上的固定点以连续视频帧跟踪，提供里程表或车辆速度读数以计算在照相机图像之间车辆行驶的距离。如将讨论的那样，对于第一种情况，算法确定对于照相机的不同位置而言在照相机坐标之间的移动和旋转，所述位置在第一位置的照相机坐标中测量。该算法也基于地面上的至少两个点和照相机移动方向来确定照相机坐标中的地平面表示。该算法然后识别照相机在地面上方的高度和照相机在车辆坐标中的旋转。
图2（a）示出了车辆24前面的道路22的照相机图像20，其中，在图像20中识别特征点26。图2（b）是道路22的照相机图像28的下一帧，其中，特征点26更接近车辆24。
图3是在地面34上行驶且包括照相机32的车辆30的图示，照相机32在车辆行驶时获取地面34的图像。在该显示中，车辆30从第一位置行驶到彼此距离为t1的第二位置。在第一位置，照相机32的中心识别为点O1，在第二位置，照相机32的中心识别为点O2。也示出了地面特征点P和Q以及特征点P在移动照相机32的标准化图像平面（由线36表示）中的投影位置p1和p2。
当车辆24以直线在平坦地面34上行驶时，在地面上使用例如Harris角点检测器在照相机图像中围绕其驾驶路径区域识别特征点P和Q。由此，在下一图像帧中有相应特征点P和Q，可以使用金字塔Lucas-Kanade光流估计算法来识别。对于图像中的每个跟踪点（u, v），特征点（例如，P）基于给定的照相机内在参数在每个标准化图像平面中表示为p＝(xn, yn, 1)。给定两个相邻帧，跟踪的相应特征点在其相应标准化图像平面36中表示为点对（例如，<p1, p2>）。对于每个跟踪点（例如P），三个点（即，第一照相机快照的照相机中心O1、第二照相机快照的照相机中心O2、和地面点P）在三维空间中限定平面。由于p1在光射线O1P上，p2在光射线O2P上，因此，五个点O1、O2、p1、p2和P共面。因而：
Figure 2009801181270100002DEST_PATH_IMAGE001
在车辆30以直线移动时，在照相机32的位置之间没有旋转。在照相机坐标<O1>中，射线O1p1和O2p2由矢量p1和p2表示。线O1O2由点对车辆移动方向t＝[t1, t2, t3]T表示。使用该标记，方程（1）可以重写为：
方程（2）中的唯一未知项是移动方向t。对于每个相应特征点对<p1, p2>，方程（2）能以矩阵形式重写为：
Figure 2009801181270100002DEST_PATH_IMAGE003
，其中
Figure 36461DEST_PATH_IMAGE004
以及
Figure 2009801181270100002DEST_PATH_IMAGE005
方程（3）是关于未知距离t1, t2和t3的线性方程，其中，
Figure 501684DEST_PATH_IMAGE006
。移动方向t可以从至少两个点对<p1, p2>确定。由于在快照之间的距离|t1|作为车辆行驶方向给出，因而，在两个快照之间的移动方向t1表示为t1＝|t1|t。
如果有多于两对的相应照相机点<p1, p2>和<q1, q2>，那么可以在排除噪音的情况下使用总体最小二重估计，以鲁棒地估计移动方向t。给定所有相应特征点，总体最小二重估计用于估计移动方向t。给定估计移动方向t，排除了由方程（2）估算的界外特征点，其在所有特征点的标准偏差的三倍之外。根据其余特征点再次使用总体最小二重估计来估计鲁棒的移动方向t。
一旦算法已经计算照相机移动方向t，那么算法基于地面34上的至少两个点P和Q以及照相机移动方向t来确定照相机坐标中的地平面表示。图4是在相对于地平面40的位置O1和O2时照相机32的图示。
由于移动方向矢量t已知，在照相机坐标<O1>中每个点P的三维位置可以基于三角测定从相应照相机点对<p1, p2>计算。假定车辆高度h在照相机标定期间不变，照相机移动方向t平行于地平面40。因而，在地面34上的重构三维点与照相机移动方向t一起限定地平面40。
如果在地面34上有多于两对的相应特征点，则计算均值m，然后所有计算的三维点被投影到移动方向t的零空间上。主成分分析（PCA）可以用于在移动方向t的零空间中寻找地面特征点的显著变化方向（dominant variation direction）d。方向d是方向t和地平面法线（norm）n的矢量积。显著变化方向d、照相机移动方向t和特征点均值m在照相机坐标<O1>中限定地平面40。
实际上，不是所有跟踪特征点P和Q都在地面34上。地面上方特征点归因于误差/噪音。因而，排除距地平面40的距离大于阈值的特征点。最终地平面从其余特征点估计。
一旦算法确定照相机坐标中的地平面40，算法首先排除不在地面上的那些点，且然后确定在地面34上方的照相机高度h。图5是照相机32相对于地平面40的显示，示出了用于该计算的矢量和点。点S表示界外，高于估计地平面34。为了识别地平面40上方的照相机高度h，地平面40的法线n根据n=d×t计算。地平面40上方的照相机高度h可以根据特征点均值m和地平面法线n之间的内积（h＝<m, n>）计算。
一旦算法计算照相机32的高度h，算法识别在车辆坐标中的照相机旋转。图6是识别相对于地平面40的车辆坐标帧<x, y, z>的车辆50的图示。限定在地面34上车辆50的后轮之间居中的原点。x轴平行于车辆保险杠，y轴是在没有转向的情况下的车辆倒车方向，z轴是地平面40的法线n。
由于车辆50以直线移动，因而，y轴平行于照相机移动方向t。x方向与方向d相同，因为两者均在地平面40中垂直于y轴。因而，在照相机坐标<O1>中车辆坐标限定为<d, t, n>。
图7示出了照相机32相对于地平面40，包括用于计算车辆坐标中的照相机位置的变量，其中，α是照相机32的下俯角，γ是照相机32的偏航角。在照相机坐标和车辆坐标之间的旋转矩阵给出为：
Figure 2009801181270100002DEST_PATH_IMAGE007
上述基于两个照相机快照帧来确定车辆坐标中的照相机取向的方法可以扩展为多个数据帧，以提供用于确定照相机高度和旋转的更鲁棒过程。图8是沿地面34行驶的照相机32的图示，其中，在三个照相机位置O1、O2和O3获取图像，如图所示。对于地面34上的点P，三维空间中的平面可以由照相机位置O1和O2以及地面点P限定。点p1和p2是地面点P在照相机位置O1和O2处的图像投影点。此外，照相机位置O2和O3与地面点P相结合可以限定三维空间中的第二平面。点q2和q3是地面点Q在照相机位置O2和O3处的图像投影点。移动方向距离|t1|是点O1和O2之间的距离，移动方向距离|t2|是点O2和O3之间的距离。如果有多于两个的快照，可以改进照相机高度h和旋转的估计。在该情况下，需要跟踪每对相邻照相机位置中的至少一个点。
第一快照的照相机中心位置O1、第二快照的照相机中心位置O2、和地面点P在三维空间中限定平面。由于p1在光射线O1P上，p2在光射线O2P上，因此，五个点O1、O2、p1、p2和P共面。类似地，五个点O2、O3、q2、q3和Q也共面。虽然相邻快照之间的移动方向t1和t2在两个不同的照相机坐标中测量，但是由于车辆以直线行驶，因而它们在两个坐标中都具有相同方向t。因而：
Figure 772259DEST_PATH_IMAGE008
Figure 524314DEST_PATH_IMAGE009
移动方向t＝[t1, t2, t3]T可以通过任意对相邻照相机位置中总共至少两个点对根据方程（5）和方程（6）确定。由于在相邻快照之间的距离|t1|和|t2|作为车辆行驶距离给出，因此，移动t1＝|t1|t且t2＝|t2|t。如果有多于两对的相应点，那么可以在排除噪音的情况下使用总体最小二重估计来估计鲁棒的移动方向t。
在该实施例中，算法使用两个照相机坐标基于地面34上的至少两个点和照相机移动方向t来确定照相机坐标中的地平面表示。图9是类似于图4的图示，示出了在三个位置处的照相机32以提供用于确定地平面的计算。当有多于两个的照相机位置时，三维点位置能通过仅仅考虑任何给定点的两个照相机位置以与上文所述相同的方式重构。在该情况下，三维位置能够关于任何一个照相机坐标<O1>或<O2>构建。由于照相机位置之间的移动已知，因而坐标可以容易地转换为参考帧。替代地，关于照相机坐标<O1>重构的三维位置Q’与三维点Q仅相差平行于地面的已知移动。为了加速处理，点Q’可以在地面34上用来取代点Q，用于上述地平面确定且继续方案。图10是示出了在照相机坐标<O1>和<O2>中的三维点的图示，图11是示出了在照相机坐标<O1>中的三维点的图示。
算法然后以与上文参考图5、6和7所述的过程相同的方式计算地面上方的照相机高度h、限定车辆坐标且计算车辆坐标中的照相机旋转。
根据用于第二情况的本发明另一个实施例，照相机32在不知道用于提供标定的图像之间行驶的距离|t|的情况下进行标定。例如，由于某些原因，可能不能提供车辆速度测量值。在该情况下，照相机旋转仅可以在车辆坐标中估计。如上，计算对于照相机32的不同位置在照相机坐标之间的移动方向t。这些位置在第一位置处的照相机坐标中测量。
借助于更多跟踪特征点，可以排除不在地平面40上的点。通过提供多于两个的照相机位置，可以更准确地计算距离d以确定地平面40的位置。
虽然在图像快照之间行驶的距离未知，但是在给定图像中的跟踪点时，上文所述相同的方法可以用于使用方程（5）和（6）来估计照相机坐标中的移动方向t。
三维点位置能通过仅仅考虑任何给定点的两个照相机位置以与上文所述相同的方式计算，但是假定在相邻照相机位置之间的未知距离是单位值。相对于照相机坐标移动的重构点Q’用于估计地平面法线n。由于标度模糊性，重构点Q’在水平面上具有与Q不同的深度。换句话说，重构三维点位置处于伪地平面上，伪地平面具有与地平面不同的深度和相同的平面法线，对于每个照相机原点确定为仅达到标度因子，如图12所示。
与第一情况的上述说明不同，这些计算需要每个照相机对的至少两个特征点（即，在每个伪地平面上），以估计鲁棒的地面法线n，如图13所示。一旦获得伪地平面（例如，ground1和ground2）的集合，伪地平面可以通过减去其均值而竖直地合并，从而所有点处于共同的伪地平面上，如示出了合并的伪地平面56的图14所示。合并地平面56上的所有点被投影到移动方向t的零空间上。主成分分析可以用于在移动方向t的零空间中寻找地面点的显著变化方向d。因而，地平面的法线n为n=d×t。因而，在不知道获取图像时照相机32之间的距离的情况下识别地平面法线n。照相机坐标和车辆坐标之间的旋转矩阵由方程（4）确定。
上述用于标定照相机32的讨论需要车辆以直线移动。然而，在可能需要在车辆转向角变化时标定照相机32的一些应用中，这可能是太明显的约束。第三情况是处理在车辆行驶时提供照相机标定，其中，对于车辆行驶的两个不同的直的部段获取来自于快照的点之间的关系终点。由于车辆在同一平面中转向，仅仅存在从一个位置到另一个位置的平面内旋转移动，这可以被扣除，就像不发生转向一样。
图15是沿地面34行驶的照相机32的图示，其中，快照图像在四个位置O1、O2、O3和O4处获取。在该显示中，车辆10在位置O1和O2之间直线行驶，在位置O2和O3之间转向，在位置O3和O4之间再次直线行驶。根据平面O1、p1、O2、p2和P且根据地平面O3、p3、O4、p4和Q以与上文所述相同的方式确定移动方向t：
Figure DEST_PATH_IMAGE010
地平面40的位置以与图16所示相同的方式确定。类似地，照相机高度h、车辆坐标<x, y, z>和在车辆坐标<x, y, z>中的照相机旋转也以与上文所述相同的方式计算。
此外，如果在位置O1和O2和O3和O4之间行驶的距离未知且车辆转向，那么使用合并地平面52和54来确定地平面法线n能以与上文所述相同的方式进行，如图17所示。
根据本发明的另一个实施例，自动标定过程是累进的，其中，连续地更新以提供精化、去除噪音且调整特征点数量的大小。图18是示出了用于自动标定过程的更新过程的流程图60。在框62，基于角值（cornerness value）和在图像中的相应误差选择可靠的特征点。在框64，选择的特征点将其三个方向位置传送给在框66处图像中的附加的检测特征，以用于下一迭代。在框68，提供累计点。然后，在框72，根据框70处的下一图像提供新检测的对应特征点。在框74，提供自动标定过程，在框76，提供三维空间中的更新特征点。然后，在框78执行地平面模型检验，在框80更新地平面。在框82检测适合当前地平面模型的新特征，在框84识别新特征点。
前述说明仅仅公开和描述本发明的示例性实施例。本领域技术人员从这种说明和附图以及权利要求书将容易认识到，能够对本发明进行各种变化、修改和变型，而不偏离由所附权利要求书限定的本发明的精神和范围。

Claims (20)

1.一种用于标定相对于地面移动的照相机的方法，所述方法包括：
识别至少两个照相机图像中的至少两个特征点；
确定在照相机的第一位置时用于照相机的不同位置的照相机坐标之间的照相机移动和旋转；
限定照相机坐标中的地平面；
确定照相机在地面上方的高度；以及
识别照相机在车辆坐标中的旋转。
2.根据权利要求1所述的方法，其中，确定照相机移动和旋转包括：相对于标准化图像平面识别照相机在所述至少两个图像中的位置点；使用照相机的两个图像的照相机位置点和一个特征点来识别三维空间；以及使用三维空间来确定两个图像之间的照相机移动方向。
3.根据权利要求2所述的方法，其中，在获取两个图像的位置之间的距离已知时，计算移动方向。
4.根据权利要求2所述的方法，其中，在获取两个图像的位置之间的距离未知时，估计移动方向。
5.根据权利要求2所述的方法，其中，限定地平面包括基于所述至少两个特征点和照相机移动方向限定照相机坐标中的地平面。
6.根据权利要求5所述的方法，其中，限定地平面包括使用移动方向、用以确定地面上的点的均值的地面上的两个点、地面点的显著变化方向和地面法线方向。
7.根据权利要求1所述的方法，其中，确定照相机高度包括计算特征点的均值和地平面法线之间的内积，其中，照相机高度用于排除不在地面上的特征点。
8.根据权利要求1所述的方法，其中，确定在车辆坐标中的照相机旋转包括使用照相机下俯角和照相机偏航角来确定车辆坐标中的照相机位置。
9.根据权利要求1所述的方法，其中，识别特征点包括在车辆以直线行驶时识别特征点。
10.根据权利要求1所述的方法，其中，提供至少两个照相机图像包括提供多于两个的照相机图像。
11.根据权利要求1所述的方法，其中，限定地平面包括合并地面上检测的每个特征点的独立地平面。
12.根据权利要求1所述的方法，其中，识别至少两个特征点包括识别一个时间帧的两个照相机图像的两个特征点和另一个时间帧的两个照相机图像的两个特征点。
13.根据权利要求12所述的方法，其中，照相机在所述一个时间帧期间以直线移动，照相机在所述两个时间帧之间转向，照相机在所述另一个时间帧期间以直线移动。
14.根据权利要求1所述的方法，其中，照相机在车辆上。
15.一种用于标定在相对于地面移动的车辆上的照相机的方法，所述方法包括：
识别至少两个照相机图像中的至少两个特征点；
确定在照相机的第一位置时用于照相机的不同位置的照相机坐标之间的照相机移动和旋转，其中，确定照相机移动和旋转包括：相对于标准化图像平面识别照相机在所述至少两个图像中的位置点；使用照相机的两个图像的照相机位置点和一个特征点来识别三维空间；以及使用三维空间来确定两个图像之间的照相机移动方向；
基于所述至少两个特征点和照相机移动方向来限定照相机坐标中的地平面，其中，限定地平面包括使用移动方向、用以确定地面上的点的均值的地面上的两个点、地面点的显著变化方向和地面法线方向；
排除不在地平面上的特征点；
通过计算特征点的均值和地平面法线之间的内积来确定照相机在地面上方的高度，其中，照相机高度用于排除不在地面上的特征点；以及
使用照相机下俯角和照相机偏航角来识别照相机在车辆坐标中的旋转。
16.根据权利要求15所述的方法，其中，在获取两个图像的位置之间的距离已知时，计算移动方向。
17.根据权利要求15所述的方法，其中，在获取两个图像的位置之间的距离未知时，估计移动方向。
18.根据权利要求15所述的方法，其中，限定地平面包括合并地面上检测的每个特征点的独立地平面。
19.根据权利要求15所述的方法，其中，识别至少两个特征点包括识别一个时间帧的两个照相机图像的两个特征点和另一个时间帧的两个照相机图像的两个特征点，其中，照相机在所述一个时间帧期间以直线移动，照相机在所述两个时间帧之间转向，照相机在所述另一个时间帧期间以直线移动。
20.一种用于标定在相对于地面移动的车辆上的照相机的方法，所述方法包括：
识别至少两个照相机图像中的至少两个特征点；
确定在照相机的第一位置时用于照相机的不同位置的照相机坐标之间的照相机移动和旋转，其中，确定照相机移动和旋转包括：相对于标准化图像平面识别照相机在所述至少两个图像中的位置点；使用照相机的两个图像的照相机位置点和一个特征点来识别三维空间；以及使用三维空间来确定两个图像之间的照相机移动方向；
基于所述至少两个特征点和照相机移动方向来限定照相机坐标中的地平面；
通过计算特征点的均值和地平面法线之间的内积来确定照相机在地面上方的高度；以及
识别照相机在车辆坐标中的旋转。
CN2009801181270A 2008-05-22 2009-05-08 用于车辆照相机的照相机外在参数的自标定方法 Active CN102037735B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US12/125,471 US8373763B2 (en) 2008-05-22 2008-05-22 Self calibration of extrinsic camera parameters for a vehicle camera
US12/125471 2008-05-22
US12/125,471 2008-05-22
PCT/US2009/043270 WO2009142921A2 (en) 2008-05-22 2009-05-08 Self calibration of extrinsic camera parameters for a vehicle camera

Publications (2)

Publication Number Publication Date
CN102037735A true CN102037735A (zh) 2011-04-27
CN102037735B CN102037735B (zh) 2013-09-25

Family

ID=41340776

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801181270A Active CN102037735B (zh) 2008-05-22 2009-05-08 用于车辆照相机的照相机外在参数的自标定方法

Country Status (4)

Country Link
US (1) US8373763B2 (zh)
CN (1) CN102037735B (zh)
DE (1) DE112009001197B4 (zh)
WO (1) WO2009142921A2 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622744A (zh) * 2012-01-17 2012-08-01 浙江大学 一种基于多项式投影模型的长焦相机标定方法
CN103718213A (zh) * 2012-01-13 2014-04-09 索弗特凯耐提克软件公司 自动场景校准
CN104008548A (zh) * 2014-06-04 2014-08-27 无锡观智视觉科技有限公司 一种用于车载环视系统摄像头参数标定的特征点抽取方法
CN104715473A (zh) * 2013-12-11 2015-06-17 鹦鹉股份有限公司 用于对自动车辆车载的摄像机的位置进行角度校准的方法
CN106101686A (zh) * 2015-04-27 2016-11-09 株式会社理光 叠层玻璃及其制造方法、立体相机的校准方法和校准系统
CN107784672A (zh) * 2016-08-26 2018-03-09 百度在线网络技术（北京）有限公司 用于获取车载相机的外部参数的方法和装置
CN111145249A (zh) * 2019-08-30 2020-05-12 广东星舆科技有限公司 一种基于车载的自动标定控制方法、存储介质和系统
CN111429527A (zh) * 2020-03-24 2020-07-17 广东星舆科技有限公司 一种车载相机的外参自动标定方法及系统
WO2022032716A1 (en) * 2020-08-12 2022-02-17 Hong Kong Applied Science and Technology Research Institute Company Limited Apparatus and method for estimating camera orientation relative to ground surface

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7720580B2 (en) 2004-12-23 2010-05-18 Donnelly Corporation Object detection system for vehicle
US8017898B2 (en) 2007-08-17 2011-09-13 Magna Electronics Inc. Vehicular imaging system in an automatic headlamp control system
US20090179916A1 (en) * 2008-01-10 2009-07-16 Williams Steven A Method and apparatus for calibrating a video display overlay
WO2011085489A1 (en) 2010-01-13 2011-07-21 Magna Electronics Inc. Vehicular camera and method for periodic calibration of vehicular camera
US8885049B2 (en) * 2010-03-19 2014-11-11 Sony Corporation Method and device for determining calibration parameters of a camera
FR2962581B1 (fr) * 2010-07-06 2013-07-05 Imajing Methode de calibration de l'orientation d'une camera video embarquee
EP2601782A4 (en) 2010-08-02 2016-09-28 Univ Beijing REPRESENTATIVE MOVEMENT DATA FLOW EXTRACTION FOR EFFICIENT RECOVERY AND CLASSIFICATION OF VIDEO DATA
WO2012075250A1 (en) 2010-12-01 2012-06-07 Magna Electronics Inc. System and method of establishing a multi-camera image using pixel remapping
DE102010062297B4 (de) * 2010-12-01 2023-11-23 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Kalibrierung einer Videokamera in oder an einem Fahrzeug
US8773535B2 (en) * 2010-12-08 2014-07-08 GM Global Technology Operations LLC Adaptation for clear path detection using reliable local model updating
JP5830876B2 (ja) * 2011-02-18 2015-12-09 富士通株式会社 距離算出プログラム、距離算出方法及び距離算出装置
US20120242839A1 (en) * 2011-03-25 2012-09-27 Tk Holdings Inc. Image sensor calibration system and method
WO2012139636A1 (en) 2011-04-13 2012-10-18 Connaught Electronics Limited Online vehicle camera calibration based on road surface texture tracking and geometric properties
WO2012139660A1 (en) 2011-04-15 2012-10-18 Connaught Electronics Limited Online vehicle camera calibration based on road marking extractions
WO2012145818A1 (en) 2011-04-25 2012-11-01 Magna International Inc. Method and system for dynamically calibrating vehicular cameras
WO2012145822A1 (en) 2011-04-25 2012-11-01 Magna International Inc. Method and system for dynamically calibrating vehicular cameras
AU2011202555B2 (en) * 2011-05-31 2013-07-18 Canon Kabushiki Kaisha Multi-view alignment based on fixed-scale ground plane rectification
JP6058256B2 (ja) 2011-06-13 2017-01-11 アルパイン株式会社 車載カメラ姿勢検出装置および方法
US11025865B1 (en) * 2011-06-17 2021-06-01 Hrl Laboratories, Llc Contextual visual dataspaces
US10793067B2 (en) 2011-07-26 2020-10-06 Magna Electronics Inc. Imaging system for vehicle
WO2013019707A1 (en) 2011-08-01 2013-02-07 Magna Electronics Inc. Vehicle camera alignment system
WO2013043661A1 (en) 2011-09-21 2013-03-28 Magna Electronics, Inc. Vehicle vision system using image data transmission and power supply via a coaxial cable
JP5864984B2 (ja) * 2011-09-26 2016-02-17 東芝アルパイン・オートモティブテクノロジー株式会社 車載カメラ用画像補正方法および車載カメラ用画像補正プログラム
WO2013074604A2 (en) 2011-11-15 2013-05-23 Magna Electronics, Inc. Calibration system and method for vehicular surround vision system
US10099614B2 (en) 2011-11-28 2018-10-16 Magna Electronics Inc. Vision system for vehicle
US9762880B2 (en) 2011-12-09 2017-09-12 Magna Electronics Inc. Vehicle vision system with customized display
FR2984512B1 (fr) 2011-12-16 2015-12-11 Morpho Procede et systeme d'auto-calibration d'un dispositif de mesure de vitesse d'un vehicule circulant dans un espace tridimensionnel
JP5899944B2 (ja) * 2012-01-17 2016-04-06 沖電気工業株式会社 車種判別装置
EP2618305B1 (de) * 2012-01-20 2014-04-30 ESG Elektroniksystem- und Logistik-GmbH Verfahren und Vorrichtung zur Online-Kalibrierung von Fahrzeug-Kameras
US9875542B2 (en) * 2012-01-23 2018-01-23 Nec Corporation Camera calibration device, camera calibration method, and camera calibration program
JP5926645B2 (ja) * 2012-08-03 2016-05-25 クラリオン株式会社 カメラパラメータ演算装置、ナビゲーションシステムおよびカメラパラメータ演算方法
EP2712762B1 (de) * 2012-09-28 2021-09-01 Valeo Siemens eAutomotive Germany GmbH Positioniersystem und Verfahren zur Positionierung eines Fahrzeuges
US9723272B2 (en) 2012-10-05 2017-08-01 Magna Electronics Inc. Multi-camera image stitching calibration system
US10179543B2 (en) 2013-02-27 2019-01-15 Magna Electronics Inc. Multi-camera dynamic top view vision system
US9688200B2 (en) 2013-03-04 2017-06-27 Magna Electronics Inc. Calibration system and method for multi-camera vision system
US9322647B2 (en) 2013-03-28 2016-04-26 International Business Machines Corporation Determining camera height using distributions of object heights and object image heights
US9508014B2 (en) 2013-05-06 2016-11-29 Magna Electronics Inc. Vehicular multi-camera vision system
KR102077498B1 (ko) * 2013-05-13 2020-02-17 한국전자통신연구원 상호 기하 관계가 고정된 카메라 군의 이동 경로 추출 장치 및 방법
US9205776B2 (en) 2013-05-21 2015-12-08 Magna Electronics Inc. Vehicle vision system using kinematic model of vehicle motion
US9563951B2 (en) 2013-05-21 2017-02-07 Magna Electronics Inc. Vehicle vision system with targetless camera calibration
US9201424B1 (en) * 2013-08-27 2015-12-01 Google Inc. Camera calibration using structure from motion techniques
CN110223327B (zh) 2013-10-07 2023-08-01 苹果公司 用于提供位置信息或移动信息以用于控制车辆的至少一种功能的方法和系统
JP6201148B2 (ja) 2013-12-20 2017-09-27 パナソニックＩｐマネジメント株式会社 キャリブレーション装置、キャリブレーション方法、キャリブレーション機能を備えた移動体搭載用カメラ及びプログラム
US9487235B2 (en) 2014-04-10 2016-11-08 Magna Electronics Inc. Vehicle control system with adaptive wheel angle correction
EP2942951A1 (en) * 2014-05-06 2015-11-11 Application Solutions (Electronics and Vision) Limited Image calibration
DE102014209137B4 (de) * 2014-05-14 2023-02-02 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Kalibrierung eines Kamerasystems eines Kraftfahrzeugs
US9916660B2 (en) 2015-01-16 2018-03-13 Magna Electronics Inc. Vehicle vision system with calibration algorithm
EP3046076B1 (de) * 2015-01-16 2018-03-14 Delphi Technologies, Inc. Verfahren zum Kalibrieren einer Bilderfassungseinrichtung
US10946799B2 (en) 2015-04-21 2021-03-16 Magna Electronics Inc. Vehicle vision system with overlay calibration
EP3086284A1 (en) * 2015-04-23 2016-10-26 Application Solutions (Electronics and Vision) Limited Camera extrinsic parameters estimation from image lines
EP3125196B1 (en) 2015-07-29 2018-02-21 Continental Automotive GmbH Drive-by calibration from static targets
US11228700B2 (en) 2015-10-07 2022-01-18 Magna Electronics Inc. Vehicle vision system camera with adaptive field of view
CN105253063B (zh) * 2015-10-21 2018-07-06 奇瑞汽车股份有限公司 一种泊车影像静态车辅线标定装置和标定方法
US10187590B2 (en) 2015-10-27 2019-01-22 Magna Electronics Inc. Multi-camera vehicle vision system with image gap fill
CN108450058B (zh) 2015-12-28 2022-07-26 英特尔公司 实时自动车载相机校准
US10845188B2 (en) 2016-01-05 2020-11-24 Microsoft Technology Licensing, Llc Motion capture from a mobile self-tracking device
US11277558B2 (en) 2016-02-01 2022-03-15 Magna Electronics Inc. Vehicle vision system with master-slave camera configuration
US11433809B2 (en) 2016-02-02 2022-09-06 Magna Electronics Inc. Vehicle vision system with smart camera video output
US10339390B2 (en) 2016-02-23 2019-07-02 Semiconductor Components Industries, Llc Methods and apparatus for an imaging system
DE102016104729A1 (de) * 2016-03-15 2017-09-21 Connaught Electronics Ltd. Verfahren zur extrinsischen Kalibrierung einer Kamera, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
US10528826B2 (en) 2016-05-06 2020-01-07 GM Global Technology Operations LLC Vehicle guidance system
US10528056B2 (en) 2016-05-06 2020-01-07 GM Global Technology Operations LLC Vehicle guidance system
US11068730B1 (en) * 2016-06-14 2021-07-20 State Farm Mutual Automobile Insurance Company Apparatuses, systems, and methods for determining vehicle operator distractions at particular geographic locations
EP3497405B1 (en) * 2016-08-09 2022-06-15 Nauto, Inc. System and method for precision localization and mapping
US10750119B2 (en) 2016-10-17 2020-08-18 Magna Electronics Inc. Vehicle camera LVDS repeater
JP6536529B2 (ja) * 2016-10-17 2019-07-03 株式会社デンソー 車載カメラのキャリブレーション装置及び車載カメラのキャリブレーション方法
DE102016224095A1 (de) 2016-12-05 2018-06-07 Robert Bosch Gmbh Verfahren zum Kalibrieren einer Kamera und Kalibriersystem
US10452076B2 (en) 2017-01-04 2019-10-22 Magna Electronics Inc. Vehicle vision system with adjustable computation and data compression
DE102017109445A1 (de) 2017-05-03 2018-11-08 Connaught Electronics Ltd. Kalibration einer Fahrzeug-Kameraeinrichtung in Fahrzeuglängsrichtung oder Fahrzeugquerrichtung
US10304210B2 (en) * 2017-05-25 2019-05-28 GM Global Technology Operations LLC Method and apparatus for camera calibration
JP6776202B2 (ja) * 2017-07-28 2020-10-28 クラリオン株式会社 車載カメラのキャリブレーション装置及び方法
DE102017216775A1 (de) 2017-09-21 2019-03-21 Volkswagen Aktiengesellschaft Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zur Steuerung einer Anzeige einer Augmented-Reality-Head-Up-Display-Vorrichtung für ein Kraftfahrzeug
EP3531376B1 (en) 2018-02-21 2020-09-30 Ficosa Adas, S.L.U. Calibrating a camera of a vehicle
DE102018204451A1 (de) * 2018-03-22 2019-09-26 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Autokalibrierung eines Fahrzeugkamerasystems
US10989562B2 (en) 2018-07-12 2021-04-27 Toyota Research Institute, Inc. Systems and methods for annotating maps to improve sensor calibration
DE102018212871A1 (de) * 2018-08-02 2020-02-06 Conti Temic Microelectronic Gmbh Vorrichtung und Verfahren zur Kamera-Kalibrierung
KR20200084934A (ko) * 2018-12-20 2020-07-14 삼성전자주식회사 차량의 주행을 제어하는 장치 및 차량의 주행을 제어하는 장치가 캘리브레이션을 수행하는 방법
CN109782755B (zh) * 2018-12-27 2022-05-31 广东飞库科技有限公司 控制agv进行校准、agv校准位置的方法、计算机存储介质及agv
US11629835B2 (en) * 2019-07-31 2023-04-18 Toyota Jidosha Kabushiki Kaisha Auto-calibration of vehicle sensors
US11423573B2 (en) 2020-01-22 2022-08-23 Uatc, Llc System and methods for calibrating cameras with a fixed focal point
EP3901913A1 (en) * 2020-04-22 2021-10-27 Continental Automotive GmbH Single camera calibration
CN113570659B (zh) * 2021-06-24 2024-03-29 影石创新科技股份有限公司 拍摄装置位姿估计方法、装置、计算机设备和存储介质
DE102021133091A1 (de) 2021-12-14 2023-06-15 Cariad Se Verfahren zur Ermittlung einer Ausrichtung einer Kameraeinheit einer Erfassungseinrichtung, Erfassungseinrichtung und Fahrzeug

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3560670B2 (ja) * 1995-02-06 2004-09-02 富士通株式会社 適応的認識システム
JP3436074B2 (ja) * 1997-06-10 2003-08-11 トヨタ自動車株式会社 車載ステレオカメラ
TW413795B (en) * 1999-02-26 2000-12-01 Cyberlink Corp An image processing method of 3-D head motion with three face feature points
US6813371B2 (en) * 1999-12-24 2004-11-02 Aisin Seiki Kabushiki Kaisha On-vehicle camera calibration device
US6535114B1 (en) * 2000-03-22 2003-03-18 Toyota Jidosha Kabushiki Kaisha Method and apparatus for environment recognition
CN100492413C (zh) * 2002-10-18 2009-05-27 北京大学 用于相机标定的方法及所用的彩色参照物
GB2412431B (en) 2004-03-25 2007-11-07 Hewlett Packard Development Co Self-calibration for an eye tracker
JP4681856B2 (ja) * 2004-11-24 2011-05-11 アイシン精機株式会社 カメラの校正方法及びカメラの校正装置
JP4820221B2 (ja) * 2006-06-29 2011-11-24 日立オートモティブシステムズ株式会社 車載カメラのキャリブレーション装置およびプログラム
CN100470590C (zh) * 2007-02-05 2009-03-18 武汉大学 相机标定方法及所用标定装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103718213A (zh) * 2012-01-13 2014-04-09 索弗特凯耐提克软件公司 自动场景校准
CN103718213B (zh) * 2012-01-13 2018-09-28 索尼深度传感解决方案股份有限公司 自动场景校准
CN102622744A (zh) * 2012-01-17 2012-08-01 浙江大学 一种基于多项式投影模型的长焦相机标定方法
CN104715473A (zh) * 2013-12-11 2015-06-17 鹦鹉股份有限公司 用于对自动车辆车载的摄像机的位置进行角度校准的方法
CN104715473B (zh) * 2013-12-11 2018-12-25 鹦鹉汽车股份有限公司 用于对自动车辆车载的摄像机的位置进行角度校准的方法
CN104008548A (zh) * 2014-06-04 2014-08-27 无锡观智视觉科技有限公司 一种用于车载环视系统摄像头参数标定的特征点抽取方法
CN106101686A (zh) * 2015-04-27 2016-11-09 株式会社理光 叠层玻璃及其制造方法、立体相机的校准方法和校准系统
CN107784672A (zh) * 2016-08-26 2018-03-09 百度在线网络技术（北京）有限公司 用于获取车载相机的外部参数的方法和装置
CN111145249A (zh) * 2019-08-30 2020-05-12 广东星舆科技有限公司 一种基于车载的自动标定控制方法、存储介质和系统
CN111145249B (zh) * 2019-08-30 2024-02-27 广东星舆科技有限公司 一种基于车载的自动标定控制方法、存储介质和系统
CN111429527A (zh) * 2020-03-24 2020-07-17 广东星舆科技有限公司 一种车载相机的外参自动标定方法及系统
CN111429527B (zh) * 2020-03-24 2023-12-01 广东星舆科技有限公司 一种车载相机的外参自动标定方法及系统
WO2022032716A1 (en) * 2020-08-12 2022-02-17 Hong Kong Applied Science and Technology Research Institute Company Limited Apparatus and method for estimating camera orientation relative to ground surface
US11348277B2 (en) 2020-08-12 2022-05-31 Hong Kong Applied Science and Technology Research Institute Company Limited Apparatus and method for estimating camera orientation relative to ground surface

Also Published As

Publication number Publication date
US8373763B2 (en) 2013-02-12
DE112009001197B4 (de) 2016-07-28
CN102037735B (zh) 2013-09-25
WO2009142921A3 (en) 2010-04-01
US20090290032A1 (en) 2009-11-26
DE112009001197T5 (de) 2011-04-07
WO2009142921A2 (en) 2009-11-26

Similar Documents

Publication Publication Date Title
CN102037735B (zh) 用于车辆照相机的照相机外在参数的自标定方法
US11741696B2 (en) Advanced path prediction
US11270131B2 (en) Map points-of-change detection device
KR102558055B1 (ko) 차선의 추정 방법
Wedel et al. B-spline modeling of road surfaces with an application to free-space estimation
JP6301828B2 (ja) 誘導用線路に沿って移動する車両の速度及び位置を測定する装置、並びに対応する方法及びコンピュータプログラム製品
CN111801711A (zh) 图像标注
CN111856491B (zh) 用于确定车辆的地理位置和朝向的方法和设备
US11341754B2 (en) Method and apparatus for auto calibration
KR101729912B1 (ko) 주행 중인 차량의 롤링각 평가 방법
CN109791598A (zh) 用于识别地面标记的图像处理方法以及地面标记检测系统
CN107798724A (zh) 自动化车辆3d道路模型和车道标记定义系统
JP2021508815A (ja) 妨害物体の検出に基づいて高精細度マップを補正するためのシステムおよび方法
JP6575686B2 (ja) 自己位置推定方法及び自己位置推定装置
Levinson Automatic laser calibration, mapping, and localization for autonomous vehicles
CN112908016B (zh) 基于停车位监控摄像的引导车辆驾驶的方法
JP6758160B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
US11623494B1 (en) Sensor calibration and verification using induced motion
US20210190526A1 (en) System and method of generating high-definition map based on camera
US11904843B2 (en) Autonomous parking systems and methods for vehicles
JP4020071B2 (ja) 周囲状況表示装置
JP2018159752A (ja) 地図情報学習方法及び地図情報学習装置
Bevilacqua et al. Egomotion estimation for monocular camera visual odometer
CN103047955B (zh) 用于求得便携式设备的位置的方法
US20240020868A1 (en) Vehicle and method of controlling the same

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant