CN103988231B - 用于校准车载的基于计算机的视觉系统的方法 - Google Patents

用于校准车载的基于计算机的视觉系统的方法 Download PDF

Info

Publication number
CN103988231B
CN103988231B CN201280060941.3A CN201280060941A CN103988231B CN 103988231 B CN103988231 B CN 103988231B CN 201280060941 A CN201280060941 A CN 201280060941A CN 103988231 B CN103988231 B CN 103988231B
Authority
CN
China
Prior art keywords
parameter
sequence
attitude
maps
terrestrial reference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201280060941.3A
Other languages
English (en)
Other versions
CN103988231A (zh
Inventor
M·岛姆
埃里克·罗伊尔
M·鲁依里尔
D·拉玛得桑
N·卡拉姆
克莱门特·戴米耶
V·利特维诺夫
希查姆·海志阿卜德尔卡德
T·夏读
吉恩-马克·莱维斯特
F·玛莫顿
瑟奇·阿立泽恩
L·玛拉特雷
皮埃尔·莱布拉立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CT D ETUDE DU MACHINISME AGRICOLE DU GENIE RURALE DES EAUX ET FORETS
Centre National de la Recherche Scientifique CNRS
Universite Clermont Auvergne
Original Assignee
CT D ETUDE DU MACHINISME AGRICOLE DU GENIE RURALE DES EAUX ET FORETS
Centre National de la Recherche Scientifique CNRS
Universite Clermont Auvergne
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CT D ETUDE DU MACHINISME AGRICOLE DU GENIE RURALE DES EAUX ET FORETS, Centre National de la Recherche Scientifique CNRS, Universite Clermont Auvergne filed Critical CT D ETUDE DU MACHINISME AGRICOLE DU GENIE RURALE DES EAUX ET FORETS
Publication of CN103988231A publication Critical patent/CN103988231A/zh
Application granted granted Critical
Publication of CN103988231B publication Critical patent/CN103988231B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本申请的校准方法包括在车辆(2)沿着轨道行驶期间，根据由基于计算机的视觉系统(10)所捕获的环境的数字图像，来对环境的3D地标的3D映射进行重构。其包括通过考虑至少一个外部参数和/或至少一个内部参数和/或至少一个姿态参数和/或至少一个3D地标参数为恒定，来对与第一图像序列相对应的至少一个3D映射进行优化，并且通过考虑所述至少一个外部参数和/或所述至少一个内部参数和/或所述至少一个姿态参数和/或所述至少一个3D地标参数为可变，来对与比所述第一图像序列长并且包括所述第一图像序列的第二图像序列相对应的至少一个3D映射进行优化，以便估计所述参数。

Description

用于校准车载的基于计算机的视觉系统的方法
本申请以及相应工作受到由法国政府研究计划“未来投资”通过IMobS3卓越实验室(ANR-10-LABX-16-01)，由欧盟通过区域竞争力和就业计划2007-2013(ERDF–奥弗涅地区)，以及奥弗涅地区的赞助。
技术领域
本申请涉及一种用于校准车载的基于计算机的视觉系统的方法，包括具有外部参数和内部参数的一组刚性摄像头。
背景技术
有可能使用基于计算机的视觉系统(其包括一组刚性的同步摄像头)来确定车辆行驶的环境的3D重构。
有可能使用这种基于计算机的视觉系统来对自动引导的车辆进行引导，这种系统被设计为使用由基于计算机的视觉系统所拍摄的图像，以便例如沿着了解的参考轨道进行移动。
为此，有可能根据由运行的基于计算机的视觉系统(“运动结构”或“SFM”)拍摄的图像使用3D重构。
在这种方法中，在学习阶段，操作人员可沿着参考轨道控制车辆的运动。通过执行预先记录的运动，还可自动地控制该车辆，无需操作人员。在运动期间，基于计算机的视觉系统从环境中采集图像，每个图像与基于计算机的视觉系统的姿态相对应。每个图像包括2D点或像素的矩阵，每个2D点或像素由其在矩阵中的位置以及其他参数(例如，颜色或强度)来限定。姿态限定了在可为全局或局部(相对于相邻的姿态)的欧几里德坐标系中的基于计算机的视觉系统的位置和方向以及其在所述欧几里德坐标系中的平移。根据坐标系的轴，位置由与坐标相对应的三个平移参数来表示，并且方向例如由相对于坐标系的三个角(欧拉角)来表示。
基于计算机的视觉系统识别在每个图像中的特征2D姿态，与在图像之间的特征2D地标进行匹配(“母板匹配”)，并且根据匹配的2D地标来重构3D映射(其包括与匹配的2D地标相对应的环境的3D地标的参数，以及与用于重构的图像相对应的基于计算机的视觉系统的姿态参数)，在处于该姿态中时，3D映射与基于计算机的视觉系统潜在可见的3D地标相关。3D映射还可使每个3D点与包围该点的兴趣区域相关。
特别地，3D地标和2D地标可为3D点和2D点(从图像中获得)。3D点的参数是3D点的位置坐标，使得每个3D点位于空间内。
对于每个姿态，姿态参数是限定该姿态的平移参数以及旋转参数。
摄像头集合包括外部参数，外部参数是使得其有可能从摄像头集合的一个摄像头的坐标位置移动到另一个摄像头的坐标位置的刚性转换的参数。使得其有可能从一个摄像头移动到另一个摄像头的刚性转换可由在欧几里德坐标系中的三个平移参数和三个旋转参数(即，六个参数)来限定。
摄像头集合包括特定于于每个摄像头的内部参数。在针孔照相机中，内部参数特别可包括焦距、主点的位置、图像的中心以及失真系数。
Mouragnon等人的文献“3D reconstruction of complex structures with bundleadjustment:an incremental approach",Processing IEEE International Conference onRobotics and Automation,ICRA.Orlando,FL,USA,May15-19,2006,Piscataway,NJ,USA,IEEE,15 May 2006,pages 3055-3061,DOI:10.1109/ROBOT.2006.1642166,ISBN:978-0-7803-9505-3”公开了针对单眼视觉系统，重构算法对由校准的照相机获得图像进行算法，即在重构期间，其参数被视为恒定。
然而，3D映射的精度以及根据3D映射的车辆引导取决于外部参数和内部参数的精确知识。
发明内容
因此，本申请的一个目标在于，提供能够一种校准方法，使得有可能精确地估计摄像头集合的外部参数和/或内部参数，这可快速地实现。
为此，本申请提出了一种根据权利要求的用于校准车载的基于计算机的视觉系统的方法、一种产品以及一种装置。
附图说明
鉴于下文的描述，本申请及其优点将会更容易理解，下文的描述仅仅作为一个实例并且参照附图来提供的，其中：
图1是自动制导车辆的图解侧视图，自动制导车辆包括基于计算机的视觉系统，基于计算机的视觉系统具有两个摄像头，从而能够实现根据本申请的方法；
图2是视觉系统的模型的图解视图；以及
图3是示出了通过将针对由包括所有基本序列的整个序列的3D映射的分层融合按升序排列，聚集基本序列的3D地图的步骤的方框图。
具体实施方式
图1中所示的车辆2为自动制导车辆(AGV)。其车辆包括：车轮4，包括至少一个方向盘；转向系统6，用于控制每个方向盘的操纵；驱动系统8，耦合到至少一个车轮4，以便促使车辆2向前或向后行驶；以及基于计算机的视觉系统10，用于控制转向系统6和电机8，以便控制车辆的行驶，使得车辆可自主行驶。
基于计算机的视觉系统10包括一组摄像头C1、C2，这一组摄像头经同步以便同时采集图像。这一组摄像头集合具有刚性：摄像头C1、C2彼此刚性连接，因此，相对于彼此固定。
摄像头C1、C2被布置在车辆2上，以便拍摄车辆的环境的图像。摄像头C1、C2定向为使其视场分开并且不重叠：在摄像头集合的给定姿态中，每个摄像头可见的场景对另一个摄像头而言不可见。
在所显示的实例中，基于计算机的视觉系统10包括两个摄像头：前置摄像头C1，其固定在车辆2上，以便朝着车辆2的前面拍摄图像；以及后置摄像头C2，其固定在车辆2上，以便朝着车辆2的后面拍摄图像。
基于计算机的视觉系统10包括信息处理模块16，其适合于接收和处理由基于计算机的视觉系统10所采集的数字图像，以便确定车辆2的位置并且控制转向系统6和驱动系统8，以便移动车辆2。
信息处理模块16经过变成以实现根据本申请的方法。信息处理模块16包括计算机和储存计算机程序的存储器，该计算机程序包含软件指令，软件指令在被信息处理模块执行时，实现根据本申请的校准方法。
在以下描述中，除非特别说明，否则术语“图像”表示由基于计算机的视觉系统10提供的环境的图像并且将由每个摄像头C1、C2单独提供的图像分组，并且术语“姿态”表示基于计算机的视觉系统10的姿态。
每个摄像头C1、C2具有内部参数。内部参数影响在实际环境与由摄像头C1、C2提供的相应图像之间的对应关系。特别地，摄像头的内部参数可包括焦距、主点的位置、图像的中心以及失真系数。
摄像头集合包括外部参数。这些外部参数确定在彼此刚性连接的摄像头C1、C2的姿态之间的关系。
如图2中所示，每个摄像头C1、C2链接至单独的坐标位置，通常，对于基于计算机的视觉系统10的每个姿态，具有能够从摄像头Ci的坐标位置移动到摄像头Cj的坐标位置的刚性转换ΔTi,j。
在示出的具有两个摄像头C1、C2的情况下，具有刚性转换ΔT1,2，使得其能够从摄像头C1的坐标位置移动到摄像头C2的坐标位置。
在两个摄像头之间的每个刚性转换ΔTi,j可由能够从一个摄像头移动到另一个摄像头的平移Δti,j以及能够从一个摄像头的方向移动到另一个摄像头的旋转ΔRi,j限定。平移Δti,j是根据与摄像头Ci相关的欧几里德坐标系的三个轴由与平移对应的三个参数来确定的，并且旋转ΔRi,j是由围绕与摄像头Ci相关联的欧几里德坐标系的三个轴的旋转相对应的三个参数来确定的。
校准方法包括对行驶车辆(“运动结构”或“SFM”)的环境的3D映射进行重构。
根据校准方法，基于计算机的视觉系统10采集的数字图像是在车辆2沿着轨道行驶时获得的，每个图像与基于计算机的视觉系统10沿着轨道的姿态相对应。在一个实施方式中，操作人员控制车辆2沿着轨道运动，并且在运动期间，基于计算机的视觉系统10采集环境的数字图像。
由基于计算机的视觉系统10所采集的每个图像包括像素或2D点的矩阵。特别地，每个2D点由其在矩阵中的位置来限定。
校准方法包括通过使每个姿态与基于计算机的视觉系统10潜在可见的一组3D地标相关联，来进行3D映射重构步骤，包括环境的3D地标、基于计算机的视觉系统10的姿态。潜在可见的地标可与每个摄像头相关联，以便确定在基于计算机的视觉系统的每个姿态中，哪个摄像头可能看见哪些3D地标。
在一个实施方式中，如图3中所示，将图像分成基本序列Si，每个基本序列Si包括数量X的相邻图像Ii，在两个连续的基本序列之间重叠Y个图像(两个连续的基本序列共同具有Y个图像)。在一个实施方式中，每个基本序列包括X＝3个图像Ii，重叠Y＝2个图像。
术语“相邻的图像”表示与靠近基于计算机的视觉系统10的姿态相对应的图像，以便这些图像重叠并且可具有能够匹配的2D地标。
校准方法包括根据每个基本序列Si重构3D映射。
在一个可能的实施方式中，第一基本序列Si的3D映射由地标的对极几何计算(epipolar geometry calculation)和三角测量来计算，然后，根据第一基本序列S1的映射，逐步地计算下一个基本序列Si(i>1)的3D地图。
对极几何计算使得有可能确定与第一基本序列S1的图像对应的基于计算机的视觉系统10的姿态。姿态由在全局或局部欧几里德坐标系中的三个平移参数和三个旋转参数限定(相对于相邻的姿态)。三角测量使得有可能确定与在第一基本序列S1的图像之间匹配的2D地标对应的3D地标的参数(即，3D地标的三维坐标)。3D点的参数是相对于已经观察到该点的姿态的在全局或局部欧几里德坐标系中的平移参数。
对极几何计算是以已知的方式来进行的，例如通过在序列的图像中识别特征2D地标，例如通过Harris角点方法、在序列的图像之间进行特征2D地标的匹配、计算基于计算机的视觉系统10的姿态，例如，通过在两个姿态上实现RANSAC型算法以及三个姿态的外插。
匹配的2D地标的三角测量的计算是以已知的方式来进行的，例如，通过中点方法。三角测量使得有可能获得3D地标，即，针对匹配的2D地标确定环境的3D点，其三维坐标在全局欧几里德坐标系中。
针对根据先前的基本序列重构基本序列的3D映射，在基本序列的额外图像中检测特征2D地标，基于计算机的视觉系统10的相应姿态是根据与已经在先前的基本序列的3D映射中计算的基于计算机的视觉系统10的姿态的特征2D地标匹配的这些特征2D地标来确定的，然后，对额外匹配的2D地标进行三角测量。
因此，逐步地重构所有基本序列。
每个基本序列Si的每个3D映射是通过执行捆绑调整算法来进行优化的。捆绑调整算法是迭代算法，使得有可能通过通常是价值函数的最小化的收敛准则来优化在3D映射计算中涉及的不同参数。根据由一组摄像头拍摄的图像在3D映射计算中涉及的参数包括3D地标参数、基于计算机的视觉系统的姿态的参数、基于计算机的视觉系统的外部参数以及基于计算机的视觉系统的内部参数。对在优化期间被视为可变的参数进行估计，而不对被视为恒定或固定的参数进行优化或估计。
通过考虑外部参数恒定，校准方法包括通过捆绑调整来对每个基本序列Si的3D映射进行优化。
校准方法包括基本序列Si的3D地图的聚集，以获得整个序列S的3D映射。
在一个实施方式中，如图3中所示，通过实现使用基本序列Si(其限定第一等级)的上升分层聚合方法，来执行聚合。从一个等级到更高等级的通道是通过成对地融合该等级的3D地图并且通过由融合产生的每个3D映射的捆绑调整进行优化来执行的，以便在从一个等级移动到更高的等级时，3D地图的数量除以2。在每个等级上执行该基本的聚合步骤，直到重构整个序列S。
从更低级的两个3D地图的融合产生的每个3D映射的捆绑调整是通过考虑外部参数恒定来进行优化的。
为3D地图的重构而执行的算法有利地包括一种使得异常地标的影响最小化的方法。在一个实施方式中，如果在一个姿态中由摄像头可见的3D地标的重新投影误差大于阈值，那么拒绝相应的2D地标。因此，特征2D地标选择性地分成异常地标(外露层)和有效地标(内围层)。
通过考虑至少一个外部参数可变，由捆绑调整来对整个序列S的3D映射进行优化。通过优化外部参数、3D地标以及基于计算机的视觉系统10的姿态，来对整个序列的3D映射进行优化。例如，通过根据Levenberg-Marquardt类型的优化技术，实现捆绑调整算法，来进行优化。
有利地，校准方法包括回路闭合检测步骤，用于检测和减小在3D映射重构中的漂移。
回路闭合检测使得有可能检测在基于计算机的视觉系统的第一姿态和第二姿态中观察的特征3D地标，通过或者不通过切换摄像头。
在相反的方向定位两个摄像头C1、C2的情况下，未切换的回路的闭合与360°旋转对应，例如，通过车辆2成圆圈地行驶，并且进行切换的回路闭合与180°旋转对应，例如，通过半旋转。
为了考虑进行切换的回路的闭合，单独处理每个摄像头的图像和摄像头的姿态。
为了检测回路的闭合，对于预定摄像头的姿态，验证前一个姿态的存在(通过该预定的摄像头或另一个摄像头)，验证表示前一个姿态足够靠近的接近标准。这样做，有可能验证在两个摄像头姿态的位置之间的距离是否小于距离阈值并且用于从一个姿态的方向移动到另一个姿态的方向的旋转角是否小于角度阈值。
在接近摄像头姿态存在时，对与这些摄像头姿态相关的图像的特征2D地标进行匹配，并且如果匹配的2D点的数量大于预定的数量，那么添加与匹配的2D地标相关的观察。例如，该观察是将匹配的2D地标加入预定摄像头的先前姿态中，这就通过可靠的匹配的2D地标增大了匹配的2D地标的数量。在一个实施方式中，通过实现RANSAC型算法，2D地标可匹配。
在一个实施方式中，针对每个摄像头的每个姿态进行回路检测。
在上述实施方式中，在基本的Si序列的3D地图的优化及其聚集期间，外部参数被视为恒定，以便获得整个序列S的3D映射，并且外部参数被视为可变，因此，通过整个序列S的3D映射的捆绑调整仅在优化中进行优化。
因此，通过考虑至少一个外部参数恒定，优化基本序列的3D地图，并且通过考虑至少所述外部参数可变，来优化比每个基本序列更长的并且包括每个基本序列的整个序列的3D映射，以便估计该外部参数。
此外，基本序列Si和中间序列为部分序列，每个部分序列仅包括整个序列S的一部分图像。通过考虑外部参数恒定，来对部分序列的每个3D映射进行优化。
或者，在基本序列的3D映射的聚集期间，有可能将至少某些外部参数视为可变。
因此，较长中间序列的至少一个3D映射并且包括基本序列是通过考虑至少一个外部参数或每个外部参数可变来进行优化的，以便估计该参数。
通过考虑至少一个外部参数恒定，有可能优化长度增大的多个序列的3D映射，每个序列包括先前的序列，然后，通过考虑外部参数可变来优化包括先前序列的下一个序列的3D映射，以便估计该参数。
根据基于计算机的视觉系统10的运动，通过捆绑调整外部参数进行的优化有效并且可迅速收敛成精确的方案。
在一个可能的实施方式中，如果序列的3D映射的重构显示了基于计算机的视觉系统10的运动，那么根据所检测的运动，通过考虑外部参数，来进行所述序列的3D映射的优化。
可应用以下标准。
如果所检测的运动是直线方向的运动，那么外部平移参数被视为初始值或先前估计的值下的常数，并且在3D映射优化期间，至少一个外部旋转参数被视为恒定。在一种实现方式中，绕直线的运动方向的旋转参数被视为恒定。
如果所检测的运动是在非直线水平面中的运动，那么除了垂直平移的参数以外，外部平移参数被视为可变，并且在3D映射优化期间，外部旋转参数被视为可变。
如果所检测的运动是随着平行轴(随着至少两个不同的轴)进行的螺旋式运动，那么在3D映射优化期间，除了在螺旋方向的平移以外，外部平移参数被视为可变，并且外部旋转参数被视为可变。
如果所检测的运动是三维运动，那么外部平移参数被视为初始值或先前估计的值下的常数，并且在3D映射优化期间，外部旋转参数被视为可变。
此外，为了限制3D映射优化，有可能根据所考虑的序列的长度，优化或者不优化外部参数。
可应用以下标准。
如果该序列的长度短于预定阈值，那么通过考虑外部参数为恒定来优化该序列。因此，仅针对具有最小长度的序列的3D映射，对外部参数进行优化。
如果该序列的长度短于通过考虑外部参数可变来优化的最长序列，那么通过考虑所述外部参数恒定，来优化所述序列的3D映射。
视觉系统的运动标准与序列长度可相结合。
可依次实现校准方法：由处理模块16进行的图像处理可以在图像的整个序列完成采集之后执行。图像采集和3D映射重构是依次进行的。
校准方法可以在车辆2沿着轨道行驶时实现。通过将外部参数视为可变或恒定，可根据运动标准以及用于3D映射优化的序列长度标准，进行3D映射重构。
在一个可能的实施方式中，3D映射重构从已经可用的基本序列开始。根据上述运动标准，每个外部参数被视为固定或可变，以便优化每个基本序列以及通过先前重构的3D映射的融合而重构的每个更长的序列。
优选地，通过恒定的外部参数，优化基本序列的3D映射，通过被视为可变的至少一个外部参数，仅优化包括基本序列的更长序列的3D映射。
对于生成新的基本序列的新姿态，新基本序列的3D映射被重构，通过考虑外部参数恒定来进行优化，并且与先前的基本序列进行聚集。
在生成一个新的基本序列的每个新姿态中，执行回路检测。
如果发生充分的运动，以便评估该外部参数，那么在人们可预期可靠地估计外部参数的情况下，并且如果人们具有的序列比已经优化的序列更长，那么在人们可预期提高外部参数的估计的情况下，根据运动和长度标准，进行从新的基本序列中重构的新3D映射的优化。
通过随着时间进行的这种校准方法，在聚合结束时，获得整个序列的优化的3D映射。在该序列是最长的序列时，并且如果正确地选择校准轨道，那么通过考虑外部参数可变，优化整个图像序列的3D映射。
已经结合基于计算机的视觉系统(具有非重叠视场的两个摄像头)来描述了校准方法。该校准方法可一般化成包括两个以上的摄像头的基于计算机的视觉系统。
已经针对外部参数的估计来对校准方法进行了描述。其还适用于基于计算机的视觉系统的内部参数、3D点参数和/或姿态参数。
因此，通常，本申请涉及一种校准方法，其中，通过考虑外部参数和/或内部参数和/或3D地标参数和/或姿态参数中的至少一个参数恒定，第一序列的3D映射由捆绑调整来进行优化，并且所述至少一个参数被视为可变，以便对长于第一序列并且包括第一序列的至少一个第二序列的3D映射进行优化。
为了优化每个3D映射，被视为恒定并且未经优化的外部参数和/或内部参数保持固定为初始近似值(在没有先前的优化时)或者固定为先前在校准方法中进行的另一个3D映射的优化时估计的值。
为了对每个3D映射进行优化，被视为恒定并且未经优化的3D地标参数和/或姿态参数保持固定为在计算优化的3D映射时确定的值。
对于具有非重叠视场的摄像头的基于计算机的视觉系统而言，该校准方法尤其有利，但是还适用于具有重叠视场的摄像头的基于计算机的视觉系统，并且通常适用于具有重叠视场摄像头和/或非重叠视场摄像头的摄像头系统。
优选地，基于计算机的视觉系统的摄像头经过同步，以便确保由摄像头采集的图像与基于计算机的视觉系统的相同姿态大致对应，尤其在车辆快速行驶的应用中。在车辆不需要快速行驶的其他应用中，摄像头不必同步，因为在不同摄像头所采集的图像之间，车辆仅行驶一点点距离。
由于本申请，有可能确定沿着车辆(其携带基于计算机的视觉系统)所遵循的轨道的环境的3D映射。3D映射精确并且有效快速地确定，校准时间减小，从而能够设想实时重构。
根据本申请的校准方法有可能在3D映射重构期间减小比例因子的漂移。这特别是因为以下事实：用于优化一组3D映射而视为恒定的参数随后被优化，以用于将所述3D映射集合在一起的3D映射。
此外，根据校准方法来校准的车辆2显示了改进的能力，以用于找出甚至在车辆远离该轨道行驶时了解的轨道。该校准方法能够精确地引导这样校准的车辆2。
在这种情况下，车辆2可不进行校准而了解轨道，因为除了外部和/或内部参数被视为恒定以外，学习方法与校准方法等同。
车辆2可沿着所了解的轨道自主行驶，该轨道与用于进行校准的轨道相同或不同。为此，通过寻找特征2D地标，并且与所了解的轨道的3D映射的地标相比以确定车辆2的姿态，来处理由基于计算机的视觉系统采集的当前图像。在车辆2沿着轨道行驶时，有可能在已知先前的姿态时大致估计其姿态，例如，关于系统的运动的信息，例如，由处理模块16给定的运动和转向控制。因此，有可能确定接近当前姿态的3D映射的参考姿态，并且将当前图像与这些姿态相关的3D地标进行比较。这就使得有可能快速地实时确定车辆2的位置。
在基于计算机的视觉的背景下，术语“实时”意味着由基于计算机的视觉系统所采集的每个图像的处理是由处理模块16在所采集的图像被刷新之前来进行的。在基于计算机的视觉系统的领域中，刷新时间通常大约为40ms，这小于人类视网膜的刷新时间。
根据本申请的校准方法不需要校准轨道的先验知识。其需要多摄像头系统的外部参数和/或内部参数的大概知识，该校准方法使得有可能更精确地确定外部和/或内部参数。
因此，可远程地或者独立于装置地实现校准方法。在这种情况下，车辆根据校准轨道行驶，并且图像由多摄像头系统采集。然后，所采集的图像由远程处理模块发送和处理，该远程处理模块返回由基于计算机的视觉系统10的外部参数和/或内部参数和/或姿态参数和/或3D地标参数估计的值。
一旦能够产生这些参数的修改，该校准方法就可用于确定外部参数和/或内部参数。例如，如果更换基于计算机的视觉系统的一个摄像头，则执行这种校准方法，这能够修改更换的摄像头的内部参数以及摄像头集合的外部参数。
该校准方法可用于校准车辆引导系统以及自动引导的车辆系统，或者用于校准驾驶辅助系统的多摄像头系统，例如，在现代汽车上使用的那些系统(车辆保持排成一行、操纵辅助、车辆成直线行驶等)。

Claims (18)

1.一种用于对车辆(2)上的基于计算机的视觉系统(10)进行校准的方法，所述基于计算机的视觉系统(10)包括：具有外部参数和内部参数的一组摄像头，所述方法包括：在所述车辆(2)沿着轨道行驶期间，从由所述基于计算机的视觉系统(10)所捕获的环境的数字图像，来对所述环境的地标的3D映射进行重构，每个数字图像与所述基于计算机的视觉系统(10)的姿态相对应，所述3D映射包括地标参数以及每个姿态的参数，所述重构步骤包括对图像序列的3D映射进行重构的步骤以及通过执行捆绑调整算法来对3D映射进行优化的步骤，
所述校准方法包括通过考虑至少一个外部参数和/或至少一个内部参数和/或至少一个姿态参数和/或至少一个3D地标参数为恒定，来对与第一图像序列相对应的至少一个3D映射进行优化，并且通过考虑所述至少一个外部参数和/或所述至少一个内部参数和/或所述至少一个姿态参数和/或所述至少一个3D地标参数为可变，来对与第二图像序列相对应的至少一个3D映射进行优化，以便估计所述参数，其中，所述第二图像序列比所述第一图像序列长并且包括所述第一图像序列。
2.根据权利要求1所述的方法，其中，通过考虑每个外部参数和/或每个内部参数和/或每个姿态参数和/或每个3D地标参数为可变，来对3D映射进行优化，所述3D映射与在沿着所述轨道行驶期间拍摄的整个图像序列相对应。
3.根据权利要求1或2所述的方法，其中，通过考虑至少一个外部参数和/或至少一个内部参数和/或至少一个姿态参数和/或至少一个3D地标参数为恒定，来对所述3D映射进行重构，所述3D映射与仅包括在沿着所述轨道行驶期间拍摄的图像的一部分的部分序列相对应。
4.根据权利要求3所述的方法，其中，通过考虑每个外部参数和/或每个内部参数和/或每个基于计算机的视觉系统姿态参数和/或每个3D地标参数为恒定，来对每个3D映射进行优化，所述3D映射与部分序列相对应。
5.根据权利要求1-2中任一项所述的方法，其中，所述重构步骤包括以下步骤：
将所述图像分成基本图像序列，每个基本序列与下一个基本序列重叠；
通过捆绑调整来对与基本序列相对应的每个3D映射进行优化；
对与所述基本序列相对应的3D映射进行聚集，以便获得整个图像序列的3D映射。
6.根据权利要求5所述的方法，其中，所述聚集是根据形成底层的基本序列的3D映射通过上升分层融合来进行的，直到获得整个序列的3D映射，由映射的融合所获得的每个3D映射经捆绑调整来进行优化。
7.根据权利要求6所述的方法，其中，通过考虑至少一个外部参数和/或至少一个内部参数和/或一个基于计算机的视觉系统姿态参数和/或至少一个3D地标参数为恒定，来对中间序列的至少一个3D映射进行优化，所述中间序列包括基本序列并且长于基本序列。
8.根据权利要求1-2中任一项所述的方法，其中，如果在重构序列的3D映射期间，检测到所述基于计算机的视觉系统在直线方向的运动，那么在3D映射优化期间，外部平移参数被视为恒定，并且至少一个外部旋转参数被视为可变。
9.根据权利要求1-2中任一项所述的方法，其中，如果在重构序列的3D映射期间，检测到所述基于计算机的视觉系统在非直线水平面中的运动，那么在3D映射优化期间，除了垂直平移的参数以外，外部平移参数被视为可变，并且外部旋转参数被视为可变。
10.根据权利要求1-2中任一项所述的方法，其中，如果在重构序列的3D映射期间，检测到随着平行轴进行的螺旋运动，那么在3D映射优化期间，除了在螺旋方向的平移以外，外部平移参数被视为可变，并且外部旋转参数被视为可变。
11.根据权利要求1-2中任一项所述的方法，其中，如果在重构序列的3D映射期间，检测到三维运动，那么在3D映射优化期间，外部平移参数被视为可变，并且外部旋转参数被视为可变。
12.根据权利要求1-2中任一项所述的方法，其中，如果序列的长度短于预定的阈值，那么通过考虑外部参数为恒定和/或内部参数和/或姿态参数和/或3D地标坐标为恒定，来对所述序列进行优化。
13.根据权利要求1-2中任一项所述的方法，其中，如果所述序列的长度短于通过考虑外部参数可变来优化的最长序列，那么通过考虑所述外部参数为恒定，来对所述序列的3D映射进行优化。
14.根据权利要求1-2中任一项所述的方法，其中，检测回路的闭合，并且如果从摄像头姿态中检测到回路的闭合，那么添加沿着所述轨道的与摄像头的先前姿态相匹配的2D地标。
15.根据权利要求14所述的方法，其中，为了检测回路的闭合，通过对接近标准进行验证，确定在两个摄像头姿态中拍摄的两个图像之间的2D地标匹配，并且如果2D匹配的数量大于阈值，那么认为回路已经闭合。
16.根据权利要求1-2中任一项所述的方法，其中，使用Levenberg-Marquardt型算法，来对整个序列的3D映射进行优化。
17.根据权利要求1-2中任一项所述的方法，包括图像采集步骤。
18.一种包括信息处理模块的校准装置，所述校准装置被编程为实现根据权利要求1到17中任一项所述的校准方法。
CN201280060941.3A 2011-10-10 2012-10-09 用于校准车载的基于计算机的视觉系统的方法 Expired - Fee Related CN103988231B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1159135 2011-10-10
FR1159135A FR2981185B1 (fr) 2011-10-10 2011-10-10 Procede d'etalonnage d'un systeme de vision par ordinateur embarque sur un mobile
PCT/EP2012/069958 WO2013053701A1 (fr) 2011-10-10 2012-10-09 Procede d'etalonnage d'un systeme de vision par ordinateur embarque sur un mobile

Publications (2)

Publication Number Publication Date
CN103988231A CN103988231A (zh) 2014-08-13
CN103988231B true CN103988231B (zh) 2016-08-31

Family

ID=46982623

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280060941.3A Expired - Fee Related CN103988231B (zh) 2011-10-10 2012-10-09 用于校准车载的基于计算机的视觉系统的方法

Country Status (9)

Country Link
US (1) US9728005B2 (zh)
EP (1) EP2766872B1 (zh)
JP (1) JP6165745B2 (zh)
CN (1) CN103988231B (zh)
AU (1) AU2012323096B2 (zh)
CA (1) CA2851750C (zh)
ES (1) ES2549962T3 (zh)
FR (1) FR2981185B1 (zh)
WO (1) WO2013053701A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8760500B1 (en) * 2013-10-23 2014-06-24 Google Inc. Depth map generation
FR3013491B1 (fr) * 2013-11-19 2016-01-15 Commissariat Energie Atomique Determination de la carte de profondeur image d'une scene
JP6272071B2 (ja) * 2014-02-18 2018-01-31 日本放送協会 画像処理装置、画像処理方法及びプログラム
FR3023949B1 (fr) * 2014-07-15 2016-08-12 Morpho Procede et systeme d'autodetermination des valeurs des parametres intrinseques et des parametres extrinseques d'une camera placee au bord d'une chaussee.
US20170253237A1 (en) * 2016-03-02 2017-09-07 Magna Electronics Inc. Vehicle vision system with automatic parking function
DE102016104730A1 (de) * 2016-03-15 2017-09-21 Connaught Electronics Ltd. Verfahren zum Detektieren eines Objekts entlang einer Straße eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102016224095A1 (de) * 2016-12-05 2018-06-07 Robert Bosch Gmbh Verfahren zum Kalibrieren einer Kamera und Kalibriersystem
EP3333538B1 (en) * 2016-12-07 2020-09-09 Hexagon Technology Center GmbH Scanner vis
FR3062507B1 (fr) 2017-01-31 2020-05-15 Universite Clermont Auvergne Procede et dispositif pour l'etalonnage d'un systeme de perception comportant un ensemble de telemetres lidar
US11568568B1 (en) * 2017-10-31 2023-01-31 Edge 3 Technologies Calibration for multi-camera and multisensory systems
CN109345596A (zh) * 2018-09-19 2019-02-15 百度在线网络技术（北京）有限公司 多传感器标定方法、装置、计算机设备、介质和车辆
CN110490222B (zh) * 2019-07-05 2022-11-04 广东工业大学 一种基于低性能处理器设备的半直接视觉定位方法
CN115210764A (zh) * 2019-09-19 2022-10-18 大陆智行美国有限责任公司 自动拖车摄像机校准
WO2023210185A1 (ja) * 2022-04-26 2023-11-02 国立研究開発法人 産業技術総合研究所 顕微鏡画像情報処理方法、顕微鏡画像情報処理システム、およびコンピュータプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101876532A (zh) * 2010-05-25 2010-11-03 大连理工大学 测量系统中的摄像机现场标定方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6307959B1 (en) * 1999-07-14 2001-10-23 Sarnoff Corporation Method and apparatus for estimating scene structure and ego-motion from multiple images of a scene using correlation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101876532A (zh) * 2010-05-25 2010-11-03 大连理工大学 测量系统中的摄像机现场标定方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
3D reconstruction of complex structures with bundle adjustment: an incremental approach;Etienne Mouragnon et al.;《Processing IEEE International Conference on Robotics and Automation》;20060515;3055-3061 *
A Constricted Bundle Adjustment Parameterization for Relative Scale Estimation in Visual Odometry;Friedrich Fraundorfer et al.;《2010 IEEE International Conference Robotics and Automation》;20100508;1899-1904 *
Callibration of Non-overlapping Cameras-Application to Vision-based Robotics;Pierr Lebraly et al.;《bmva》;20101231;1-12 *

Also Published As

Publication number Publication date
CA2851750A1 (fr) 2013-04-18
AU2012323096A1 (en) 2014-05-29
EP2766872B1 (fr) 2015-07-29
CN103988231A (zh) 2014-08-13
WO2013053701A1 (fr) 2013-04-18
JP2015501471A (ja) 2015-01-15
ES2549962T3 (es) 2015-11-03
EP2766872A1 (fr) 2014-08-20
FR2981185A1 (fr) 2013-04-12
JP6165745B2 (ja) 2017-07-19
CA2851750C (fr) 2019-09-17
AU2012323096B2 (en) 2017-10-26
US20140267608A1 (en) 2014-09-18
US9728005B2 (en) 2017-08-08
FR2981185B1 (fr) 2014-02-14

Similar Documents

Publication Publication Date Title
CN103988231B (zh) 用于校准车载的基于计算机的视觉系统的方法
CN111833333B (zh) 一种基于双目视觉的悬臂式掘进装备位姿测量方法及系统
Häne et al. 3D visual perception for self-driving cars using a multi-camera system: Calibration, mapping, localization, and obstacle detection
CN108171733B (zh) 使两个或更多个三维3d点云配准的方法
JP4851239B2 (ja) 画像処理装置及びその処理方法
CN109509230A (zh) 一种应用于多镜头组合式全景相机的slam方法
KR102516326B1 (ko) 이미지 라인들로부터의 카메라 외부 파라미터들 추정
CN105225269A (zh) 基于运动机构的三维物体建模系统
Fraundorfer et al. A constricted bundle adjustment parameterization for relative scale estimation in visual odometry
CN104794683B (zh) 基于围绕渐变拼缝区域平面扫描的视频拼接方法
WO2012145818A1 (en) Method and system for dynamically calibrating vehicular cameras
CN110363838B (zh) 基于多球面相机模型的大视野图像三维重构优化方法
US11887336B2 (en) Method for estimating a relative position of an object in the surroundings of a vehicle and electronic control unit for a vehicle and vehicle
CN110163963B (zh) 一种基于slam的建图装置和建图方法
WO2018202464A1 (en) Calibration of a vehicle camera system in vehicle longitudinal direction or vehicle trans-verse direction
CN111640062A (zh) 一种车载环视图像的自动拼接方法
GB2513703B (en) Method and apparatus for three-dimensional imaging of at least a partial region of a vehicle environment
CN114638897B (zh) 基于无重叠视域的多相机系统的初始化方法、系统及装置
CN113345032B (zh) 一种基于广角相机大畸变图的初始化建图方法及系统
JP4851240B2 (ja) 画像処理装置及びその処理方法
CN107145828A (zh) 车辆全景图像处理方法及装置
CN110097623A (zh) 一种非同源图像数据信息融合处理方法及系统
CN117611438A (zh) 一种基于单目图像的2d车道线到3d车道线的重构方法
Ilg et al. Reconstruction of rigid body models from motion distorted laser range data using optical flow
CN111145267A (zh) 基于imu辅助的360度全景视图多相机标定方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160831