CN111862225A - 图像标定方法、标定系统以及具有该系统的车辆 - Google Patents

图像标定方法、标定系统以及具有该系统的车辆 Download PDF

Info

Publication number
CN111862225A
CN111862225A CN201910361628.7A CN201910361628A CN111862225A CN 111862225 A CN111862225 A CN 111862225A CN 201910361628 A CN201910361628 A CN 201910361628A CN 111862225 A CN111862225 A CN 111862225A
Authority
CN
China
Prior art keywords
image acquisition
image
coordinate system
recursive
reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910361628.7A
Other languages
English (en)
Inventor
高煜
王炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to CN201910361628.7A priority Critical patent/CN111862225A/zh
Publication of CN111862225A publication Critical patent/CN111862225A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种图像标定方法、标定系统以及具有该系统的车辆。所述方法包括步骤：至少三个图像采集装置，以其中每一者所采集的图像与其相邻的图像采集装置所采集的图像之间存在重叠部分的方式，采集分别对应于图像采集装置的采集区域的图像；将相邻的图像采集装置两两分组，并选取每一分组所采集的图像之间的重叠部分的特征点，根据特征点对分组所采集的图像根据图像采集装置的内部参数、外部参数利用多视几何进行3D重建，以形成多个坐标系下的3D重建数据；指定多个坐标系中的一者为递归坐标系；将除递归坐标系之外的3D重建数据的坐标递归映射至递归坐标系；以及利用光束平差法对图像进行标定。

Description

图像标定方法、标定系统以及具有该系统的车辆
技术领域
本发明涉及对图像进行标定的技术，具体涉及图像标定方法、对车辆周身的图像进行标定的系统以及具有该系统的车辆。
背景技术
作为多媒体系统和辅助驾驶的一部分的车辆周身成像系统已经越来越受到欢迎。其一方面提供了以“上帝视角”观察车身的手段，进而帮助驾驶员躲避障碍物，另一方面，这种技术也为辅助驾驶、半自动驾驶、自动驾驶提供数据支持。
在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到，这个求解参数的过程就称之为相机标定（或摄像机标定）。由于车辆周身成像系统的成像系统具有不同的特性（外部参数），因而需要对车辆周身成像系统的成像单元进行标定，以利于后期处理。传统的图像标定技术（相机标定技术）利用道路上的标志（例如分道线）进行标定，另一些诸如利用TOF技术测距来实现标定。另外，也有人利用光流进行标定，而基于灭点理论也可以提供了标定的可能性。
发明内容
本申请基于光束平差法进行在线标定（自标定）。根据本发明的一方面，提供一种图像标定方法，所述方法包括下列步骤：至少三个图像采集装置，以其中每一者所采集的图像与其相邻的所述图像采集装置所采集的图像之间存在重叠部分的方式，采集分别对应于所述图像采集装置的采集区域的图像；将相邻的所述图像采集装置两两分组，并选取每一分组所采集的图像之间的重叠部分的特征点，根据所述特征点对所述分组所采集的图像根据所述图像采集装置的内部参数、外部参数利用多视几何进行3D重建，以形成多个坐标系下的3D重建数据；指定所述多个坐标系中的一者为递归坐标系；将除所述递归坐标系之外的3D重建数据的坐标递归映射至所述递归坐标系；以及利用光束平差法对所述图像进行标定。
可选地，其中形成多个坐标系下的3D重建数据的步骤包括：选取每一分组中任意一个所述图像采集装置的空间坐标系作为该分组的基准坐标系，并形成该基准坐标系下的3D重建数据；针对每一分组形成该分组的基准坐标系下的3D重建数据，进而形成多个坐标系下的3D重建数据。
可选地，其中将除所述递归坐标系之外的3D重建数据的坐标递归映射至所述递归坐标系的步骤包括：根据多个所述图像采集装置的外部参数之间的映射关系，将除所述递归坐标系之外的3D重建数据的坐标递归映射至所述递归坐标系。
可选地，所述采集分别对应于所述图像采集装置的采集区域的图像的步骤包括所述至少三个图像采集装置以预定时长、预定帧率，连续地、同步地采集分别对应于所述图像采集装置的采集区域的图像；并且所述选取每一分组所采集的图像之间的重叠部分的特征点包括分别选取所采集的连续图像的特征点。
可选地，所述外部参数包括所述图像采集装置的位置坐标信息与姿态信息。
可选地，还包括：对所述图像进行标定后，更新所述图像采集装置的所述外部参数。
根据本发明的另一方面，提供一种对车辆周身的图像进行标定的系统，其特征在于，所述系统包括：设置在所述车辆周身的至少三个图像采集装置，所述图像采集装置用于采集分别对应于所述图像采集装置的采集区域的图像，其中每一个所述图像采集装置所采集的图像与其相邻的所述图像采集装置所采集的图像之间存在重叠部分，进而拼接成所述车辆周身的图像；3D重建模块，其将相邻的所述图像采集装置两两分组，并选取每一分组所采集的图像之间的重叠部分的特征点，根据所述特征点对所述分组所采集的图像根据所述图像采集装置的内部参数、外部参数利用多视几何进行3D重建，以形成多个坐标系下的3D重建数据；以及递归标定模块，其指定所述多个坐标系中的一者为递归坐标系，将除所述递归坐标系之外的3D重建数据的坐标递归映射至所述递归坐标系，以及利用光束平差法对所述图像进行标定。
可选地，其中所述3D重建模块选取每一分组中任意一个所述图像采集装置的空间坐标系作为该分组的基准坐标系，并形成该基准坐标系下的3D重建数据；针对每一分组形成该分组的基准坐标系下的3D重建数据，进而形成多个坐标系下的3D重建数据。
可选地，其中递归标定模块根据多个所述图像采集装置的外部参数之间的映射关系，将除所述递归坐标系之外的3D重建数据的坐标递归映射至所述递归坐标系。
可选地，所述至少三个图像采集装置配置成以预定时长、预定帧率，连续地、同步地采集分别对应于所述图像采集装置的采集区域的图像；并且所述3D重建模块配置成分别选取所采集的连续图像的特征点。
可选地，所述外部参数包括所述图像采集装置的位置坐标信息与姿态信息。
可选地，所述递归标定模块配置成对所述图像进行标定后，更新所述图像采集装置的所述外部参数。
可选地，所述系统配置成在超过预设的时间后重新对所述图像进行标定，并更新所述图像采集装置的所述外部参数。
可选地，所述系统还包括：车身运动记录模块，其记录所述车辆的运动轨迹，当根据所述车辆的运动轨迹确定颠簸超过预定值后，指示需重新对所述图像进行标定，并更新所述图像采集装置的所述外部参数。
可选地，所述车辆周身具有前后左右四个图像采集装置，其用于均等的采集所述车辆周身的图像，再拼接成所述车辆周身360度的图像；所述3D重建模块将所述图像采集装置以前左、前右、后左、后右分组，并选取每一分组所采集的图像之间的重叠部分的特征点，根据所述特征点对所述分组所采集的图像根据所述图像采集装置的内部参数、外部参数利用多视几何进行3D重建，以形成多个坐标系下的3D重建数据；以及所述递归标定模块指定前左分组对应的坐标系为递归坐标系；将除所述递归坐标系之外的3D重建的坐标递归映射至所述递归坐标系，利用光束平差法对所述图像进行标定。
根据本发明的另一方面，提供了一种图像标定装置，其特征在于，所述装置包括：3D重建模块，所述重建模块配置成从至少三个图像采集装置接收分别对应于所述图像采集装置的采集区域的图像，其中每一个所述图像采集装置所采集的图像与其相邻的所述图像采集装置所采集的图像之间至少存在部分重叠；所述重建模块还配置成将相邻的所述图像采集装置两两分组，并选取每一分组所采集的图像之间的重叠部分的特征点，根据所述特征点对所述分组所采集的图像根据所述图像采集装置的内部参数、外部参数利用多视几何进行3D重建，以形成多个坐标系下的3D重建数据；以及递归标定模块，所述递归标定模块配置成指定所述多个坐标系中的一者为递归坐标系；以及将除所述递归坐标系之外的3D重建数据的坐标递归映射至所述递归坐标系，以及利用光束平差法对所述图像进行标定。
根据本发明的另一方面，提供一种汽车，其具有前述任一项所述的对车辆周身的图像进行标定的系统或图像标定装置。
根据本发明的又一方面，提供了一种计算机存储介质，所述介质包括指令，所述指令在运行时执行如前所述的图像标定方法。
附图说明
从结合附图的以下详细说明中，将会使本发明的上述和其他目的及优点更加完整清楚，其中，相同或相似的要素采用相同的标号表示。
图1是根据本发明的实施例的图像标定方法的示例；
图2是根据本发明的实施例的图像标定方法的示例；
图3是根据本发明的实施例的进行图像标定的示例；
图4是根据本发明的实施例的进行图像标定的示例；
图5是根据本发明的实施例的进行图像标定的示例；
图6是利用光束平差法进行图像标定的示例；以及
图7是根据本发明的实施例的图像标定系统的示例。
具体实施方式
出于简洁和说明性目的，本文主要参考其示范实施例来描述本发明的原理。但是，本领域技术人员将容易地认识到相同的原理可等效地应用于所有类型的用于视觉感知系统的性能测试系统和/或性能测试方法，并且可以在其中实施这些相同或相似的原理，任何此类变化不背离本专利申请的真实精神和范围。
图6是根据本发明的实施例的图像标定方法的示例，其利用光束平差法（BundleAdjustment）进行图像标定。光束平差法改进一组初始相机（图6中为两个相机）参数和结构参数估计，以找到最准确地预测可用图像集中观察到的点的位置的参数集。假设有一个三维空间中的点，它被位于不同位置的多个摄像机看到，那么所谓的光束平差法就是能够从这些多视角信息中提取出3D点的坐标以及各个摄像机的相对位置和光学信息的过程。假设n个3D点在m个视角中可见（图6中为两个视角），并且设
Figure DEST_PATH_IMAGE002
为第i个点在第j个图像上的投影；利用
Figure DEST_PATH_IMAGE004
表示第i个点是否在第j个图像中可见，若为1则可见，若为0则不可见。此外，设摄像机由向量
Figure DEST_PATH_IMAGE006
定义，每一个3D点由向量
Figure DEST_PATH_IMAGE008
定义，光束平差法使得所有3D点的投影误差最小，亦即求解：
Figure DEST_PATH_IMAGE010
其中
Figure DEST_PATH_IMAGE012
是第i个点在第j个图像上的预测投影；
Figure DEST_PATH_IMAGE014
表示由向量
Figure DEST_PATH_IMAGE016
和
Figure DEST_PATH_IMAGE018
所表示的欧氏距离。具体地在图6中，可以利用特征点（诸如十字形的拐角处等）来作为这n个3D点，且一共利用两个相机进行标定。完成标定后可以在两幅图像（两个相机）之间以一个稳定的坐标系来表示十字形的空间位置。图6是针对两个相机拍摄共同的物体的情况进行标定的。
在本发明的上下文中，图像标定、相机标定（或摄像机标定）是对同一个过程的不同描述。图1是根据本发明的实施例的图像标定方法的示例。其包括由四个相机所拍摄的四个图像A、B、C和D。四个图像在空间上捕捉连续位置的图像。其中相邻的图像A与B具有重叠部分M，相邻的图像B与C具有重叠部分N，相邻的图像C与D具有重叠部分P。换言之，拍摄图像A与B的相机开始以其预定的外部参数对共同区域进行了拍摄，因而可以利用该拍摄的共同区域根据拍摄图像A与B的相机的内部参数（诸如焦距长度、投影中心、倾斜系数、畸变系数等）、外部参数（诸如坐标信息、姿态信息等）利用诸如多视几何法进行3D重建，以形成3D重建数据。如本领域技术人员所理解的，这种3D重建方法已经广泛使用。这同样适用于拍摄图像B与C的相机、拍摄图像C与D的相机。具体地，此时，将四个图像A、B、C和D两两分组，形成分组AB、BC、CD，选取分组AB的重叠部分M中的特征点，根据拍摄图像A与B的相机的内部参数、外部参数利用多视几何进行3D重建，以形成分组AB的坐标系下的3D重建（记作CAB-3D重建）。以此类推，还可以分别形成分组BC的坐标系下的3D重建（记作CBC-3D重建）、分组CD的坐标系下的3D重建（记作CCD-3D重建）。此时，如果指定分组AB的坐标系为递归坐标系，那么可以将其余的坐标系下的3D重建递归映射至AB的坐标系，进而实现以统一的3D重建。递归映射的过程可以诸如为将分组BC、CD的坐标系下的3D重建通过各个坐标系的映射关系映射至分组AB的坐标系，可以简记为：
1. 设置CAB为递归坐标系；
2. CBC → CAB；
3. CCD → CAB
按照以上过程可以最终形成以递归坐标系CAB为基准针对所有特征点的3D重建。本领域技术人员可以理解的是，诸如CBC → CAB的映射可的以利用坐标系CBC与CAB之间的映射关系来确定。例如，空间坐标系CBC与CAB的三个坐标轴互相平行、正方向一致，坐标系CBC的原点在坐标系CAB中位于（5，0，0）处，那么将坐标系CBC中的特征点的X轴坐标加5，其余轴的坐标不变即可以映射至坐标系CAB中。例如，坐标系CBC中存在特征点（6，1，2），那么将其映射至递归坐标系CAB中，其坐标将变为（11，1，2）。最后再参照图6对应的实施例对各个图像及其对应的相机进行标定。
本领域技术人员应当理解，映射关系体现两个坐标系之间的变换关系，诸如在空间直角坐标系的情况下可以为原点的映射关系、旋转关系等。例如，可以以3*3矩阵表示旋转关系以及以1*3向量表示位移关系。两个坐标系不仅可以是空间直角坐标系，还可以是极坐标的形式。
作为对比的，图2中也示出了根据本发明的实施例的图像标定方法的示例。由四个环绕布置的相机拍摄了的四个图像201、202、203和204。四个图像在空间上捕捉连续位置的图像。其中，相邻的图像201与202具有重叠部分212，相邻的图像202与203具有重叠部分223，相邻的图像203与204具有重叠部分234，相邻的图像204与201具有重叠部分241。与图1不同，图2中四个环绕布置的相机拍摄的图像是以环形方式重叠的，而不像图1中那样具有明显的边缘位置的图像。换言之，拍摄图像201与202的相机对共同区域进行了拍摄，因而可以利用该拍摄的共同区域根据拍摄图像201与202的相机的内部参数、外部参数利用诸如多视几何法进行3D重建，以形成3D重建数据。这同样适用于拍摄图像202与203的相机、拍摄图像203与204的相机以及拍摄图像204与201的相机。在一个较佳的实施例中，上述图像201、202、203和204是同一时间采集的或者在所容许的时间误差范围内所采集的。
具体地，此时，类似于在图1中的处理方式，将四个图像201、202、203和204两两分组，形成分组1-2、2-3、3-4和4-1，选取分组1-2的重叠部分212中的特征点，根据拍摄图像201与202的相机的内部参数、外部参数利用多视几何进行3D重建，以形成分组1-2的坐标系下的3D重建（记作C1-2-3D重建）。以此类推，还可以分别形成分组2-3的坐标系下的3D重建（记作C2-3-3D重建）、分组3-4的坐标系下的3D重建（记作C3-4-3D重建）和分组4-1的坐标系下的3D重建（记作C4-1-3D重建）。
此时，如果指定分组1-2的坐标系为递归坐标系，那么可以将其余的坐标系下的3D重建递归映射至分组1-2所在的坐标系，进而实现以统一的3D重建。递归映射的过程可以诸如为将分组2-3、分组3-4、分组4-1的坐标系下的3D重建通过各个坐标系的映射关系映射至分组1-2的坐标系，可以简记为：
1. 设置C1-2为递归坐标系；
2. C2-3 → C1-2；
3. C3-4 → C1-2；
4. C4-1 → C1-2
按照以上过程可以最终形成以递归坐标系C1-2为基准针对所有特征点的3D重建。最后再参照图6对应的实施例对各个图像及其对应的相机进行标定。
值得一提的是，尽管图1和图2中示出了利用四个相机拍摄四个图像，但是本领域技术人员可以理解，这一方法可以适用于至少三个相机所拍摄的至少三个图像。
图3是根据本发明的实施例的进行图像标定的另一示例。在图3中，汽车周身设置有四个相机，分别是前方相机301、后方相机304、左侧相机302和右侧相机303。如所图示的，前方相机301与右侧相机303存在成像的重叠部分（图中以阴影部分示出）。与图2中类似，可以利用相邻相机所采集到的图像进行3D重建。利用前方相机301与右侧相机303所采集到的图像中的特征点对这两幅图像的特征点进行3D重建，以形成在一个坐标系下的3D重建。还可以对前方相机301与左侧相机302所采集的图像、后方相机304与左侧相机302所采集的图像以及后方相机304与右侧相机303所采集的图像进行相似的操作。因此将获得在四个坐标下的3D重建。为了实现以车辆为参考系的3D重建，可以指定四个坐标系中的任一个为递归坐标系，将其他三个坐标系根据其原点的位置关系和/或旋转关系将其逐一映射到递归坐标系。如此，将形成针对递归坐标系的3D重建。由于递归坐标系相对于车身是基本不变的，也相当于形成了以车身为参考系的3D重建。最后再参照图6对应的实施例对各个图像及其对应的相机进行标定。标定后的图像的位置关系（包括其中的各个物体）将直接反映其与车身的相对位置关系，因而可以用于为辅助驾驶、半自动驾驶、自动驾驶提供数据支持。
在图5所示的示例中，分别将左侧与前方相机分组、左侧与后方相机分组、右侧与前方相机分组、右侧与后方相机分组。再以各个分组的重叠区域中选取的若干特征点对各个分组进行3D重建。因此可以形成在空间直角坐标系C0 – C3下的3D重建。以上过程可以通过图7中的标定系统70的3D重建模块701实现。在下一个步骤中，标定系统70的递归标定模块702可以根据特征点在 C1、C2、C3坐标系中的位置以及各个坐标系（C0与C1、C2、C3）之间的映射关系将所有特征点映射至C0，以上过程可以简记为：
1. 设置C0为递归坐标系；
2. C1 → C0；
3. C2 → C0；
4. C3 → C0
按照以上过程可以最终形成以递归坐标系C0为基准针对所有相机、图像的3D重建。
根据本发明的一个实施例，针对左侧与前方相机的分组，可以指定左侧相机的坐标系或前方相机的坐标系为该分组的基准坐标系（CR0），并对分组的重叠区域中选取的若干特征点进行3D重建。再对左侧与后方相机分组、右侧与前方相机分组、右侧与后方相机分组重复执行3D重建（其对应的基准坐标系分别为CR1、CR2、CR3），进而形成四个坐标系下的3D重建数据。值得一提的是，基准坐标系可以不是左侧相机的坐标系或前方相机的坐标系中的任何一个，而是根据左侧相机的外部参数和/或前方相机的外部参数另外指定的一个基准坐标系。尽管如此，以左侧相机的坐标系或前方相机的坐标系为该分组的基准坐标系仍然是优选的。此时，指定基准坐标系（CR0）为递归坐标系C0，可以根据多个图像采集装置的外部参数（坐标信息、姿态信息等）之间的映射关系（参考图1对应的实施例），将除递归坐标系C0之外的3D重建数据的坐标递归映射至递归坐标系C0。
按照以上过程也可以最终形成以递归坐标系C0为基准针对所有特征点的3D重建，最后再参照图6对应的实施例对各个图像及其对应的相机进行标定。另外，尽管该实施例将递归坐标系指定为CR0，但是本发明的保护范围不限于此。
以上示例对应的附图（图7）中尽管未示出各个成像装置，本领域技术人员应当理解图7中的标定系统70包括了至少三个成像装置（又称为相机、图像采集装置等）。
由于汽车周身的四个相机拍摄的重叠区域并不大，因而为了保证重叠区域有足够的特征点，可以选取一段时长内各个相机同一拍摄的多个图像进行标定。参见图4，对于汽车而言，可以使汽车处于驾驶工况，然后例如取15分钟内以30Hz的帧率进行图像采集，以获得如图4中所示出的图像流401-404，将每次同时采集到的图像重叠区域中匹配正确的特征点与重建的3D点信息存储起来。由于多个相机间为刚性链接，所以相机之间的外参数在标定程序运行时间内可以视为不变，这样可以保证特征点与3D重建点的数量，一般为了较为准确地完成两个相机之间的标定，大约需要200个左右的特征点，更多的特征点与3D点累积可以带来更稳定的标定结果。累积一分钟或更长时间的信息后，可以利用图6所示的光束平差法进行标定。
对于处于行驶状态的车辆而言，颠簸将不可避免地导致相机之间以及相机相对于车身的位移和/或旋转，这将导致相机的外部参数需要重新标定。因此，车辆还包括车身运动记录模块703，车身运动记录模块检测到车辆的颠簸超过预定值后，系统重新标定车辆周身的图像（相机），并更新图像采集装置的外部参数。
为了实现车辆周身图像的标定（相机的标定），图3-5中任一个对应的实施例的车辆可以包括以上任一个实施例中所提及的标定系统。需要注意的是，尽管图3-5中任一个对应的实施例的车辆都对车身周身360度进行成像，但是本领域技术人员应当理解，车身周身可以为小于360度的其他范围（例如，对车身周身270度进行成像和标定）。
需要说明的是，附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式（例如计算机指令的形式或存储有该计算机指令的计算机存储介质）来实现这些功能实体，或者在一个或多个硬件模块或集成电路中实现这些功能实体，或者在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
以上例子主要说明了本发明的图像标定方法、对车辆周身的图像进行标定的系统以及具有该系统的车辆。尽管只对其中一些本发明的实施方式进行了描述，但是本领域普通技术人员应当了解，本发明可以在不偏离其主旨与范围内以许多其他的形式实施。因此，所展示的例子与实施方式被视为示意性的而非限制性的，在不脱离如所附各权利要求所定义的本发明精神及范围的情况下，本发明可能涵盖各种的修改与替换。
以上例子主要说明了本发明的一种图像标定方法、对车辆周身的图像进行标定的系统以及具有该系统的车辆。尽管只对其中一些本发明的实施方式进行了描述，但是本领域普通技术人员应当了解，本发明可以在不偏离其主旨与范围内以许多其他的形式实施。因此，所展示的例子与实施方式被视为示意性的而非限制性的，在不脱离如所附各权利要求所定义的本发明精神及范围的情况下，本发明可能涵盖各种的修改与替换。

Claims (18)

1.一种图像标定方法，其特征在于，所述方法包括下列步骤：
至少三个图像采集装置，以其中每一者所采集的图像与其相邻的所述图像采集装置所采集的图像之间存在重叠部分的方式，采集分别对应于所述图像采集装置的采集区域的图像；
将相邻的所述图像采集装置两两分组，并选取每一分组所采集的图像之间的重叠部分的特征点，根据所述特征点对所述分组所采集的图像根据所述图像采集装置的内部参数、外部参数利用多视几何进行3D重建，以形成多个坐标系下的3D重建数据；
指定所述多个坐标系中的一者为递归坐标系；
将除所述递归坐标系之外的3D重建数据的坐标递归映射至所述递归坐标系；以及
利用光束平差法对所述图像进行标定。
2.根据权利要求1所述的方法，其中形成多个坐标系下的3D重建数据的步骤包括：选取每一分组中任意一个所述图像采集装置的空间坐标系作为该分组的基准坐标系，并形成该基准坐标系下的3D重建数据；针对每一分组形成该分组的基准坐标系下的3D重建数据，进而形成多个坐标系下的3D重建数据。
3.根据权利要求2所述的方法，其中将除所述递归坐标系之外的3D重建数据的坐标递归映射至所述递归坐标系的步骤包括：根据多个所述图像采集装置的外部参数之间的映射关系，将除所述递归坐标系之外的3D重建数据的坐标递归映射至所述递归坐标系。
4.根据权利要求1至3中任一项所述的方法，其中，所述采集分别对应于所述图像采集装置的采集区域的图像的步骤包括所述至少三个图像采集装置以预定时长、预定帧率，连续地、同步地采集分别对应于所述图像采集装置的采集区域的图像；并且
所述选取每一分组所采集的图像之间的重叠部分的特征点包括分别选取所采集的连续图像的特征点。
5.根据权利要求4所述的方法，所述外部参数包括所述图像采集装置的位置坐标信息与姿态信息。
6.根据权利要求5所述的方法，还包括：对所述图像进行标定后，更新所述图像采集装置的所述外部参数。
7.一种对车辆周身的图像进行标定的系统，其特征在于，所述系统包括：
设置在所述车辆周身的至少三个图像采集装置，所述图像采集装置用于采集分别对应于所述图像采集装置的采集区域的图像，其中每一个所述图像采集装置所采集的图像与其相邻的所述图像采集装置所采集的图像之间存在重叠部分，进而拼接成所述车辆周身的图像；
3D重建模块，其将相邻的所述图像采集装置两两分组，并选取每一分组所采集的图像之间的重叠部分的特征点，根据所述特征点对所述分组所采集的图像根据所述图像采集装置的内部参数、外部参数利用多视几何进行3D重建，以形成多个坐标系下的3D重建数据；以及
递归标定模块，其指定所述多个坐标系中的一者为递归坐标系，将除所述递归坐标系之外的3D重建数据的坐标递归映射至所述递归坐标系，以及利用光束平差法对所述图像进行标定。
8.根据权利要求7所述的系统，其中所述3D重建模块选取每一分组中任意一个所述图像采集装置的空间坐标系作为该分组的基准坐标系，并形成该基准坐标系下的3D重建数据；针对每一分组形成该分组的基准坐标系下的3D重建数据，进而形成多个坐标系下的3D重建数据。
9.根据权利要求8所述的系统，其中递归标定模块根据多个所述图像采集装置的外部参数之间的映射关系，将除所述递归坐标系之外的3D重建数据的坐标递归映射至所述递归坐标系。
10.根据权利要求7至9中任一项所述的系统，其中，所述至少三个图像采集装置配置成以预定时长、预定帧率，连续地、同步地采集分别对应于所述图像采集装置的采集区域的图像；并且所述3D重建模块配置成分别选取所采集的连续图像的特征点。
11.根据权利要求10所述的系统，其中，所述外部参数包括所述图像采集装置的位置坐标信息与姿态信息。
12.根据权利要求11所述的系统，其中，所述递归标定模块配置成对所述图像进行标定后，还更新所述图像采集装置的所述外部参数。
13.根据权利要求7所述的系统，其中，所述系统配置成在超过预设的时间后重新对所述图像进行标定，并更新所述图像采集装置的所述外部参数。
14.根据权利要求10所述的系统，所述系统还包括：车身运动记录模块，其记录所述车辆的运动轨迹，当根据所述车辆的运动轨迹确定颠簸超过预定值后，指示需重新对所述图像进行标定，并更新所述图像采集装置的所述外部参数。
15.根据权利要求7所述的系统，其中，
所述车辆周身具有前后左右四个图像采集装置，其用于均等的采集所述车辆周身的图像，再拼接成所述车辆周身360度的图像；
所述3D重建模块将所述图像采集装置以前左、前右、后左、后右分组，并选取每一分组所采集的图像之间的重叠部分的特征点，根据所述特征点对所述分组所采集的图像根据所述图像采集装置的内部参数、外部参数利用多视几何进行3D重建，以形成多个坐标系下的3D重建数据；以及
所述递归标定模块指定前左分组对应的坐标系为递归坐标系；将除所述递归坐标系之外的3D重建的坐标递归映射至所述递归坐标系，利用光束平差法对所述图像进行标定。
16.一种图像标定装置，其特征在于，所述装置包括：
3D重建模块，所述重建模块配置成从至少三个图像采集装置接收分别对应于所述图像采集装置的采集区域的图像，其中每一个所述图像采集装置所采集的图像与其相邻的所述图像采集装置所采集的图像之间至少存在部分重叠；所述重建模块还配置成将相邻的所述图像采集装置两两分组，并选取每一分组所采集的图像之间的重叠部分的特征点，根据所述特征点对所述分组所采集的图像根据所述图像采集装置的内部参数、外部参数利用多视几何进行3D重建，以形成多个坐标系下的3D重建数据；以及
递归标定模块，所述递归标定模块配置成指定所述多个坐标系中的一者为递归坐标系；以及将除所述递归坐标系之外的3D重建数据的坐标递归映射至所述递归坐标系，以及利用光束平差法对所述图像进行标定。
17.一种汽车，其包括如权利要求16所述的图像标定装置或如权利要求7-15中任一项所述的系统。
18.一种计算机存储介质，其特征在于，所述介质包括指令，所述指令在运行时执行如权利要求1至6中任一项所述的方法。
CN201910361628.7A 2019-04-30 2019-04-30 图像标定方法、标定系统以及具有该系统的车辆 Pending CN111862225A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910361628.7A CN111862225A (zh) 2019-04-30 2019-04-30 图像标定方法、标定系统以及具有该系统的车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910361628.7A CN111862225A (zh) 2019-04-30 2019-04-30 图像标定方法、标定系统以及具有该系统的车辆

Publications (1)

Publication Number Publication Date
CN111862225A true CN111862225A (zh) 2020-10-30

Family

ID=72965615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910361628.7A Pending CN111862225A (zh) 2019-04-30 2019-04-30 图像标定方法、标定系统以及具有该系统的车辆

Country Status (1)

Country Link
CN (1) CN111862225A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113256629A (zh) * 2021-07-05 2021-08-13 之江实验室 一种图像标定错误检测方法及装置
CN113706391A (zh) * 2021-11-01 2021-11-26 成都数联云算科技有限公司 无人机航拍图像实时拼接方法、系统、设备及存储介质
CN113706479A (zh) * 2021-08-12 2021-11-26 北京三快在线科技有限公司 无人车测距方法、装置、存储介质及无人车

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113256629A (zh) * 2021-07-05 2021-08-13 之江实验室 一种图像标定错误检测方法及装置
CN113706479A (zh) * 2021-08-12 2021-11-26 北京三快在线科技有限公司 无人车测距方法、装置、存储介质及无人车
CN113706391A (zh) * 2021-11-01 2021-11-26 成都数联云算科技有限公司 无人机航拍图像实时拼接方法、系统、设备及存储介质

Similar Documents

Publication Publication Date Title
JP6844043B2 (ja) 視覚測位方法、装置、電子機器およびシステム
US9589326B2 (en) Depth image processing apparatus and method based on camera pose conversion
WO2020168668A1 (zh) 一种车辆的slam建图方法及系统
US9834153B2 (en) Method and system for dynamically calibrating vehicular cameras
US20170339397A1 (en) Stereo auto-calibration from structure-from-motion
JP5455124B2 (ja) カメラ姿勢パラメータ推定装置
JP5739584B2 (ja) 車両周辺視角化のための３次元映像合成装置およびその方法
US20170127045A1 (en) Image calibrating, stitching and depth rebuilding method of a panoramic fish-eye camera and a system thereof
CN111862225A (zh) 图像标定方法、标定系统以及具有该系统的车辆
KR101077584B1 (ko) 복수개의 카메라로부터 획득한 영상을 정합하는 영상 처리 장치 및 방법
CN111223038A (zh) 一种车载环视图像的自动拼接方法及显示装置
KR20170077223A (ko) 자동차 카메라 시스템의 온라인 교정
JP2020098591A (ja) 画像センサの外因性パラメータを較正するための方法及び装置
JP2018519696A (ja) 画像の線からのカメラの外部パラメータ推定
JP4872890B2 (ja) 画像の歪曲補正方法
US11055541B2 (en) Vehicle lane marking and other object detection using side fisheye cameras and three-fold de-warping
KR101770668B1 (ko) 차량용 영상 정합을 위한 간소화 패턴 기반의 자동보정장치 및 그 방법
CN106886976B (zh) 一种基于内参数修正鱼眼像机的图像生成方法
KR101697229B1 (ko) 차량용 영상 정합을 위한 차선 정보 기반의 자동보정장치 및 그 방법
KR101938067B1 (ko) Sift 플로우를 이용한 광각영상의 스테레오 정합 방법 및 장치
JP3599255B2 (ja) 車両用環境認識装置
CN114754779B (zh) 一种定位与建图方法、装置及电子设备
CN113610927B (zh) 一种avm摄像头参数标定方法、装置及电子设备
CN112150547A (zh) 一种确定车体位姿的方法、装置及环视视觉里程计系统
CN113689339B (zh) 图像拼接方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination