CN102262780B - 用于照相机系统的图像校正方法 - Google Patents

Abstract

本发明公开一种用于照相机系统的图像校正方法，其最大程度地减少必须由照相机系统存储的数据量并且能够方便地校正照相机的安装误差。在用于照相机系统的图像校正方法中，需要由照相机捕获且其上标示至少一个地面标记的参考地面有关的图像数据。基于图像数据获取所捕获的地面标记的坐标。利用所捕获的地面标记的坐标与预设参考标记坐标之间的误差来校正预设查阅表(LUT)。地面标记和参考标记可分别具有四个或更多对应的校正点。

Description

用于照相机系统的图像校正方法

技术领域

本发明总的来说涉及一种用于照相机系统的图像校正方法，其能够校正照相机因未以预期姿势被正确定位到目标位置而引起的照相机安装误差。

背景技术

在照相机系统中，特别是使用一台或多台照相机来产生全景影像的照相机系统中，照相机或多台照相机的安装误差将引起全景影像的缺陷，例如各照相机所捕获的图像未对准(misalignment)。

在一些车辆中，安装这种照相机系统以产生全景影像。这种照相机系统的一个例子是全景式监控影像(Around View Monitor，AVM)系统。典型地，假设照相机将以预定位置和预定姿势(以下简称为“预定位置”)精确布置来调整AVM系统。在经过车辆的大规模生产线之后，这种调整状态不能保持其原有品质。这是因为在照相机被安装到车辆时，安装误差会超出公差。

图1示出由于照相机的安装误差而在AVM系统中的全景影像产生缺陷的例子。这种AVM系统产生包括由安装在车辆的前、后、左和右侧的四台照相机捕获的四张图像的全景影像6。由于安装误差，每台照相机的光轴偏离了它们的预定位置，因而在各照相机所捕获图像之间产生未对准部分2。

为消除上述缺陷已提出许多方法。其中一种方法是基于软件来消除缺陷，如美国专利申请公开号2009/0010630公开的。参考图2和图3简单地描述这种方法。

如图2所示，在车辆的大规模生产线中，在车辆1的前、后、左和右侧装备有用于AVM系统的四台照相机，车辆1位于校准区域3中，在该校准区域3中，在参考地面4上画有四个“+”形状的地面标记5。AVM系统将各台照相机捕获的图像相互匹配，然后将来自各照相机的图像或合成的全景影像6输出给屏幕。

四个地面标记5被布置在当四台照相机被精确安装到预定位置时与每台照相机的光轴相对应的位置上。例如，当将前侧照相机从其预定位置移动到右侧并由于安装误差而顺时针偏移时，由前侧照相机捕获到的图像也以与前侧照相机同样的方式偏移，如图3所示。在图3中，屏幕上显示由前侧照相机所捕获的地面标记即捕获标记7向右偏移。

根据上述参考，照相机安装误差所致缺陷的校正以此方式进行，即测量光轴的水平误差(ΔX)、垂直误差(ΔY)和回转误差(Δθ)，校正光轴的垂直误差和水平误差，以及校正光轴的回转误差。在此，特别地，通过从多个预先设置的取决于光轴各回转误差的映射表中选择最适用于校正所测量的回转误差(Δθ)的映射表来执行回转误差的校正。

然而，这种方法需要对应于如上所述各种情形的多个映射表。因此，AVM系统必需存储的数据量可能过大。

本发明背景技术部分公开的信息仅用于加强对本发明一般背景技术的理解，因此，可能包含不构成对本国本领域普通技术人员已知的现有技术的信息。

发明内容

因此，考虑到现有技术的上述问题做出本发明，本发明的目的在于提供一种用于照相机系统的图像校正方法，其能够最大程度地减少照相机系统必须存储的数据量并能够方便地校正照相机的安装误差。

为达到上述目的，本发明提供一种用于照相机系统的图像校正方法，包括a)获取与通过照相机捕获并且其上标示至少一个地面标记的参考地面有关的图像数据；b)基于在a)中获取的图像数据，得到捕获的地面标记的坐标；以及c)利用在b)中得到的所捕获的地面标记的坐标与预设的参考标记的坐标之间的误差，对预设的查阅表(Look-Up Table，LUT)进行更新或者使用新的查阅表替换预设的查阅表，其中所述更新或替换通过计算取决于照相机的每个光轴的移动和转动量的校正量，随后产生照相机的新的光轴检测值来实现。

优选地，地面标记和参考标记可以分别具有四个或者更多对应的校正点。

优选地，地面标记和参考标记可以分别具有被布置成与正方形或长方形的顶点相对应的四个校正点。

优选地，所捕获的地面标记和参考标记可一同被显示在屏幕上，并且所捕获的地面标记的校正点坐标的相关信息可以通过外部输入得到。

优选地，地面标记的校正点可被显示为具有预定半径的圆。

应当理解本文使用的术语“车辆”或“车辆的”或其它类似的术语包括，诸如包括运动用途车辆(SUV)、公共汽车、卡车、各种商用车辆的载客汽车的机动车辆；包括各种船和艇的水运工具；航行器等，并且包括混合动力车辆、电动车辆、插入式混合电动车辆、氢动力车辆和其它可选的燃料车辆(例如从除了石油以外的资源中获得的燃料)。如本文所提及的，混合动力车是指具有两种或者多种动力源的车辆，例如既有汽油动力又有电动力的车辆。

附图说明

通过下面的详细描述并结合附图，本发明的上述和其它目的、特征和优点将会更加易于理解，其中：

图1是示出因照相机安装误差所致的全景影像缺陷的一个例子的图示；

图2是示出测量照相机安装误差的常规方法的图示；

图3是示出图2所示的车辆的全景影像一个例子的图示，其中示出因照相机安装误差而在屏幕上出现失衡；

图4是示出根据本发明一个实施方式的由照相机系统进行图像校正的流程图；

图5是示出根据本发明一个实施方式的用于测量照相机安装误差的方法的图示；

图6是示出根据本发明另一个实施方式的用于测量照相机安装误差的方法的图示；

图7是示出照相机的地面凝视角的图示；

图8A和8B是示出取决于照相机地面凝视角的图像失真度的图示，其中θ1＜θ2；

图9是示出图6的全景影像一个例子的图示；

图10是示出由图6所示由前侧照相机所捕获的前侧图像的图示；

图11是示出根据本发明一个实施方式的照相机安装误差的校正范围的图示。

具体实施方式

下面参考附图详细描述根据本发明的用于照相机系统的图像校正方法的实施方式。

图4示出根据本发明的照相机系统和图像校正方法。该照相机系统包括照相机单元10，控制单元11，以及屏幕12。照相机单元10能够通过能提供全景影像的任何类型的照相机(例如广角照相机)来实现。照相机单元10可以包括安装在车辆前侧、后侧、左侧和右侧的四台照相机。

当从四台照相机接收原始图像信号数据时，控制单元11校正由各台照相机10捕获的图像的失真，从失真的图像生成平面图像，将生成的平面图像相互匹配，以及将匹配好的图像输出给屏幕12。显然，不仅各个平面图像，由平面图像相互结合在一起的全景图像也能够被输出给屏幕12。

根据本实施方式的图像校正方法的一个特征在于当存在照相机的安装误差时，使用新的查阅表替换预设的查阅表(LUT)或者对预设的查阅表进行更新，以便将每台照相机得到的原始图像的三维坐标转换为二维坐标，即以便校正来自由各照相机得到的原始图像的失真，并将平面图像输出到屏幕12。换言之，控制单元11计算取决于每个光轴的移动和转动量的校正量，并且随后产生新的存储在控制单元11中的照相机10的光轴检测值。

在一些常规系统中，从多个预设映射表中选择任何单个的适宜的映射表，并且基于所选择的映射表校正照相机的安装误差。在此情况下，由于预设了可能的单元校正量，因而对照相机安装误差的校正是不精确的，并且不必要地存储了大量数据。为了简单，假定尽管所需的误差校正是2°，但使用预设的映射表，必须无法避免地以每次5°地进行校正(即，使用映射表的单元校正量是5°的情况)。在此情况下，存在误差校正不精确和必须不必要地存储多个映射表的问题。如下面详述的，本发明并不存在这些问题。

下面参考图4-11详细描述根据本发明一个实施方式的图像校正方法。

首先，参考图5-9具体描述用于测量照相机的安装误差的步骤。

参考图5，在大规模生产线中崭新地装备有四台照相机10的车辆13被放置在校准区域20中。在与长方形四个顶点位置相对应的点上放置而形成的地面标记22(下文中称作“校正点”)被画在校准区域20的参考地面21上。在车辆的前侧、后侧、左侧和右侧方向上布置四组地面标记22以便与四台照相机10相对应。附图标记14表示停车线。

根据另一个实施方式，如图6所示，还可以使用均具有顶点和线条的长方形地面标记23。这些地面标记23与如图5所示的地面标记22基本相同，与地面标记22相比，每个地面标记23具有四个校正点。即，每个长方形地面标记23的各个顶点对应于四个校正点。

使用四个校正点来校正照相机安装误差的原因之一是必须考虑图像转换所需的时间和数据量。随着校正点数量的增加，失真校正的程度提高。然而，随着校正点数量的增加，图像校正所需的空间变大，所需的时间也增加。因此需要选取优化的用于图像校正的校正点的数量。根据本实施方式，需要四个或更多的校正点，优选地为四个校正点。

参考图7，使用四个或更多校正点的另一原因是对应每个照相机的光轴相对于地面的斜度的每个照相机的地面凝视角θ。作为一个例子，如图8A和8B所示，当在地面凝视角θ1＜θ2的情况下，地面凝视角θ1的失真度大于地面凝视角θ2的失真度。为了校正取决于这种地面凝视角的失真，需要布置与正方形或长方形的顶点相对应的四个或更多校正点，优选地四个校正点。同时，根据本实施方式，通过透视变换来执行照相机图像的处理。

在下文中，为方便描述，将详细描述使用图6的长方形地面标记23的图像校正方法。

参考图4和图9，当设有照相机的车辆被定位在校准区域20的适当位置时，鉴别人(evaluator)开启照相机系统。当照相机系统被开启时，原始图像信号数据从照相机转移到控制单元11。控制单元11通过原始图像信号数据校正图像失真，使用预设的查阅表将由各照相机捕获的图像相互匹配，然后将所需的捕获图像30输出到屏幕12。

所捕获的图像包括通过捕获地面标记23得到的捕获标记31和预设并显示在屏幕12上的参考标记32这二者。将这些参考标记32预设成与在照相机被正常调整的情况下所捕获的标记相对应。

当照相机以正确的姿势被正常定位到其设计位置上时，捕获标记31与参考标记32精确对准。然而，当由于照相机的安装误差而导致照相机的光轴偏移其预定位置时，捕获标记31不能与参考标记32精确对准，如图9所示。

接着，参考图4-10详细描述校正前侧照相机的安装误差的过程。

如图4-10所示，当在由前侧照相机捕获的图像中，在捕获标记31和参考标记32之间未对准时，如果鉴别人接触四个校正点，则捕获标记31的四个校正点中每一个的坐标被传送到控制单元11。控制单元11利用这些坐标来校正未对准，并将校正后的图像输出到屏幕12。在这种情况下，屏幕12可由触摸屏幕来实现。

利用新的查阅表替代预先存储在控制单元11中的查阅表来执行校正图像的生成。这种替代能够基于捕获标记31的校正点的坐标和参考标记32的校正点的坐标，通过计算取决于照相机的转动和移动的校正量来实现。

可以使用最初设置用于这种计算的查阅表时所使用的两种公式，和各种其它公式。

将参考图11描述根据本实施方式的照相机安装误差的最大校正范围。

由于根据本发明的用于照相机系统的图像校正方法基于软件来校正照相机的安装误差，因而存在这种校正范围的限制。

当照相机的安装误差大于这种限制时，优选地是物理地调整照相机的位置和/或姿势。根据本发明的一个实施方式，照相机系统被配置成以便能够在屏幕12上核对最大误差校正范围。

如图11中，捕获标记31的校正点PT1’，PT2’，PT3’和PT4’(即地面标记的校正点)以具有预定半径的圆被显示在照相机系统的屏幕12上，而参考标记32的校正点PT1，PT2，PT3和PT4被显示为小于圆33的点。

当参考标记32的校正点PT1，PT2，PT3和PT4分别呈现在圆33内与之对应的位置时，基于软件的误差校正的可靠性高；否则则需要物理地校正误差。

圆33表示照相机安装误差的最大可靠的校正范围。与上述实施方式不同，参考标记32的校正点PT1，PT2，PT3和PT4可被显示为具有预定半径的圆，而捕获标记31的校正点PT1’，PT2’，PT3’和PT4’可被显示为点。

如上所述，每个地面标记22或23的各个校正点被显示为具有预定半径的圆，使得鉴别人能够人为地核对基于软件的误差校正的限制，因而不但提高便利性还保证校正照相机的安装误差的可靠性。

根据上述用于照相机系统的图像校正方法，不需要独立的映射表数据，因而将由照相机系统存储的所需数据量能够减少到最低程度，并且能够方便地校正照相机的安装误差。

尽管已出于说明的目的，公开了本发明的优选实施方式，然而本领域技术人员应该理解，在不偏离所附的权利要求公开的本发明的实质精神和范围的情况下，还可以进行各种修改，增加和替换。

Claims (6)

1.一种用于照相机系统的图像校正方法，包括：

a)获取与通过照相机捕获并且其上标示至少一个地面标记的参考地面有关的图像数据；

b)基于在a)中获取的所述图像数据，得到所捕获的地面标记的坐标；以及

c)利用在b)中得到的所述捕获的地面标记的坐标与预设的参考标记的坐标之间的误差，对预设的查阅表进行更新或者使用新的查阅表替换所述预设的查阅表，其中所述更新或替换通过计算取决于所述照相机的每个光轴的移动和转动量的校正量，随后产生所述照相机的新的光轴检测值来实现。

2.根据权利要求1所述的图像校正方法，其中所述地面标记和所述参考标记分别具有四个或更多对应的校正点。

3.根据权利要求1所述的图像校正方法，其中所述地面标记和所述参考标记分别具有被布置成与正方形或长方形的顶点相对应的四个校正点。

4.根据权利要求2所述的图像校正方法，其中所述捕获的地面标记和所述参考标记被一同显示在屏幕上，并且从外部输入得到所述捕获的地面标记的校正点坐标的有关信息。

5.根据权利要求3所述的图像校正方法，其中所述捕获的地面标记和所述参考标记被一同显示在屏幕上，并且从外部输入得到所述捕获的地面标记的校正点坐标的有关信息。

6.根据权利要求3所述的图像校正方法，其中所述地面标记的校正点被显示为具有预定半径的圆。