CN111325799A - 一种大范围高精度的静态环视自动标定图案及系统 - Google Patents

Abstract

本发明实施例公开了一种大范围高精度的静态环视自动标定图案及系统。该标定图案包括设置于图像采集装置前方视野对应的区域的第一标定图案，所述第一标定图案中的特征点用于将所述图像采集装置获取的原始图像变换为俯视图，以及设置于所述图像采集装置前方视野对应的区域的边缘第二标定图案，所述第一标定图案中的特征点用于对所述俯视图进行矫正和优化。从而，可以实现大范围、高精度的图像采集装置的自动标定，减小合成拼接后的俯瞰图的误差。

Description

一种大范围高精度的静态环视自动标定图案及系统

技术领域

本发明涉及汽车驾驶辅助技术领域，尤其涉及一种汽车环视全景系统的标定图案及标定方法。

背景技术

近年来，计算机视觉技术的快速发展使得越来越多的图像技术被广泛应用到汽车驾驶辅助系统中。在汽车运动过程中，消除周围环境盲点对于驾驶员来说是极为重要的，也是安全驾驶的有力保障。汽车全景环视系统作为自动泊车系统的重要组成部分，可以为驾驶员提供汽车周围环境的全景图像，实现无盲点的汽车周边环境信息感知。通过该系统，驾驶员可以直观地了解泊车位置周边的复杂情况，减少泊车过程中、特别是复杂环境下可能的刮蹭、碰撞、陷落等事故，从而极大地提高泊车的安全性。

汽车全景环视系统通常包括装配在车体前后左右的多个图像采集装置(例如广角摄像头或鱼眼摄像头)，每个图像采集装置的视野范围覆盖一定区域，相邻图像采集装置的视野范围部分重叠。通过各图像采集装置获得的多幅图像，先经过视点变换生成多幅以车辆为中心垂直向下的俯视图，再通过合成算法将多幅俯视图拼接起来得到无畸变的车身环视俯瞰图。图像采集装置参数的精确性决定了俯瞰图中各物体还原是否准确、各图像连接处是否精确无错位、以及俯瞰图与车体的相对位置关系是否正确，因此，为了能够生成满足实际泊车需要的环视俯瞰图，必须对图像采集装置进行标定。

现有技术的一种汽车环视全景系统中图像采集装置的标定方法是通过如图1所示的标定系统实现的。图1中，将车辆停在固定位置后，在车辆前后左右布置棋盘格图案，并记录棋盘格的参数(例如，每个棋盘格角点的物理坐标)。在对图像采集装置进行标定时，先找到图像采集装置正对的棋盘格，结合该棋盘格角点(特征点)的物理坐标等参数，对由图像采集装置获取的原始图像进行畸变矫正和透视变换，获得与原始图像对应的俯视图。此后，在获得的俯视图上继续查找图像边缘的特征点并进行变换，从而实现图案采集装置参数的自动标定。然而，上述方法的一个缺陷是，位于图像中心的畸变较小的棋盘格比较容易识别，而位于图像边缘的畸变较大的棋盘格则识别误差很大，造成标定结果的可靠范围较小，精确性远未达到自动泊车的实际需要。因此，现有技术亟需一种能够实现对图像采集装置进行大范围、高精度的自动标定的标定方法以及实现该方法的标定图案。

发明内容

本发明实施例提供了一种适用于汽车环视全景系统的标定图案和标定方法，可以实现大范围、高精度的图像采集装置的自动标定，减小合成拼接后的俯瞰图的误差。

一方面，本发明实施例提供一种用于静态环视标定系统的标定图案，该标定图案用于汽车全景环视系统的标定，包括：第一标定图案，所述第一标定图案设置于图像采集装置前方视野对应的区域，所述第一标定图案中的特征点用于将所述图像采集装置获取的原始图像变换为俯视图；第二标定图案，所述第二标定图案设置于所述图像采集装置前方视野对应的区域的边缘，所述第二标定图案中的特征点用于对所述俯视图进行矫正和优化。通过本实施例提供的方案，可以实现大范围、高精度的图像采集装置的自动标定，减小合成拼接后的俯瞰图的误差。

在一个可能的设计中，所述第一标定图案为棋盘格图案、二维码图案和AprilTag图案中的一种或者它们的任意组合。

在一个可能的设计中，所述第二标定图案为圆形图案或圆形图案阵列，从而可以减小图像合成时较大畸变带来的误差，提高标定的精确度，此为本发明的发明点之一。

在一个可能的设计中，所述第二标定图案为椭圆形图案或椭圆形图案阵列，从而可以减小图像合成时较大畸变带来的误差，提高标定的精确度，此为本发明的发明点之一。

另一方面，本发明实施例提供一种静态环视标定方法，使用上述方面所述的标定图案，所述方法包括：在所述图像采集装置获取的所述原始图像中识别所述第一标定图案，并根据识别的所述第一标定图案对所述原始图像进行变换，获得第一俯视图；在所述第一俯视图中识别所述第二标定图案，并根据识别的所述第二标定图案对所述第一俯视图进行变换，获得第二俯视图；根据识别出的所述第一标定图案和所述第二标定图案对所述第二俯视图进行全局优化，获得优化俯视图；在所述优化俯视图中识别所述第二标定图案，并根据识别的所述第二标定图案对所述优化俯视图进行全局优化，获得第三俯视图。通过本实施例提供的方案，可以实现大范围、高精度的图像采集装置的自动标定，减小合成拼接后的俯瞰图的误差。

在一个可能的设计中，所述方法还包括：对所述第三俯视图进行合成拼接，获得环视俯瞰图。

在一个可能的设计中，在所述第一俯视图中识别所述第二标定图案包括：根据所述第二标定图案与所述第一标定图案的相对位置，确定所述第二标定图案在所述第一俯视图中的图像区间，此为本发明的发明点之一。

在一个可能的设计中，在所述第一俯视图中识别所述第二标定图案还包括：在所述第一俯视图中识别所述第二标定图案的中心位置，从而可以减小边缘畸变带来的较大标定误差，此为本发明的发明点之一。

在一个可能的设计中，所述第二标定图案为圆形图案或圆形图案阵列，在所述第一俯视图中识别所述第二标定图案包括：在所述第一俯视图中识别所述圆形图案的圆心位置或所述圆形图案阵列中每个圆形图案的圆心位置，此为本发明的发明点之一。

在一个可能的设计中，确定所述第二标定图案在所述第一俯视图中的图像区间包括：对所述第一俯视图进行双边滤波和灰度均衡化处理；以及在所述处理后的所述第一俯视图上确定所述第二标定图案的图像区间，此为本发明的发明点之一。

在一个可能的设计中，所述全局优化为线性优化或非线性优化，此为本发明的发明点之一。

再一方面，本发明实施例提供了一种静态环视标定系统，用于汽车全景环视系统的标定，其特征在于，包括：图像采集装置；标定处理器；以及上述方面所述的标定图案。

本发明的发明点包括但不限于下述几点：

根据本发明实施例提供的技术方案，设置用于定位的第一标定图案和用于多次识别矫正的第二标定图案，通过对所述第二标定图案的多次反复识别，减小图按采集装置畸变差异带来的标定误差，从而可以实现高精度、大范围的图像采集装置自动标定。

根据实施例提供的技术方案，所述第二标定图案为圆形图案或圆形图案阵列，从而可以利用圆形图案的圆心位置在图像采集装置视角畸变差异较大时误差较小的特点，提高标定的准确度。

附图说明

为了更清楚的说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。

图1为现有技术的一种汽车环视全景系统中图像采集设备的标定系统示意图；

图2A为现有技术中标定系统的右侧图像采集装置所捕获的原始图像；

图2B为现有技术中标定系统的后侧图像采集装置所捕获的原始图像；

图2C为右视和后视重合区域的标定图案的放大图像；

图3为本发明实施例提供的汽车全景环视系统和标定系统的示意图；

图4为本发明实施例提供的第一标定图案的示意图；

图5为本发明实施例提供的标定方法的流程示意图；

图6为本发明实施例提供的获得第一俯视图的流程示意图；

图7为本发明实施例提供的经过图像采集装置成像所获得的原始图像；

图8为本发明实施例提供的第二标定图案在第一俯视图上的图像区间的图像；

图9为本发明实施例提供的对第二标定图案的图像区间进行处理的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的方案进行清楚、完整的描述。

汽车全景环视系统作为汽车驾驶辅助系统的重要组成部分，通常用于自动泊车系统，其拼接合成图像的精确性极大地影响着自动泊车的准确性和安全性。常见的汽车全景环视系统在车身的前后左右四个位置设置朝向四个方向的图像采集装置，用于捕获汽车前后左右四个视角的图像。为了信息捕获的全面性，图像采集装置通常采用广角摄像头或者鱼眼摄像头，并且相邻摄像头的视野范围部分重叠。但是，广角摄像头和鱼眼摄像头的畸变差异性较大，因此为了保证精确还原周围环境的图像，在汽车全景环视系统正式投入使用之前，需要对图像采集装置进行标定。

现有技术中采用如图1所示的标定系统对图像采集装置进行标定。所述标定系统包括与设置在车身四周的图像采集装置的前方视野对应的四组标定图案1，以及位于相邻两组标定图案1拐角位置的标定图案2。其中，标定图案1可以为棋盘格图案，标定图案2可以为矩形图案。基于现有技术的标定图案的标定方法主要包括如下步骤：

S1，在图像采集装置捕获的原始图像上找到图像采集装置正对的棋盘格格点。

S2，通过棋盘格角点的已知参数(例如，格点尺寸、格点数量、格点的物理坐标等)，对每个图像采集装置获得的原始图像进行畸变矫正和透视变换，将原始图像变换成为俯视图。其中，用于确定对图像进行变换的矩阵的棋盘格角点又被称为特征点。

S3，在变换得到的俯视图上继续依次查找位于图像边缘的特征点，从而识别出所有棋盘格角点，实现图像采集装置的自动标定。

然而，如图1所示，现有技术在设置图像采集装置时，位于车身左侧和右侧的图像采集装置与位于车身后侧的图像采集装置之间的基线距离远，由此导致左/右侧图像采集装置的视野范围(左/右视)与后侧图像采集装置的视野范围(后视)的重合区域视差和分辨率差异较大，在标定时难以提取到高精度的特征点。图2A和2B分别示出了右侧图像采集装置和后侧图像采集装置所捕获的原始图像，其中黑色圆圈内的图案即为右视与后视重合区域的标定图案。图2C则示出了将原始图像上右视与后视重合区域的标定图案放大后的图像。可以看出，放大后的图像精度有限，在原始图像上的识别误差很容易达到2像素以上，这很大程度影响了标定的精确度，对于最终的标定结果是十分不利的。

由此可见，采用现有技术的标定方法虽然比较容易识别出位于图像中心的特征点，却很难识别出位于图像边缘的特征点，识别精度较低，有效范围较小。一般地，可识别的特征点的有效范围距离车身边缘的垂直距离不超过1m，当距离偏远时，特征点识别将会出现较大误差，严重缩小了标定的可靠范围。因此需要设计一种可以实现大范围、高精度的自动标定系统，增加识别的有效范围，减小变换后图像的误差。

本发明实施例提出的解决方案是基于图3所示的汽车全景环视系统及其标定系统。所述汽车全景环视系统包括设置在车身前后左右四个位置上的图像采集装置，相邻的图像采集装置的视野范围部分重叠，从而将全部图像采集装置采集的图像叠加后可以得到环绕车身的360度全景图像。

可选的，所述图像采集装置为广角摄像头或鱼眼摄像头。广角摄像头和鱼眼摄像头相比于普通镜头具有大而广阔的视野范围，视角范围可以达到170-190度，从而可以更好的捕捉周围环境的细节。

需要说明的是，图3所示的汽车全景环视系统中所包含的图像采集装置的数量仅仅是一种例举，本发明实施例也并不限制于此。例如，还可以为了更精确的分割环境图像而设置更多的图像采集装置，为求简明，不在附图中一一描述。

所述标定系统包括标定图案和标定处理器。所述标定图案包括第一标定图案101和第二标定图案102。所述第一标定图案101与所述图像采集装置相对应，设置在每个图像采集装置前方视野正对的地面区域。所述第二标定图案102的布局如图3所示，主要设置在距离所述图像采集装置的成像范围较远的边缘位置和拐角位置的地面区域。每个所述图像采集装置的成像范围内包括一个第一标定图案101和至少一个第二标定图案102。

所述第一标定图案101可以为图3所示的棋盘格图案，也可以为二维码图案、AprilTag图案等具有定位功能的图案。图4左侧和右侧分别示出了可以用作所述第一标定图案101的二维码图案和AprilTag图案。可以理解，所述第一标图案101并不限于本发明实施例所列举的三种，还可以采用其他便于实现的形式，这里不再赘述。所述第一标定图案101包含特征点，用于将所述图像采集装置获得的原始图像变换为俯视图。

所述第二标定图案102采用畸变误差较小的图案设计，例如，圆形图案，这将有利于通过所述第二标定图案102对所述俯视图进行矫正和优化。

可选的，所述第二标定图案102为单个圆形图案。采用单个圆形图案设置在图像采集装置视角范围的边缘，可以减小图像合成时较大畸变带来的误差。

所述第二标定图案102也可以为图3所示的圆形阵列。所述圆形阵列由多个圆形图案排列组成，从而可以在标定时提供更多的特征点位置，提高标定的精确度。图3中，所述圆形阵列由2X2个圆形图案排列组成。可以理解，所述圆形阵列并不限于采用图3所示的排布形式，而是可以根据标定精度的需要而采用mXn的圆形阵列。

所述第二标定图案102还可以采用除圆形以外的其它畸变误差较小的图案，例如，椭圆形图案。

所述标定处理器用于存储所述图像采集装置的内部参数、所述标定图案的参数、以及其它标定过程中所必须的参数，并根据这些参数对所述图像采集装置所获得的原始图像进行变换、校正、拼接等，从而输出正常视角下以车身为中心的俯瞰图。

可以理解，所述标定处理器可以是中央处理器(CPU)、通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其它可编程逻辑器件、晶体管逻辑器件，硬件部件或者其任意组合。其可以实现或执行结合本发明公开内容所描述的各种示例性的逻辑方框、模块和电路。所述处理器也可以是实现计算功能的结合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。

通过上述标定图案及标定系统，可以实现大范围、高精度的图像采集装置参数的自动标定。图5示出了本发明一个实施例提供的基于上述标定图案及标定系统的标定方法的示意图，下面结合图5对本实施例提供的标定方法进行详细说明。

SS1，在所述图像采集装置所获得的原始图像中识别所述第一标定图案101，并根据识别的所述第一标定图案101对所述原始图像进行变换，获得第一俯视图。

其中，在执行所述标定方法之前，将所述图像采集装置的内部参数和所述第一标定图案101的参数存储在所述标定处理器中。所述图像采集装置的内部参数包括所述图像采集装置的焦距、径向畸变向量、切向畸变向量等。所述第一标定图案101的参数则包括所述第一标定图案101中每个特征点的物理位置、图案尺寸等(例如，图3所示的棋盘格角点的物理坐标、棋盘格的格点宽度等)。

一个可能的获得所述第一俯视图的流程如图6所示。首先通过所述图像采集装置获得所述原始图像，之后在所述原始图像上识别出所述第一标定图案101(本发明实施例中为棋盘格图案)所对应的图像区域，并确定用于投影变换的特征点的像素坐标。图7示出了经过设置于车身右侧的图像采集装置成像所获得的原始图像。通过所述特征点的像素坐标和物理坐标可以确定透视矩阵，将所述原始图像投影为俯视图。根据所述图像采集装置的内部参数可以确定畸变矫正矩阵，从而对所述俯视图进行反畸变矫正，形成所述第一俯视图，防止图像采集装置的畸变带来的俯视图精度误差。

SS2，在所述第一俯视图中识别所述第二标定图案102，并根据识别的所述第二标定图案102对所述第一俯视图进行变换，获得第二俯视图。

可选的，根据所述第一标定图案101和所述第二标定图案102的相对位置关系，确定所述第二标定图案102在所述第一俯视图上的大致区间图像区间，从而确定图像区间。图3中所述棋盘格图案和所述圆形阵列图案各自的物理坐标和相对物理坐标在标定之前已经测量并存储于所述标定处理器中，因此根据它们的相对物理坐标和物理坐标-像素坐标的映射关系，可以确定所述圆形阵列在所述第一俯视图上的大致区间，并由此确定图像区间，如图8所示。

此后，在所述图像区间内识别所述第二标定图案102的特征点的中心位置。如图9所示，可以对所述图像区间内的所述第二标定图案102进行双边滤波和灰度均衡化，得到增强边缘和灰度差异的图像。通过对所述第二标定图案102的边缘锐化和对比度增强处理，可以提高对所述第二标定图案102的中心位置的识别精度。

可以理解，对于如图3所示的由圆形阵列组成的所述第二标定图案102，所述第二标定图案102的特征点的中心位置即为每个圆形图案的圆心位置。

由于所述第二标定图案102更靠近所述图像采集装置成像范围的边缘区域，因此在经过变换所得到的所述第一俯视图上，所述圆形图案的圆心位置与其物理坐标仍然具有较大偏差。为了进一步提高图像投影变换的精度，使得最终拼接所得到的俯瞰图能够在最大程度上还原实际的周围环境，根据识别出的所述第二标定图案102的中心位置特征点的参数，并一识别出的所述第一标定图案101的特征点参数，对所述第一俯视图重新进行投影变换和反畸变矫正，获得所述第二俯视图。

SS3，根据识别出的所述第一标定图案101和所述第二标定图案102对所述第二俯视图进行全局优化，得到优化俯视图。

具体的，根据识别到的所有特征点的参数，对所述第二俯视图进行全局优化，从而得到优化俯视图到所述第二俯视图的单应矩阵。

可选的，所述全局优化为线性优化或非线性优化。所述全局优化使得各所述图像采集装置的单应矩阵残差最小化。现有技术中并没有针对俯视图进行全局优化得到优化后的俯视图，以利于标定。更没有考虑将全局优化归结为使单应矩阵残差最小化。使用该方式，使得标定结果更精确。

SS4，在所述优化俯视图中识别所述第二标定图案102，并根据识别的所述第二标定图案102对所述优化俯视图进行全局优化，获得第三俯视图。

可以如步骤SS2所描述的那样，先在所述优化俯视图上确定所述第二标定图案102的图像区间，然后对所述图像区间内的所述第二标定图案102进行双边滤波和灰度均衡化，从而识别出所述优化标定图案102中每个圆形图案的圆心位置。

可以理解，在得到每个所述图像采集装置的用于拼接的俯视图以后，将这些俯视图通过拼接算法合成在一起，得到完整的汽车全景环视俯瞰图。

可以根据标定精度的需要，在俯视图上反复识别所述第二标定图案102，直到经变换得到的俯视图与真实环境的误差达到预设阈值。

可选的，在优化俯视图上反复识别所述第二标定图案102，直到经全局优化得到的俯视图与真实环境的误差达到预设阈值，从而满足自动泊车的精度。

本实施例中，设置用于定位的第一标定图案和用于多次识别矫正的第二标定图案，通过对所述第二标定图案的多次反复识别，减小图按采集装置畸变差异带来的标定误差，从而可以实现高精度、大范围的图像采集装置自动标定，标定有效范围可以达到距车身垂直距离3米。

上述主要从各个步骤中各部分之间交互的角度对本发明实施例提供的方案进行了介绍。可以理解的是，为了实现上述功能，相应部分包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的部分及算法步骤，本发明能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理单元执行的软件模块，或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或者本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理单元连接，以使得处理单元可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选的，存储媒介还可以集成到处理单元中。处理单元和存储媒介可以配置于ASIC中，ASIC可以配置于操作终端设备中。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明实施例所描述的上述功能可以在硬件、软件、固件或者这三者的任意组合来实现。如果在软件中实现，这些功能可以存储于计算机可读介质上，或以一个或多个指令或代码形式传输于计算机可读介质上。计算机可读介质包括计算机存储介质和便于使得让计算机程序从一个地方转移到其他地方的通信介质。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (10)

1.一种用于静态环视标定系统的标定图案，该标定图案用于汽车全景环视系统的标定，

其特征在于，所述标定图案包括：

第一标定图案，所述第一标定图案设置于图像采集装置前方视野对应的区域；

所述第一标定图案中的特征点用于将所述图像采集装置获取的原始图像变换为俯视图；

第二标定图案，所述第二标定图案设置于所述图像采集装置前方视野对应的区域的边缘；

所述第二标定图案中的特征点用于对所述俯视图进行矫正和优化。

2.如权利要求1所述的标定图案，其特征在于，所述第一标定图案为棋盘格图案、二维码图案和AprilTag图案中的一种或者它们的任意组合。

3.如权利要求1或2所述的标定图案，其特征在于，所述第二标定图案为圆形图案或圆形图案阵列。

4.如权利要求1-3中任一项所述的标定图案，其特征在于，所述第二标定图案为椭圆形图案或椭圆形图案阵列。

5.一种静态环视标定方法，使用如权利要求1-4中任一项所述的标定图案，其特征在于，所述方法包括：

在所述图像采集装置获取的所述原始图像中识别所述第一标定图案，并根据识别的所述第一标定图案对所述原始图像进行变换，获得第一俯视图；

在所述第一俯视图中识别所述第二标定图案，并根据识别的所述第二标定图案对所述第一俯视图进行变换，获得第二俯视图；

根据识别出的所述第一标定图案和所述第二标定图案对所述第二俯视图进行全局优化，获得优化俯视图；

在所述优化俯视图中识别所述第二标定图案，并根据识别的所述第二标定图案对所述优化俯视图进行全局优化，获得第三俯视图。

6.如权利要求5所述的方法，其特征在于，在所述第一俯视图中识别所述第二标定图案包括：根据所述第二标定图案与所述第一标定图案的相对位置，确定所述第二标定图案在所述第一俯视图中的图像区间。

7.如权利要求5或6所述的方法，其特征在于，在所述第一俯视图中识别所述第二标定图案还包括：

在所述第一俯视图中识别所述第二标定图案的中心位置。

8.如权利要求5-7中任一项所述的方法，其特征在于，所述第二标定图案为圆形图案或圆形图案阵列，在所述第一俯视图中识别所述第二标定图案包括：

在所述第一俯视图中识别所述圆形图案的圆心位置或所述圆形图案阵列中每个圆形图案的圆心位置。

9.如权利要求6-8中任一项所述的方法，其特征在于，确定所述第二标定图案在所述第一俯视图中的图像区间包括：

对所述第一俯视图进行双边滤波和灰度均衡化处理；

在所述处理后的所述第一俯视图上确定所述第二标定图案的图像区间。

10.一种静态环视标定系统，用于汽车全景环视系统的标定，其特征在于，包括：

图像采集装置；

标定处理器；

以及如权利要求1-5中任一项所述的标定图案。

Images