CN111445534B - 一种用于全自动泊车的相机高精度自动标定方法及装置 - Google Patents

Abstract

本发明公开了一种用于全自动泊车的相机高精度自动标定方法及装置，包括：在批量相机中，随机选取固定数量的相机作为样本相机；针对样本相机，采集多幅原始图像，并标定相机，以及利用所有样本相机的内参数构建内参集；在原始图像上获取标定布的角点；遍历内参集，进行相机外参标定，并选取角点反投影误差作为指标，将误差最小的一组内外参作为相机内外参初始值；基于内外参初始值，将鱼眼相机图像转到俯视图中，在俯视图中提取角点的初始值，并将角点的初始值转换到鱼眼图像上，进行亚像素级别角点提取，得到高精度的角点信息；利用高精度的角点信息，对内外参初始值进行优化，得到优化的标定结果。本发明能够有效的对相机进行高精度自动标定。

Description

一种用于全自动泊车的相机高精度自动标定方法及装置

技术领域

本发明涉及全自动泊车技术领域，尤其涉及一种用于全自动泊车的相机高精度自动标定方法及装置。

背景技术

目前，对于批量相机的标定而言，由于内参标定比较耗时，因此会采用固定相机内参(包括光心，焦比，畸变系数)，仅进行外参标定。对于角点提取而言，通常会采用直接在鱼眼图像上直接粗提取角点初始坐标，再进行亚像素级别角点提取。

由此可以看出，虽然批量相机工艺相差不大，但是相机内参不可能完全相同，若批量相机均采用同一组参数显然会引入较大误差，而自动泊车对相机参数精度要求相对较高。另外，由于鱼眼相机畸变较大，直接在鱼眼相机原始图像中精确的提取图像非中间位置的角点初始值会比较困难。

因此，在全自动泊车时，如何高精度的对相机进行自动标定，是一项亟待解决的问题。

发明内容

有鉴于此，本发明提供了一种用于全自动泊车的相机高精度自动标定方法，能够通过构建内参集，在内参集中选取最合适的参数，以及将鱼眼相机图象转换为俯视图，在俯视图中提取角点，再将提取到的角点转换到鱼眼相机图象，实现高精度的对相机进行自动标定。

本发明提供了一种用于全自动泊车的相机高精度自动标定方法，包括：

在批量相机中，随机选取固定数量的相机作为样本相机；

针对每个样本相机，采集多幅原始图像，并标定相机，以及利用所有样本相机的内参数构建内参集；

在原始图像上获取标定布的角点；

遍历所述内参集，进行相机外参标定，并选取角点反投影误差作为指标，将误差最小的一组内外参作为相机内外参初始值；

基于所述内外参初始值，将鱼眼相机图像转到俯视图中，在俯视图中提取角点的初始值，并将所述角点的初始值转换到鱼眼图像上，进行亚像素级别角点提取，得到高精度的角点信息；

利用得到的所述高精度的角点信息，对所述内外参初始值进行优化，得到优化的标定结果。

优选地，所述方法还包括：

构建鱼眼相机图形与俯视图之间相互转换的表。

优选地，所述基于所述内外参初始值，将鱼眼相机图像转到俯视图中，在俯视图中提取角点的初始值，并将所述角点的初始值转换到鱼眼图像上，进行亚像素级别角点提取，得到高精度的角点信息包括：

基于所述内外参初始值，将鱼眼相机图像转到俯视图中，在俯视图中提取角点的初始值，并通过查询鱼眼相机图形与俯视图之间相互转换的表，将所述角点的初始值转换到鱼眼图像上，进行亚像素级别角点提取，得到高精度的角点信息。

优选地，所述利用得到的所述高精度的角点信息，对所述内外参初始值进行优化，得到优化的标定结果包括：

利用得到的所述高精度的角点信息，选取标定板距离相机最远最近点连线的长度及方向作为目标函数，采用智能优化算法，对所述内外参初始值进行优化，得到优化的标定结果。

优选地，所述智能优化算法包括：粒子群算法。

一种用于全自动泊车的相机高精度自动标定装置，包括：

选取模块，用于在批量相机中，随机选取固定数量的相机作为样本相机；

第一处理模块，用于针对每个样本相机，采集多幅原始图像，并标定相机，以及利用所有样本相机的内参数构建内参集；

获取模块，用于在原始图像上获取标定布的角点；

第二处理模块，用于遍历所述内参集，进行相机外参标定，并选取角点反投影误差作为指标，将误差最小的一组内外参作为相机内外参初始值；

提取模块，用于基于所述内外参初始值，将鱼眼相机图像转到俯视图中，在俯视图中提取角点的初始值，并将所述角点的初始值转换到鱼眼图像上，进行亚像素级别角点提取，得到高精度的角点信息；

优化模块，用于利用得到的所述高精度的角点信息，对所述内外参初始值进行优化，得到优化的标定结果。

优选地，所述装置还包括：

构建模块，用于构建鱼眼相机图形与俯视图之间相互转换的表。

优选地，所述提取模块具体用于：

基于所述内外参初始值，将鱼眼相机图像转到俯视图中，在俯视图中提取角点的初始值，并通过查询鱼眼相机图形与俯视图之间相互转换的表，将所述角点的初始值转换到鱼眼图像上，进行亚像素级别角点提取，得到高精度的角点信息。

优选地，所述优化模块具体用于：

利用得到的所述高精度的角点信息，选取标定板距离相机最远最近点连线的长度及方向作为目标函数，采用智能优化算法，对所述内外参初始值进行优化，得到优化的标定结果。

优选地，所述智能优化算法包括：粒子群算法。

综上所述，本发明公开了一种用于全自动泊车的相机高精度自动标定方法，当需要实现在全自动泊车时对相机进行高精度自动标定时，首先在批量相机中，随机选取固定数量的相机作为样本相机；针对每个样本相机，采集多幅原始图像，并标定相机，以及利用所有样本相机的内参数构建内参集；在原始图像上获取标定布的角点；遍历内参集，进行相机外参标定，并选取角点反投影误差作为指标，将误差最小的一组内外参作为相机内外参初始值；基于内外参初始值，将鱼眼相机图像转到俯视图中，在俯视图中提取角点的初始值，并将角点的初始值转换到鱼眼图像上，进行亚像素级别角点提取，得到高精度的角点信息；利用得到的高精度的角点信息，对内外参初始值进行优化，得到优化的标定结果。本发明能够通过构建内参集，在内参集中选取最合适的参数，以及将鱼眼相机图象转换为俯视图，在俯视图中提取角点，再将提取到的角点转换到鱼眼相机图象，实现高精度的对相机进行自动标定。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明公开的一种用于全自动泊车的相机高精度自动标定方法实施例1的流程图；

图2为本发明公开的棋盘格标定布示意图；

图3为本发明公开的一种用于全自动泊车的相机高精度自动标定方法实施例2的流程图；

图4为本发明公开的一种用于全自动泊车的相机高精度自动标定装置实施例1的结构示意图；

图5为本发明公开的一种用于全自动泊车的相机高精度自动标定装置实施例2的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，为本发明公开的一种用于全自动泊车的相机高精度自动标定方法实施例1的方法流程图，所述方法可以包括以下步骤：

S101、在批量相机中，随机选取固定数量的相机作为样本相机；

当需要在全自动泊车时对相机进行高精度自动标定时，首先在批量相机中，随机选取固定数量的相机作为样本相机。相机内参标定依赖覆盖相机全视场的大量图片，对于批量相机标定而言，若采用这种传统方式将非常耗时，由于同一型号相机工艺相差不大，因此随机选取固定数量相机作为样本，对样本相机进行标定。

S102、针对每个样本相机，采集多幅原始图像，并标定相机，以及利用所有样本相机的内参数构建内参集；

在随机选取固定数量的相机作为样本相机后，进一步针对每个样本相机，采集多幅原始图像，对样本相机进行标定，构建包括相机光心、焦比以及畸变系数的内参集合。

S103、在原始图像上获取标定布的角点；

如图2所示，为本发明采用的棋盘格标定布，本发明中角点定义为各棋盘格的顶点。角点提取的方法是先寻找各小矩形轮廓，进而确定矩形的顶点，除边缘处，其他部分角点由四个矩形共同的顶点形成，因为寻找矩形顶点过程中存在误差，所以四个矩形共同的顶点像素会略有不同，采用四个矩形共同顶点的平均值作为角点初始值，接下来在该初始值邻域内寻找中心处最亮点进行亚像素级别的精确定位。

S104、遍历内参集，进行相机外参标定，并选取角点反投影误差作为指标，将误差最小的一组内外参作为相机内外参初始值；

然后，遍历相机内参集，进行相机外参标定，选取角点反投影误差作为指标，误差最小的一组内外参作为相机内外参初始值。

S105、基于内外参初始值，将鱼眼相机图像转到俯视图中，在俯视图中提取角点的初始值，并将角点的初始值转换到鱼眼图像上，进行亚像素级别角点提取，得到高精度的角点信息；

为获得更高精度的相机外参，利用拿到的相机内外参初始值，将鱼眼相机图像转到TopView图(俯视图)中，在TopView图中提取角点的初始值，转换到鱼眼图像上，进行亚像素级别角点提取，得到高精度的角点信息。通过将鱼眼相机图像转换为TopView图，在TopView图像中提取角点，再将提取到的角点转换到鱼眼相机图像作为亚像素级别角点提取的初始值，解决了因为鱼眼相机畸变较大引起的角点提取精度不高问题。

S106、利用得到的高精度的角点信息，对内外参初始值进行优化，得到优化的标定结果。

当得到高精度的角点信息后，为达到全自动泊车所需要的标定精度，进一步利用得到的高精度的角点信息，对内外参初始值进行优化，得到优化的标定结果。

综上所述，在上述实施例中，当需要实现在全自动泊车时对相机进行高精度自动标定时，首先在批量相机中，随机选取固定数量的相机作为样本相机；针对每个样本相机，采集多幅原始图像，并标定相机，以及利用所有样本相机的内参数构建内参集；在原始图像上获取标定布的角点；遍历内参集，进行相机外参标定，并选取角点反投影误差作为指标，将误差最小的一组内外参作为相机内外参初始值；

基于内外参初始值，将鱼眼相机图像转到俯视图中，在俯视图中提取角点的初始值，并将角点的初始值转换到鱼眼图像上，进行亚像素级别角点提取，得到高精度的角点信息；利用得到的高精度的角点信息，对内外参初始值进行优化，得到优化的标定结果。本发明能够通过构建内参集，在内参集中选取最合适的参数，以及将鱼眼相机图象转换为俯视图，在俯视图中提取角点，再将提取到的角点转换到鱼眼相机图象，实现高精度的对相机进行自动标定。

如图3所示，为本发明公开的一种用于全自动泊车的相机高精度自动标定方法实施例2的方法流程图，所述方法可以包括以下步骤：

S301、在批量相机中，随机选取固定数量的相机作为样本相机；

当需要在全自动泊车时对相机进行高精度自动标定时，首先在批量相机中，随机选取固定数量的相机作为样本相机。相机内参标定依赖覆盖相机全视场的大量图片，对于批量相机标定而言，若采用这种传统方式将非常耗时，由于同一型号相机工艺相差不大，因此随机选取固定数量相机作为样本，对样本相机进行标定。

S302、针对每个样本相机，采集多幅原始图像，并标定相机，以及利用所有样本相机的内参数构建内参集；

在随机选取固定数量的相机作为样本相机后，进一步针对每个样本相机，采集多幅原始图像，对样本相机进行标定，构建包括相机光心、焦比以及畸变系数的内参集合。

S303、在原始图像上获取标定布的角点；

如图2所示，为本发明采用的棋盘格标定布，本发明中角点定义为各棋盘格的顶点。角点提取的方法是先寻找各小矩形轮廓，进而确定矩形的顶点，除边缘处，其他部分角点由四个矩形共同的顶点形成，因为寻找矩形顶点过程中存在误差，所以四个矩形共同的顶点像素会略有不同，采用四个矩形共同顶点的平均值作为角点初始值，接下来在该初始值邻域内寻找中心处最亮点进行亚像素级别的精确定位。

S304、遍历内参集，进行相机外参标定，并选取角点反投影误差作为指标，将误差最小的一组内外参作为相机内外参初始值；

然后，遍历相机内参集，进行相机外参标定，选取角点反投影误差作为指标，误差最小的一组内外参作为相机内外参初始值。

S305、构建鱼眼相机图形与俯视图之间相互转换的表；

S306、基于内外参初始值，将鱼眼相机图像转到俯视图中，在俯视图中提取角点的初始值，并通过查询鱼眼相机图形与俯视图之间相互转换的表，将角点的初始值转换到鱼眼图像上，进行亚像素级别角点提取，得到高精度的角点信息；

为获得更高精度的相机外参，利用拿到的相机内外参初始值，构建鱼眼相机图形与俯视图之间相互转换的表，将鱼眼相机图像转到TopView图(俯视图)中，在TopView图中提取角点的初始值，通过查表转换到鱼眼图像上，进行亚像素级别角点提取，得到高精度的角点信息。通过将鱼眼相机图像转换为TopView图，在TopView图像中提取角点，再将提取到的角点转换到鱼眼相机图像作为亚像素级别角点提取的初始值，解决了因为鱼眼相机畸变较大引起的角点提取精度不高问题。

S307、利用得到的所述高精度的角点信息，选取标定板距离相机最远最近点连线的长度及方向作为目标函数，采用智能优化算法，对所述内外参初始值进行优化，得到优化的标定结果。

当得到高精度的角点信息后，为达到全自动泊车所需要的标定精度，进一步利用得到的高精度的角点信息，对内外参初始值进行优化，得到优化的标定结果。

具体的，优化的目标函数为标定布中垂直于车身的线的长度与方向的反投影误差最小化，即选取标定板距离相机最远最近点连线的长度及方向作为目标函数。另外，所述的智能优化算法可以是粒子群算法。

综上所述，本发明通过将鱼眼相机图像转换为TopView图，在TopView图像中提取角点，再将提取到的角点转换到鱼眼相机图像作为亚像素级别角点提取的初始值，提升了角点的精度；通过构建相机内参集，解决了相机内参精度不高问题；在相机初步标定以后，利用标定布上的线信息对相机外参数进行优化，提高了外参精度。

如图4所示，为本发明公开的一种用于全自动泊车的相机高精度自动标定装置实施例1的结构示意图，所述装置可以包括：

选取模块401，用于在批量相机中，随机选取固定数量的相机作为样本相机；

第一处理模块402，用于针对每个样本相机，采集多幅原始图像，并标定相机，以及利用所有样本相机的内参数构建内参集；

获取模块403，用于在原始图像上获取标定布的角点；

第二处理模块404，用于遍历内参集，进行相机外参标定，并选取角点反投影误差作为指标，将误差最小的一组内外参作为相机内外参初始值；

提取模块405，用于基于内外参初始值，将鱼眼相机图像转到俯视图中，在俯视图中提取角点的初始值，并将角点的初始值转换到鱼眼图像上，进行亚像素级别角点提取，得到高精度的角点信息；

优化模块406，用于利用得到的高精度的角点信息，对内外参初始值进行优化，得到优化的标定结果。

本实施例公开的用于全自动泊车的相机高精度自动标定装置的工作原理与上述用于全自动泊车的相机高精度自动标定方法实施例1的原理相同，在此不再赘述。

如图5所示，为本发明公开的一种用于全自动泊车的相机高精度自动标定装置实施例2的结构示意图，所述装置可以包括：

选取模块501，用于在批量相机中，随机选取固定数量的相机作为样本相机；

第一处理模块502，用于针对每个样本相机，采集多幅原始图像，并标定相机，以及利用所有样本相机的内参数构建内参集；

获取模块503，用于在原始图像上获取标定布的角点；

第二处理模块504，用于遍历内参集，进行相机外参标定，并选取角点反投影误差作为指标，将误差最小的一组内外参作为相机内外参初始值；

构建模块505，用于构建鱼眼相机图形与俯视图之间相互转换的表；

提取模块506，用于基于内外参初始值，将鱼眼相机图像转到俯视图中，在俯视图中提取角点的初始值，并通过查询鱼眼相机图形与俯视图之间相互转换的表，将角点的初始值转换到鱼眼图像上，进行亚像素级别角点提取，得到高精度的角点信息；

优化模块507，用于利用得到的所述高精度的角点信息，选取标定板距离相机最远最近点连线的长度及方向作为目标函数，采用智能优化算法，对所述内外参初始值进行优化，得到优化的标定结果。

本实施例公开的用于全自动泊车的相机高精度自动标定装置的工作原理与上述用于全自动泊车的相机高精度自动标定方法实施例2的原理相同，在此不再赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种用于全自动泊车的相机高精度自动标定方法，其特征在于，包括：

在批量相机中，随机选取固定数量的相机作为样本相机；

针对每个样本相机，采集多幅原始图像，并标定相机，以及利用所有样本相机的内参数构建内参集；

在原始图像上获取标定布的角点；

遍历所述内参集，进行相机外参标定，并选取角点反投影误差作为指标，将误差最小的一组内外参作为相机内外参初始值；

基于所述内外参初始值，将鱼眼相机图像转到俯视图中，在俯视图中提取角点的初始值，并将所述角点的初始值转换到鱼眼图像上，进行亚像素级别角点提取，得到高精度的角点信息；

利用得到的所述高精度的角点信息，对所述内外参初始值进行优化，得到优化的标定结果。

2.根据权利要求1所述的方法，其特征在于，还包括：

构建鱼眼相机图形与俯视图之间相互转换的表。

3.根据权利要求2所述的方法，其特征在于，所述基于所述内外参初始值，将鱼眼相机图像转到俯视图中，在俯视图中提取角点的初始值，并将所述角点的初始值转换到鱼眼图像上，进行亚像素级别角点提取，得到高精度的角点信息包括：

基于所述内外参初始值，将鱼眼相机图像转到俯视图中，在俯视图中提取角点的初始值，并通过查询鱼眼相机图形与俯视图之间相互转换的表，将所述角点的初始值转换到鱼眼图像上，进行亚像素级别角点提取，得到高精度的角点信息。

4.根据权利要求1所述的方法，其特征在于，所述利用得到的所述高精度的角点信息，对所述内外参初始值进行优化，得到优化的标定结果包括：

利用得到的所述高精度的角点信息，选取标定板距离相机最远最近点连线的长度及方向作为目标函数，采用智能优化算法，对所述内外参初始值进行优化，得到优化的标定结果。

5.根据权利要求4所述的方法，其特征在于，所述智能优化算法包括：粒子群算法。

6.一种用于全自动泊车的相机高精度自动标定装置，其特征在于，包括：

选取模块，用于在批量相机中，随机选取固定数量的相机作为样本相机；

第一处理模块，用于针对每个样本相机，采集多幅原始图像，并标定相机，以及利用所有样本相机的内参数构建内参集；

获取模块，用于在原始图像上获取标定布的角点；

第二处理模块，用于遍历所述内参集，进行相机外参标定，并选取角点反投影误差作为指标，将误差最小的一组内外参作为相机内外参初始值；

提取模块，用于基于所述内外参初始值，将鱼眼相机图像转到俯视图中，在俯视图中提取角点的初始值，并将所述角点的初始值转换到鱼眼图像上，进行亚像素级别角点提取，得到高精度的角点信息；

优化模块，用于利用得到的所述高精度的角点信息，对所述内外参初始值进行优化，得到优化的标定结果。

7.根据权利要求6所述的装置，其特征在于，还包括：

构建模块，用于构建鱼眼相机图形与俯视图之间相互转换的表。

8.根据权利要求7所述的装置，其特征在于，所述提取模块具体用于：

基于所述内外参初始值，将鱼眼相机图像转到俯视图中，在俯视图中提取角点的初始值，并通过查询鱼眼相机图形与俯视图之间相互转换的表，将所述角点的初始值转换到鱼眼图像上，进行亚像素级别角点提取，得到高精度的角点信息。

9.根据权利要求6所述的装置，其特征在于，所述优化模块具体用于：

利用得到的所述高精度的角点信息，选取标定板距离相机最远最近点连线的长度及方向作为目标函数，采用智能优化算法，对所述内外参初始值进行优化，得到优化的标定结果。

10.根据权利要求9所述的装置，其特征在于，所述智能优化算法包括：粒子群算法。

Images