CN114299164A

CN114299164A - 摄像头标定方法、存储介质和电子设备

Info

Publication number: CN114299164A
Application number: CN202111670279.0A
Authority: CN
Inventors: 卢金波
Original assignee: Huizhou Desay SV Intelligent Transport Technology Research Institute Co Ltd
Current assignee: Huizhou Desay SV Intelligent Transport Technology Research Institute Co Ltd
Priority date: 2021-12-31
Filing date: 2021-12-31
Publication date: 2022-04-08

Abstract

本发明涉及一种摄像头标定方法、存储介质和电子设备，所述摄像头标定方法借助的外部图案包括多个特征点，该多个特征点排列并分布在至少一条直线上。所述摄像头标定方法包括：识别图像中的特征点，根据焦距、初始偏心值和畸变系数对特征点的图像坐标进行畸变矫正；使用矫正后的图像坐标构建确认直线扭曲程度的度量函数，并根据度量函数计算实际偏心；再根据实际偏心、焦距和畸变系数对原始拍摄的图像重新进行畸变矫正，得到新矫正后的特征点图像坐标，再利用新的矫正后的特征点图像坐标、世界坐标计算摄像头外参。本发明的摄像头标定方法可在标定外参的时候，自动纠正摄像头偏心，采用纠正后的偏心标定外参，从而外参精准，确保摄像头性能良好。

Description

摄像头标定方法、存储介质和电子设备

技术领域

本发明涉及摄像头标定及验证，特别涉及一种摄像头标定方法、存储介质和电子设备。

背景技术

车载摄像头是汽车驾驶辅助系统(ADAS)和汽车自动驾驶领域的核心传感器，大部分应用场景需要标定出摄像头的内参和外参，通常在摄像头生产线上标定内参(比如摄像头焦距，摄像头偏心和摄像头的畸变系数)，在整车厂，安装好摄像头后，再标定摄像头的外参(安装位置和安装姿态)。而外参的标定又依赖于内参的准确性，从工程实践来看，摄像头生产过程中，偏心是最容易出现变化的，很多摄像头生产商只提供理论内参，就算有些摄像头生产商在生产过程中有标定内参的流程，内参的准确性尤其是偏心也很难验证。偏心不良的摄像头由于实际偏心与提供给标定算法的偏心差异比较大，会导致标定的外参不准，导致摄像头相关的很多功能降低效果甚至失效。比如全景拼接的功能上，如果偏心不满足一定的精度，拼接的图像会有扭曲(如图2所示)。

发明内容

本发明的目的在于提供一种在标定外参的过程中自动纠正摄像头偏心的摄像头标定方法、存储介质和电子设备。

一种摄像头标定方法，借助外部图案进行摄像头外参的标定，所述图案包括多个特征点，该多个特征点按照预设规律排列并分布在至少一条直线上，所述摄像头标定方法包括步骤：

S10，通过摄像头拍摄图像，识别拍摄到的图像中的特征点，确认这些特征点的排列顺序和世界坐标，得到特征点的图像坐标与世界坐标的映射关系；

S20，根据所述排列顺序和世界坐标找出实际排列在一条直线上的特征点，并确定每条直线上的特征点的序列；

S30，根据摄像头焦距、初始偏心值和畸变系数对特征点的图像坐标进行畸变矫正得到矫正后的特征点图像坐标；

S40，使用矫正后的特征点图像坐标构建确认直线扭曲程度的度量函数，并根据所述度量函数计算摄像头的实际偏心；

S50，根据所述实际偏心、摄像头焦距和畸变系数对步骤S10拍摄的图像中的特征点重新进行畸变矫正得到新的矫正后的特征点图像坐标，再利用新的矫正后的特征点图像坐标和对应的世界坐标计算摄像头外参；

S60，对所述外参进行评价，满足要求则确认标定成功并将所述外参输出，否则输出包括精度值的评估结果。

作为一种实施方式，当摄像头为车载摄像头时，所述外部图案水平设置在车位两侧或四周。

作为一种实施方式，当多个特征点按照预设规律排列并分布在两条或两条以上的直线时，这些直线相交或平行，当相交时，交点为多个特征点中的一个。

作为一种实施方式，所述度量函数包括所述摄像头焦距和畸变系数以及待确认的偏心，利用最优化方法求出度量函数最小的情况下的偏心即为实际偏心。

一种存储介质，其包括指令，所述指令用于实现上述的摄像头标定方法。

一种电子设备，其包括处理器和上述的存储介质，所述电子设备通过所述处理器调用所述存储介质的指令，以实现上述的摄像头标定方法。

本发明的摄像头标定方法可在标定外参的时候，自动纠正摄像头偏心，采用纠正后的偏心标定外参，从而外参精准，确保摄像头性能良好。

附图说明

图1为一实施例的摄像头标定方法中摄像头拍摄到的图像示意图。

图2为未纠正摄像头偏心时，使用标定好的外参拍摄图像并拼接成的鸟瞰图。

图3为本发明一实施例中自动纠正偏心，使用标定好的外参拍摄图像并拼接成的鸟瞰图。

具体实施方式

下面将结合具体实施例及附图对本发明摄像头标定方法作进一步详细描述。

本发明的摄像头标定方法中，使用了外部图像进行摄像头外参的标定。该外部图像可印刷或喷涂或贴敷在可移动的板或片或地面或墙面上，也可显示在显示器上。外部图像应包括多个特征点，这些特征点应按照预设规律排列并分布在至少一条直线上，且当分布在两条或两条以上的直线上时，这些直线的一部分优选相互交叉或垂直，一部分相互平行。本实施例中，摄像头为车载摄像头，每辆车上至少有四个摄像头需要进行标定。定义车辆停放的位置为车位，则外部图像优选水平设置在车位两侧或四周。多个特征点分散在车位两侧或四周，上述的至少一条直线优选与车身纵轴垂直或平行(与车身横轴平行或垂直)。本实施例中，外部图像采用黑色正方形和白色正方形交错排列的黑白棋盘格，黑白格的四角作为特征点，这些特征点分别分布在相互平行或垂直的多条直线上。更多的特征点定义更多的直线，且平行的直线间跨度更大，有更多的相互垂直的直线对偏心的矫正效果更好。在其他实施例中，外部图像可以包括多个行列排布的矩形二维码，二维码的角点作为特征点。如此，可实现一个场地，车辆无需掉头即可标定和验证所有的车载摄像头。

本发明的摄像头标定方法用于确定摄像头的外参，可实现该方法的指令存储在一存储介质内。该存储介质可以是固设在汽车的电子系统内，也可以是可插拔的存储介质。用户可通过一台电子设备的处理器调用存储介质的指令，以实现上述的摄像头标定方法。例如，当用本发明的摄像头标定方法标定和验证车载摄像头的外参时，该电子设备可为车载主机或与车载主机相连的外接控制主机，其通过调用指令运行本发明的摄像头标定方法对所有车载摄像头进行外参的标定和验证。

在进行摄像头标定的过程中，会使用到以下坐标系：(1)世界坐标系，用于描述相机位置坐标的坐标系。比如以标定板建立世界坐标系或者以车辆坐标系作为世界坐标系，本实施例中以车身来建立世界坐标系，车身纵轴为Xw轴，前向为正，车身横轴为Yw轴，左边为正，Zw轴竖直向上，满足右手坐标系；(2)相机坐标系，以光心为原点，以光轴为Zc轴，Xc与Yc分别和成像平面x轴、y轴平行；(3)图像坐标系，成像平面的2D坐标系，原点为光轴与成像面的交点，x轴、y轴与摄像头坐标系的Xc轴、Yc轴平行，光心为图像中点；(4)像素坐标系，最后呈现我们眼前的图像。左上角为原点，两个轴分别和图像坐标系平行。

下面以一具体实施例说明本发明的摄像头标定方法，该方法包括步骤S10到步骤S60。

其中，步骤S10，通过摄像头拍摄图像，识别拍摄到的图像中的特征点，确认这些特征点的排列顺序和世界坐标。例如图1中，可通过拍摄到的图像，识别出20个特征点，可根据这些特征点的排列规律与实际外部图案相对应，确认它们与实际特征点(物理世界中的特征点)的对应关系，则可确定它们的排列顺序和世界坐标。在固定的场所中，各实际特征点的世界坐标可在标定前实测然后与排列顺序一起存储在存储介质内。如此，确认了特征点的图像坐标和世界坐标的映射关系。

步骤S20，根据所述排列顺序和世界坐标找出图像中实际排列在一条直线上的特征点，并确定这些特征点的序列。例如图1中，标号为0，1，10，11的四个特征点在世界坐标中是在一条直线上且自左向右排列，标号为3，2，4，14，13，12的角点在世界坐标中也在一条直线上且自左向右排列，标号为0，3，7，9的角点在世界坐标中也在一条直线上且自前向后排列在车左侧，如此依次确定出所有在一条直线上的特征点序列。

S30，根据摄像头原理，在没有畸变的情况下，现实世界中的直线在图像中仍然是直线，因此，根据摄像头焦距(fx,fy)、初始偏心值和畸变系数(k1,k2,p1,p2,k3,k4,k5,k6)对特征点在图像坐标系中的图像坐标进行畸变矫正得到矫正后的特征点图像坐标。在矫正后的图像中，同属一条直线的特征点的连线因为摄像头初始偏心值不准确的原因，虽然曲度变小，仍然不是直线。

S40，使用矫正后的特征点图像坐标构建确认直线扭曲程度的度量函数，并根据所述度量函数计算实际偏心(cx1，cy1)。这些度量函数包含已知的焦距和畸变系数以及未知偏心(cx，cy)，利用最优化方法求出度量函数最小的情况下的偏心即为实际偏心(cx1，cy1)，不失一般性，示例求解如下：

假设只有一条直线，在某个偏心组合(cx0，cy0)下的矫正点(矫正后特征点)序列构成的直线可以定义为：

其中x₀，x₁分别表示矫正点的横纵坐标；

构建度量函数：

其中m表示这条直线上特征点的个数，h_θ(xⁱ)表示把每个点的坐标

代入进公式(1)h(θ)中；

采用通用的优化迭代，比如梯度下降法，也可以直接采用简易的最小二乘法，求出最小的J(θ)：

将J(θ)对θ求导，

结合公式(1)，公式(3)变换成如下：

优化解在

获得，于是有：

变换公式(5)，得到：

公式(6)是一个二元一次方程组，可以求出θ₀和θ₁，然后把θ₀和θ₁代入公式(2)得到最小值，于是对于确定的(cx0，cy0)，J(θ)有最小值J(θ⁰(cx0，cy0))。构建函数G(cx，cy)＝J(θ⁰(cx，cy))，求出某个偏心组合(cx1，cv1)，使得G(cx，cy)最小，即求解

那么偏心组合(cx1，cy1)就认为是满足条件的偏心值(最简单的一个方法例如遍历：在一定范围内可以遍历(cx，cy)，每一个(cx，cy)有一个对应的最小值J(θ(cx，cy))，这些J(θ(cx，cy))中的最小值对应的(cx，cy)就是要求的(cx1，cy1))。

存在多条直线的情况下，使用相对优秀的度量函数的方差或者均值来确定最终的实际偏心。例如，当有两条直线时，偏心(cx2，cy2)时，度量函数分别是0.2，0.3；偏心(cx3，cy3)时，度量函数分别是0.25，0.2，由于0.25+0.2小于0.2+0.3，所以确定偏心(cx3，cy3)作为最终实际偏心。

S50，根据所述实际偏心(cx1，cy1)、摄像头焦距(fx,fy)、畸变系数(k1,k2,p1,p2,k3,k4,k5,k6)对原图中的特征点图像坐标重新进行畸变矫正得到新的矫正后的特征点图像坐标，再利用该新的矫正后的特征点图像坐标与对应的世界坐标的映射关系计算摄像头外参。计算摄像头外参可选的算法已经比较成熟，例如但不限于张正友的相机标定计算方法，在此不再赘述。

S60，对所述外参进行评价，满足要求则确认标定成功并将所述外参输出，否则输出包括精度值的评估结果。对外参进行评价的方法已经很成熟，在此不再赘述。

如此，可在标定摄像头外参的同时矫正摄像头偏心参数，如此标定出来的外参更精确，从而输出的图像失真小。例如，图2为未纠正摄像头偏心时，使用标定好的外参拍摄图像并拼接成的鸟瞰图，在图像的左右两边区域有扭曲。图3为本发明一实施例中自动纠正偏心，使用标定好的外参拍摄图像并拼接成的鸟瞰图，可看出拼接后各区域都正常，肉眼观察不出来明显的失真。

上述实施例中，特征点都分布在相互平行或垂直的直线上，可以理解的，其他实施例中，这些直线的夹角可小于90度。

虽然对本发明的描述是结合以上具体实施例进行的，但是，熟悉本技术领域的人员能够根据上述的内容进行许多替换、修改和变化、是显而易见的。因此，所有这样的替代、改进和变化都包括在附后的权利要求的精神和范围内。

Claims

1.一种摄像头标定方法，借助外部图案进行摄像头外参的标定，所述图案包括多个特征点，该多个特征点按照预设规律排列并分布在至少一条直线上，其特征在于，所述摄像头标定方法包括步骤：

S50，根据所述实际偏心、摄像头焦距和畸变系数对步骤S10拍摄的图像中的特征点重新进行畸变矫正得到新的矫正后的特征点图像坐标，再利用新的矫正后的特征点图像坐标和对应的世界坐标以及实际偏心和焦距计算摄像头外参；

2.根据权利要求1所述的摄像头标定方法，其特征在于，当摄像头为车载摄像头时，所述外部图案水平设置在车位两侧或四周。

3.根据权利要求1所述的摄像头标定方法，其特征在于，当多个特征点按照预设规律排列并分布在两条或两条以上的直线时，这些直线相交或平行，当相交时，交点为多个特征点中的一个。

4.权利要求1所述的摄像头标定方法，其特征在于，所述度量函数包括所述摄像头焦距和畸变系数以及待确认的偏心，利用最优化方法求出度量函数最小的情况下的偏心即为实际偏心。

5.一种存储介质，其特征在于，所述存储介质包括指令，所述指令用于实现如权利要求1至4项中任一项所述的摄像头标定方法。

6.一种电子设备，其特征在于，所述电子设备包括处理器和如权利要求5所述的存储介质，所述电子设备通过所述处理器调用所述存储介质的指令，以实现如权利要求1至4项中任一项所述的摄像头标定方法。