CN113838145B - 一种车载相机外参自动标定方法 - Google Patents

Abstract

本发明公开了一种车载相机外参自动标定方法，包括：在待标定的车载相机的摄像范围内设置编码板，所述编码板放置在水平地面上；所述编码板被划分为多个编码区域，每个编码区域的中心位置设置有标记，每个编码区域均对应一个编码和坐标位置，各个编码区域的编码和坐标位置不同，编码由标记的填充颜色和编码区域的背景颜色构成；拍摄图片，对图像进行静态标定得到焦距F和成像中心；根据成像基准坐标系与成像坐标系的旋转变换以及透射成像原理建立方程组，求解得到外参矩阵以及编码板相对于相机的位置；基于外参矩阵和编码板相对于相机的位置转换为车载相机的外参。本发明的车载相机外参自动标定方法，操作简单，准确度更高。

Description

一种车载相机外参自动标定方法

技术领域

本发明涉及车载相机技术领域，尤其涉及一种车载相机外参自动标定方法。

背景技术

在自动驾驶领域，通常使用相机感知车辆周围的障碍物或道路标识，并需要图像坐标系的检测目标转换到车辆坐标系或世界坐标系，此转换关系需依赖相机的内外参数。因此，如何快速有效地对相机外参进行标定是ADAS车辆量产的重要环节。业内已经对相机外参标定进行了广泛研究。如中国专利文献CN110555886A公开了一种车载相机外参标定方法、装置、电子设备及存储介质，通过车载相机对三条平行线进行拍摄后，三条平行线共同交于远端，基于远端交点以及三条平行线的宽度对相机进行标定。该方法可以得到相机相对于车身坐标系的三个角度、相机安装高度及横向安装距离，但不能得到纵向安装距离。此外，如果三条线太短，远端交点的计算具有较大误差，这对车辆所在的空间位置提出高要求。

发明内容

本发明的目的是提供一种操作简单，准确度更高的车载相机外参自动标定方法。

为实现上述目的，本发明提供了一种车载相机外参自动标定方法，步骤包括：

在待标定的车载相机的摄像范围内设置编码板，所述编码板放置在水平地面上；所述编码板被划分为多个编码区域，每个编码区域的中心位置设置有标记，每个编码区域均对应一个编码和坐标位置(i，j)，各个编码区域的编码和坐标位置(i，j)不同，编码由标记的填充颜色和编码区域的背景颜色构成，坐标位置(i，j)为标记的坐标位置；

拍摄图片，对图像进行静态标定得到焦距F和成像中心(Uc，Vc)，以及对图像进行畸变矫正；

根据成像基准坐标系o^b与成像坐标系的旋转变换以及透射成像原理建立方程组，求解该方程组得到外参矩阵以及编码板相对于相机的位置；

基于外参矩阵和编码板相对于相机的位置转换为车载相机的外参。

进一步，车载相机的外参包括相机相对本车的侧倾角ψ，俯仰角θ，方向角以及相机在车身坐标系o中的位置(x,y,z)。

进一步，所述编码板为正方形，所述编码板的相邻两边分别平行于车身的长和宽。

进一步，所述编码区域为正方形，正方形的边长为L。

进一步，所述成像基准坐标系o^b与成像坐标系的旋转变换，具体执行以下步骤：

抓取图片中的标记，同一个标记在成像坐标系和成像基准坐标系o^b的坐标映射关系(U_i,V_j)→(x^b+iL,y^b+jL)，其中，标记的坐标位置(i，j)的中心像素坐标为(U_i,V_j)，x^b和y^b分别是编码板的中心在成像基准坐标系o^b中的坐标。

进一步，所述根据成像基准坐标系与成像坐标系的旋转变换以及透射成像原理建立方程组，求解该方程组得到外参矩阵以及编码板相对于相机的位置；具体执行以下步骤：

成像基准坐标系o^b为基础，定义成像坐标系的u轴的方向向量为(r₁₁,r₁₂,r₁₃)，v轴的方向向量为(r₂₁,r₂₂,r₂₃)，w轴的方向向量为(r₃₁,r₃₂,r₃₃)，编码板坐标系在成像基准坐标系o^b中的坐标为(x^b,y^b,z^b)；

根据成像基准坐标系与成像坐标系的旋转变换以及透射成像原理建立方程组(1)：

其中，F表示镜头焦距；相机光学中心像素坐标(U_c,V_c)；

假设r₃₁≠0，将方程组(1)除以r₃₁得到方程组(2)，

令:

得到方程组(3)，

抓取多个标记，将该些标记的坐标位置(i，j)和中心像素坐标(U_i,V_j)代入方程组(3)中求解得到x₀,x₁,x₂,x₃,x₄,x₅,x₆,x₇；

成像坐标系o^a的u、v、w轴的方向向量表示如式(4)：

基于u、v、w方向向量垂直，|w|＝1，得式(5)：

基于式(4)和式(5)，求解得到(r₁₁,r₁₂,r₁₃)，(r₂₁,r₂₂,r₂₃)，(r₃₁,r₃₂,r₃₃)；

基于前述求解得到的值代入式(6)，

其中，由z^b＜0与r₃₁x^b+r₃₂y^b+r₃₃z^b＞0，对获取的解进行筛选，得到编码板坐标系在成像基准坐标系o^b中的坐标为(x^b,y^b,z^b)。

进一步，所述基于外参矩阵和编码板相对于相机的位置转换为车载相机的外参，具体执行以下步骤：

基于式(7)：

求解得出相机相对本车的侧倾角ψ，俯仰角θ，方向角α；

基于平移关系，即求得相机在车身坐标系o中的位置(x,y,z)。

进一步，标记为圆圈，且圆圈的中心与编码区域的中心位置重合。

进一步，编码的形式为(RGB_填充颜色，RGB_背景颜色)，所述编码板包括9个编码区域，各编码区域的编码和坐标位置分别为：

坐标位置为(1，1)的标记的填充颜色为红色，编码区域的背景颜色为黑色，其编码为((255，0，0)，(0，0，0))；

坐标位置为(1，0)的标记的填充颜色为绿色，编码区域的背景颜色为白色，其编码((0，255，0)，(255，255，255))；

坐标位置为(1，-1)的标记的填充颜色为蓝色，编码区域的背景颜色为黑色，其编码((0，0，255)，(0，0，0))；

坐标位置为(0，1)的标记的填充颜色为红色，编码区域的背景颜色为白色，其编码((255，0，0)，(255，255，255))；

坐标位置为(0，0)的标记的填充颜色为绿色，编码区域的背景颜色为黑色，其编码((0，255，0)，(0，0，0))；

坐标位置为(0，-1)的标记的填充颜色为蓝色，编码区域的背景颜色为白色，其编码((0，0，255)，(255，255，255))；

坐标位置为(-1，1)的标记的填充颜色为白色，编码区域的背景颜色为黑色，其编码((255，255，255)，(0，0，0))；

坐标位置为(-1，0)的标记的填充颜色为黑色，编码区域的背景颜色为白色，其编码((0，0，0)，(255，255，255))；

坐标位置为(-1，-1)的标记的填充颜色为黄色，编码区域的背景颜色为白色，其编码((255，255，0)，(255，255，255))。

进一步，汽车周视系统包括多个待标定的相机，各个待标定的车载相机的摄像范围内设置编码板。

本发明与现有技术相比较具有以下优点：

本发明的车载相机外参自动标定方法，操作简单，准确度更高，能够适用于车载前视、周视、环视的相机外参自动标定，具有广泛的应用前景。

附图说明

图1为本发明车载相机外参自动标定方法的流程图；

图2为本发明编码板在汽车周视系统中布置的示意图；

图3为图2中编码板的示意图；

图4为本发明提议外参标定方法的3D的示意图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步说明。

参考图2和图4所示，定义各坐标系：

车身坐标系ο：假设车位于水平路面，车身坐标系ο位于后轴中心，x轴平行于车长方向，y轴平行于车宽方向，z轴垂直于水平路面。

编码板坐标系o_c：编码板坐标系o_c位于水平面上且相对于车身坐标系ο发生平移变换，其原点位于编码板中心。

成像坐标系：成像坐标系位于光轴中心上的成像平面，如图3所示，其u轴平行于芯片的长度方向，v轴平行于芯片宽方向，w轴垂直于芯片方向。

成像基准坐标系：成像基准坐标系o^b与成像坐标系圆点重合，即成像坐标系相对于成像基准坐标系发生了旋转变换，成像基准坐标系o^b相对于车身坐标系ο发生了平移变换。

像素坐标系：位于成像图片上的左上角，向下为U轴正方向，向右为V轴正方向。

成像基准坐标系o^b相对车身坐标系o平移变换，成像坐标系相对基准坐标系o^b旋转变换。

参见图1至图3所示，本实施例公开了一种车载相机外参自动标定方法，步骤包括：

在待标定的车载相机的摄像范围内设置编码板，所述编码板放置在水平地面上；所述编码板被划分为多个编码区域，每个编码区域的中心位置设置有标记，每个编码区域均对应一个编码和坐标位置(i，j)，各个编码区域的编码和坐标位置(i，j)不同，编码由标记的填充颜色和编码区域的背景颜色构成，坐标位置(i，j)为标记的坐标位置；

拍摄图片，对图像进行静态标定得到焦距F和成像中心(Uc，Vc)，以及对图像进行畸变矫正；通过对图像进行畸变矫正使其满足三角测距原理。

根据成像基准坐标系o^b与成像坐标系的旋转变换以及透射成像原理建立方程组，求解该方程组得到外参矩阵以及编码板相对于相机的位置；

基于外参矩阵和编码板相对于相机的位置转换为车载相机的外参。

在本实施例中，车载相机的外参包括相机相对本车的侧倾角ψ，俯仰角θ，方向角以及相机在车身坐标系o中的位置(x,y,z)。

在本实施例中，所述编码板为正方形，所述编码板的相邻两边分别平行于车身的长和宽。

在本实施例中，所述编码区域为正方形，正方形的边长为L。正方形矩形边长是已知量。

在本实施例中，标记为圆圈，且圆圈的中心与编码区域的中心位置重合。

在本实施例中，编码的形式为(RGB_填充颜色，RGB_背景颜色)，所述编码板包括9个编码区域，各编码区域的编码和坐标位置分别为：

坐标位置为(1，1)的标记的填充颜色为红色，编码区域的背景颜色为黑色，其编码为((255，0，0)，(0，0，0))；

坐标位置为(1，0)的标记的填充颜色为绿色，编码区域的背景颜色为白色，其编码((0，255，0)，(255，255，255))；

坐标位置为(1，-1)的标记的填充颜色为蓝色，编码区域的背景颜色为黑色，其编码((0，0，255)，(0，0，0))；

坐标位置为(0，1)的标记的填充颜色为红色，编码区域的背景颜色为白色，其编码((255，0，0)，(255，255，255))；

坐标位置为(0，0)的标记的填充颜色为绿色，编码区域的背景颜色为黑色，其编码((0，255，0)，(0，0，0))；

坐标位置为(0，-1)的标记的填充颜色为蓝色，编码区域的背景颜色为白色，其编码((0，0，255)，(255，255，255))；

坐标位置为(-1，1)的标记的填充颜色为白色，编码区域的背景颜色为黑色，其编码((255，255，255)，(0，0，0))；

坐标位置为(-1，0)的标记的填充颜色为黑色，编码区域的背景颜色为白色，其编码((0，0，0)，(255，255，255))；

坐标位置为(-1，-1)的标记的填充颜色为黄色，编码区域的背景颜色为白色，其编码((255，255，0)，(255，255，255))。抓取标记的位置，根据其前景颜色与背景颜色匹配到的编码，对应到其在基准坐标系中的位置。比如，图像中抓取到的标记前景色为红色，背景色为白色，匹配到其编码为((255，0，0)，(255，255，255))，从而得到其位置(0，1)。

参考图2所示，编码板坐标系o^c平行于车身坐标系o，每个编码板在车身坐标系中的坐标(X,Y)已知，本标定方法能够同时对6个相机进行标定。汽车周视系统包括多个待标定的相机，各个待标定的车载相机的摄像范围内设置编码板。多个待标定的相机包括前视相机、左侧靠前相机、左侧靠后相机、右侧靠前相机、右侧靠后相机和后视相机。

在本实施例中，所述成像基准坐标系o^b与成像坐标系的旋转变换，具体执行以下步骤：

抓取图片中的标记，同一个标记在成像坐标系和成像基准坐标系o^b的坐标映射关系(U_i,V_j)→(x^b+iL,y^b+jL)，其中，标记的坐标位置(i，j)的中心像素坐标为(U_i,V_j)，x^b和y^b分别是编码板的中心在成像基准坐标系o^b中的坐标。

在本实施例中，所述根据成像基准坐标系与成像坐标系的旋转变换以及透射成像原理建立方程组，求解该方程组得到外参矩阵以及编码板相对于相机的位置；具体执行以下步骤：

成像基准坐标系o^b为基础，定义成像坐标系的u轴的方向向量为(r₁₁,r₁₂,r₁₃)，v轴的方向向量为(r₂₁,r₂₂,r₂₃)，w轴的方向向量为(r₃₁,r₃₂,r₃₃)，编码板坐标系在成像基准坐标系o^b中的坐标为(x^b,y^b,z^b)；

根据成像基准坐标系与成像坐标系的旋转变换以及透射成像原理建立方程组(1)：

其中，F表示镜头焦距；相机光学中心像素坐标(U_c,V_c)；镜头焦距和相机光学中心像素坐标两参数需通过镜头内参标定得到。像素坐标系，位于成像图片上的左上角，向下为U轴正方向，向右为V轴正方向。镜头焦距为F此时U轴和V轴的焦距相等。

假设r₃₁≠0，将方程组(1)除以r₃₁得到方程组(2)，

令:

得到方程组(3)，

抓取多个标记，将该些标记的坐标位置(i，j)和中心像素坐标(U_i,V_j)代入方程组(3)中求解得到x₀,x₁,x₂,x₃,x₄,x₅,x₆,x₇；为了使方程冗余抓取的点数需大于4个。

成像坐标系o^a的u、v、w轴的方向向量表示如式(4)：

基于u、v、w方向向量垂直，|w|＝1，得式(5)：

基于式(4)和式(5)，求解得到(r₁₁,r₁₂,r₁₃)，(r₂₁,r₂₂,r₂₃)，(r₃₁,r₃₂,r₃₃)；

基于前述求解得到的值代入式(6)，

其中，由z^b＜0与r₃₁x^b+r₃₂y^b+r₃₃z^b＞0，对获取的解进行筛选，得到编码板坐标系在成像基准坐标系o^b中的坐标为(x^b,y^b,z^b)。

在本实施例中，所述基于外参矩阵和编码板相对于相机的位置转换为车载相机的外参，具体执行以下步骤：

基于式(7)：

求解得出相机相对本车的侧倾角ψ，俯仰角θ，方向角α；

基于平移关系，即求得相机在车身坐标系o中的位置(x,y,z)。

本发明的车载相机外参自动标定方法，操作简单，准确度更高，能够适用于车载前视、周视、环视的相机外参自动标定，具有广泛的应用前景。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (6)

1.一种车载相机外参自动标定方法，其特征在于，步骤包括：

在待标定的车载相机的摄像范围内设置编码板，所述编码板放置在水平地面上；所述编码板被划分为多个编码区域，每个编码区域的中心位置设置有标记，每个编码区域均对应一个编码和坐标位置(i，j)，各个编码区域的编码和坐标位置(i，j)不同，编码由标记的填充颜色和编码区域的背景颜色构成，坐标位置(i，j)为标记的坐标位置；

拍摄图片，对图像进行静态标定得到焦距F和成像中心(Uc，Vc)，以及对图像进行畸变矫正；

根据成像基准坐标系o^b与成像坐标系的旋转变换以及透射成像原理建立方程组，求解该方程组得到外参矩阵以及编码板相对于相机的位置；

基于外参矩阵和编码板相对于相机的位置转换为车载相机的外参；

汽车周视系统包括多个待标定的相机，各个待标定的车载相机的摄像范围内设置编码板，通过标定方法能同时对多个相机进行标定；

车载相机的外参包括相机相对本车的侧倾角ψ，俯仰角θ，方向角以及相机在车身坐标系o中的位置(x,y,z)；

所述成像基准坐标系o^b与成像坐标系的旋转变换，具体执行以下步骤：

抓取图片中的标记，同一个标记在成像坐标系和成像基准坐标系o^b的坐标映射关系(U_i,V_j)→(x^b+iL,y^b+jL)，其中，标记的坐标位置(i，j)的中心像素坐标为(U_i,V_j)，x^b和y^b分别是编码板的中心在成像基准坐标系o^b中的坐标；L为编码区域的边长；

所述根据成像基准坐标系与成像坐标系的旋转变换以及透射成像原理建立方程组，求解该方程组得到外参矩阵以及编码板相对于相机的位置；具体执行以下步骤：

成像基准坐标系o^b为基础，定义成像坐标系的u轴的方向向量为(r₁₁,r₁₂,r₁₃)，v轴的方向向量为(r₂₁,r₂₂,r₂₃)，w轴的方向向量为(r₃₁,r₃₂,r₃₃)，编码板坐标系在成像基准坐标系o^b中的坐标为(x^b,y^b,z^b)；

根据成像基准坐标系与成像坐标系的旋转变换以及透射成像原理建立方程组(1)：

其中，F表示镜头焦距；相机光学中心像素坐标(U_c,V_c)；

假设r₃₁≠0，将方程组(1)除以r₃₁得到方程组(2)，

令:

得到方程组(3)，

抓取多个标记，将该些标记的坐标位置(i，j)和中心像素坐标(U_i,V_j)代入方程组(3)中求解得到x₀,x₁,x₂,x₃,x₄,x₅,x₆,x₇；

成像坐标系o^a的u、v、w轴的方向向量表示如式(4)：

基于u、v、w方向向量垂直，|w|＝1，得式(5)：

基于式(4)和式(5)，求解得到(r₁₁,r₁₂,r₁₃)，(r₂₁,r₂₂,r₂₃)，(r₃₁,r₃₂,r₃₃)；

基于前述求解得到的值代入式(6)，

其中，由z^b<0与r₃₁x^b+r₃₂y^b+r₃₃z^b>0，对获取的解进行筛选，得到编码板坐标系在成像基准坐标系o^b中的坐标为(x^b,y^b,z^b)。

2.根据权利要求1所述的基于车载相机外参自动标定方法，其特征在于，所述编码板为正方形，所述编码板的相邻两边分别平行于车身的长和宽。

3.根据权利要求2所述的基于车载相机外参自动标定方法，其特征在于，所述编码区域为正方形，正方形的边长为L。

4.根据权利要求3所述的基于车载相机外参自动标定方法，其特征在于，所述基于外参矩阵和编码板相对于相机的位置转换为车载相机的外参，具体执行以下步骤：

基于式(7)：

求解得出相机相对本车的侧倾角ψ，俯仰角θ，方向角α；

基于平移关系，即求得相机在车身坐标系o中的位置(x,y,z)。

5.根据权利要求1或2或3所述的基于车载相机外参自动标定方法，其特征在于，标记为圆圈，且圆圈的中心与编码区域的中心位置重合。

6.根据权利要求5所述的基于车载相机外参自动标定方法，其特征在于，编码的形式为(RGB_填充颜色，RGB_背景颜色)，所述编码板包括9个编码区域，各编码区域的编码和坐标位置分别为：

坐标位置为(1，1)的标记的填充颜色为红色，编码区域的背景颜色为黑色，其编码为((255，0，0)，(0，0，0))；

坐标位置为(1，0)的标记的填充颜色为绿色，编码区域的背景颜色为白色，其编码((0，255，0)，(255，255，255))；

坐标位置为(1，-1)的标记的填充颜色为蓝色，编码区域的背景颜色为黑色，其编码((0，0，255)，(0，0，0))；

坐标位置为(0，1)的标记的填充颜色为红色，编码区域的背景颜色为白色，其编码((255，0，0)，(255，255，255))；

坐标位置为(0，0)的标记的填充颜色为绿色，编码区域的背景颜色为黑色，其编码((0，255，0)，(0，0，0))；

坐标位置为(0，-1)的标记的填充颜色为蓝色，编码区域的背景颜色为白色，其编码((0，0，255)，(255，255，255))；

坐标位置为(-1，1)的标记的填充颜色为白色，编码区域的背景颜色为黑色，其编码((255，255，255)，(0，0，0))；

坐标位置为(-1，0)的标记的填充颜色为黑色，编码区域的背景颜色为白色，其编码((0，0，0)，(255，255，255))；

坐标位置为(-1，-1)的标记的填充颜色为黄色，编码区域的背景颜色为白色，其编码((255，255，0)，(255，255，255))。