CN113989389B

CN113989389B - 应用于抬头设备的交替平差标定方法

Info

Publication number: CN113989389B
Application number: CN202111329210.1A
Authority: CN
Inventors: 孔令胜; 刘虹良; 吕宝林; 郭俊达; 张恩齐
Original assignee: Changchun Institute of Optics Fine Mechanics and Physics of CAS
Current assignee: Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority date: 2021-11-10
Filing date: 2021-11-10
Publication date: 2024-05-14
Anticipated expiration: 2041-11-10
Also published as: CN113989389A

Abstract

本发明提供一种应用于抬头设备的交替平差标定方法，包括以下步骤：S1、通过相机采集标定板的位置，得到相机的内部参数；S2、计算相机的外部参数；S3、计算畸变系数；S4、将畸变系数建立成横向模型和纵向模型；S5、通过交替调整优化迭代算法进行运算，优化出误差最小的内部参数和外部参数。通过对相机镜头径向和切向畸变模型进行非线性的优化，从而进行建模。采用交替平差算法对视觉系统的参数进行进一步的校正。改善了无法针对非线性畸变进行校正的问题；具有精度高、易于实现的特点。

Description

应用于抬头设备的交替平差标定方法

技术领域

本发明涉及抬头显示技术领域，特别涉及应用于抬头设备的交替平差标定方法。

背景技术

抬头显示技术(简称HUD)分为三种:C-HUD、W-HUD和AR-HUD，其中C-HUD通过放置于仪表上方的一块透明树脂玻璃进行成像，一般会根据成像条件对树脂玻璃进行特殊处理，通常做成楔形来避免玻璃的反射重影。W-HUD是通过光学投影原理，将光透射在前挡风玻璃上，在驾驶员的视线前方形成一个虚像，可以显示车内的信息，驾驶员的视线不需要离开道路就可以看到，解决了行车中移视其他交互界面带来的安全隐患。AR-HUD利用了增强现实技术，将增强信息和现实路况实时信息进行叠加。表1为C-HUD、W-HUD、AR-HUD的对比。

之所以现在没有装备量产的车型，是因为涉及的技术复杂，而复杂的原因是多方面、多角度的。其中一个需要改善的技术点是如何从二维图像中获取准确的三维深度信息。

目前，实现立体视觉系统标定的方法有很多。有学者提出了一种基于遗传算法的摄像机标定方法，该方法能够准确地获得近似的优化解，另有学者提出了一种基于圆形标记点的全自动摄像机标定方法。传统圆形标志点的板上增加了5个方位角圈。将匹配的结果直接作为张正友算法的输入，得到相机的内外参数。实现了校准过程中避免人工干预的效果。

无论是基于遗传算法的摄像机标定方法，还是基于圆形标记点的全自动摄像机标定方法，都存在着精度低和无法针对非线性畸变进行校正的问题。

表1 C-HUD、W-HUD、AR-HUD三种抬头显示技术的对比

发明内容

鉴于上述问题，本发明的目的是提出应用于抬头设备的交替平差标定方法，通过对相机镜头径向和切向畸变模型进行非线性的优化，从而进行建模。然后，标定板可通过相机在不同方向拍摄。采用交替平差算法对视觉系统的参数进行进一步的校正。改善了无法针对非线性畸变进行校正的问题；具有精度高、易于实现的特点。

为实现上述目的，本发明采用以下具体技术方案：

本发明提供的应用于抬头设备的交替平差标定方法，包括以下步骤：

S1、通过相机采集标定板的位置，得到相机的内部参数；

S2、通过相机的内部参数计算相机的外部参数；

S3、通过相机的内部参数和相机的外部参数计算畸变系数；

S4、将畸变系数建立成横向模型和纵向模型；

S5、通过交替调整优化迭代算法进行运算，优化出误差最小的内部参数和外部参数。

优选地，相机分为左、右两个相机，左、右相机的内部参数为：

其中：

A_l与A_r分别为左、右相机的内部参数矩阵；

f_l、f_r分别为左、右相机的焦距；

d_x、d_y分别为相机的像素纵横比；

η_l、η_r分别为左、右相机的径向畸变参数；

(u_0l,v_0l)和(u_0r,v_0r)分别为左、右相机的像主点坐标。

优选地，步骤S2中相机的外部参数的计算过程如下：

设空间中相机平面像素坐标点为m＝[u,v,1]^T；

设空间中世界坐标系下的一个坐标点为M＝[X,Y,Z,1]^T；

左相机的像素坐标为m_l＝[u_l,v_l,1]^T；右相机的像素坐标为m_r＝[u_r,v_r,1]^T；

世界坐标系向相机平面像素坐标系的投影结果为：

sm＝A[R,t]M (2.1)

其中：

s为世界坐标系到所述相机平面像素坐标系的尺度因子；

A为相机的内部参数矩阵；

[R,t]用(α,β,γ,t_x,t_y,t_z)来描述，R为旋转矩阵，其中α、β、γ分别表示X轴、Y轴、Z轴的旋转值；t为平移向量，其中t_x、t_y、t_z分别表示X轴、Y轴、Z轴的运动值；

将点M的坐标以及左、右相机的像素坐标代入公式(2.1)中可以得到：

左、右相机的空间关系描述为：

其中为左、右相机之间的相对位置。

即可推出：

优选地，步骤S3中畸变系数的计算过程如下：

真实图像像素点坐标(u',v')表示如下：

其中：

(x,y)为世界坐标系下的理想点坐标；

(u₀,v₀)为相机平面像素坐标系下的像主点坐标；

(u,v)为相机平面像素坐标系下的理想图像像素点坐标；

(u′,v′)为相机平面像素坐标系下的真实图像像素点坐标；

k₁、k₂分别为一阶径向失真系数和二阶径向失真系数；

假设忽略三阶畸变误差，即可得到：

其中s₁、s₂、为失真系数，p₁、p₂为切向失真系数。

优选地，步骤S4中将畸变系数建立成的横向模型和纵向模型如下：

优选地，步骤S5中内部参数和外部参数迭代运算过程如下：

取所有的平均值作为初始值，左、右相机的失真系数应为0；则待优化的参数如下：

Ω₁＝[f_xl,f_xr,f_yl,f_yr,m_l,m_r,u_0l,u_0r,v_0l,v_0r,k_1l,k_1r,k_2l,k_2r,p_1l,p_2r]

[R_li,t_li]＝[α_li,β_li,γ_li,t_xil,t_yil,t_zil]为左相机的外部参数。

Ω₁和Ω₂分别为内部参数和外部参数的集合。

则可以得到特征点的数集F_ij：

其中，和/>分别代表左右摄像头i幅图像的j个特征点；

对内部参数进行迭代优化：

Ω₁₁和Ω₁₂分别为左、右相机的内部参数的集合；

根据一阶泰勒展开式，可以得到非线性方程：

用J₁表示雅可比矩阵，ε表示图像之间所有特征点的残差坐标；

内部参数的迭代过程如下：

对外部参数进行迭代优化：

则雅可比矩阵为：

用J₂表示雅可比矩阵，ε表示图像之间所有特征点的残差坐标；

外部参数的迭代过程如下：

ε表示图像之间所有特征点的残差坐标，当ε小于阈值时，内部参数和外部参数的迭代优化过程结束。

与现有的相机标定方法相比，本发明通过对相机镜头径向和切向畸变模型进行非线性的优化，从而进行建模。然后，标定板可通过相机在不同方向拍摄。采用交替平差算法对视觉系统的参数进行进一步的校正。改善了无法针对非线性畸变进行校正的问题；具有精度高、易于实现的特点。

附图说明

图1是根据本发明实施例提供的应用于抬头设备的交替平差标定方法的流程图。

图2是根据本发明实施例提供的应用于抬头设备的交替平差标定方法左、右相机焦距的平均绝对误差；

图2a为运用本发明的应用于抬头设备的交替平差标定方法进行实验的左相机焦距的平均误差；

图2b为运用本发明的应用于抬头设备的交替平差标定方法进行实验的右相机焦距的平均误差。

图3是根据本发明实施例提供的应用于抬头设备的交替平差标定方法平移向量的标定结果。

图4是根据本发明实施例提供的应用于抬头设备的交替平差标定方法旋转矩阵的标定结果。

图5是根据本发明实施例提供的应用于抬头设备的交替平差标定方法的实验数据求取的平均重投影误差。

图6是本发明实施例提供的应用于抬头设备的交替平差标定方法与张正友算法的对比实验折线图。

具体实施方式

在下文中，将参考附图描述本发明的实施例。在下面的描述中，相同的模块使用相同的附图标记表示。在相同的附图标记的情况下，它们的名称和功能也相同。因此，将不重复其详细描述。

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，而不构成对本发明的限制。

图1示出了根据本发明实施例提供的应用于抬头设备的交替平差标定方法的流程。

如图1所示，本发明实施例提供的应用于抬头设备的交替平差标定方法包括以下步骤：

S1、通过相机采集标定板的位置，得到相机的内部参数；

在该标定系统中，两台相机从不同位置同时对标定板进行拍照，分别获取两台相机的内部参数，即得到相机的内部参数矩阵A。

其中：

A_l与A_r分别为左、右相机的内部参数矩阵；

f_l、f_r分别为左、右相机的焦距；

d_x、d_y分别为相机的像素纵横比；

η_l、η_r分别为左、右相机的径向畸变参数；

(u_0l,v_0l)和(u_0r,v_0r)分别为左、右相机的像主点坐标。

S2、计算相机的外部参数；

获取两台相机的内部参数后，通过计算得到两台相机的外部参数。

相机的外部参数具体计算过程如下：

设空间中的任意二维相机平面像素坐标点为m＝[u,v,1]^T；

设空间中的任意三维世界坐标点为M＝[X,Y,Z,1]^T；

三维世界坐标系向二维相机平面像素坐标系的投影结果为

sm＝A[R,t]M (2.1)

其中：

s为世界坐标系到相机平面像素坐标系的尺度因子；

A为相机的内部参数矩阵；

[R,t]用六个参数(α,β,γ,t_x,t_y,t_z)来描述，R为旋转矩阵，其中α、β、γ表示X轴、Y轴、Z轴的旋转值；t为平移向量，其中t_x、t_y、t_z表示X轴、Y轴、Z轴的运动值。

两个相机的空间关系描述为：

其中为两个相机之间的相对位置。

即可推出

S3、计算畸变系数；

图像的几何失真是指图像的几何位置因为误差，图像平面上的点由于成像系统不能使图像和实际现场严格满足针孔成像模型和视野所造成的中心投影射线弯曲的现象。

当图像存在几何失真，即存在畸变误差时：世界坐标系下任意空间点的投影坐标(x′,y′)不再是理想点(x,y)，可根据针孔模型可对模型点进行投影，得到理想点坐标；相机平面像素坐标系下的真实图像像素坐标(u′,v′)也不再是理想图像像素坐标(u,v)。

主要畸变误差可分为三类：径向畸变、偏心畸变和薄棱镜畸变。通常径向畸变比较明显，所以我们只关注影响最大的径向畸变。

则任意空间点的投影坐标o'(x',y')表示如下：

δ_x、δ_y分别为x方向和y方向的非线性失真系数。

其中：

(x,y)为世界坐标系下的理想点坐标；

(x',y')为世界坐标系下的投影坐标；

则真实图像像素坐标(u',v')表示如下：

其中：

(u₀,v₀)为相机平面像素坐标系下的像主点坐标；

(u,v)为相机平面像素坐标系下的理想图像像素坐标；

(u′,v′)为相机平面像素坐标系下的真实图像像素坐标；

k₁、k₂分别为一阶径向失真系数和二阶径向失真系数。

将上述三种类型的畸变误差综合起来，假设三阶畸变误差均可忽略，即可得到失真中和公式：

其中s₁、s₂、为失真系数，p₁、p₂为切向失真系数。

S4、将畸变系数建立成横向模型和纵向模型；

横向畸变就是矢量端点沿切线方向发生的变化，也就是角度的变化；

纵向畸变就是矢量端点沿长度方向发生的变化；

本发明提供的方法提出了一种新的非线性失真模型：

通过引入非线性参数和优化算法，提高了相机标定的精度。与传统方法相比，该模型对具有更好的稳定性和更高的实验精度。所提出的非线性模型的数值稳定性效果与张正友提出的标定算法一样好。

从理论上讲，在理想化的模型中，相对位置在两个相机立体视觉系统中的每个拍摄过程都一直保持不变。

然而，由于图像采集以及后来的错误计算，使左、右相机没有相同的使得在每个投影结果sm＝A[R,t]M并不完全相同。

针对这种情况，本发明提出了可选的调整算法来优化相机参数，提高标定精度。

通过改变相机的内部参数和外部参数来实现重投影误差的最小化。由于R_l、t_l、和/>不受外界因素的影响，通过交替调整同一函数可以达到最小化。

图像重建误差和重投影误差可以收敛到全局最优解。

取所有的平均值作为初始值，左、右相机的失真系数应为0。则需要优化的参数如下:

Ω₁和Ω₂分别为内部参数和外部参数的集合。

设定每幅图像中共有i幅图像，j个特征点，其中ijth是第j幅图像的特征点。具体呈现为：

和/>分别代表左右摄像头i幅图像的j个特征点。

假设所有外部参数都是最优的，采用交替调整使需要优化的公式中描述的几何距离最小。

对内部参数进行迭代优化：

Ω₁₁和Ω₁₂分别为左、右相机的内部参数。

根据一阶泰勒展开式，可以得到非线性方程：

用J₁表示F_ij的雅可比矩阵，ε表示图像之间所有特征点的残差坐标。迭代过程如下：

当ε小于阈值时，迭代优化过程结束。

对外部参数进行迭代优化：

则雅可比矩阵为：

同样的迭代过程可以得到：

当ε或ΔΩ₂小于阈值时，得到的结果最好。基于交替平差法，按照上述交替过程对内部参数和外部参数进行优化，直到重投影误差收敛到全局最小值。当相邻重投影误差的差值小于1.0e^-4时，迭代过程结束。最后，利用得到的所有内部参数对外部参数进行优化，得到标定参数的最优解。

实验结果：

图2示出了左、右相机焦距的平均绝对误差。

如图2所示，图2a为运用本发明的应用于抬头设备的交替平差标定方法进行实验的左相机焦距的平均误差；图2b为运用本发明的应用于抬头设备的交替平差标定方法进行实验的右相机焦距的平均误差。

图3示出了平移矢量的标定结果；

图4示出了旋转矩阵的标定结果；

图2、图3和图4均为双目相机下的像素点绝对误差。

图5示出了根据实验数据求取的平均重投影误差；

图6示出了本发明的交替平差标定算法与张正友算法的对比实验折线图；

图5和图6均为对比试验，实验结果显示本发明提出的交替平差标定算法优于传统方法。

本发明提出的交替平差标定算法在理论上分析了优势的原因，通过实验数据佐证了该理论的合理性。两台相机内部参数的平均绝对误差小于3.46e^-6，10组数据的平均重投影误差约为0.0725像素。使用未进行校准的失真模型完成了相同的实验，平均重投影误差约为0.0852像素。与其他标定方法相比，该算法精度更高，使用相对简单，满足了现场标定的要求。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

以上本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所作出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims

1.一种应用于抬头设备的交替平差标定方法，其特征在于：包括以下步骤：

S1、通过相机采集标定板的位置，得到相机的内部参数；

S2、通过所述内部参数计算相机的外部参数；

S3、通过所述内部参数和所述外部参数计算畸变系数；

S4、将所述畸变系数建立成横向模型和纵向模型；

S5、通过交替调整优化迭代算法进行运算，优化出误差最小的所述内部参数和所述外部参数；

所述相机分为左、右两个相机，所述左、右相机的内部参数为：

(1.1)

(1.2)

其中：

A _l与A _r分别为所述左、右相机的内部参数矩阵；

f _l、f _r分别为所述左、右相机的焦距；

d _x、d _y分别为所述相机的像素纵横比；

η _l、η _r分别为所述左、右相机的径向畸变参数；

和/>分别为所述左、右相机的像主点坐标；

所述步骤S2中相机的外部参数的计算过程如下：

设空间中二维相机平面像素坐标点为；

设空间中世界坐标系下的一个坐标点为；

左相机的像素坐标为；右相机的像素坐标为/>；

所述世界坐标系向相机平面像素坐标系的投影结果为：

(2.1)

其中：

s为所述世界坐标系到所述相机平面像素坐标系的尺度因子；

A为所述相机的内部参数矩阵；

用/>来描述，R为旋转矩阵，其中α、β、γ分别表示X轴、Y轴、Z轴的旋转值；t为平移向量，其中t _x、t _y、t _z分别表示X轴、Y轴、Z轴的运动值；

将所述点M的坐标以及所述左、右相机的像素坐标代入公式（2.1）中可以得到：

(2.2)

(2.3)

所述左、右相机的空间关系描述为：

(2.4)

其中为所述左、右相机之间的相对位置；

即可推出：

(2.5)；

所述步骤S3中畸变系数的计算过程如下：

真实图像像素点坐标表示如下：

(2.6)

其中：

为世界坐标系下的理想点坐标；

为所述相机平面像素坐标系下的像主点坐标；

为所述相机平面像素坐标系下的理想图像像素点坐标；

为所述相机平面像素坐标系下的真实图像像素点坐标；

k ₁、k ₂分别为一阶径向失真系数和二阶径向失真系数；

假设忽略三阶畸变误差，即可得到：

(2.7)

其中s ₁、s ₂、为失真系数，p ₁、p ₂为切向失真系数。

2.根据权利要求1所述的应用于抬头设备的交替平差标定方法，其特征在于：所述步骤S4中将畸变系数建立成的横向模型和纵向模型如下：

(3.1)

(3.2)。

3.根据权利要求2所述的应用于抬头设备的交替平差标定方法，其特征在于：所述步骤S5中内部参数和外部参数迭代运算过程如下：

取所有所述的平均值作为初始值，左、右相机的失真系数应为0；则待优化的参数如下：

为左相机的外部参数；

Ω ₁和Ω ₂分别为内部参数和外部参数的集合；

则可以得到特征点的数集F _ij：

；

其中，和/>分别代表左右摄像头i幅图像的j个特征点；

对所述内部参数进行迭代优化：

(4.1)

Ω ₁₁和Ω ₁₂分别为所述左、右相机的内部参数的集合；

根据一阶泰勒展开式，可以得到非线性方程：

(4.2)

用J ₁表示雅可比矩阵，ε表示图像之间所有特征点的残差坐标；

所述内部参数的迭代过程如下：

(4.3)

对外部参数进行迭代优化：

(4.4)

则雅可比矩阵为：

(4.5)

用J ₂表示雅可比矩阵，ε表示图像之间所有特征点的残差坐标；

所述外部参数的迭代过程如下：

(4.6)

ε表示图像之间所有特征点的残差坐标，当ε小于阈值时，所述内部参数和所述外部参数的迭代优化过程结束。