CN111476844B - 一种多个线阵相机阵列系统的检校方法 - Google Patents

Abstract

本发明公开了一种多个相机线阵的检校方法，属于传感器检校和多传感器融合领域，包括单个线阵相机的内参检校以及多个线阵相机之间相对外参的检校，是车载多传感器集成系统中不可缺少的重要环节。利用安装在移动测量车上的多个线阵相机组成的装置对贴有标定纸的标定架进行数据采集，选取影像上特征点的像素坐标，利用交比不变性及标定纸上已知的标定图案方程，计算出特征点的物方坐标，将像素坐标与物方坐标一一对应，进行归一化处理，最后利用直接线性变换解求出单个相机的内外方位元素，以标定架坐标系为基准，可以得到多个相机之间的相对位置关系，具有足够的精度和稳定性。

Description

一种多个线阵相机阵列系统的检校方法

技术领域

本发明属于传感器检校和多传感器融合领域，更具体地，涉及一种基于多个线阵相机的相机检校方法。

背景技术

传感器检校是车载多传感器集成系统中不可或缺的重要环节，其中多个线阵相机的检校对实际工程测量有着重要的意义，从一定程度上决定着测量的精度。例如，在进行隧道测量的时候，凭借线阵相机具有高分辨率的优势，用多个线阵相机对隧道进行影像数据采集，结合线阵激光扫描仪采集得到的激光数据从而进行几何拼接，得到整个隧道的全景影像，很大程度上提高了隧道量测与检查的效率。

因此，如何高精度和高效地进行多个线阵相机的相机检校是目前亟需解决的技术难题。

发明内容

针对现有技术的缺陷或改进需求，本发明提出了一种基于多个线阵相机的相机检校方法及装置，由此解决如何高精度和高效地进行多个线阵相机阵列的相机检校的技术难题。

为实现上述目的，本发明提供了一种基于多个线阵相机的相机检校方法，包括：

步骤1、设计线阵相机检校图案，将检校图案分为三个区域，包括：

刻度区域：用于调角度，即初步调整相机姿态；

调平区域：用于调平，即能够使后期数据拼接的正常进行；

检校区域：用于标定，即确定每个相机的空间姿态，从而获取相机之间的相对姿态；

步骤2、采集相机、激光数据；

步骤3、用采集得到的影像，选取计算需要的像素点，基于交比不变性计算以及已知的标定图案方程得到像素点的标定板坐标p_i(x_i,y_i)，转换到统一的物方坐标系下得到P_i(X_i,Y_i,Z_i)；利用SVD分解得到相机的扫描面方程，从而更新物方点坐标P′_i(X′_i,Y′_i,Z′_i)，将像素点和物方点坐标进行归一化处理；

步骤4、根据归一化处理后得到的结果，得到像点和物方点的对应关系，根据线阵相机成像模型解算单个相机的内外方位元素及畸变系数

并计算重投影误差，同时可以得到相机之间的相对外方位元素

在上述的一种多个线阵相机阵列系统的检校方法，所述步骤1中：

步骤1.1、调角度基于相机扫描线穿过不同宽度、不同数量的刻度图案在影像上显示为不同宽度、不同数量的黑色柱状线条的性质，完成对相机拍摄角度的调整；

设定某相机在某标定板上扫描范围为0.2m-1.7m，已知该标定板规格为2.5m×1.2m；将0m-1m中间插入9个长宽分别为2cm和10cm的黑色柱状图案，在1m刻度处插入组合图案，包含5cm×10cm和1cm×10cm的两个黑色柱状图案；将1m-2m中间插入9个长宽分别为3cm和10cm的黑色柱状图案，在2m刻度处插入组合图案，包含2个5cm×10cm、2个1cm×10cm的黑色柱状图案；

不断调整相机姿态，实时获取相机影像；当影像依次显示为8个大小相同的黑色柱状细线条、1个黑色柱状粗线条和1个黑色柱状细线条的组合图案以及7个大小相同的黑色柱状细线条时，即为正确的相机姿态，满足后续影像拼接对两两相机之间重叠度的要求；根据检校区域图案的独特性，使得扫描线的位置位于标定板的检校区域并起到“粗调平”的作用；

步骤1.2、调平的主要作用是保证后期数据拼接的正常进行，调平所用的刻度和调角度所用的刻度属于不同区域，调角度的刻度主要作用是控制相机扫描线起始范围，然而调平刻度的主要作用是调整扫描线的平缓程度；设置5cm、2cm、1cm三种不同宽度的黑色柱状图案，每种图案各12个，同种类型的图案水平等间距排放；调整相机的位置，首先让扫描线位于宽度为5cm的调平区域，通过观察实时影像，调整相机的姿态，使得显示的图案尽可能的多，同理地，让扫描线位于宽度为2cm、1cm的调平区域，最终保证在1cm的调平区域中显示图案最多；通过实时获取的线阵相机影像可以发现，线条宽度越小，越难保证这些线条都在影像上成像，调平精度越高；

步骤1.3、由于线阵相机只能扫描出一条线，所以标定图案的选择非常关键；设计图案包括

对称填充的同心圆：对称填充的同心圆根据其填充区域的大小结合影像，能够判断出扫描线的位置；

M型直线组合：M型直线组合能够很好的判断计算的精度；

重复的竖线条：重复的竖线条是后续交比不变性计算的基准，竖线条越多，计算次数越多，精度越高。

在上述的一种多个线阵相机阵列系统的检校方法，步骤2包括：

步骤2.1、调整测量车的位置和标定架平行，同时满足相机的扫描线在检校区域，顺时针或逆时针微调多相机系统装置，采集4-5组相机影像，保证影像数据清晰且无变形；

步骤2.2、使用高精度激光扫描仪从4-5个测站对标定架进行激光数据采集，保证每组激光数据可以覆盖整个标定架，其中，测站即观测地点；取每组激光数据的特征点，根据最小二乘点云配准进行拼站，得到整个标定架的点云数据，作为多个相机的统一参考基准。

在上述的一种多个线阵相机阵列系统的检校方法，步骤2.2中，取每组激光数据的特征点，根据最小二乘点云配准进行拼站，得到整个标定架的点云数据的具体方法包括：

步骤A：获取每个测站的点云中同名特征点在当前测站坐标系中的坐标值，其中特征点指易于选取准确位置的空间点；

步骤B：利用最小二乘法计算各测站之间点云的位姿变换关系矩阵[R_ij T_ij]，其中R_ij和T_ij分别表示点从i号测站变换到j号测站的旋转矩阵与平移向量，有转换关系

其中[X_i Y_i Z_i]^T与[X_j Y_j Z_j]^T分别表示真实空间中同一点在i号测站与j号测站坐标系下的坐标值；

步骤C：利用步骤B中转换关系将所有测站点云都转换到同一坐标系下；

步骤D：根据需求建立世界坐标系，将步骤C的结果通过旋转平移变换到此世界坐标系下，即得到拼站后在所设定世界坐标系下的完整标定架点云数据。

在上述的一种多个线阵相机阵列系统的检校方法，步骤3包括：

步骤3.1、利用采集得到的影像，选取影像上所有黑色柱状线条两端的像素点，根据每块标定板都是独立平面的性质，基于平面上位于同一条直线上的点满足交比不变性的性质，计算相机扫描线与圆、M型直线组合的交点横坐标，然后根据已知的圆和斜线的方程，计算出交点的纵坐标，得到交点在标定板上的坐标p_i(x_i,y_i)；

步骤3.2、建立标定架的三维坐标系O_W-X_wY_wZ_w，根据步骤2中得到的标定架密集点云物方坐标(X,Y,Z)，最小二乘拟合标定板平面方程a*X+b*Y+c*Z+d＝0，其中a,b,c,d为方程系数，计算出平面法向量

基于标定板四周预先放置的控制靶标建立标定板坐标系O_B-X_BY_BZ_B，根据靶标在标定架坐标系下的物方坐标(X_w,Y_w,Z_w)，得到标定板坐标系O_B-X_BY_BZ_B(O_B为坐标系原点，X_BY_BZ_B为三个坐标轴)和标定架的三维坐标系O_W-X_wY_wZ_w两个坐标系之间的转换关系；

步骤3.3、根据得到的p_i(x_i,y_i)以及板子坐标系到架子坐标系的转换关系RT，得到交点在架子坐标系下的坐标P_i(X_i,Y_i,Z_i)，采用SVD分解，得到每个相机的扫描面方程p*X+q*Y+s*Z+t＝0，然后与标定板方程以及已知的标定图案方程a*X+b*Y+c*Z+d＝0进行联立求解，更新交点在架子坐标系下的坐标P′_i(X′_i,Y′_i,Z′_i)；

步骤3.4、将n个像素点坐标p_i(0,v_i)与物方坐标P′_i(X′_i,Y′_i,Z′_i)对应并进行归一化处理；分别对像素点坐标p_i(0,v_i)和物方坐标P′_i(X′_i,Y′_i,Z′_i)进行一维、三维相似坐标变换使坐标值位于区间[-1,1]之内，从而使矩阵的条件数减小，很大程度上提高了数值计算的稳定性；

s₁＝1/sum(abs(v_i-sum(v_i)/n))

其中s₁和s₂是比例因子，v_i、Y′和Z′是归一化后的坐标。

在上述的一种多个线阵相机阵列系统的检校方法，步骤4包括：

根据归一化后的处理结果，可以得到像点坐标和物方点坐标的一一对应关系，根据线阵相机的成像模型，求得单个相机的内外方位元素及畸变系数，同时可以得到相机之间的相对外方位元素。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

本发明基于多线阵相机组成的装置，对多线阵相机进行检校并得到相机之间的相对位置关系，对之后的影像拼接和量测起着关键性作用，该检校方法在工程测量中具有较强的可实施性，同时具有高度的稳定性和足够的精度。

附图说明

图1是本发明实施例提供的一种多线阵相机系统示意图；

图2是本发明实施例提供的一种方法流程示意图；

图3是本发明实施例提供的一种坐标系示意图；

图4是本发明实施例提供的一种检校图案设计示意图(以1号板为例)；

具体实施方式

其中，各模块的具体实施方式可以参考发明内容中的描述，具体是：

本发明的一个方面，提供了一种基于多个线阵相机的相机检校方法，包括：

(1)线阵相机检校图案设计；

(2)相机、激光数据采集；

(3)利用采集得到的影像，人工选取计算需要的像素点，基于交比不变性计算以及已知的标定图案方程得到像素点的标定板坐标p_i(x_i,y_i)，转换到统一的物方坐标系下得到P_i(X_i,Y_i,Z_i)；利用SVD分解得到相机的扫描面方程，从而更新物方点坐标P′_i(X′_i,Y′_i,Z′_i)，将像素点和物方点坐标进行归一化处理；

(4)根据归一化处理后得到的结果，得到像点和物方点的对应关系，根据线阵相机成像模型解算单个相机的内外方位元素及畸变系数

并计算重投影误差，同时可以得到相机之间的相对外方位元素

步骤(1)包括：

(1.1)设计标定架上的检校图案，分为三个区域：刻度区域、调平区域、检校区域。主要包含三个功能：调角度、调平、标定；

(1.2)调角度的主要作用是初步调整相机姿态，根据线阵相机扫描线穿过不同宽度、不同数量的刻度图案在影像上显示为不同宽度、不同数量的黑色柱状线条的性质，从实时获取的线阵相机影像可以判断出所有相机的拍摄范围，进而调整相机姿态，满足后续影像拼接对两两相机之间重叠度的要求。根据检校区域图案的独特性，使得扫描线的位置位于标定板的检校区域并起到“粗调平”的作用。

(1.3)调平的主要作用是保证后期数据拼接的正常进行，调平所用的刻度和调角度所用的刻度属于不同区域，调角度的刻度主要作用是控制相机扫描线起始范围，然而调平刻度的主要作用是调整扫描线的平缓程度，根据三种不同宽度的线条来调整相机扫描线的斜率，通过实时获取的线阵相机影像可以发现，线条宽度越小，越难保证这些线条都在影像上成像，调平精度越高。

(1.4)由于线阵相机只能扫描出一条线，所以标定图案的选择非常关键。设计图案主要由对称填充的同心圆、陡峭的M型直线组合以及重复的竖线条组成。重复的竖线条是后续交比不变性计算的基准，竖线条越多，计算次数越多，精度越高；陡峭的M型直线组合可以很好的判断计算的精度；对称填充的同心圆根据其填充区域的大小结合影像，可以判断出扫描线的位置。同时，圆和斜线的方程形式较为简单，为后续的计算提供了便利。

步骤(2)包括：

(2.1)调整测量车的位置和标定架近似平行，同时满足相机的扫描线在检校区域，顺时针或逆时针微调多相机系统装置，采集4-5组数据，保证影像数据清晰且无变形；

(2.2)使用高精度激光扫描仪从4-5个不同测站对标定架进行激光数据采集，保证每组激光数据可以覆盖整个标定架。取每组激光数据的特征点，根据最小二乘点云配准进行拼站，得到整个标定架的点云数据，作为多个相机的统一参考基准。

步骤(3)包括：

(3.1)利用采集得到的影像，人工选取计算需要的像素点，根据每块标定板都是独立平面的性质，基于平面上位于同一条直线上的点满足交比不变性的性质，计算相机扫描线与圆、M型直线组合的交点横坐标，然后根据已知的圆和斜线的方程，计算出交点的纵坐标，得到交点在板子上的坐标p_i(x_i,y_i)；

(3.2)建立标定架的三维坐标系O_W-X_wY_wZ_w，根据步骤(2)中得到的标定架密集点云数据，最小二乘拟合标定板平面方程，并计算出平面法向量。基于标定板四周预先放置的控制靶标建立标定板坐标系O_B-X_BY_BZ_B，根据靶标在标定架坐标系下的(X_w,Y_w,Z_w)坐标，可以得到O_B-X_BY_BZ_B和O_W-X_wY_wZ_w两个坐标系之间的转换关系；

(3.3)根据上述得到的p_i(x_i,y_i)以及板子坐标系到架子坐标系的转换关系RT，得到交点在架子坐标系下的坐标P_i(X_i,Y_i,Z_i)，采用SVD分解，得到每个相机的扫描面方程，然后与标定板方程以及已知的标定图案方程进行联立求解，更新交点在架子坐标系下的坐标P′_i(X′_i,Y′_i,Z′_i)。

(3.4)将像素点坐标p_i(0,v_i)与物方坐标P′_i(X′_i,Y′_i,Z′_i)对应并进行归一化处理。分别对像素点坐标p_i(0,v_i)和物方坐标P′_i(X′_i,Y′_i,Z′_i)进行一维、三维相似坐标变换使坐标值位于区间[-1,1]之内，从而使矩阵的条件数减小，很大程度上提高了数值计算的稳定性。

步骤(4)包括：

根据归一化后的处理结果，可以得到像点坐标和物方点坐标的一一对应关系，根据线阵相机的成像模型，求得单个相机的内外方位元素及畸变系数，同时可以得到相机之间的相对外方位元素。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种多个线阵相机阵列系统的检校方法，其特征在于，包括：

步骤1、设计线阵相机检校图案，将检校图案分为三个区域，包括：

刻度区域：用于调角度，即初步调整相机姿态；

调平区域：用于调平，即能够使后期数据拼接的正常进行；

检校区域：用于标定，即确定每个相机的空间姿态，从而获取相机之间的相对姿态；

步骤2、采集相机、激光数据；

步骤3、用采集得到的影像，选取计算需要的像素点，基于交比不变性计算以及已知的标定图案方程得到像素点的标定板坐标p_i(x_i,y_i)，转换到统一的物方坐标系下得到P_i(X_i,Y_i,Z_i)；利用SVD分解得到相机的扫描面方程，从而更新物方点坐标P′_i(X′_i,Y′_i,Z′_i)，将像素点和物方点坐标进行归一化处理；

步骤4、根据归一化处理后得到的结果，得到像点和物方点的对应关系，根据线阵相机成像模型解算单个相机的内外方位元素及畸变系数，并计算重投影误差，同时可以得到相机之间的相对外方位元素；

所述步骤1中：

步骤1.1、调角度基于相机扫描线穿过不同宽度、不同数量的刻度图案在影像上显示为不同宽度、不同数量的黑色柱状线条的性质，完成对相机拍摄角度的调整；

设定某相机在某标定板上扫描范围为0.2m-1.7m，已知该标定板规格为2.5m×1.2m；将0m-1m中间插入9个长宽分别为2cm和10cm的黑色柱状图案，在1m刻度处插入组合图案，包含5cm×10cm和1cm×10cm的两个黑色柱状图案；将1m-2m中间插入9个长宽分别为3cm和10cm的黑色柱状图案，在2m刻度处插入组合图案，包含2个5cm×10cm、2个1cm×10cm的黑色柱状图案；

不断调整相机姿态，实时获取相机影像；当影像依次显示为8个大小相同的黑色柱状细线条、1个黑色柱状粗线条和1个黑色柱状细线条的组合图案以及7个大小相同的黑色柱状细线条时，即为正确的相机姿态，满足后续影像拼接对两两相机之间重叠度的要求；根据检校区域图案的独特性，使得扫描线的位置位于标定板的检校区域并起到“粗调平”的作用；

步骤1.2、调平的主要作用是保证后期数据拼接的正常进行，调平所用的刻度和调角度所用的刻度属于不同区域，调角度的刻度主要作用是控制相机扫描线起始范围，然而调平刻度的主要作用是调整扫描线的平缓程度；设置5cm、2cm、1cm三种不同宽度的黑色柱状图案，每种图案各12个，同种类型的图案水平等间距排放；调整相机的位置，首先让扫描线位于宽度为5cm的调平区域，通过观察实时影像，调整相机的姿态，使得显示的图案尽可能的多，同理地，让扫描线位于宽度为2cm、1cm的调平区域，最终保证在1cm的调平区域中显示图案最多；通过实时获取的线阵相机影像可以发现，线条宽度越小，越难保证这些线条都在影像上成像，调平精度越高；

步骤1.3、由于线阵相机只能扫描出一条线，所以标定图案的选择非常关键；设计图案包括

对称填充的同心圆：对称填充的同心圆根据其填充区域的大小结合影像，能够判断出扫描线的位置；

M型直线组合：M型直线组合能够很好的判断计算的精度；

重复的竖线条：重复的竖线条是后续交比不变性计算的基准，竖线条越多，计算次数越多，精度越高。

2.根据权利要求1所述的一种多个线阵相机阵列系统的检校方法，其特征在于，步骤2包括：

步骤2.1、调整测量车的位置和标定架平行，同时满足相机的扫描线在检校区域，顺时针或逆时针微调多相机系统装置，采集4-5组相机影像，保证影像数据清晰且无变形；

步骤2.2、使用高精度激光扫描仪从4-5个测站对标定架进行激光数据采集，保证每组激光数据可以覆盖整个标定架，其中，测站即观测地点；取每组激光数据的特征点，根据最小二乘点云配准进行拼站，得到整个标定架的点云数据，作为多个相机的统一参考基准。

3.根据权利要求1所述的一种多个线阵相机阵列系统的检校方法，其特征在于，步骤2.2中，取每组激光数据的特征点，根据最小二乘点云配准进行拼站，得到整个标定架的点云数据的具体方法包括：

步骤A：获取每个测站的点云中同名特征点在当前测站坐标系中的坐标值，其中特征点指易于选取准确位置的空间点；

步骤B：利用最小二乘法计算各测站之间点云的位姿变换关系矩阵[R_ijT_ij]，其中R_ij和T_ij分别表示点从i号测站变换到j号测站的旋转矩阵与平移向量，有转换关系

其中[X_iY_iZ_i]^T与[X_jY_jZ_j]^T分别表示真实空间中同一点在i号测站与j号测站坐标系下的坐标值；

步骤C：利用步骤B中转换关系将所有测站点云都转换到同一坐标系下；

步骤D：根据需求建立世界坐标系，将步骤C的结果通过旋转平移变换到此世界坐标系下，即得到拼站后在所设定世界坐标系下的完整标定架点云数据。

4.根据权利要求1所述的一种多个线阵相机阵列系统的检校方法，其特征在于，步骤3包括：

步骤3.1、利用采集得到的影像，选取影像上所有黑色柱状线条两端的像素点，根据每块标定板都是独立平面的性质，基于平面上位于同一条直线上的点满足交比不变性的性质，计算相机扫描线与圆、M型直线组合的交点横坐标，然后根据已知的圆和斜线的方程，计算出交点的纵坐标，得到交点在标定板上的坐标p_i(x_i,y_i)；

步骤3.2、建立标定架的三维坐标系O_W-X_wY_wZ_w，根据步骤2中得到的标定架密集点云物方坐标(X,Y,Z)，最小二乘拟合标定板平面方程a*X+b*Y+c*Z+d＝0，其中a,b,c,d为方程系数，计算出平面法向量

基于标定板四周预先放置的控制靶标建立标定板坐标系O_B-X_BY_BZ_B，根据靶标在标定架坐标系下的物方坐标(X_w,Y_w,Z_w)，得到标定板坐标系O_B-X_BY_BZ_B和标定架的三维坐标系O_W-X_wY_wZ_w两个坐标系之间的转换关系，O_B为坐标系原点，X_BY_BZ_B为三个坐标轴；

步骤3.3、根据得到的p_i(x_i,y_i)以及板子坐标系到架子坐标系的转换关系RT，得到交点在架子坐标系下的坐标P_i(X_i,Y_i,Z_i)，采用SVD分解，得到每个相机的扫描面方程p*X+q*Y+s*Z+t＝0，然后与标定板方程以及已知的标定图案方程a*X+b*Y+c*Z+d＝0进行联立求解，更新交点在架子坐标系下的坐标P′_i(X′_i,Y′_i,Z′_i)；

步骤3.4、将n个像素点坐标p_i(0,v_i)与物方坐标P′_i(X′_i,Y′_i,Z′_i)对应并进行归一化处理；分别对像素点坐标p_i(0,v_i)和物方坐标P′_i(X′_i,Y′_i,Z′_i)进行一维、三维相似坐标变换使坐标值位于区间[-1,1]之内，从而使矩阵的条件数减小，很大程度上提高了数值计算的稳定性。

5.根据权利要求1所述的一种多个线阵相机阵列系统的检校方法，其特征在于，步骤4包括：

根据归一化后的处理结果，可以得到像点坐标和物方点坐标的一一对应关系，根据线阵相机的成像模型，求得单个相机的内外方位元素及畸变系数，同时可以得到相机之间的相对外方位元素。

Images