CN107767420B - 一种水下立体视觉系统的标定方法 - Google Patents

Abstract

本发明公开一种水下立体视觉系统的标定方法，包括如下步骤：S101、在水下环境中，使用由内参已知的相机构成的立体视觉系统拍摄若干平面标定板的图像，提取所述图像的特征点，并对特征点进行畸变校正；S102、根据折射光路的几何关系构造代价函数，任意选取立体视觉系统中的一个相机并对该相机的折射参数进行标定；S103、根据已完成标定的相机的折射参数，基于上述代价函数标定立体视觉系统中未标定相机的折射参数及立体视觉系统的外参。本发明使用平面标定板，提高了标定精度；基于多层折射模型，不存在系统误差，描述精度高，既能用于水下单相机的折射参数标定，也能用于水下立体视觉系统及水下多相机系统折射参数和外参的标定。

Description

一种水下立体视觉系统的标定方法

技术领域

本发明涉及水下相机标定技术领域，尤其涉及一种水下立体视觉系统的标定方法。

背景技术

在水下环境中，成像光线将依次通过水、滤波片、空气这三层折射介质。现有的方法常将传统的相机模型应用到这种折射系统中，使用径向畸变系数来校正折射造成的偏差。然而，折射对不同像素点产生偏差的影响是不同的，使用传统的相机模型会产生明显的误差，尤其是在水下这种高折射率的环境中。传统水下相机标定普遍存在标定方法错复杂，标定耗时长，标定精度低，无法进行水下立体视觉标定的问题。

发明内容

本发明的目的在于通过一种水下立体视觉系统的标定方法，来解决以上背景技术部分提到的问题。

为达此目的，本发明采用以下技术方案：

一种水下立体视觉系统的标定方法，其包括如下步骤：

S101、在水下环境中，使用由内参已知的相机构成的立体视觉系统拍摄若干平面标定板的图像，提取所述图像的特征点，并对所述特征点进行畸变校正；

S102、根据折射光路的几何关系构造代价函数，任意选取立体视觉系统中的一个相机并对该相机的折射参数进行标定；

S103、根据步骤S102中已完成标定的相机的折射参数，基于上述代价函数标定立体视觉系统中未标定相机的折射参数及立体视觉系统的外参。

特别地，所述步骤S101包括：在水下环境中，使用由内参已知的相机构成的立体视觉系统拍摄若干平面标定板的图像，提取所述图像的特征点，并对所述特征点进行畸变校正，得到校正后特征点的坐标，根据所述校正后特征点的坐标和相机的内参矩阵计算得到第一介质层光路的方向。

特别地，所述步骤S102包括：基于物点到折射主轴的距离构造代价函数，基于所述代价函数进行优化标定出相机的折射参数。

特别地，所述步骤S103还包括：根据已完成标定的相机的折射参数，对水下多相机系统中未标定相机的折射参数进行标定，直至标定出多相机系统中所有相机的折射参数和外参。

特别地，所述步骤S102具体包括：设折射参数包括(A d μr t)，其中A为折射平面的法线方向；d为矢量，表示各个介质层的厚度；μ也是矢量，表示各个介质层的折射率；r和t也是矢量，表示平面标定板图像在世界坐标系的姿态和位置；在有M幅图像存在时，r＝[r₁r₂ … r_M]，r_m为每幅图像的罗德里格旋转向量，m＝1,2,…,M；

折射主轴为经过相机光心C垂直于折射平面的射线，设物点P在世界坐标系下的坐标为P_w，在相机坐标系下的坐标为P_c，物点P到折射主轴的距离P_c⊥表示为：

P_c⊥＝P_c-dot(P_c,A)A (1)

设共有K个介质层，物点P到折射主轴的距离P_c⊥又可以表示为：

其中B为光路平面上与折射平面的法线方向A正交的单位向量，dot()表示矢量点积；

由以上两式(1)、(2)可得：

其中R，t为相机外参，v_k为第k个介质层的光线的方向矢量，θ_k为v_k与A的夹角；

P_c＝RP_w+t (4)

v₀为第一介质层下光路的方向，v₀根据步骤S101得到的校正后特征点的坐标m和相机的内参矩阵K计算得到：

相机的内参矩阵K为如下形式，f_x和f_y为等效焦距，x₀和y₀为主点位置：

其中公式(6)为斯涅尔(Snell)折射定律，可以展开为：

当步骤S101中立体视觉系统拍摄M幅平面标定板的图像时，每幅图像有N个特征点点时，根据(3)构造的代价函数为：

因此，相机的折射参数的求解即为以下非线性优化过程：

(A d μ r t)＝argmin||F|| (12)。

特别地，所述步骤S103具体包括：根据步骤S102中已完成标定的相机的折射参数，使用标定得到的平面标定板图像在世界坐标系的姿态和位置位置参数标定立体视觉系统中未标定相机的折射参数及立体视觉系统的外参，过程如下：

设所述已完成标定的相机为一号相机，标定一号相机时得到的平面标定板图像在世界坐标系的姿态和位置[R₁ R₂ … R_n]，[t₁ t₂ … t_n]；设一号相机相对于二号相机的姿态和位置为[R_r t_r]，则所述平面标定板图像在二号相机坐标系下的姿态和位置为[R_rR₁R_rR₂ … R_rR_n]，[R_rt₁+t_r R_rt₂+t_r … R_rt_n+t_r]；

使用上述公式(10)作为代价函数进行优化标定出二号相机的折射参数即：

(A d μ R_r t_r)＝argmin||F|| (13)

重复上述过程，逐个完成对立体视觉系统中所有未标定相机的折射参数及立体视觉系统的外参的标定。

本发明提出的水下立体视觉系统的标定方法在标定时，使用平面标定板而非立体标定板，平面标定板相比立体标定板精度高，提高了标定精度。本发明基于多层折射模型，不存在系统误差，描述精度高，根据折射光路的几何关系构造代价函数，将标定问题转化为优化问题，能准确标定出相机光心到折射平面的距离、各个介质层的厚度、各个介质层的折射率以及水下立体视觉系统的外参。本发明能够广泛应用于海洋工程、水下探测、水下高精度测量等场合。本发明既能用于水下单相机的折射参数的标定，也能用于水下立体视觉系统及水下多相机系统的折射参数和外参的标定。本发明不用使用反向投影误差作为代价函数，避开了高次方程的求解或者是大量的数值迭代，显著减小了计算量，标定效率高，整个标定过程在一台普通PC上运行时间不超过2s。

附图说明

图1为本发明实施例提供的水下立体视觉系统的标定方法流程图；

图2为本发明实施例提供的水下立体视觉拍摄图片的示意图；

图3为本发明实施例提供的多层折射示意图；

图4为本发明实施例提供的标定结果图；

图5为本发明实施例提供的标定结果图；

图6为本发明实施例提供的标定结果图。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容理解的更加透彻全面。除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

请参照图1所示，图1为本发明实施例提供的水下立体视觉系统的标定方法流程图。

本实施例中水下立体视觉系统的标定方法包括如下步骤：

S101、在水下环境中，使用由内参已知的相机构成的立体视觉系统拍摄若干平面标定板的图像，提取所述图像的特征点，并对所述特征点进行畸变校正。其中，对相机的内参进行标定的方法如下：构成立体视觉系统的相机需要在空气中进行预标定，可以使用任何基于小孔相机模型的标定方法，目前常用的方法为相机的“张正有标定法”。

标定折射参数前，需要对构成的立体视觉系统的相机的内参在空气中进行预标定，标定完成后，在水下环境中，使用由内参已知的相机构成的立体视觉系统拍摄若干平面标定板的图像，提取所述图像的特征点，并对所述特征点进行畸变校正，得到校正后特征点的坐标，根据所述校正后特征点的坐标和相机的内参矩阵计算得到第一介质层光路的方向。

S102、根据折射光路的几何关系构造代价函数，任意选取立体视觉系统中的一个相机并对该相机的折射参数进行标定。

基于物点到折射主轴的距离的两种表达方式(下文的公式(1)、公式(2))构造代价函数，基于所述代价函数使用“Trust-region”进行非线性优化标定出相机的折射参数，具体过程如下：

设折射参数包括(A d μ r t)，其中A为折射平面的法线方向；d为矢量，表示各个介质层的厚度；μ也是矢量，表示各个介质层的折射率；r和t也是矢量，表示平面标定板图像在世界坐标系的姿态和位置；在有M幅图像存在时，r＝[r₁ r₂ … r_M]，r_m为每幅图像的罗德里格旋转向量，m＝1,2,…,M。对一般水下情形而言，界面法向(折射平面的法线方向)A的初始值可以直接取相机主轴方向，介质层厚度d只需给出第一层和第二层的粗略估计即可。折射率μ的初值可取材料折射率的大致估计值。r和t的初始值可以直接使用一般情况下的PnP算法进行粗略计算给出。

考虑从相机光心到物点的一条光路，定义折射主轴为经过相机光心C垂直于折射平面的射线，设物点P在世界坐标系下的坐标为P_w，在相机坐标系下的坐标为P_c，物点P到折射主轴的距离P_c⊥表示为：

P_c⊥＝P_c-dot(P_c,A)A (1)

设共有K个介质层，物点P到折射主轴的距离P_c⊥又可以表示为：

其中B为光路平面上与折射平面的法线方向A正交的单位向量，dot()表示矢量点积；

由以上两式(1)、(2)可得：

其中R，t为相机外参，v_k为第k个介质层的光线的方向矢量，θ_k为v_k与A的夹角；

P_c＝RP_w+t (4)

v₀为第一介质层下光路的方向，v₀根据步骤S101得到的校正后特征点的坐标m和相机的内参矩阵K计算得到：

相机的内参矩阵K为如下形式，f_x和f_y为等效焦距，x₀和y₀为主点位置：

其中公式(6)为斯涅尔(Snell)折射定律，可以展开为：

当步骤S101中立体视觉系统拍摄M幅平面标定板的图像时，每幅图像有N个特征点点时，根据(3)构造的代价函数为：

因此，相机的折射参数的求解即为以下非线性优化过程：

(A d μ r t)＝argmin||F|| (12)。

S103、根据步骤S102中已完成标定的相机的折射参数，基于上述代价函数标定立体视觉系统中未标定相机的折射参数及立体视觉系统的外参。在本实施例中也可以根据已完成标定的相机的折射参数，对水下多相机系统中未标定相机的折射参数进行标定，直至标定出多相机系统中所有相机的折射参数和外参。

根据步骤S102中已完成标定的相机的折射参数，使用标定得到的平面标定板图像在世界坐标系的姿态和位置位置参数标定立体视觉系统中未标定相机的折射参数及立体视觉系统的外参，过程如下：

设所述已完成标定的相机为一号相机，标定一号相机时得到的平面标定板图像在世界坐标系的姿态和位置[R₁ R₂ … R_n]，[t₁ t₂ … t_n]；设一号相机相对于二号相机的姿态和位置为[R_r t_r]，则所述平面标定板图像在二号相机坐标系下的姿态和位置为[R_rR₁R_rR₂ … R_rR_n]，[R_rt₁+t_r R_rt₂+t_r … R_rt_n+t_r]；

使用上述公式(10)作为代价函数进行优化标定出二号相机的折射参数即：

(A d μ R_r t_r)＝argmin||F|| (13)

重复上述过程，逐个完成对立体视觉系统中所有未标定相机的折射参数及立体视觉系统的外参的标定。其中，立体视觉系统的外参指的是两个相机或者多个相机之间的相对位置和姿态，立体视觉系统的折射参数指的是(13)式中左边的参数。

下面结合水下双相机标定的实例对本发明的实施方案做具体描述：

第一步：如图2所示，水下双相机立体视觉系统拍摄位于水中的棋盘格标定板(平面标定板的一种)。任意选定4-6个位置拍摄几组图像，保证拍摄到的棋盘格大致位于相机视野中间。

第二步：使用Harris角点检测法提取拍摄到图像的角点坐标(即特征点)，然后使用预先标定的单相机参数对角点坐标做去畸变处理。设图像的编号为m(m＝1,2,…,M)，图像上角点的编号为n(n＝1,2,…,N)。

第三步：先标定其中一个相机，设为一号相机，另外一个设为二号相机。首先选择待标定折射参数的初值，可取法线初值A₀＝[0 0 1]^T，距离初值可给出大致范围内的任一值，折射率初值可取μ₀＝[1 1.5 1.33]，拍摄图像的位置和姿态初值可使用平面PnP方法粗略计算得到。对一号相机拍摄的任意一个“像点-物点”对，参照图3，使用上述公式(4)-公式(7)计算中间参数，并使用公式(10)构造代价函数。

因此，单相机的标定问题即为公式(11)式所表示的优化问题。使用“Trust-region”法求解该优化问题，设置迭代终止条件为两次迭代的代价函数之差小于10^-6。优化过程结束后即得到了一号相机的折射参数。其中，“Trust-region”法是最优化理论中的一种基础优化方法，它的基本优化思路是通过一定的准则首先确定待优化矢量位移的大小，然后在位移大小确定的区域中确定位移的方向，该算法具体的原理和方法在任何“最优化”数学教材中均有详细介绍。

第四步：开始标定二号相机同时标定立体视觉系统的外参。仿照第三步的方法给出待标定参数的估计初值，有所不同的是在这一步要给出立体视觉系统外参的估计初值。方法为：任选一幅二号相机的图像，使用平面PnP方法粗略计算该图像的位置和姿态，设为R₂′，t₂′；使用一号相机标定得到的该图像的位置和姿态R₁，t₁来估算立体视觉系统的外参。设外参定义为一号相机相对于二号相机的位置和姿态，估计初值用R_r′，t_r′表示

R_r′＝R₂′R₁ ^T (14)

t_r′＝t₂′-R_r′t₁ (15)

二号相机及立体视觉系统的外参标定问题即为以下优化问题

(A d μ R_r t_r)＝argmin||F||

使用上述标定过程标定得到的结果如图4至图6所示。

本发明提出的技术方案在标定时，使用平面标定板而非立体标定板，平面标定板相比立体标定板精度高，提高了标定精度。本发明基于多层折射模型，不存在系统误差，描述精度高，根据折射光路的几何关系构造代价函数，将标定问题转化为优化问题，能准确标定出相机光心到折射平面的距离、各个介质层的厚度、各个介质层的折射率以及水下立体视觉系统的外参。本发明能够广泛应用于海洋工程、水下探测、水下高精度测量等场合。本发明既能用于水下单相机的折射参数的标定，也能用于水下立体视觉系统及水下多相机系统的折射参数和外参的标定。本发明不用使用反向投影误差作为代价函数，避开了高次方程的求解或者是大量的数值迭代，显著减小了计算量，标定效率高，整个标定过程在一台普通PC上运行时间不超过2s。

本领域普通技术人员可以理解实现上述实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (2)

1.一种水下立体视觉系统的标定方法，其特征在于，包括如下步骤：

S101、在水下环境中，使用由内参已知的相机构成的立体视觉系统拍摄若干平面标定板的图像，提取所述图像的特征点，并对所述特征点进行畸变校正，得到校正后特征点的坐标，根据所述校正后特征点的坐标和相机的内参矩阵计算得到第一介质层光路的方向；

S102、根据折射光路的几何关系构造代价函数，任意选取立体视觉系统中的一个相机并对该相机的折射参数进行标定，其中，基于物点到折射主轴的距离构造代价函数，基于所述代价函数进行优化标定出相机的折射参数；所述步骤S102具体包括：设折射参数包括(Ad μ r t)，其中A为折射平面的法线方向；d为矢量，表示各个介质层的厚度；μ也是矢量，表示各个介质层的折射率；r和t也是矢量，表示平面标定板图像在世界坐标系的姿态和位置；在有M幅图像存在时，r＝[r₁ r₂ … r_M]，r_m为每幅图像的罗德里格旋转向量，m＝1,2,…,M；

折射主轴为经过相机光心C垂直于折射平面的射线，设物点P在世界坐标系下的坐标为P_w，在相机坐标系下的坐标为P_c，物点P到折射主轴的距离P_c⊥表示为：

P_c⊥＝P_c-dot(P_c,A)A (1)

设共有K个介质层，物点P到折射主轴的距离P_c⊥又可以表示为：

其中B为光路平面上与折射平面的法线方向A正交的单位向量，dot()表示矢量点积；

由以上两式(1)、(2)可得：

其中R，t为相机外参，v_k为第k个介质层的光线的方向矢量，θ_k为v_k与A的夹角；

P_c＝RP_w+t (4)

v₀为第一介质层下光路的方向，v₀根据步骤S101得到的校正后特征点的坐标m和相机的内参矩阵K计算得到：

相机的内参矩阵K为如下形式，f_x和f_y为等效焦距，x₀和y₀为主点位置：

其中公式(6)为斯涅尔(Snell)折射定律，可以展开为：

当步骤S101中立体视觉系统拍摄M幅平面标定板的图像时，每幅图像有N个特征点点时，根据(3)构造的代价函数为：

因此，相机的折射参数的求解即为以下非线性优化过程：

(A d μ r t)＝argmin||F|| (12)；

S103、根据步骤S102中已完成标定的相机的折射参数，基于上述代价函数标定立体视觉系统中未标定相机的折射参数及立体视觉系统的外参；其中，所述步骤S103还包括：根据已完成标定的相机的折射参数，对水下多相机系统中未标定相机的折射参数进行标定，直至标定出多相机系统中所有相机的折射参数和外参。

2.根据权利要求1所述的水下立体视觉系统的标定方法，其特征在于，所述步骤S103具体包括：根据步骤S102中已完成标定的相机的折射参数，使用标定得到的平面标定板图像在世界坐标系的姿态和位置位置参数标定立体视觉系统中未标定相机的折射参数及立体视觉系统的外参，过程如下：

设所述已完成标定的相机为一号相机，标定一号相机时得到的平面标定板图像在世界坐标系的姿态和位置[R₁ R₂ … R_n]，[t₁ t₂ … t_n]；设一号相机相对于二号相机的姿态和位置为[R_r t_r]，则所述平面标定板图像在二号相机坐标系下的姿态和位置为[R_rR₁ R_rR₂ …R_rR_n]，[R_rt₁+t_r R_rt₂+t_r … R_rt_n+t_r]；

使用上述公式(10)作为代价函数进行优化标定出二号相机的折射参数即：

(A d μ R_r t_r)＝argmin||F|| (13)

重复上述过程，逐个完成对立体视觉系统中所有未标定相机的折射参数及立体视觉系统的外参的标定。

Images